自然言語処理 自然言語の表現

1.1-of-N表現

形態素ごとにベクトルを割り当てる

例)「犬が走る」

犬が・・(1,0)

走る・・(0,1)


とする

2.bug-of-words表現

1-of-N表現したものの和を求め、ある文を一括して表現する

多重共線性

多重共線性

回帰モデルにおいて、ある説明変数が、他の説明変数の

線形結合で表される場合

最小二乗法による推定が不可能になる

クロス集計

クロス集計

名義尺度や間隔尺度の2つの変数の関連を見る

正規化

・過学習を防ぐための手法

・損失関数に、ペナルティ項目と呼ばれる項目を追加し

　最適化を図る

過学習

ニューラルネットワークの中間層の数など、パラメータの数が多すぎると

訓練データに対しては、精度が上がっても

未知のデータに対しては、精度が上がらなくなってしまう状態