1.1-of-N表現
形態素ごとにベクトルを割り当てる
例)「犬が走る」
犬が・・(1,0)
走る・・(0,1)
とする
2.bug-of-words表現
1-of-N表現したものの和を求め、ある文を一括して表現する
PR
多重共線性
回帰モデルにおいて、ある説明変数が、他の説明変数の
線形結合で表される場合
最小二乗法による推定が不可能になる
クロス集計
名義尺度や間隔尺度の2つの変数の関連を見る
・過学習を防ぐための手法
・損失関数に、ペナルティ項目と呼ばれる項目を追加し
最適化を図る
ニューラルネットワークの中間層の数など、パラメータの数が多すぎると
訓練データに対しては、精度が上がっても
未知のデータに対しては、精度が上がらなくなってしまう状態
