最尤法
観測データが得られる可能性が最も高くなるように
パラメータを定める方法
PR
最適化アルゴリズム
1.SGD(確率的勾配加工法）
データの順番を変えながら、ランダムに勾配下降法を適用し、収束の確率を高める
2.Momentum SGD
SGDに、Momentumの概念を加える
3.Adagard
これまで計算した勾配で、学習率を変化させる
4.RMS pop
勾配の合計を指数移動平均で計算する
5.Adam
RMS pop とMomentum SGDを組み合わせ、収束を早くする
ニューラルネットワークの中間層の数など、パラメータの数が多すぎると
訓練データに対しては、精度が上がっても
未知のデータに対しては、精度が上がらなくなってしまう状態
1.ホールドアウト
データを、教師データと評価データに分割し
教師データで学習するを評価することで、精度を確認する
2.k-分割検証
・データをk個の部分集合に分割する
・k個のうち、1つの評価データを残し、残りを教師データとして学習、評価する
・これを、k回行う
