k分割交差検証
データを、k個の同程度の大きさの無作為な部分集合
（分割データ、foldと呼ぶ）に分割する。
k=1 ～ kについて、以下を行う。
(1) k番目以外のすべての分割データを使用して
モデルの学習を行う
(2)学習したモデルで、残りのk番目の分割データを
予測した場合の誤差をみる
この標本外の誤差を用いて、モデルを評価する。
PR
モデル推定
入力データから、共通点を見つける。
1.クラスタリング
入力データを、適切な、まとまりに分ける。
2.密度推定
データを記述できる関数があるとして、関数のパラメータをもとめる。
最尤法
観測データが得られる可能性が最も高くなるように
パラメータを定める方法
最適化アルゴリズム
1.SGD(確率的勾配加工法）
データの順番を変えながら、ランダムに勾配下降法を適用し、収束の確率を高める
2.Momentum SGD
SGDに、Momentumの概念を加える
3.Adagard
これまで計算した勾配で、学習率を変化させる
4.RMS pop
勾配の合計を指数移動平均で計算する
5.Adam
RMS pop とMomentum SGDを組み合わせ、収束を早くする
ニューラルネットワークの中間層の数など、パラメータの数が多すぎると
訓練データに対しては、精度が上がっても
未知のデータに対しては、精度が上がらなくなってしまう状態
