・学習効率の向上や過学習を防ぐ手法
・前のレイヤーの出力に対して正規化を行い、次のレイヤーの入力とする
PR
関数 f の勾配とは、f の偏微分すべてを要素とするベクトル
データの一部を使ってモデルを構築し、残りのデータを使って検証する。
次のような方法がある
・k-fold
データをk個のグループに分け、そのうち、k-1個でモデルを作り、残り1個で検証する。
それを、k回繰り返す
・leave-one-out
N個のデータのうち、N-1個のデータでモデルを作り、残りの1個で検証する。
これを、N回繰り返す
・マイナスの傾きが最大となる方向へ進み、極小点を探す
・有限の計算で局所最適解がみつかると言われている