ファインチューニング
事前学習ずみのモデルのパラメータの初期値は利用するが、
全てのレイヤーで学習を行う
移転学習
事前学習ずみのモデルの入力に近いレイヤーは学習を行わず、
出力に近い部分のみ学習する
PR
・データ全体を少数のデータからなるミニバッチに分割し、
ミニバッチ毎にパラメータを更新する
・必要なメモリ量が少なくてすむこと、損失関数の減少を早める可能性がある
・ミニバッチのデータ数を、バッチサイズ
という
・すべてのミニバッチで学習が終わることを、1エポック
という
・１エポックが終了すると、データを並びなおして、ミニバッチを作成し、
新たなエポックが始まる
・学習効率の向上や過学習を防ぐ手法
・前のレイヤーの出力に対して正規化を行い、次のレイヤーの入力とする
関数 f の勾配とは、f の偏微分すべてを要素とするベクトル
データの一部を使ってモデルを構築し、残りのデータを使って検証する。
次のような方法がある
・k-fold
データをk個のグループに分け、そのうち、k-1個でモデルを作り、残り1個で検証する。
それを、k回繰り返す
・leave-one-out
N個のデータのうち、N-1個のデータでモデルを作り、残りの1個で検証する。
これを、N回繰り返す
