ファインチューニングと移転学習

ファインチューニング

事前学習ずみのモデルのパラメータの初期値は利用するが、

全てのレイヤーで学習を行う

移転学習

事前学習ずみのモデルの入力に近いレイヤーは学習を行わず、

出力に近い部分のみ学習する

ミニバッチとエポック

・データ全体を少数のデータからなるミニバッチに分割し、

ミニバッチ毎にパラメータを更新する

・必要なメモリ量が少なくてすむこと、損失関数の減少を早める可能性がある

・ミニバッチのデータ数を、バッチサイズ

という

・すべてのミニバッチで学習が終わることを、1エポック

という

・１エポックが終了すると、データを並びなおして、ミニバッチを作成し、

新たなエポックが始まる

Batch Normalization

・学習効率の向上や過学習を防ぐ手法

・前のレイヤーの出力に対して正規化を行い、次のレイヤーの入力とする

勾配

関数 f の勾配とは、f の偏微分すべてを要素とするベクトル

クロスバリデーション(交差検証)

データの一部を使ってモデルを構築し、残りのデータを使って検証する。

次のような方法がある

・k-fold

データをk個のグループに分け、そのうち、k-1個でモデルを作り、残り1個で検証する。

それを、k回繰り返す

・leave-one-out

N個のデータのうち、N-1個のデータでモデルを作り、残りの1個で検証する。

これを、N回繰り返す