・すべての学習データから、ランダムにN件選んで、それをバッチとして学習する場合、
Nをミニバッチサイズという
・ミニバッチですべてのデータ件数分を学習するのが、エポック
・学習用データが、10万件あり、N=1,000の場合、
10万/1,000 = 100 が、1エポック
・何回エポックを繰り返すかが、エポック数
PR
1.有効な変数を加える
2.不要な変数を取り除く
3.データの正規化
4.外れ値を取り除く
教師あり学習
・既存データに正確が含まれる。これを(正解)ラベルという
・インプットの中の正解データ以外を、featureという
・教師あり学習では、featureとラベルを学習し、ラベルがわからないでデータに対して、
featureから、ラベルを予測する
教師なし学習
・教師なし学習は、データに正解ラベルがない場合に、利用できる
・データの構造を決定する
・データの類似性を探す場合に利用される
強化学習
・機械学習のモデルに対して、フィードバックを行うことで、改良していく
・強化学習では、ラベル付けられたデータは利用しない。
・強化学習では、エージェントと呼ばれるプログラムを利用して、結果を測定し、
フィードバックすることで、自律的に学習する。
・チェスやロボットなどに利用される
ファインチューニング
事前学習ずみのモデルのパラメータの初期値は利用するが、
全てのレイヤーで学習を行う
移転学習
事前学習ずみのモデルの入力に近いレイヤーは学習を行わず、
出力に近い部分のみ学習する
・データ全体を少数のデータからなるミニバッチに分割し、
ミニバッチ毎にパラメータを更新する
・必要なメモリ量が少なくてすむこと、損失関数の減少を早める可能性がある
・ミニバッチのデータ数を、バッチサイズ
という
・すべてのミニバッチで学習が終わることを、1エポック
という
・１エポックが終了すると、データを並びなおして、ミニバッチを作成し、
新たなエポックが始まる
