パラメータの更新に、すべての訓練データを使わず、
ランダムに選んだデータを利用する。
PR
〇 ニューラルネットワークのパラメータの更新方法
〇 従来の方式に比べて、なめらかで、
学習初期には、大きく変更され、学習が進むにつれて、
少しずつ更新されるようになる
〇 入力層と、複数の隠れ層で、オートエンコーダーを作る。
このための学習が、事前学習。
〇 最後に出力層を作ることで、オートエンコーダーで学習した
重み付けを使うことができる。
1.過学習の原因
・教師データが不足している
・データに偏りがある
2.対策
・ドロップアウト
訓練中の中間層のノード出力を、一定の割合で、ランダムに0にする。
・ドロップコネクト
ランダムに、エッジの重みを0にする。
・複数の隠れ層を経て、出力されるものが入力と同じになることを目指すネットワーク。
・隠れ層の中で、ニューロンの個数が最小となる層をコード層という。
・入力層からコード層までの隠れ層では、ニューロンの数が減っていく。
ここをエンコーダという。
・コード層から出力層までの間では、ニューロンの数は増えていく。
ここをデコーダという。
