確率的勾配降下法(SGD)

パラメータの更新に、すべての訓練データを使わず、

ランダムに選んだデータを利用する。

Adam

〇 ニューラルネットワークのパラメータの更新方法

〇 従来の方式に比べて、なめらかで、

　学習初期には、大きく変更され、学習が進むにつれて、

　少しずつ更新されるようになる

ディープラーニングの事前学習

〇 入力層と、複数の隠れ層で、オートエンコーダーを作る。

　このための学習が、事前学習。

〇 最後に出力層を作ることで、オートエンコーダーで学習した

　重み付けを使うことができる。

CNNの過学習と対策

1.過学習の原因

・教師データが不足している

・データに偏りがある

2.対策

・ドロップアウト

　訓練中の中間層のノード出力を、一定の割合で、ランダムに0にする。

・ドロップコネクト

　ランダムに、エッジの重みを0にする。

オートエンコーダー

・複数の隠れ層を経て、出力されるものが入力と同じになることを目指すネットワーク。

・隠れ層の中で、ニューロンの個数が最小となる層をコード層という。

・入力層からコード層までの隠れ層では、ニューロンの数が減っていく。

ここをエンコーダという。

・コード層から出力層までの間では、ニューロンの数は増えていく。

ここをデコーダという。