リカレントニューラルネットワーク(RNN)

・ニューラルネットワークに、それまでの学習結果を加え、

　入力として学習する

・それまでの学習結果を隠れ状態という

・RNNの例では、中間層の入力は、

入力(x)と重み(w1) に加え

パラメータ(h)に隠れ状態の重み(w2)をかけたものとなる

x * w1 + h * w2 + b

ドロップアウト

過学習を防ぐ方法

特定の層のニューロンについて

任意の割合で、任意のニューロンを選び

そのニューロンを無効にして学習する

鞍点

2次関数　y = f (x1, x2) について、

一方の変数が極大値、他方については、極小値となる点

確率的勾配法

・訓練データから、サンプルを抽出(ミニバッチ)

・ミニバッチのサイズは、データ数によらず、一定とする

・ミニバッチのサイズで勾配を計算し、。勾配を近似する

ディープラーニングの各層の役割

ディープラーニングの各層の役割

1.畳み込み層

特徴を抽出する

2.プーリング層

特徴をまとめる

3.全結合層

特徴をもちいて、識別を行う