・ニューラルネットワークに、それまでの学習結果を加え、
入力として学習する
・それまでの学習結果を隠れ状態という
・RNNの例では、中間層の入力は、
入力(x)と重み(w1) に加え
パラメータ(h)に隠れ状態の重み(w2)をかけたものとなる
x * w1 + h * w2 + b
PR
過学習を防ぐ方法
特定の層のニューロンについて
任意の割合で、任意のニューロンを選び
そのニューロンを無効にして学習する
2次関数 y = f (x1, x2) について、
一方の変数が極大値、他方については、極小値となる点
・訓練データから、サンプルを抽出(ミニバッチ)
・ミニバッチのサイズは、データ数によらず、一定とする
・ミニバッチのサイズで勾配を計算し、。勾配を近似する
ディープラーニングの各層の役割
1.畳み込み層
特徴を抽出する
2.プーリング層
特徴をまとめる
3.全結合層
特徴をもちいて、識別を行う
