・訓練データから、サンプルを抽出(ミニバッチ)
・ミニバッチのサイズは、データ数によらず、一定とする
・ミニバッチのサイズで勾配を計算し、。勾配を近似する
PR
ディープラーニングの各層の役割
1.畳み込み層
特徴を抽出する
2.プーリング層
特徴をまとめる
3.全結合層
特徴をもちいて、識別を行う
勾配下降法
パラメータの更新のため、すべての訓練データに対する損失を計算する
確率的勾配下降法
ミニバッチ単位など、訓練データ毎に勾配を計算し、
パラメータを更新することで、
学習を高速化する
Auto Encoder
・入力層 - 隠れ層 - 出力層 構造のニューラルネットワークの中で、
入力層と出力層のノード数が同じで、隠れ層のノーズ数が少ないもの
・ 隠れ層は、入力層よりノード数が少ないことにより、情報を圧縮していると
みなすことができる
ディープラーニング コード層
・ニューロンの個数が最小である隠れ層を、
コード層という
・入力層から、コード層までを、エンコーダ
コード層から、出力層までを、デコーダとよぶ
