勾配下降法
パラメータの更新のため、すべての訓練データに対する損失を計算する
確率的勾配下降法
ミニバッチ単位など、訓練データ毎に勾配を計算し、
パラメータを更新することで、
学習を高速化する
PR
Auto Encoder
・入力層 - 隠れ層 - 出力層 構造のニューラルネットワークの中で、
入力層と出力層のノード数が同じで、隠れ層のノーズ数が少ないもの
・ 隠れ層は、入力層よりノード数が少ないことにより、情報を圧縮していると
みなすことができる
ディープラーニング コード層
・ニューロンの個数が最小である隠れ層を、
コード層という
・入力層から、コード層までを、エンコーダ
コード層から、出力層までを、デコーダとよぶ
過学習を防ぐ方法
特定の層のニューロンについて
任意の割合で、任意のニューロンを選び
そのニューロンを無効にして学習する
畳み込み層は、入力から入力の特徴を表す特徴マップを複数（特徴の分）
出力する
プーリング層は、その特徴の位置をずらし、新たな特徴を生成する
プーリング層の働きにより、特徴の位置などが変化しても
認識することができるようになる
