最急下降法
・2乗の誤差を極小化する方法
・バックプロパケーションの重みの更新などに用いられる
PR
ニューラルネットワークの出力を決める関数が
活性化関数。
次のようなものがある。
1.ステップ関数
f(x) = 0 ( x <= 0 )
1(x>0)2.シグモイド関数
f(x) = 1 / 1+ e-x
3.ReLU関数
f(x) = 0 ( x <= 0 )
x(x>0)
4.Leaky ReLU関数
f(x) = αx ( x <= 0 )
x(x>0)
αは、微小な値とする
万能近似定理
隠れ層が１つあり、ニューロンの個数が、有限であるが十分に多い場合
ニューラルネットワークは、任意の関数を近似できる
バックプロパゲーション処理では、
各出力ニューロンの誤差を、各結合パラメータで微分し
誤差を小さくするように
影響を与えるパラメータほど大きく更新する
結果から、その結果を生じた条件を推測する際の
もっともらしさを表す指標
