勾配下降法
関数の最小値をもとめるために、傾き(勾配)が小さくなる方向へ
移動しながら探索する。
確率的勾配下降法
訓練データをランダムに選ぶことで、
初期値をバラバラにして、局所解になる可能性を減らす。
PR
山登り法
対象とする関数などの値が、大きい/小さい方へ移動することで、
最大値/最小値を見つける
焼きなまし法
山登り法で、「移動の割合」を、最初は大きく、徐々に小さくしていく
・n個の値、x1, x2, ・・・xn を入力として、そこからyを出力する
・重み、w1,w2.・・・wnを学習して、
f(x,w) = x1*w1 +・・・+ xn*xn を計算する
・XOR関数を学習できない
ニューロンの重みを w とすると
w = w - α × δw
δwは、wに関して、損失Eを偏微分したもの。
αは、学習率と呼ばれるもの
αの初期値は、比較的大きな値としておく。
学習がすすみ解に近づくと、αを小さくして、
解から遠ざけないようにする。
エポックごとに損失が大きくなっている場合は、
αが大きすぎる可能性がある。
誤差逆伝播の問題点
1.局所最適解に収束し、大域最適解への収束が保証されない
2.重みなどの学習結果が、初期値へ依存する
3.中間層が増えると、伝播される誤差の情報が失われ、学習できない
