勾配下降法と確率的勾配下降法

勾配下降法

関数の最小値をもとめるために、傾き(勾配)が小さくなる方向へ

移動しながら探索する。



確率的勾配下降法

訓練データをランダムに選ぶことで、

初期値をバラバラにして、局所解になる可能性を減らす。

山登り法と焼きなまし法

山登り法

対象とする関数などの値が、大きい/小さい方へ移動することで、

最大値/最小値を見つける

焼きなまし法

山登り法で、「移動の割合」を、最初は大きく、徐々に小さくしていく

パーセプトロン線形モデル

・n個の値、x1, x2, ・・・xn を入力として、そこからyを出力する

・重み、w1,w2.・・・wnを学習して、

  f(x,w) = x1*w1 +・・・+ xn*xn を計算する

・XOR関数を学習できない

ニューロンの重みの更新

ニューロンの重みを w とすると

w = w - α × δw

δwは、wに関して、損失Eを偏微分したもの。

αは、学習率と呼ばれるもの


αの初期値は、比較的大きな値としておく。

学習がすすみ解に近づくと、αを小さくして、

解から遠ざけないようにする。


エポックごとに損失が大きくなっている場合は、

αが大きすぎる可能性がある。

誤差逆伝播の問題点

誤差逆伝播の問題点

1.局所最適解に収束し、大域最適解への収束が保証されない

2.重みなどの学習結果が、初期値へ依存する

3.中間層が増えると、伝播される誤差の情報が失われ、学習できない