忍者ブログ

いけいけ機械学習

統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。




ニューロンの重みの更新

ニューロンの重みを w とすると

w = w - α × δw

δwは、wに関して、損失Eを偏微分したもの。

αは、学習率と呼ばれるもの


αの初期値は、比較的大きな値としておく。

学習がすすみ解に近づくと、αを小さくして、

解から遠ざけないようにする。


エポックごとに損失が大きくなっている場合は、

αが大きすぎる可能性がある。