勾配下降法と確率的勾配下降法

勾配下降法

関数の最小値をもとめるために、傾き(勾配)が小さくなる方向へ

移動しながら探索する。



確率的勾配下降法

訓練データをランダムに選ぶことで、

初期値をバラバラにして、局所解になる可能性を減らす。