勾配下降法と確率的勾配下降法

勾配下降法

パラメータの更新のため、すべての訓練データに対する損失を計算する

確率的勾配下降法

ミニバッチ単位など、訓練データ毎に勾配を計算し、

パラメータを更新することで、

学習を高速化する