最適化アルゴリズム

最適化アルゴリズム

1.SGD(確率的勾配加工法）

データの順番を変えながら、ランダムに勾配下降法を適用し、収束の確率を高める

2.Momentum SGD

SGDに、Momentumの概念を加える

3.Adagard

これまで計算した勾配で、学習率を変化させる

4.RMS pop

勾配の合計を指数移動平均で計算する

5.Adam

RMS pop とMomentum SGDを組み合わせ、収束を早くする