忍者ブログ

いけいけ機械学習

統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。



数量化理論


数量化理論とは、質的データのための多変量解析方法



数量化Ⅰ類は、重回帰分析に対応する手法



数量化Ⅱ類は、判別分析に対応する手法



数量化Ⅲ類は、主成分分析に対応する手法









最適化アルゴリズム


最適化アルゴリズム

1.SGD(確率的勾配加工法)

データの順番を変えながら、ランダムに勾配下降法を適用し、収束の確率を高める

2.Momentum SGD

SGDに、Momentumの概念を加える

3.Adagard

これまで計算した勾配で、学習率を変化させる

4.RMS pop

勾配の合計を指数移動平均で計算する

5.Adam

RMS pop とMomentum SGDを組み合わせ、収束を早くする