勾配下降法と確率的勾配下降法

勾配下降法

関数の最小値をもとめるために、傾き(勾配)が小さくなる方向へ

移動しながら探索する。



確率的勾配下降法

訓練データをランダムに選ぶことで、

初期値をバラバラにして、局所解になる可能性を減らす。

山登り法と焼きなまし法

山登り法

対象とする関数などの値が、大きい/小さい方へ移動することで、

最大値/最小値を見つける

焼きなまし法

山登り法で、「移動の割合」を、最初は大きく、徐々に小さくしていく

ピアソンの積率相関係数

XとYの2つのデータ群の相関係数は、

(XとYの共分散) / ((Xの標準偏差)*(Yの標準偏差))

この相関係数には、次の欠点がある。

・直線以外の関係は、数値化できない

・外れ値の影響を受ける

オートエンコーダー

・複数の隠れ層を経て、出力されるものが入力と同じになることを目指すネットワーク。

・隠れ層の中で、ニューロンの個数が最小となる層をコード層という。

・入力層からコード層までの隠れ層では、ニューロンの数が減っていく。

ここをエンコーダという。

・コード層から出力層までの間では、ニューロンの数は増えていく。

ここをデコーダという。

共散分析 ANOVA

・目的変数が量的変数で、説明変数が、質的変数の場合、

いくつかの観測値が、説明変数たりうるのか？

（要因となっているか)を判定する。


・変動(分散)を、要因による変動部分と、偶然誤差による変動に分解し、

要因による変動が、偶然誤差による変動より、有意的に大きいと、

変動要因であると考える。