〇 出力層の活性化関数として用いられる
〇 各ノードの出力について
・合計すると、1となる
・0または、正の値をとる
・大小関係が保存される
ことから、各出力が、そのクラスに属する確率と解釈される。
PR
・関数 f(x)の最小値を求めるために、微分 f'(x)を利用する
・f'(x) < 0 の場合 (右下がりのグラフになる)
xを+方向へ移動すれば、最小値に近づく
・f'(x) > 0 の場合 (右上がりのグラフになる)
xを-方向へ移動すれば、最小値に近づく
・f'(x) = 0 の点は、臨界点と言われる
・f'(x) = 0 の xでf(x)がその近傍にあるすべての点より値が小さい場合、
その点は、極小値とよばれる。
大きい場合は、極大値とよばれる。
・ニューラルネットワークに、それまでの学習結果を加え、
入力として学習する
・それまでの学習結果を隠れ状態という
・RNNの例では、中間層の入力は、
入力(x)と重み(w1) に加え
パラメータ(h)に隠れ状態の重み(w2)をかけたものとなる
x * w1 + h * w2 + b
過学習を防ぐ方法
特定の層のニューロンについて
任意の割合で、任意のニューロンを選び
そのニューロンを無効にして学習する
2次関数 y = f (x1, x2) について、
一方の変数が極大値、他方については、極小値となる点