・正解率などが上がるのは、いろいろな特徴に対応できる
ニューロンが増えるため
・ただし、限界があるため、ニューロンを増やすのではなく、
層を増やす
PR
seq2seqやtransformerで使われるモデル。
encoderは、入力データをベクトルへ変換し、decoderは、データを復元する。
プーリング層の役割
圧縮処理を行うことで、画像などのズレやゆがみを取り除く
〇 出力層の活性化関数として用いられる
〇 各ノードの出力について
・合計すると、1となる
・0または、正の値をとる
・大小関係が保存される
ことから、各出力が、そのクラスに属する確率と解釈される。
・関数 f(x)の最小値を求めるために、微分 f'(x)を利用する
・f'(x) < 0 の場合 （右下がりのグラフになる）
xを+方向へ移動すれば、最小値に近づく
・f'(x) > 0 の場合 (右上がりのグラフになる）
xを-方向へ移動すれば、最小値に近づく
・f'(x) = 0 の点は、臨界点と言われる
・f'(x) = 0 の xでf(x)がその近傍にあるすべての点より値が小さい場合、
その点は、極小値とよばれる。
大きい場合は、極大値とよばれる。
