・n個の値、x1, x2, ・・・xn を入力として、そこからyを出力する
・重み、w1,w2.・・・wnを学習して、
f(x,w) = x1*w1 +・・・+ xn*xn を計算する
・XOR関数を学習できない
PR
ニューロンの重みを w とすると
w = w - α × δw
δwは、wに関して、損失Eを偏微分したもの。
αは、学習率と呼ばれるもの
αの初期値は、比較的大きな値としておく。
学習がすすみ解に近づくと、αを小さくして、
解から遠ざけないようにする。
エポックごとに損失が大きくなっている場合は、
αが大きすぎる可能性がある。
誤差逆伝播の問題点
1.局所最適解に収束し、大域最適解への収束が保証されない
2.重みなどの学習結果が、初期値へ依存する
3.中間層が増えると、伝播される誤差の情報が失われ、学習できない
・Residual Neural Network
・CNNに変更を加えたもの
畳み込み層とプーリング層で抽出された特徴と
元の情報を比較し、精度を上げる
パーセプトロンの学習アルゴリズム
1.初期処理
1-1. 重みづけやバイアス等のパラメータを初期化する
2.パラメータの更新処理
誤差が、指定された値より小さくなるまで、以下を繰り返す
2-1.学習用データから出力値を得る
2-2.出力値と教師信号を比較する
・出力値と、教師信号が等しい場合は、そのまま
・出力値と、教師信号が異なる場合は、学習によりパラメータを更新する
