ニューラルネットワーク 活性化関数

ニューラルネットワークの出力を決める関数が

活性化関数。

次のようなものがある。

1.ステップ関数

f(x) = 0 ( x <= 0 )

          1(x>0)

2.シグモイド関数

f(x)  = 1 / 1+ e^-x

3.ReLU関数

f(x) = 0 ( x <= 0 )

          x(x>0)

4.Leaky ReLU関数

f(x) = αx ( x <= 0 ) 

          x(x>0)

αは、微小な値とする