交差検証の種類

1.ホールドアウト

データを、教師データと評価データに分割し

教師データで学習するを評価することで、精度を確認する



2.k-分割検証

・データをk個の部分集合に分割する

・k個のうち、1つの評価データを残し、残りを教師データとして学習、評価する

・これを、k回行う

残差

実際の値と予測値の差

ROC曲線

偽陽性と偽陰性のトレードオフの関係を、グラフで表したもの

前処理 データの標準化

前処理　データの標準化

・入力データを0～1の間、あるいは、-1～1の間へ変換する

・次のような変換式が利用される

(対象の値 -  最小値 ) /  (最大値 - 最小値)

・Z変換と呼ばれる方法は、以下

Z変換値 = ( 対象の値 - 平均値) / 標準偏差

バッチ学習、オンライン学習、ミニバッチ学習

・バッチ学習

学習データすべてで損失関数を考え、最小化する

・オンライン学習

学習データの任意の1個の損失関数を考え、最小化する

・ミニバッチ学習

学習データから、m個のデータをランダムに選択し、損失関数を考え、最適化を図る