前処理 欠損値を埋める方法

データの前処理で欠損値を埋める方法には、次がある

1.平均値を使う

2.最小二乗法を使う

3.最尤法を使う

交差検証

データを分割し、一部でモデルを作成し(訓練データ)、

残るデータでテスト評価を行う(評価用データ)。

1.ホールドアウト法

データを訓練用データ(例:全体のデータの70%)、

評価用データ(例:全体のデータの30%)に2分割する。

2. k分割法

・学習用データをk個に分割

・k個のうち、1つを評価用データ、残りを学習用データとして、

学習・評価をk回実行する。

自然言語処理のクリーニング処理の例

テキストを統一する。

・半角変換

　全角半角を、半角に統一する

・小文字変換

　大文字、小文字を、小文字に統一する

・記号除去

　！や。などの記号を消す

・表記を統一

　打ち合わせ、打合せ等

欠損値、外れ値の処理の例

欠損値の処理の例

(1) 削除

欠損値を含むデータを削除する

(2) 補完

欠損値を推定量で置き換える



外れ値の処理の例

(1) クランプ変換

上限あるいは下限を超えた値を、それぞれの閾値で

置き換える。