チェビシェフの定理

1. 少なくとも、4分の3のデータは、平均値から2標準偏差内に位置する。

2.少なくとも、9分の8のデータは、平均値から3標準偏差内に位置する。

欠損値、外れ値の処理の例

欠損値の処理の例

(1) 削除

欠損値を含むデータを削除する

(2) 補完

欠損値を推定量で置き換える



外れ値の処理の例

(1) クランプ変換

上限あるいは下限を超えた値を、それぞれの閾値で

置き換える。

統計調査の方法

1.全数調査

母集団のすべてを調べる。

2.標本調査

母集団から抽出された標本を調べる。

2-1.無作為抽出調査

母集団の特徴と類似するような標本を抽出する。

2-2.有意抽出調査

意思や意図をもって標本を抽出する。

決定木を用いたアンサンブル法

アンサンブル法は、複数のモデルを組み合わせて、精度を上げる方法。


1.ランダムフォレスト

複数の決定木を用い、平均などで、予想する。


2.勾配ブースティング

前の決定木が間違えたデータを学習して精度を上げる。

ロジスティック回帰

・目的変数が、2値(0と1)の場合の予測方法。

・各説明変数の時の確率が、0.5をコアエうかで、2値の判定を行う。