データの分布に関する経験則

ヒストグラムで表したときの分布の型で、

1か所の最大値をもつ左右対称の形であれば、次が成り立つ。

1.おおよそ68%のデータが、平均値から、1標準偏差内に存在する

2.おおよそ95%のデータが、平均値から、2標準偏差内に存在する

3.おおよそすべてのデータが、平均値から、3標準偏差内に存在する

チェビシェフの定理

1. 少なくとも、4分の3のデータは、平均値から2標準偏差内に位置する。

2.少なくとも、9分の8のデータは、平均値から3標準偏差内に位置する。

欠損値、外れ値の処理の例

欠損値の処理の例

(1) 削除

欠損値を含むデータを削除する

(2) 補完

欠損値を推定量で置き換える



外れ値の処理の例

(1) クランプ変換

上限あるいは下限を超えた値を、それぞれの閾値で

置き換える。