データ分析の流れの例

1. 仮説の立案

解決する課題を明確化し、解決策の仮説を作る。

2.データの収集

3.データの分析

4.課題解決の検証

データ分析の結果から、解決策を検証する。

データの分布に関する経験則

ヒストグラムで表したときの分布の型で、

1か所の最大値をもつ左右対称の形であれば、次が成り立つ。

1.おおよそ68%のデータが、平均値から、1標準偏差内に存在する

2.おおよそ95%のデータが、平均値から、2標準偏差内に存在する

3.おおよそすべてのデータが、平均値から、3標準偏差内に存在する

欠損値、外れ値の処理の例

欠損値の処理の例

(1) 削除

欠損値を含むデータを削除する

(2) 補完

欠損値を推定量で置き換える



外れ値の処理の例

(1) クランプ変換

上限あるいは下限を超えた値を、それぞれの閾値で

置き換える。

統計調査の方法

1.全数調査

母集団のすべてを調べる。

2.標本調査

母集団から抽出された標本を調べる。

2-1.無作為抽出調査

母集団の特徴と類似するような標本を抽出する。

2-2.有意抽出調査

意思や意図をもって標本を抽出する。

決定木を用いたアンサンブル法

アンサンブル法は、複数のモデルを組み合わせて、精度を上げる方法。


1.ランダムフォレスト

複数の決定木を用い、平均などで、予想する。


2.勾配ブースティング

前の決定木が間違えたデータを学習して精度を上げる。