特徴量エンジニアリング

機械学習のために、適切な特徴量を揃えるもの。

次のようなことからなる

1.特徴量選択

訓練に役立つ特徴量を選択する

2.特徴量抽出

既存の特徴量を組み合わせる

要約統計量

・データの特徴を表す統計量

・次のような統計量が利用される

• 平均値
• 標準偏差
• 尖度と歪度
• 中央値
• 最頻値

記述統計と推測統計

記述統計

データのもつ性質を記述。

代表値(平均値、中央値など）や散布度（分散など）を利用する。

推測統計

得られたデータを母集団からの標本と考え、標本データから母集団についての推測を行う。

データ分析の流れ

1. 1変数のデータについての要約統一量や、分布等を把握する

2.2変数の相関や関連を把握する

3.2つ以上の変数間の関係を表すモデルを構築する

データマイニングのプロセス例

データマイニングのプロセス例

1.ドメイン知識の獲得

2.データの準備

3.モデリング

4.適用

5.知識の獲得