決定木

決定木の種類

分類木 ・・・ カテゴリ変数を、説明変数とする。

回帰木 ・・・量的変数を、説明変数とする。



決定木における枝刈り

決定木の部分木のうち、過学習になっているもの等を

削除する。

決定木を用いたアンサンブル法

アンサンブル法は、複数のモデルを組み合わせて、精度を上げる方法。


1.ランダムフォレスト

複数の決定木を用い、平均などで、予想する。


2.勾配ブースティング

前の決定木が間違えたデータを学習して精度を上げる。