【DS検定対策】最強の予測モデルの土台！「勾配ブースティング（Gradient Boosting）」の仕組み
機械学習のコンペティションや実務の現場で最も高い予測性能を発揮するアルゴリズムの一つが、誤差を徐々に縮めていくブースティングを数学的に洗練させた「勾配ブースティング（Gradient Boosting）」です！
1. 【 問題 】
ブースティングの発展形であり、モデルの予測誤差（残差）を最小化するために、損失関数の「勾配（グラディエント）」を利用して新しい決定木を逐次的に追加・学習させていく強力な機械学習手法を何と呼ぶでしょうか？
① 勾配ブースティング（Gradient Boosting）
② バギング（Bagging）
③ ランダムフォレスト（Random Forest）
④ ビニング法（Binning）
2. 【 解答 】
3. 整理：勾配ブースティングの仕組みと特徴
どのようにモデルが成長していくのか、そのプロセスを整理しましょう。
| 特徴・プロセス | 内容 |
|---|---|
| 逐次的な学習 （★今回のポイント） |
前のモデルが予測しきれなかった「誤差（残差）」を計算し、その残差を埋めるような新しい決定木を順番（逐次）に作成して足し合わせていく。 |
| 勾配（グラディエント）の利用 | 損失関数（エラーの大きさを示す関数）の「勾配」の方向に合わせて、次のモデルが修正すべき方向を数学的にエレガントに決定する。 |
4. 勾配ブースティングから派生した有名なアルゴリズム
・LightGBM（ライトジービーエム）： Microsoftが開発した、大規模データでも超高速に学習できる大定番モデル。
・CatBoost（キャットブースト）： カテゴリ変数を自動で効率よく処理できる高精度なモデル。
5. DS検定形式：実戦4択クイズ
問：機械学習のアンサンブル学習における「勾配ブースティング」に関する記述として、最も適切なものはどれか。
① モデルの予測誤差を最小化するために、損失関数の勾配を利用して決定木を逐次的に追加・学習させていく手法である。
② 元データからブートストラップサンプルを複数作成し、複数の決定木を完全に独立して並列に学習させる手法である。
③ 決定木のノードを分割する際に、データだけでなく使用する特徴量もランダムに選択してモデル間の独立性を高める手法である。
④ 数値データを適切な境界で区切ってカテゴリー化し、データのばらつきを抑えたり非線形な関係を扱いやすくしたりする手法である。
【 正解： ① 】
解説： 勾配ブースティングの定義と仕組みを正確に理解しているかを問う重要問題です。
①が正解です。誤差の勾配に沿って決定木を逐次的に追加していく手法を指します。
②は「バギング」、③は「ランダムフォレスト」、④は「ビニング法」の説明です。
6. まとめ
DS検定や資格試験、実務で「予測誤差を最小化するために逐次的に決定木」「勾配ブースティング」といったキーワードが出たら、正解は「勾配ブースティング（Gradient Boosting）」です！ XGBoostなどのベースとなる重要概念としてしっかり押さえておきましょう！
