【機械学習の知識】アンサンブル学習の3大手法（バギング・ブースティング・ランダムフォレスト）の仕組み
機械学習において、1つの賢いモデルを作るよりも、「少し不完全な複数のモデル（弱学習器）を組み合わせて集団の力で予測する」方が圧倒的に高い精度が出ることが多々あります。この強力なアプローチを「アンサンブル学習」と呼びます。今回はその代表的な3つの手法の本質を整理します。
1. 【 概要 】
アンサンブル学習とは、複数の機械学習モデル（主に決定木など）の予測結果を投票や平均化によって統合し、単体よりも安定した高精度な予測を得る手法です。
「どのようにモデル同士を連携させるか」というアプローチの違いによって、主に**ブースティング**、**バギング**、そしてそれらをさらに発展させた**ランダムフォレスト**の3つに分類されます。
2. 【 基本手順（3つのアプローチ） 】
(2) バギング：データを復元抽出（ブートストラップ）した多様なデータセットを使い、複数のモデルを「並列」に作る。
(3) ランダムフォレスト：バギングのデータ多様性に加え、特徴量もランダムに選択してモデル間の独立性を高める。
3. 整理：3大手法の具体的な仕組みと違い
アンサンブル学習のコアとなる3つの手法が、裏側でどのようにモデルを構築しているのかを詳しく見ていきましょう。
【 各手法のメカニズム 】
モデルを同時に作るのではなく、1つ目のモデルを作った後、そこで外れたデータ（予測の誤差）に高い重みをつけて、2つ目のモデルに修正させますこれを順番に繰り返すことで、予測精度を極限まで高めていきます（例：LightGBM, XGBoost）。
・手法(2)：バギング（Bagging）
元データからランダムにデータを抜き出して重複ありのサンプル（ブートストラップサンプル）を複数作り、それぞれ独立したモデルを「同時に（並列で）」学習させます。最後に全員の予測を平均または多数決でまとめます（例：バギング分類器）。
・手法(3)：ランダムフォレスト（Random Forest）
バギングの仕組みをさらに進化させたものです。「データの違い（多様性）」だけでなく、決定木のノード（枝分かれ）を決定する際、**「使う特徴量（列）も毎回ランダムに限定して選ぶ」**ことで、モデル同士の類似性を下げ、圧倒的な頑健性と高精度を実現します。
4. 関連して押さえたい「どれを選べばいいの？（特徴の使い分け）」
実務の現場でモデルを選択する際、それぞれの特徴をどう捉えればよいのでしょうか？
・最高精度を追求したいなら「ブースティング系（LightGBMなど）」
コンペティションや実務の予測精度勝負において、現在最も強力な定番アルゴリズムです。ただし、パラメータ調整を誤ると過学習（オーバーフィッティング）しやすいため注意が必要です。
・安定性と手軽さを重視するなら「ランダムフォレスト」
極端なパラメータ調整をしなくても最初から高い精度を出しやすく、外れ値や過学習にも強いため、ベースラインモデルとしても非常に優秀です。
5. 補足：Python（Scikit-learn）での実装コード例
Pythonを使って、ランダムフォレストやブースティング（勾配ブースティング）を呼び出す際のシンプルなコードイメージです。
from sklearn.ensemble import RandomForestClassifier
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
# 2. 勾配ブースティング（Gradient Boosting）のインポートと実行
from sklearn.ensemble import GradientBoostingClassifier
gb = GradientBoostingClassifier(n_estimators=100, random_state=42)
gb.fit(X_train, y_train)
# それぞれの予測
predictions = rf.predict(X_test)
6. まとめ
アンサンブル学習は、「順番に誤りを修正するブースティング」「データを変えて並列に育てるバギング」「データも特徴量もランダムにするランダムフォレスト」というそれぞれの強みを持っています。
各手法が裏側でどのようにモデルを協力させているかを押さえておくことで、データ特性に応じた最適なアルゴリズム選択ができるようになります！
