【DS検定対策】異なるモデルを重ねて予測力アップ！「スタッキング（Stacking）」の仕組み
複数のモデルを組み合わせて予測精度を劇的に高めるアンサンブル学習の最終形態とも言えるのが、異なるアルゴリズムの予測結果をさらに別のモデルで統合する「スタッキング（Stacking / Stacking Generalization）」です！
1. 【 問題 】
バギングやペーティングのように同じ種類のモデルを異なるデータサブセットで学習させるのではなく、「異なる種類の複数のモデル」を組み合わせて、それぞれの予測結果をさらに別のモデル（メタモデル）に入力して最終的な予測を行うアンサンブル手法を何と呼ぶでしょうか？
① スタッキング（Stacking）
② バギング（Bagging）
③ ペーティング（Pasting）
④ ブースティング（Boosting）
2. 【 解答 】
3. 整理：アンサンブル手法（並列系）の構造の違い
バギング・ペーティングと、スタッキングのアプローチの違いを整理しましょう。
| 手法の名前 | 内容・特徴 |
|---|---|
| バギング / ペーティング | 「同じ種類の基礎学習器」を使い、データのサンプリング方法（復元・非復元）を変えて多様性を出し、多数決や平均で予測を統合する。 |
| スタッキング （★今回のポイント） |
「異なる種類の複数のモデル」（例：決定木、サポートベクターマシン、ニューラルネットなど）を組み合わせて予測させ、その結果を「メタモデル（第2段階のモデル）」がさらに学習して最終予測を出力する。 |
4. スタッキングの2段階の仕組み（レイヤー構造）
特徴の異なる複数のアルゴリズムにそれぞれデータを学習させ、予測値を出力させる。
・第2レイヤー（メタモデル）：
第1レイヤーのモデルたちが出力した予測値を「新たな入力データ」として受け取り、「どのモデルの意見をどれくらい信用すべきか」を学習して最終的な答えを導き出す。
5. DS検定形式：実戦4択クイズ
問：機械学習のアンサンブル学習における「スタッキング」に関する記述として、最も適切なものはどれか。
① 異なる種類の複数のモデル（基礎学習器）を組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測値を算出する手法である。
② 非復元抽出を用いて各サブセット内で重複のない形でランダムにデータをサンプリングし、複数のモデルを並列に学習させる手法である。
③ モデルの予測誤差を最小化するために、損失関数の勾配を利用して決定木を逐次的に追加・学習させていく手法である。
④ 決定木のノードを分割する際に、データだけでなく使用する特徴量もランダムに選択してモデル間の独立性を高める手法である。
【 正解： ① 】
解説： スタッキングの定義を正確に理解しているかを問う重要問題です。
①が正解です。異なるモデルを組み合わせてメタモデルで統合する手法を指します。
②は「ペーティング」、③は「勾配ブースティング」、④は「ランダムフォレスト」の説明です。
6. まとめ
DS検定や資格試験で「異なる種類のモデルを組み合わせて」「予測結果をさらに別のモデルで統合する」といったキーワードが出たら、正解は「スタッキング（Stacking）」です！ アンサンブル学習のバリエーションとしてしっかり押さえておきましょう！
