【DS検定対策】精度重視の特徴量選び！「ラッパー法」の仕組みと代表的手法
前回の「フィルター法」はモデルの学習を行わずに高速処理する手法でした。それに対し、実際に機械学習モデルの学習と評価を何度も繰り返し、最も精度の高くなる特徴量の組み合わせを探し出すアプローチが「ラッパー法（Wrapper Method）」です！
1. 【 問題 】
特徴量選択の手法において、特定の特徴量のサブセット（部分集合）を用いてモデルの学習と評価を反復し、モデルの予測精度が最も高くなる最適な特徴量の組み合わせを探索するアプローチを何と呼ぶでしょうか？
① ラッパー法（Wrapper Method）
② フィルター法（Filter Method）
③ 埋め込み法（Embedded Method）
④ 差分プライバシー（Differential Privacy）
2. 【 解答 】
3. 整理：ラッパー法の代表的な3つのアルゴリズム
ラッパー法では「どのように特徴量を増減させて最適な組み合わせを探すか」によって、いくつかの探索アルゴリズムが存在します。
| 手法名 | 探索の進め方・仕組み |
|---|---|
| 前進選択法 （Forward Selection） |
特徴量が「0個」の状態からスタート。1つずつ特徴量を加えてモデルを学習・評価し、最も精度が向上する特徴量を順に追加していく。 |
| 後退消去法 （Backward Elimination） |
「すべての特徴量」が入った状態からスタート。1つずつ特徴量を除外してモデルを学習・評価し、削っても最も影響がない（精度が下がらない）特徴量を順に削除していく。 |
| 再帰的特徴削減 （RFE：Recursive Feature Elimination） |
全特徴量で学習後、モデルから出力された重要度（重みなど）が最も低い特徴量を削減し、残った特徴量で再度学習…というループを希望の数になるまで繰り返す。 |
4. メリットとデメリット（フィルター法との違い）
・実際のモデルを使って評価するため、モデルに最適な高精度の特徴量セットが得られやすい。
・複数特徴量の組み合わせ効果（交互作用）も評価できる。
★ デメリット（短所）：
・特徴量の組み合わせごとに何度もモデル学習をやり直すため、計算コスト・時間が膨大になる。
・特徴量数が多すぎると（組み合わせ爆発が起きるため）適用できない。
5. DS検定形式：実戦4択クイズ
問：特徴量選択の手法である「ラッパー法（Wrapper Method）」に関する記述として、最も適切なものはどれか。
① 機械学習モデルの学習を一切使わず、特徴量同士の相関係数や分散などの統計量のみに基づいて不要な特徴量を削る手法である。
② 特徴量の組み合わせを変えながら実際にモデルの学習と評価を何度も繰り返し、最適な組み合わせを探索するため、計算コストが非常に高くなる傾向がある。
③ Lasso回帰のように、モデルの損失関数に正則化項を加えることで、学習プロセスと同時に自動的にパラメータをゼロにする手法である。
④ 既存の特徴量を線形結合することによって、次元数を削減した全く新しい無相関な特徴量を作り出す手法である。
【 正解： ② 】
解説： ラッパー法の特徴と弱点を問う標準問題です。
②が正解です。モデル学習を反復するため高精度になりますが、計算コストが非常に重くなります。
①は「フィルター法（Filter Method）」の説明です。
③は「埋め込み法（Embedded Method）」の説明です。
④は「主成分分析（PCA）」などの特徴抽出（Feature Extraction）の説明です。
6. まとめ
DS検定や資格試験で「モデルの学習と評価を繰り返す」「反復して最適な組み合わせを探す」「ステップワイズ法（前進選択・後退消去）」「RFE」「計算コストが高い」といったフレーズが出たら、正解は「ラッパー法」です！ 「高速だが粗いフィルター法」との対比で覚えておきましょう！
