【DS検定対策】高速で特徴量を絞り込む!「フィルター法」の仕組みと特徴
機械学習モデルに投入するデータ(特徴量)が多すぎると、「学習に時間がかかる」「過学習が起きやすい(次元の呪い)」といった問題が発生します。そこで不要な特徴量を削ぎ落とす手法(特徴量選択)の中でも、最も高速でシンプルなアプローチが「フィルター法(Filter Method)」です!
1. 【 問題 】
特徴量選択(Feature Selection)の手法において、機械学習モデルの学習を一切行わず、特徴量と目的変数との相関係数や相互情報量、分散などの統計的な値(重要度)に基づいて特徴量を絞り込むアプローチを何と呼ぶでしょうか?
① フィルター法(Filter Method)
② ラッパー法(Wrapper Method)
③ 埋め込み法(Embedded Method)
④ 主成分分析(PCA)
2. 【 解答 】
3. 整理:特徴量選択の「3大アプローチ」徹底比較
特徴量選択は「どのタイミングで、モデル学習を使うかどうか」によって以下の3種類に大別されます。DS検定・G検定の超頻出エリアです!
| 手法名 | 仕組み・特徴 | 長所・短所 |
|---|---|---|
| フィルター法 (Filter Method) |
モデル学習を行わず、統計量(相関係数や分散など)だけで特徴量をふるい落とす(フィルターをかける)。 | 【長所】 処理速度が圧倒的に速い。 【短所】 特徴量同士の組み合わせ(交互作用)を考慮できない。 |
| ラッパー法 (Wrapper Method) |
特徴量のセットを変えながら何度もモデル学習と評価を繰り返し、最適な組み合わせを探す(ステップワイズ法など)。 | 【長所】 高い精度が出やすい。 【短所】 学習を繰り返すため計算コストが非常に重い。 |
| 埋め込み法 (Embedded Method) |
モデルの学習プロセス自体に特徴量選択が組み込まれている手法(Lasso回帰のL1正則化、決定木の重要度など)。 | 【長所】 フィルター法とラッパー法のイイトコ取り(高速かつ高精度)。 |
4. フィルター法でよく使われる具体的な統計指標
フィルター法では、以下のような統計量を計算して閾値(しきい値)を下回る特徴量を削除します。
ほとんど値が変化しない(分散がゼロに近い)特徴量は、予測に役立たないため削除。
・ピアソンの相関係数:
目的変数との相関が著しく低い特徴量を削除(あるいは多重共線性を防ぐため特徴量同士の相関が高すぎる一方を削除)。
・カイ二乗検定 / 相互情報量:
カテゴリ変数と目的変数との間の関連性の強さを測定して選択。
5. DS検定形式:実戦4択クイズ
問:機械学習における「フィルター法」を用いた特徴量選択に関する記述として、最も適切なものはどれか。
① 実際にあらゆる機械学習モデルを何度も学習させ、最も検証精度が高かった特徴量の組み合わせを包み込むように選択する手法である。
② モデルの学習を行わずに各特徴量の統計的性質(相関係数など)のみに基づいて選択を行うため、計算量が非常に少なく高速に処理できる。
③ Lasso回帰のように、重みパラメータをゼロに近づける正則化項を損失関数に組み込むことで自動的に選択を行う手法である。
④ 既存の複数の特徴量を合体・変換して、新しい合成特徴量(主成分)を作り出す次元削減手法のことである。
【 正解: ② 】
解説: フィルター法のアプローチ特性を問う問題です。
②が正解です。モデル学習を挟まないため高速である点が最大の強みです。
①は「ラッパー法(Wrapper Method)」の説明です。
③は「埋め込み法(Embedded Method)」の説明です。
④は「主成分分析(PCA)」などの特徴抽出(Feature Extraction)の説明であり、特徴量選択(Feature Selection)とは区別されます。
6. まとめ
DS検定や資格試験で「モデルの学習を行わない」「統計量から選択」「計算速度が速い」「相関係数・分散」といったキーワードが出たら、正解は「フィルター法」です! ラッパー法・埋め込み法との違い、そして「まずフィルター法で大雑把に削ってから、ラッパー法やモデル学習へ進む」という実務の流れまで整理しておきましょう!