1. コンペの概要とデータ構造

このコンペティションは、ゲノムシーケンス解析の手法をモチーフにした「10クラスの多クラス分類タスク」です。

• データの中身： ゲノム解読機で抽出された10文字のDNA断片（10-mer）の出現カウントデータです。A0T0G0C10 から A10T0G0C0 まで、全286パターンの比率（標準化された確率）がカラム（特徴量）として並んでいます。
• ターゲット： 10種類の細菌（大腸菌やピロリ菌、サルモネラ菌など）のいずれか。
• 評価指標： Accuracy（正解率）

数値の意味としては、単なる割合ではなく「理論上の期待値（ランダムな発生確率）からのズレ」を示しており、プラスならその細菌特有の出現パターン、マイナスなら滅多に出現しないパターンを意味します。

2. 実装したベースラインコード

以前挑戦した「Digit Recognizer（手書き数字認識）」と同じ多クラス分類（multiclass）の枠組みを適用しました。文字列の細菌名を LabelEncoder で数値（0〜9）に変換して学習させ、最終的な予測時に元の細菌名へ復元して提出ファイルを作成します。

import pandas as pd
import numpy as np
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
import lightgbm as lgb
import warnings

warnings.filterwarnings("ignore")

# 1. データの読み込み
print("Loading data...")
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')

# 不要なID列の除去と目的変数の分離
X = train.drop(columns=['row_id', 'target'])
y_raw = train['target']
X_test = test.drop(columns=['row_id'])

# ターゲット（文字列の細菌名）を0〜9の数値に変換
le = LabelEncoder()
y = le.fit_transform(y_raw)

# 2. パラメータ設定（10クラスの多クラス分類）
params = {
    'objective': 'multiclass',
    'num_class': 10,
    'metric': 'multi_logloss',
    'verbosity': -1,
    'boosting_type': 'gbdt',
    'learning_rate': 0.1,
    'random_state': 42
}

# 3. Stratified K-Foldによる5分割交差検証
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros((len(train), 10))
test_preds = np.zeros((len(test), 10))

print("Starting Cross Validation...")
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
    X_train, y_train = X.iloc[train_idx], y[train_idx]
    X_val, y_val = X.iloc[val_idx], y[val_idx]
    
    model = lgb.LGBMClassifier(**params, n_estimators=1000)
    
    model.fit(
        X_train, y_train,
        eval_set=[(X_val, y_val)],
        callbacks=[lgb.early_stopping(stopping_rounds=50, verbose=False)]
    )
    
    oof_preds[val_idx] = model.predict_proba(X_val)
    test_preds += model.predict_proba(X_test) / skf.n_splits
    print(f" Fold {fold + 1} finished.")

# 4. 手元スコア（Accuracy）の算出
oof_classes = np.argmax(oof_preds, axis=1)
cv_accuracy = accuracy_score(y, oof_classes)

print("\n" + "=" * 30)
print(f"手元での交差検証スコア（Accuracy）: {cv_accuracy:.5f}")
print("=" * 30)

# 5. 提出用ファイルの作成
test_classes_num = np.argmax(test_preds, axis=1)
test_classes_str = le.inverse_transform(test_classes_num)  # 数値を元の細菌名に戻す

submission = pd.DataFrame({
    'row_id': test['row_id'],
    'target': test_classes_str
})
submission.to_csv('submission_tps_feb2022_lgb.csv', index=False)
print("Submission file created: submission_tps_feb2022_lgb.csv")

3. 実行結果：衝撃のスコアギャップ

Macのローカル環境でコードを実行し、手元の交差検証スコア（CV）を確認したところ、驚くべき高精度を記録しました。しかし、作成した submission_tps_feb2022_lgb.csv をKaggleにLate Submitした結果は大きく異なるものでした。

Loading data...
Starting Cross Validation...
 Fold 1 finished.
 Fold 2 finished.
 Fold 3 finished.
 Fold 4 finished.
 Fold 5 finished.

==============================
手元での交差検証スコア（Accuracy）: 0.99553
==============================
Submission file created: submission_tps_feb2022_lgb.csv

4. 考察とエンジニアとしての気づき

手元でのCVが0.99553（約99.5%）という完璧に近い数値を出していたのに対し、本番のリーダーボード（LB）では0.93937まで急降下するという大きな乖離が発生しました。これこそが、このコンペに潜む「データ重複の罠」です。

• リークによる過学習： このデータセットには全く同じ値を持つ行（重複データ）が多数含まれています。通常の StratifiedKFold で分割すると、同じデータが「学習用」と「検証用」の両方に分散して入り込んでしまい、モデルが答えを暗記してCVが跳ね上がっていました。
• 多クラス分類の速度感： 前回のMoA（マルチラベル）と比べ、10クラスの「multiclass」として1回の実行で済むため、20万行の処理もローカル環境で非常にスムーズでした。

「手元のCVを盲信してはいけない」というKaggleの洗礼を綺麗に浴びる形となりましたが、課題（原因）は明確です。次回はこの「重複データの除外」と「サンプルの重み付け（sample_weight）」を導入し、手元の検証環境を正しく修正した上で本番スコアの大幅更新を狙います。

次回は、重複行の処理とサンプルの重み付けを実装し、Kaggle本番スコア0.98オーバーへの到達を目指します。

※本記事の手順は、MacBook Air（macOS 15.7.7）の環境にて実際に動作を確認したログをベースに作成しています。

1. 【 概要 】

交差検証とは、手元にあるデータを複数のグループに分割し、「学習」と「検証」を組み合わせを変えながら繰り返し行うことで、モデルの汎用的な性能を正しく測定する手法です。

今回は、scikit-learnの `StratifiedKFold`（層化k分割交差検証）と `cross_val_score` を使い、全150件のデータを10分割してモデルを評価する際、内部でどのようにデータが分割・処理されているかの全体像を整理します。

2. 【 基本手順（交差検証のコード例） 】

3. 整理：内部で起きていることのイメージ

`cross_val_score` が実行された瞬間、裏側で自動処理されているステップを順番に深く見ていきましょう。

【 内部の処理プロセス 】

4. 関連して押さえたい「分割件数（135件と15件）の決定プロセス」

コード内に「135」や「15」という数字を明示的に書いていないにもかかわらず、なぜこの件数で分割されるのでしょうか？

これは、読み込んだIrisデータセットの全件数（150件）と、指定した分割数 `n_splits=10` から自動的に計算されています。

・検証用データ（15件）：全データ 150件 ÷ n_splits=10 ＝ 15件
・学習用データ（135件）：残りのデータ（150件 − 15件）＝ 135件

データ件数と分割ルールを渡すだけで、scikit-learnが裏で自動的に「135件で学習、15件で検証」を実行してくれます。

5. 補足：実際のPythonコードと出力ログ

実際にPythonで実行するコードと、算出される結果の出力ログです。
可読性を高めるため、背景は明るいグレーで統一しています。

6. まとめ

scikit-learnの `cross_val_score` を使うことで、面倒なデータの分割・学習・評価・モデルのリセットという10回分のループ処理を一発でスマートに完結させることができます。内部で「全データ数 ÷ 分割数」の計算が自動で行われている仕組みを理解しておくことで、データ数が変わっても適切に交差検証を使いこなせるようになります！

1. 【 問題 】

「男性＝1、女性＝2」や「血液型：A型＝1、B型＝2…」のように、対象を分類・区別するためだけに割り当てられた数値を扱う尺度はどれでしょうか？

(ア) 名義尺度
(イ) 順序尺度
(ウ) 間隔尺度
(エ) 比例尺度（比率尺度）

2. 【 解答 】

3. 整理：データの4大尺度（一目でわかる比較表）

統計学におけるデータの尺度は、下に行くほど「扱える計算（四則演算等）」が増えて高度になります。

4. 間隔尺度と比例尺度の違い（テストでよく出るポイント！）

「気温（℃）」と「体重（kg）」を比較すると違いがよくわかります。

5. DS検定形式：実戦4択クイズ

問：データ尺度に関する記述として、最も適切なものはどれか。

① 「アンケートの5段階評価（1:非常に不満 〜 5:非常に満足）」は、数値の間隔が等しいため間隔尺度に分類される。
② 「西暦」や「気温（℃）」は絶対的なゼロが存在するため、比例尺度に分類される。
③ 「名義尺度」で記録されたデータは、数値の足し算や平均値の計算に数学的な意味を持たない。
④ 「比例尺度」で記録されたデータでは、掛け算や割り算を用いた比率の比較を行うことができない。

【 正解： ③ 】

解説： 各尺度の性質と可能な計算を問う問題です。
③が正解です。男性(1)と女性(2)の平均を出して「1.5」としても意味がないように、名義尺度で足し算や平均計算はできません。
①5段階評価は「順序尺度」です（「1と2の差」と「4と5の差」が等しいとは言えません）。
②西暦や℃は「間隔尺度」です（絶対ゼロが存在しないため）。
④比例尺度は四則演算（掛け算・割り算）がすべて可能です。

6. まとめ

DS検定や資格試験で「単なる分類（性別・血液型等）」が出たら正解は「名義尺度」です！ 「名義（分類）」「順序（順番）」「間隔（差が等しい）」「比例（絶対ゼロがあり比率が計算できる）」という4段階の階層関係をしっかり覚えておきましょう！

1. 【 問題 】

1980年代にAI（人工知能）研究の中心となり、医師や技術者などの専門家の知識を「IF-THENルール」などの形でプログラムに組み込むことで、特定分野の問題解決を行おうとしたコンピュータシステムを何と呼ぶでしょうか？

① エキスパートシステム（Expert System）
② ニュートラルネットワーク（Neural Network）
③ ディープラーニング（Deep Learning）
④ 遺伝的アルゴリズム（Genetic Algorithm）

2. 【 解答 】

3. 整理：エキスパートシステムの構成要素

エキスパートシステムは、大きく以下の2つの心臓部によって成り立っています。

4. なぜ廃れたのか？（第2次AIブームの終焉と2大限界）

当時は「これで人間の代わりができる」と熱狂されましたが、以下の2つの大きな壁にぶつかり、ブームは終焉（AIの冬の時代）を迎えました。

5. DS検定形式：実戦4択クイズ

問：1980年代の第2次AIブームで中心となった「エキスパートシステム」に関する記述として、最も適切なものはどれか。

① 大量のデータから特徴量を自動的に獲得することで、事前のルール記述を一切不要にしたシステムである。
② 人間の専門家が持つ知識を「IF-THEN」形式のルールとして記述し、推論エンジンを用いて特定の決定や評価を行うシステムである。
③ 経験を通じて自己のパラメータ（重み）を自動更新する機械学習モデルの総称である。
④ Web上の大量の自然言語データを学習し、人間のように文章を生成する大規模言語モデル（LLM）の起源となったシステムである。

【 正解： ② 】

解説： エキスパートシステムの特徴と時代背景を問う基本問題です。
②が正解です。知識ベース（ルール）と推論エンジンで動作します。
①・③自力で特徴量やルールを獲得できない（人間が手作業で書き込む必要があった）ことこそがエキスパートシステムの限界でした。
④LLMとは仕組みが全く異なり、データ駆動型ではなくルール記述型です。

6. まとめ

DS検定や資格試験で「1980年代（第2次AIブーム）」「専門家の知識」「ルールベース」「IF-THENルール」「知識獲得のボトルネック」といったキーワードが出たら、正解は「エキスパートシステム」です！ 現代のデータ駆動型AI（機械学習・ディープラーニング）との対比構造として、歴史的背景を含めて完璧に押さえておきましょう！

1. 【 問題 】

LLM（大規模言語モデル）を組み込んだシステムに対し、システムプロンプト（本来の指示）を無視・上書きするような悪意のある入力文を与え、システムの制御を乗っ取ったり秘密情報を出力させたりする攻撃手法を何と呼ぶでしょうか？

① プロンプトインジェクション（Prompt Injection）
② SQLインジェクション（SQL Injection）
③ モデル反転攻撃（Model Inversion Attack）
④ データポイズニング（Data Poisoning）

2. 【 解答 】

3. 整理：プロンプトインジェクションの2大パターン

攻撃の仕込み方によって、大きく以下の2種類に分類されます。特に「間接的」なパターンは実務で極めて危険視されています。

4. なぜ対策が難しいのか？（伝統的なWebセキュリティとの違い）

5. DS・G検定形式：実戦4択クイズ

問：生成AI（LLM）におけるセキュリティリスクである「プロンプトインジェクション」に関する記述として、最も適切なものはどれか。

① 学習データの中に意図的に誤ったデータや偏ったデータを紛れ込ませ、モデルの精度を低下させる攻撃である。
② LLMに対する入力文の中に悪意のある指示を潜ませることで、開発者が設定した本来の挙動（制限ルール）を迂回・上書きし、意図しない出力や機密漏洩を引き起こす攻撃である。
③ モデルの出力結果を大量に観察・分析することで、学習に使用された個人のプライバシーデータを逆算・復元する攻撃である。
④ データベース操作用の言語（SQL）を悪用して、AIサービスに紐づくバックエンドのデータベースから情報を不正取得する攻撃である。

【 正解： ② 】

解説： プロンプトインジェクションの定義を問う標準問題です。
②が正解です。プロンプト（入力文）を介してモデルの指示制限を上書き・無効化する攻撃です。
①は「データポイズニング（汚染）」の説明です。
③は「モデル反転攻撃（Model Inversion）」等の説明です。
④は「SQLインジェクション」の説明です。名前は似ていますが対象が異なります。

6. まとめ

検定試験やセキュリティの現場で「LLM」「システムプロンプトの無視・上書き」「指示の偽装・注入」「悪意のある入力を読み込ませて誤動作」といったキーワードが出たら、正解は「プロンプトインジェクション」です！ 直接攻撃（ジェイルブレイク）だけでなく、Webページ経由の間接攻撃（Indirect）の概念までセットで押さえておきましょう！

1. 【 問題 】

ランダムフォレストやバギングにおいて、ブートストラップサンプリング（重複を許してデータをランダム抽出する手法）を行った際、特定の決定木の学習データとして一度も抽出されなかったデータ（全体の約36.8%）を何と呼ぶでしょうか？

① アウトオブバッグサンプル（OOBサンプル / Out-of-Bag Sample）
② ホールドアウトサンプル（Hold-out Sample）
③ クロスバリデーションサンプル（Cross-Validation Sample）
④ 不均衡サンプル（Imbalanced Sample）

2. 【 解答 】

3. 整理：なぜOOBデータがあると嬉しいのか？（最大メリット）

OOBデータ最大の強みは、「モデルの学習に一切使われていない未知のデータ」になっている点です。

4. なぜ「約36.8%（約3分の1）」あまるのか？

データ数を N 件とし、N 件の中から重複を許して N 回ランダムに抽出する（ブートストラップサンプリング）場合、特定の1件のデータが1回の抽出で選ばれない確率は (1 - 1/N) です。

これを N 回繰り返したときに「一度も選ばれない確率」は、N を無限大に大きくしていくと数学的に 1/e （約0.368 ＝ 約36.8%） に収束します。そのため、全体の約3分の1のデータが自然と「未抽出（OOB）」として残る仕組みになっています。

5. DS検定形式：実戦4択クイズ

问：ランダムフォレストにおける「アウトオブバッグ（OOB）エラ－（Out-of-Bag Error）」に関する記述として、最も適切なものはどれか。

① ブートストラップ抽出の過程で学習データに含まれなかったOOBサンプルを用いて算出されるため、交差検証（Cross Validation）を行わずに汎化性能を推計できる。
② OOBサンプルとは、外れ値（アウトライア）として前処理の段階でデータセットから削除されたデータのことを指す。
③ OOBエラーは訓練データ（学習に使ったデータ）に対する誤分率を直接計算したものであり、過学習の有無を検出することはできない。
④ ブートストラップ抽出において、データ数が十分に大きい場合、OOBサンプルが占める割合は全体の約50%になる。

【 正解： ① 】

解説： OOBの役割とメリットを問う実戦問題です。
①が正解です。OOBは学習に使われていないため、交差検証の代わりとして汎化性能を評価できます。
②前処理で削除された外れ値のことではありません。
③学習に使われていないデータで評価するため、過学習（汎化性能の低下）を正しく評価できます。
④OOBサンプルが占める割合は、数学的に約36.8%（1/e）となります。

6. まとめ

DS検定や資格試験で「ブートストラップで一度も選ばれなかったデータ」「テストデータの代わり」「交差検証をしなくても汎化性能を評価できる」「約36.8%（約1/3）」といったフレーズが出たら、正解は「アウトオブバッグ（OOB）」です！ ランダムフォレストの処理効率の高さ（高速さ）を支える重要概念ですので、しっかり覚えておきましょう！

1. 【 問題 】

機械学習における総予測誤差の分解において、モデルのアルゴリズムやパラメータ調整によって削減することができず、データ収集時の測定誤差や確率的な変動によって必然的に含まれる誤差を何と呼ぶでしょうか？

① ノイズ（不可避誤差 / Irreducible Error）
② バイアス（偏り / Bias）
③ バリアンス（分散 / Variance）
④ 正則化誤差（Regularization Error）

2. 【 解答 】

3. 整理：機械学習における「総誤差の3大要素」

モデルが予測を外す理由は、以下の「3つの誤差の合計（足し算）」として数式的に分解できます。DS検定・G検定の超頻出概念です！

4. なぜノイズは「削減不可能」なのか？

例えば「気温からアイスクリームの売上を予測するモデル」を作る場合を考えてみましょう。

5. DS検定形式：実戦4択クイズ

問：機械学習モデルの予測誤差に関する記述として、最も適切なものはどれか。

① ノイズ（不可避誤差）は、モデルの複雑さを極限まで高めることで理論上ゼロにすることができる。
② 機械学習の総予測誤差は「バイアス」「バリアンス」「ノイズ（不可避誤差）」の和に分解できる。
③ 測定誤差などのノイズが大きいデータに対して過剰に適合させた状態を「高バイアス状態」と呼ぶ。
④ バイアスとバリアンスを同時にゼロに落とし込むことができれば、ノイズの大きさに関わらず予測精度は100%になる。

【 正解： ② 】

解説： 予測誤差の分解に関する本質を問う問題です。
②が正解です。総誤差 ＝ バイアス ＋ バリアンス ＋ ノイズ と定義されます。
①ノイズはモデルの変更や学習によって削減できません。
③ノイズに過剰適合した状態は「高バリアンス状態（過学習）」です。
④バイアスとバリアンスをゼロにできても、ノイズの分だけ誤差が必ず残ります。

6. まとめ

DS検定や資格試験で「測定誤差」「データのゆらぎ」「削減できない誤差」「不可避誤差（Irreducible Error）」といったフレーズが出たら、正解は「ノイズ」です！ 「バイアス（モデルの限界）」「バリアンス（データのブレ）」「ノイズ（データの限界）」の3セットで完璧にマスターしておきましょう！

1. 【 問題 】

機械学習における予測誤差の構成要素において、異なる訓練データセットを用いてモデルを学習させた際に、モデルの予測値がどれだけ変動（ブレ）するかを表す概念を何と呼ぶでしょうか？

① バリアンス（分散：Variance）
② バイアス（偏り：Bias）
③ 不可避誤差（Irreducible Error）
④ 正則化項（Regularization Term）

2. 【 解答 】

3. 整理：「バイアス」と「バリアンス」の違い（的当ての例え）

機械学習の誤差はよく「ダーツの的当て」に例えられます。この2つの違いを完璧に整理しましょう！

4. 超重要：バイアス・バリアンスのトレードオフ

モデルの複雑さ（表現力）を変えたとき、バイアスとバリアンスは相反する動きを見せます。

5. DS検定形式：実戦4択クイズ

問：機械学習における「バリアンス（分散）」に関する記述として、最も適切なものはどれか。

① バリアンスが高いモデルは、訓練データに含まれるノイズや偶発的な特徴まで過剰に学習してしまっている（過学習状態である）可能性が高い。
② バリアンスとは、モデルの予測値の平均と真の値との間の根本的なズレを表すものであり、モデルの表現力が不足している場合に高くなる。
③ モデルの複雑さを上げれば上げるほど、バイアスとバリアンスの双方を同時にゼロへ近づけることができる。
④ バリアンスを抑えるための手法として、モデルのパラメータ数や決定木の深さを極限まで大きくすることが推奨される。

【 正解： ① 】

解説： バリアンスの性質と過学習との関係を問う問題です。
①が正解です。高バリアンスは訓練データ（のノイズ）に過剰にフィットしている過学習状態を意味します。
②は「バイアス（未学習）」の説明です。
③バイアスとバリアンスはトレードオフの関係にあり、同時にゼロにすることはできません。
④モデルを複雑にするとバリアンスは高くなります。バリアンス（過学習）を抑えるには正則化の導入やモデルの単純化が有効です。

6. まとめ

DS検定や資格試験で「訓練データの違いによる予測のブレ」「過学習状態」「モデルが複雑すぎる」といったキーワードが出たら、正解は「バリアンス」です！ 「バイアス＝未学習（単純すぎる）」「バリアンス＝過学習（複雑すぎる）」という対比構造を頭に叩き込んでおきましょう！

1. 【 問題 】

機械学習の分類問題において、ターゲットとなるクラス間のデータ件数に極端な偏り（例：正常99% vs 不正1%）が存在するデータを何と呼ぶでしょうか？

① 不均衡データ（Imbalanced Data）
② 多項データ（Multinomial Data）
③ 構造化データ（Structured Data）
④ 時系列データ（Time Series Data）

2. 【 解答 】

3. 整理：なぜ危険？「正解率（Accuracy）の罠」

例えば「1,000件中、正常が990件・不正が10件」という不均衡データがあるとします。

4. 不均衡データへの「2大対処法（リサンプリング）」

データの偏りを解消してモデルに正しく学習させるため、以下のデータ調整手法が使われます。

※評価指標についても、正解率（Accuracy）ではなく「適合率（Precision）」「再現率（Recall）」「F1値」「AUC」などを用いて正しくモデルを評価します。

5. DS検定形式：実戦4択クイズ

問：機械学習における「不均衡データ」の扱いに関する記述として、最も適切なものはどれか。

① 不均衡データに対して正解率（Accuracy）を評価指標として用いると、少数クラスを一切予測できないモデルであっても見かけの精度が高く評価されてしまうリスクがある。
② アンダーサンプリングとは、少数クラスのデータを複製・合成することによってデータ件数を増やす手法のことである。
③ 不均衡データを学習させる際は、多数派クラスと少数派クラスの分類ミスに対する「重み（コスト）」を等しく設定するのが鉄則である。
④ オーバーサンプリングを行うと元のデータ数が減るため、モデルの学習時間を短縮させたい場合に用いられる。

【 正解： ① 】

解説： 不均衡データの評価における注意点を問う王道問題です。
①が正解です。正解率（Accuracy）だけに頼るとモデルの欠陥を見落とす危険があります。
②少数クラスを増やすのは「オーバーサンプリング」です。
③少数クラスの分類ミス（見逃し）に大きなペナルティ（重み）を与える「コスト考慮型学習」などが有効です。
④データが増えるため、学習時間は長くなります。データ数を減らして高速化するのは「アンダーサンプリング」です。

6. まとめ

DS検定や資格試験で「クラス間のデータ件数に偏りがある」「正解率（Accuracy）が使えない」「オーバーサンプリング / アンダーサンプリング」「SMOTE」といったキーワードが出たら、正解は「不均衡データ」です！ 実務でも必ず直面するテーマですので、評価指標（F1値やAUC）とセットで確実に押さえておきましょう！

1. 【 問題 】

特徴量選択の手法において、特定の特徴量のサブセット（部分集合）を用いてモデルの学習と評価を反復し、モデルの予測精度が最も高くなる最適な特徴量の組み合わせを探索するアプローチを何と呼ぶでしょうか？

① ラッパー法（Wrapper Method）
② フィルター法（Filter Method）
③ 埋め込み法（Embedded Method）
④ 差分プライバシー（Differential Privacy）

2. 【 解答 】

3. 整理：ラッパー法の代表的な3つのアルゴリズム

ラッパー法では「どのように特徴量を増減させて最適な組み合わせを探すか」によって、いくつかの探索アルゴリズムが存在します。

4. メリットとデメリット（フィルター法との違い）

5. DS検定形式：実戦4択クイズ

問：特徴量選択の手法である「ラッパー法（Wrapper Method）」に関する記述として、最も適切なものはどれか。

① 機械学習モデルの学習を一切使わず、特徴量同士の相関係数や分散などの統計量のみに基づいて不要な特徴量を削る手法である。
② 特徴量の組み合わせを変えながら実際にモデルの学習と評価を何度も繰り返し、最適な組み合わせを探索するため、計算コストが非常に高くなる傾向がある。
③ Lasso回帰のように、モデルの損失関数に正則化項を加えることで、学習プロセスと同時に自動的にパラメータをゼロにする手法である。
④ 既存の特徴量を線形結合することによって、次元数を削減した全く新しい無相関な特徴量を作り出す手法である。

【 正解： ② 】

解説： ラッパー法の特徴と弱点を問う標準問題です。
②が正解です。モデル学習を反復するため高精度になりますが、計算コストが非常に重くなります。
①は「フィルター法（Filter Method）」の説明です。
③は「埋め込み法（Embedded Method）」の説明です。
④は「主成分分析（PCA）」などの特徴抽出（Feature Extraction）の説明です。

6. まとめ

DS検定や資格試験で「モデルの学習と評価を繰り返す」「反復して最適な組み合わせを探す」「ステップワイズ法（前進選択・後退消去）」「RFE」「計算コストが高い」といったフレーズが出たら、正解は「ラッパー法」です！ 「高速だが粗いフィルター法」との対比で覚えておきましょう！