【DS検定対策】モデル評価の基本！「ホールドアウト法」の仕組みと注意点
機械学習モデルを作った際、そのモデルが「未知のデータに対しても正しく予測できるか（汎化性能）」を評価することは必須です。その最も基本的で直感的な手法が「ホールドアウト法」です。仕組みと特徴を整理しましょう！
1. 【 問題 】
手元にある全データを「学習用（トレーニングデータ）」と「検証用（テストデータ）」の2つに分割し、学習用データのみでモデルを構築した後、検証用データを用いてそのモデルの予測性能を評価する手法を何と呼ぶでしょうか？
① ホールドアウト法
② k分割交差検証（k-fold Cross Validation）
③ リーブワンアウト法（LOOCV）
④ ブートストラップ法
2. 【 解答 】
3. 整理：ホールドアウト法のイメージと分割割合
なぜデータをわざわざ2つに分けるのでしょうか？それは、「学習に使ったデータをそのままテストに使っても、単に答えを暗記しているだけ（過学習）かどうかが分からないから」です。
【 ホールドアウト法の分割イメージ 】
├─ 学習用データ（Train Data）： 70%〜80%
│ → モデルのパラメータを学習させるために使う
│
└─ 検証用データ（Test Data）： 20%〜30%
→ 学習には一切使わず、「初見の問題」として精度チェックに使う
★ 分割時の注意点（層化抽出：Stratified Sampling）：
分類問題などで、データ内のクラス割合（例：病気あり1%・なし99%）が偏っている場合、ランダムに分けるとテストデータに病気データが1件も入らないリスクがあります。そのため、「元のデータのクラス比率を維持したまま2つに分ける（層化分割）」のが実務の鉄則です。
4. ホールドアウト法の「メリット」と「デメリット」
試験では、ホールドアウト法と「交差検証（クロスバリデーション）」の比較が非常によく出題されます。
| 評価手法 | メリット | デメリット |
|---|---|---|
| ホールドアウト法 | データ分割と学習が1回で済むため、計算時間が短くシンプル。大規模データ（ディープラーニング等）に向く。 | データの「分かれ目（運）」によって評価結果が偶然ブレやすい。データ量が少ない場合は不向き。 |
| k分割交差検証 （Cross Validation） |
データをk個に分け、テスト役を交代しながらk回評価して平均をとるため、評価が安定し信頼性が高い。 | モデルの学習をk回繰り返すため、計算時間がk倍かかる。 |
5. DS検定形式：実戦4択クイズ
問：機械学習モデルの評価手法に関する記述として、最も適切なものはどれか。
① ホールドアウト法は、手元にあるデータを学習用と検証用に分けるため、学習用データとして使えるデータ量が全データ量よりも少なくなってしまう欠点がある。
② ホールドアウト法では、検証用データを一度学習に組み込んで精度を確かめた後、再度学習用データに戻して最終モデルを作成するのが一般的である。
③ データ量が極めて少ない場合、交差検証よりもホールドアウト法を採用した方がモデルの評価精度が安定する。
④ ホールドアウト法において、モデルの精度が一番高くなるまで学習用と検証用の分割パターンを何度も変更して評価を繰り返す操作は、正しい評価手順である。
【 正解： ① 】
解説： ホールドアウト法の本質的な特徴・弱点を問う問題です。
①が正解です。データをテスト用にプールしておく分、学習に使えるデータが減ってしまうのがホールドアウト法のデメリットです。
②検証用データは学習に絶対混ぜてはいけません（データリークの原因になります）。
③データ量が少ない場合は、評価が安定する「交差検証（Cross Validation）」を使うべきです。
④分割パターンを変えて一番良い結果を選ぶ行為は「テストデータに対する過学習」を引き起こすためNGです。
6. まとめ
DS検定やG検定において「データを学習用と検証用の2つに分ける」「処理が高速だがデータ偏りの影響を受けやすい」というキーワードが出たら、正解は「ホールドアウト法」です。 データ量が十分に大きいときはホールドアウト法、データが少ないときは交差検証（クロスバリデーション）、という使い分けもセットで押さえておきましょう！
