【DS検定対策】見落としを防ぐ確率!「検出力」の仕組みと第1種・第2種の過誤
統計的仮説検定を行う際、本当は意味のある効果や差があるにもかかわらず「差がない」と誤って見逃してしまうリスクがあります。この見落としを防ぎ、「本当に差があるときに、正しく差があると判定できる確率」のことを「検出力(Statistical Power)」と呼びます!
1. 【 問題 】
統計的仮説検定において、実際には対立仮説が正しい(=本当に差や効果がある)状態のときに、誤って帰無仮説を採択してしまう「第二種の過誤」を起こさず、正しく「差がある」と検出できる確率のことを何と呼ぶでしょうか?
① 検出力(Statistical Power)
② 有意水準(Significance Level)
③ 汎化性能(Generalization Performance)
④ ブートストラップ法(Bootstrap Method)
2. 【 解答 】
3. 整理:仮説検定の2つの過誤と検出力の関係
検定における「間違いのパターン」と検出力の位置づけを整理しましょう。
| 判定の種類 | 実際の状態:差がない | 実際の状態:差がある |
|---|---|---|
| 「差がある」と判定 | 第一種の過誤(α) (本当はないのに、あると誤認) ※有意水準に相当 |
正しい判定(確率:1 - β) ★検出力(Power) |
| 「差がない」と判定 | 正しい判定 | 第二種の過誤(β) (本当はあるのに、見逃す) ★今回のテーマの裏返し |
4. 検出力を高めるための要素
データを多く集めるほど情報の精度が上がり、小さな差でも見落とさずに検出できるようになる(検出力が上がる)。
・有意水準を甘く(大きく)する:
有意水準を 5% から 10% に広げると「差がある」と判定しやすくなるため検出力は上がるが、今度は誤って「差がある」としてしまう第一種の過誤(偽陽性)が増えるトレードオフの関係にある。
5. DS検定形式:実戦4択クイズ
問:統計的仮説検定における「検出力(Statistical Power)」に関する記述として、最も適切なものはどれか。
① 実際には差や効果が存在する状況下において、それを誤って見逃す(第二種の過誤を犯す)ことなく、正しく「差がある」と判定できる確率のことである。
② 実際には差がないにもかかわらず、偶然のばらつきによって誤って「差がある」と判定してしまう第一種の過誤を犯す確率そのものである。
③ 手元にある限られたデータから重複を許した復元抽出を何度も行い、母数の信頼区間をノンパラメトリックに推定する手法のことである。
④ 機械学習モデルが過去の訓練データだけに過度に適合してしまい、未知のデータに対する予測精度が著しく低下する現象のことである。
【 正解: ① 】
解説: 検出力の定義と目的を正確に理解しているかを問う重要問題です。
①が正解です。本当にある差を見落とさず(第二種の過誤を起こさず)に検出できる確率を指します。
②は第一種の過誤(有意水準 α)の説明、③は「ブートストラップ法」、④は「過学習」の説明です。
6. まとめ
DS検定や資格試験で「差がある場合に、差があると判定できる」「第二種の過誤を起こさない確率」「見落としを防ぐ力」といったキーワードが出たら、正解は「検出力(Statistical Power)」です! 第一種の過誤・第二種の過誤との違いあわせてしっかり押さえておきましょう!