【DS検定対策】偶然か必然かの境界線!「有意水準」の仕組みと第1種の過誤
データサイエンスや統計的仮説検定において、A/Bテストの結果や新薬の効果が「偶然によるものなのか、それとも意味がある違い(有意な差)なのか」を判定するための基準となるのが「有意水準(Significance Level)」です!
1. 【 問題 】
統計的仮説検定において、帰無仮説が実際には正しいにもかかわらず、それを誤って棄却してしまう確率(あるいは「ここまで低い確率なら偶然とは言えない」とみなす境界線の確率)のことを何と呼ぶでしょうか?
① 有意水準(Significance Level)
② 汎化性能(Generalization Performance)
③ ブートストラップ法(Bootstrap Method)
④ バッチノーマライゼーション(Batch Normalization)
2. 【 解答 】
3. 整理:有意水準と p値(p-value)の関係
仮説検定で使われる2つの重要な確率(有意水準と p値)の役割を整理しましょう。
| 用語 | 内容・役割 |
|---|---|
| 有意水準(α) (★今回のポイント) |
人間が事前に設定する「これより低い確率なら、偶然として片付けずに帰無仮説を棄却(破棄)する」という境界線(一般的に 5% = 0.05 や 1% = 0.01 が使われる)。 |
| p値(p-value) | 手元のデータから実際に計算された「偶然だけでその結果(あるいはそれ以上に極端な結果)が起きる確率」。 |
4. 棄却の判断ルール
「偶然にそんなことが起きる確率はたった5%未満しかない」ため、帰無仮説を棄却(破棄)し、「統計的に有意な差がある」と結論づける。
・p値 ≧ 有意水準(例: p ≥ 0.05):
「5%以上の確率で偶然起こり得る範囲内」であるため、帰無仮説を棄却できない(採択)とする。
5. DS検定形式:実戦4択クイズ
問:統計的仮説検定における「有意水準」および「p値」に関する記述として、最も適切なものはどれか。
① 有意水準とは、帰無仮説が正しいにもかかわらず誤ってそれを棄却するとあらかじめ許容する最大の確率(境界線)であり、p値がこの有意水準を下回る場合に帰無仮説を棄却する。
② 有意水準は、機械学習の過学習を防ぐために訓練データの比率を自動的に調整するハイパーパラメータの一種である。
③ p値とは、対立仮説が正しい確率を直接表したものであり、p値が0.05以下であれば対立仮説が100%の確実性で正しいことが証明される。
④ 手元にあるデータから復元抽出を何度も繰り返し、得られた統計量のばらつきから母集団の信頼区間を推定する手法のことであある。
【 正解: ① 】
解説: 有意水準の定義と判定ルールを正確に理解しているかを問う重要問題です。
①が正解です。事前に設定した有意水準と計算されたp値を比較して帰無仮説を棄却するか判定します。
③p値は「帰無仮説のもとでそのデータが偶然起きる確率」であり、対立仮説の確率そのものではありません。
6. まとめ
DS検定や資格試験で「仮説検定において」「どの程度で帰無仮説を破棄(棄却)するか」「5%や1%の境界線」といったキーワードが出たら、正解は「有意水準(Significance Level)」です! p値との比較による判定ルールあわせてしっかり押さえておきましょう!