【DS検定対策】実務で直面する最大の壁!「不均衡データ」の仕組みと対処法
「分類モデルを作ったら精度99%が出た!…と思ったら、単に数の多いクラスを当てずっぽうで予測していただけだった」という失敗は、データサイエンスの現場で頻繁に起こります。この原因となるのが「不均衡データ(Imbalanced Data)」です!
1. 【 問題 】
機械学習の分類問題において、ターゲットとなるクラス間のデータ件数に極端な偏り(例:正常99% vs 不正1%)が存在するデータを何と呼ぶでしょうか?
① 不均衡データ(Imbalanced Data)
② 多項データ(Multinomial Data)
③ 構造化データ(Structured Data)
④ 時系列データ(Time Series Data)
2. 【 解答 】
3. 整理:なぜ危険?「正解率(Accuracy)の罠」
例えば「1,000件中、正常が990件・不正が10件」という不均衡データがあるとします。
・この場合でも、1,000件中990件が当たるため、正解率(Accuracy)は「99%」になってしまいます!
★ 問題点:
本当に検出したい「10件の不正」は1件も見つけられていないのに、正解率だけを見ると優秀なモデルに見えてしまうのが「正解率の罠(Accuracy Paradox)」です。
4. 不均衡データへの「2大対処法(リサンプリング)」
データの偏りを解消してモデルに正しく学習させるため、以下のデータ調整手法が使われます。
| 手法名 | 仕組み | 特徴・注意点 |
|---|---|---|
| オーバーサンプリング (Oversampling) |
少ない方のクラスのデータを増やしてバランスを整える(SMOTEなどの合成手法が有名)。 | データが増えるため計算コストが増すが、情報損失がない。過学習に注意。 |
| アンダーサンプリング (Undersampling) |
多い方のクラスのデータを削って減らし、少ない方にサイズを合わせる。 | 計算スピードは速くなるが、元あった貴重なデータを捨てる(情報損失)リスクがある。 |
※評価指標についても、正解率(Accuracy)ではなく「適合率(Precision)」「再現率(Recall)」「F1値」「AUC」などを用いて正しくモデルを評価します。
5. DS検定形式:実戦4択クイズ
問:機械学習における「不均衡データ」の扱いに関する記述として、最も適切なものはどれか。
① 不均衡データに対して正解率(Accuracy)を評価指標として用いると、少数クラスを一切予測できないモデルであっても見かけの精度が高く評価されてしまうリスクがある。
② アンダーサンプリングとは、少数クラスのデータを複製・合成することによってデータ件数を増やす手法のことである。
③ 不均衡データを学習させる際は、多数派クラスと少数派クラスの分類ミスに対する「重み(コスト)」を等しく設定するのが鉄則である。
④ オーバーサンプリングを行うと元のデータ数が減るため、モデルの学習時間を短縮させたい場合に用いられる。
【 正解: ① 】
解説: 不均衡データの評価における注意点を問う王道問題です。
①が正解です。正解率(Accuracy)だけに頼るとモデルの欠陥を見落とす危険があります。
②少数クラスを増やすのは「オーバーサンプリング」です。
③少数クラスの分類ミス(見逃し)に大きなペナルティ(重み)を与える「コスト考慮型学習」などが有効です。
④データが増えるため、学習時間は長くなります。データ数を減らして高速化するのは「アンダーサンプリング」です。
6. まとめ
DS検定や資格試験で「クラス間のデータ件数に偏りがある」「正解率(Accuracy)が使えない」「オーバーサンプリング / アンダーサンプリング」「SMOTE」といったキーワードが出たら、正解は「不均衡データ」です! 実務でも必ず直面するテーマですので、評価指標(F1値やAUC)とセットで確実に押さえておきましょう!