【Kaggle挑戦記】Digit Recognizer:画像認識にLightGBMで挑む
S4E11の「名前(Name)」というノイズとの戦いを経て、今回は心機一転、画像認識の登竜門である「Digit Recognizer(手書き数字認識)」に挑戦しました。 画像認識といえばディープラーニング(CNN)が定石ですが、まずは慣れ親しんだLightGBMで「どこまで通用するか」をデバッグします。
1. 戦略:画像を「784個の変数」と見なす
28x28ピクセルの画像データを、意味を持つ「形」として捉えるのではなく、0から255の数値が入った784個のカラムとして扱います。 Macのローカル環境(ターミナル)にて、以下の多クラス分類(0〜9)用パラメータで実行しました。
params = {
'objective': 'multiclass',
'num_class': 10,
'metric': 'multi_logloss',
'verbosity': -1,
'boosting_type': 'gbdt',
'learning_rate': 0.1
}
2. 実行結果:Macターミナルのログ
学習はスムーズに進み、検証データにおいて非常に高い精度をマークしました。
Training until validation scores don't improve for 50 rounds
Did not meet early stopping. Best iteration is:
[100] valid_0's multi_logloss: 0.0857917
--- Validation Accuracy: 0.97417 ---
--- Submission file created: submission_digit_lgb.csv ---
Did not meet early stopping. Best iteration is:
[100] valid_0's multi_logloss: 0.0857917
--- Validation Accuracy: 0.97417 ---
--- Submission file created: submission_digit_lgb.csv ---
3. リーダーボードの結果
Kaggleへ提出した結果、最終的な正解率は以下の通りとなりました。
正解率:0.97139
画像認識の専用モデルを使わずとも、約97.1%という精度を叩き出すことができました。 これは「ピクセルごとの輝度値」だけでも、数字の特徴を捉えるには十分な情報量が含まれていることを示唆しています。
4. 考察:エンジニアとしての気づき
前回のS4E11では「データの中身(Name)を疑う」ことが鍵でしたが、今回は「純粋な数値のパターン」が勝負でした。
- 特徴量の多さ: 784個の変数を同時に扱う負荷も、Macのローカル環境で軽快に処理できました。
- 多クラス分類の挙動: 0か1かの二値分類とは異なり、10種類の確率を計算する「multiclass」の動きをログから確認できたのは収穫です。
97%を超えたここから先は、CNNを導入して「形や線のつながり」を学習させる領域になります。 しかし、エンジニアの「手癖」としてのLightGBMが、画像認識においてもここまで強力なベースラインになることを確認できた、実りある修行となりました。
次なる実戦「Playground Series S4E12」の開始、あるいは地質予測の新コンペへの参戦に向け、 この「数値の羅列をねじ伏せる感覚」を研ぎ澄ませておきたいと思います。
PR