今回は、この乖離の原因である「データ重複によるリーク（過学習）」を解消し、正しく検証環境を再構築してLBスコアの更新に挑みました。
分析を進めたところ、全20万行ある train.csv の中に、全く同じ特徴量（286列の数値）を持つ「重複行」が約1.1万行（全体の約5%以上）も存在していることが判明しました。
StratifiedKFold で分割すると、全く同じデータが「学習用」と「検証用」の両方に分散して入り込んでしまいます。結果としてモデルがデータを暗記してしまい、手元のCVだけが異常に高く（0.99553）評価されていました。単に重複行を削除（drop_duplicates）するだけでは、「そのデータがどれだけ高頻度で出現するか」という重要な確率情報（重み）が失われてしまいます。
そこで、groupby().size() を活用して重複行を1行に集約しつつ、出現回数を sample_weight（サンプルの重み）として LightGBM に与えて学習させるアプローチ（sample2.py）へコードを全修正しました。
import pandas as pd
import numpy as np
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
import lightgbm as lgb
import warnings
warnings.filterwarnings("ignore")
# 1. データの読み込みと重複処理
print("Loading data...")
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
X_raw = train.drop(columns=['row_id'])
X_test = test.drop(columns=['row_id'])
# 特徴量とターゲットが全く同じ行を集計して重み（sample_weight）を作成
features = [col for col in X_raw.columns if col != 'target']
train_dedup = X_raw.groupby(features + ['target']).size().reset_index(name='sample_weight')
X = train_dedup[features]
y_raw = train_dedup['target']
sample_weight = train_dedup['sample_weight']
print(f"元のデータ数: {len(train)} 行")
print(f"重複除去後のデータ数: {len(X)} 行") # 123,993 行へ圧縮
# ターゲットの数値変換
le = LabelEncoder()
y = le.fit_transform(y_raw)
# 2. 多クラス分類パラメータ
params = {
'objective': 'multiclass',
'num_class': 10,
'metric': 'multi_logloss',
'verbosity': -1,
'boosting_type': 'gbdt',
'learning_rate': 0.1,
'random_state': 42
}
# 3. Stratified K-Fold（sample_weight付き）
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros((len(X), 10))
test_preds = np.zeros((len(test), 10))
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
X_train, y_train, w_train = X.iloc[train_idx], y[train_idx], sample_weight.iloc[train_idx]
X_val, y_val, w_val = X.iloc[val_idx], y[val_idx], sample_weight.iloc[val_idx]
model = lgb.LGBMClassifier(**params, n_estimators=1000)
# fit時に sample_weight を適用
model.fit(
X_train, y_train,
sample_weight=w_train,
eval_set=[(X_val, y_val)],
eval_sample_weight=[w_val],
callbacks=[lgb.early_stopping(stopping_rounds=50, verbose=False)]
)
oof_preds[val_idx] = model.predict_proba(X_val)
test_preds += model.predict_proba(X_test) / skf.n_splits
# 4. 正しい重み付き評価（Accuracy）の算出
oof_classes = np.argmax(oof_preds, axis=1)
cv_accuracy = accuracy_score(y, oof_classes, sample_weight=sample_weight)
print(f"修正後の手元交差検証スコア（Accuracy）: {cv_accuracy:.5f}")
# 5. 提出用ファイルの作成
test_classes_num = np.argmax(test_preds, axis=1)
test_classes_str = le.inverse_transform(test_classes_num)
submission = pd.DataFrame({
'row_id': test['row_id'],
'target': test_classes_str
})
submission.to_csv('submission_tps_feb2022_dedup_lgb.csv', index=False)
重複一元化を行ったモデルの実行ログおよびKaggleへ再提出（Late Submit）した結果の推移です。
Loading data... Processing duplicates... 元のデータ数: 200000 行 重複除去後のデータ数: 123993 行 Starting Cross Validation with sample_weight... Fold 1 finished. Fold 2 finished. Fold 3 finished. Fold 4 finished. Fold 5 finished. ======================================== 修正後の手元交差検証スコア（Accuracy）: 0.95766 ========================================
【実験結果の比較表】
| 手法 | 手元CV (Accuracy) | Kaggle Public LB | 評価 |
|---|---|---|---|
| 1. 生データ (無加工) | 0.99553 | 0.94192 (0.93937) | 重複データによるリークでCVが歪んでいた |
| 2. 重複除去 + sample_weight | 0.95766 | 0.94317 (Private: 0.94024) | CVが健全化し、本番スコアも着実に向上！ |
手元のCVスコアは前回の「丸暗記による異常値（0.99553）」から0.95766へと下がり、現実的で信頼できる検証値へと正常化されました。そして何より、Kaggle本番（Public LB）のスコアが 0.94192 → 0.94317 へとしっかり向上したことが大きな成果です。
drop_duplicates でデータ量を減らすだけでなく、出現回数を sample_weight としてモデルに伝えることで、情報量を維持したまま過学習を防止できました。手元検証の基盤が整ったため、いよいよ次回はこのコンペの「真のキーパーツ」であるドメイン知識（GCD：最大公約数を用いた実験スケールの復元）を取り入れ、本番スコアの上位帯（0.98以上）への到達を目指します。
次回は、GCD（最大公約数）特徴量の計算・追加によるモデルの飛躍的な精度向上に挑戦します。
TensorFlowにおける数値やデータは、すべて「Tensor（テンソル）」というオブジェクトとして扱われます。
0次元のテンソル（単一の数値）を「スカラー」と呼び、tf.constant() 関数を使うことで簡単に定義できます。Python標準の数値と同じ感覚で、TensorFlowの関数を使って四則演算を実行できます。
a = tf.constant(10) のように、任意の数値を指定してテンソル（スカラー）を作成する。tf.add() や + 演算子などを使用して、定義したスカラー同士の計算を行う。実際のコードと、計算結果がどのように出力されるかのポイントを詳しく見ていきましょう。
【 演算方法と結果のポイント 】
a + b や a * b と記述するだけで、TensorFlow内部で自動的に演算処理が行われます。tf.add(a, b) や tf.multiply(a, b) といったTensorFlow独自の関数を使うことも可能です。可読性や処理明示のために使い分けられます。tf.Tensor(15, shape=(), dtype=int32) のような形式で表示されます。shape=() は0次元（スカラー）であることを意味し、.numpy() を付けることで数値だけを取り出せます。TensorFlowで用意されている代表的な四則演算関数の一覧です。
・加算（足し算）：tf.add(a, b) （演算子: a + b）
・減算（引き算）：tf.subtract(a, b) （演算子: a - b）
・乗算（掛け算）：tf.multiply(a, b) （演算子: a * b）
・除算（割り算）：tf.divide(a, b) （演算子: a / b）
Google Colab等でそのまま実行できるスカラー演算のサンプルコードと実際の実行結果です。
TensorFlowにおける数値操作の最小単位である「スカラー」は、tf.constant() で生成し、直感的な演算子や専用関数で簡単に計算できます。.numpy() メソッドを使えば通常のPython数値として結果を取り出せる点もポイントです。まずはこの基本演算からTensorFlowの記法に慣れていきましょう！
Google Colaboratory（Google Colab）とは、Googleが提供するブラウザ上でPythonのコードを実行できる開発環境です。
面倒なライブラリのインストールや環境構築が一切不要で、あらかじめTensorFlowやNumPyといった主要なAIライブラリが組み込まれています。さらに、AIの計算を高速化する「GPU」環境も無料で利用できるため、初心者の学習に最適です。
Google Colab上でTensorFlowを動かすための具体的な手順を詳しく見ていきましょう。
【 各ステップの具体的な操作 】
Google Colabでコードを実行した際、「すぐに実行されずに待たされる」ことがあります。これらはColabの仕様によるものです。
・初回接続（初期化）の待ち時間：ノートブックを開いて一番最初にコードを実行する際は、裏側で仮想サーバーを起動する処理（割り当て・初期化）が行われるため、数秒〜数十秒の待ち時間が発生します。
・GPUのキュー待ち（順番待ち）：無料版のGPUサーバーはユーザー間で共有されているため、混雑する時間帯は「割り当て待ち」のキューに入ることがあります。
・セッションの保持：一定時間操作を行わないと接続が切断され、実行中のメモリ内容が初期化されます。（作成したコード自体はGoogleドライブに自動保存されます）
以下のコードをColabに貼り付けて実行することで、TensorFlowが正常に動作しているか、またGPUが認識されているかを確認できます。
Google Colabを使えば、難解なローカル環境の構築を行うことなく、**「ブラウザを開いてすぐにTensorFlowを動かす」** ことが可能です。出力結果にバージョン番号と「/physical_device:GPU:0」が表示されれば、環境構築は無事成功です。まずは手軽なColab環境からディープラーニングの学習をスタートしてみましょう！
ニューラルネットワークの層を深くした際、誤差逆伝播法において出力層から入力層に向かって遡るにつれて勾配（微分値）が小さくなりゼロに近づくことで、入力層に近い重みが更新されず学習が進まなくなる現象を何と呼ぶでしょうか？
① 勾配消失問題（Vanishing Gradient Problem）
② 勾配爆発問題（Exploding Gradient Problem）
③ 欠損値問題（Missing Value Problem）
④ 多重共線性（Multicollinearity）
主な原因は、従来使われていた活性化関数「シグモイド関数」の微分特性と、連鎖律（チェーンルール）にあります。
| 要素 | 仕組みと影響 |
|---|---|
| シグモイド関数の微分値 | シグモイド関数の微分係数は最大でも 0.25（1未満）です。 |
| 連鎖律による掛け算 | 誤差逆伝播では、層を1つ遡るごとに微分値を掛け合わせます。 「1未満の数（0.25以下）」を何十層も掛け合わせると、数値は急速にゼロに近づきます（消失）。 |
| 結果（学習の停止） | 入力層に近いパラメータの勾配がほぼ 0 になるため、重みが更新されなくなります。 |
AIの歴史の中で、勾配消失問題を克服するために様々な技術が開発されました。
問：ニューラルネットワークの学習における「勾配消失問題」とその対策に関する記述として、最も適切なものはどれか。
① 勾配消失問題は、活性化関数にReLUを採用することで、正の入力領域における微分値が0になるため発生しやすくなる。
② 重みの初期値を極めて大きな値に設定することで、誤差逆伝播時の勾配消失を完全に防止することができる。
③ シグモイド関数を深層ニューラルネットワークの各層に使用すると、微分値の最大値が1未満であるため勾配消失が発生しやすい。
④ 勾配消失問題が起きると、出力層に近い層ほどパラメータの更新量が小さくなり、入力層に近い層ほど急速に学習が進む。
【 正解： ③ 】
解説： 勾配消失の原因と対策の正誤を問う重要問題です。
③が正解です。シグモイド関数の微分値は最大0.25のため、層を重ねると勾配が消失します。
①ReLUは正の領域で微分値が「1」となるため、勾配消失を防ぐ効果があります。
②重みの初期値を大きくしすぎると、逆に「勾配爆発（Exploding Gradient）」を起こします。
④勾配逆伝播は出力層から入力層へ遡るため、影響を受ける（更新が止まる）のは「入力層に近い層」です。
DS検定や資格試験で「誤差逆伝播で勾配がゼロになる」「シグモイド関数の多層利用」「入力層側の重みが更新されない」が出たら、正解は「勾配消失問題」です！ 対策としての「ReLU関数」「Heの初期値」「ResNet（Skip Connection）」もセットで完璧に覚えておきましょう！
]]>自然言語処理やテキストマイニングにおいて、文章集合（コーパス）の中から潜在的なテーマや概念（トピック）を統計的に発見し、各文書がどのトピックにどれくらいの割合で関連しているかを分類・抽出する手法を何と呼ぶでしょうか？
① トピックモデル（Topic Model）
② 単語埋め込みモデル（Word Embedding）
③ 分散表現モデル（Distributed Representation）
④ 形態素解析（Morphological Analysis）
トピックモデルでは、「1つの文書は複数のトピックが一定の割合で混ざり合ってできている」と仮定します。
| 構成要素 | 内容・イメージ |
|---|---|
| トピック（潜在的テーマ） | 関連する単語の確率分布（例：「スポーツ」トピック ＝ 球団・選手・試合・勝利 などの単語が出やすい）。 |
| 文書の分解・分類 | ある記事を「スポーツ 70% ＋ 経済 30%」のように確率的な比率（割合）で表現・分類する。 |
DS検定や資格試験で「トピックモデル」とセットで必ず問われるのが「LDA（Latent Dirichlet Allocation）」です。
問：テキストデータの分析手法に関する記述として、最も適切なものはどれか。
① LDA（Latent Dirichlet Allocation）は、各文書があらかじめ指定された単一のカテゴリに属することを前提とした教師あり分類アルゴリズムである。
② トピックモデルは、文書集合の中に潜む潜在的なテーマ（トピック）と単語の確率分布を統計的に推定する「教師なし学習」の手法である。
③ トピックモデルを実行する前に、文章中の文字n-gramや形態素解析を行うことは原理的に不可能である。
④ TF-IDFは、文書ごとの潜在的なトピック割合を確率分布として直接出力する代表的なトピックモデルである。
【 正解： ② 】
解説： トピックモデルの定義と特徴を問う標準問題です。
②が正解です。教師ラベルなしで文章から潜在的なトピック（テーマ）を発見します。
①LDAは単一カテゴリ固定ではなく、複数のトピック比率を持つ「教師なし学習」モデルです。
③形態素解析等で単語に分かち書きしたデータを入力として使うのが一般的です。
④TF-IDFは単語の重要度（出現頻度とレア度）を算出する手法であり、トピックモデル（確率分布の推定）とは異なります。
DS検定や資格試験で「文章から潜在的なトピック（テーマ）を発見」「教師なし学習」「LDA（潜在ディリクレ配分法）」といったキーワードが出たら、正解は「トピックモデル」です！ 「文書は複数のトピックの混ぜ合わせ（確率分布）で表現できる」という考え方をしっかり押さえておきましょう！
]]>Aprioriアルゴリズムとは、膨大な取引データの中から「頻繁に同時に購入される商品の組み合わせ（関連ルール）」を効率よく検出するためのアルゴリズムです。
有名な「おむつを買う人はビールも一緒に買う」のような購買傾向を発見し、商品の陳列改善やECサイトのレコメンド機能に活用されています。
Aprioriアルゴリズムの選別基準となる「支持度」と「確信度」、そしてルールの有効性を測る「リフト値」の意味を詳しく見ていきましょう。
【 評価指標の具体的な意味 】
「支持度」と「確信度」を使って、内部でどのようにデータが処理されていくか、ステップ順に整理します。
・ステップ1（候補の生成）：全データから「支持度」が閾値以上の組み合わせ（よく買われるペア）だけを抽出する。「めったに買われない商品は何と組みあわせても買われない」という原則（アプリオリ原理）を使い、ここで計算量を一気に減らします。
・ステップ2（フィルタリング）：抽出されたペアの中から、「確信度」が閾値未満のルールを排除する。「Aを買う人はBも買う」という推論の精度が高いものだけが残ります。
・ステップ3（評価）：残ったルールに対して「リフト値」を確認し、実務で使える真の関連ルールを決定します。
Pythonの `mlxtend` ライブラリを使用すると、支持度と確信度の閾値を指定するだけで簡単に関連ルールを抽出できます。
Aprioriアルゴリズムは、**「支持度」で全体の出現頻度を見て無駄な計算をカット（候補作成）**し、**「確信度」でルールの信頼性をチェックして不十分なものを除外（フィルタリング）**する合理的かつスマートな仕組みです。この2つの指標の意味を押さえておくことで、データ分析の結果を正しくビジネスの現場に還元できるようになります！
LLM（大規模言語モデル）の学習プロセスにおいて、人間が準備した「指示（Instruction）」と「理想的な応答（Output）」のペアデータを学習させ、ユーザーの意図や命令に従って適切に応答できるように微調整する手法を何と呼ぶでしょうか？
① インストラクションチューニング（Instruction Tuning）
② 事前学習（Pre-training）
③ 事後学習（Post-training）なしのゼロショット学習
④ 継続的事前学習（Continued Pre-training）
事前学習のみを行ったモデル（ベースモデル）と、インストラクションチューニングを施したモデルでは、同じ入力に対する挙動が全く異なります。
| モデルの段階 | 学習データの形式 | 「日本の首都は？」と入力した時の反応 |
|---|---|---|
| ベースモデル （事前学習のみ） |
Web上の大量の生テキスト （単語の穴埋め・続き予測） |
「日本の首都は？ アメリカの首都は？ フランスの首都は？…」と、問題文の続き（クイズの列挙など）を予測・出力してしまう。 |
| 指示応答モデル （Instruction Tuning後） |
「指示」と「回答」のペア （教師ありデータセット） |
「日本の首都は東京です。」と、指示を理解して正確な回答を返す。 |
生成AI（LLM）が完成するまでには、一般的に以下の3つの大きなステップを踏みます。
问：大規模言語モデル（LLM）における「インストラクションチューニング（Instruction Tuning）」に関する記述として、最も適切なものはどれか。
① インターネット上のラベルのない大量のテキストデータを使い、次の単語を予測する自己教師あり学習の手法である。
② 「指示文」と「それに対する適切な応答文」のペアデータを用いてモデルを微調整し、様々なタスクや命令に意図通り従う能力を向上させる手法である。
③ モデルの出力結果に対して人間が評価（報酬）を与え、強化学習を用いてモデルの安全性を向上させる手法である。
④ 外部のデータベースから関連文書を検索・取得し、それをプロンプトに含めて回答を生成させる手法である。
【 正解： ② 】
解説： インストラクションチューニングの定義を問う標準問題です。
②が正解です。指示と回答のペアデータを用いた教師ありファインチューニング（SFT）です。
①は「事前学習（Pre-training）」の説明です。
③は「RLHF（Reinforcement Learning from Human Feedback）」の説明です。
④は「RAG（検索拡張生成）」の説明です。
DS検定や資格試験で「指示と応答のペア」「SFT（教師あり微調整）」「指示に従う能力の獲得」「ベースモデルからの対話モデル化」といったキーワードが出たら、正解は「インストラクションチューニング」です！ 単なる文章補完（事前学習）から対話型AI（ChatGPT等）へ橋渡しをする超重要技術として、全体の学習ステップと一緒に押さえておきましょう！
]]>自然言語処理（NLP）において、与えられた文字列や文章に対して、隣り合う連続した n 個の文字（または単語）のまとまりに分割して抽出する手法を何と呼ぶでしょうか？
① n-gram（エヌグラム）
② TF-IDF（ティーエフ・アイディーエフ）
③ Word2Vec（ワード・ツー・ベック）
④ 形態素解析（Morphological Analysis）
「データ分析」というテキストを文字単位（文字n-gram）で分割する場合の具体例を見てみましょう。
| 呼び方 | nの値 | 「データ分析」を文字単位で区切った結果 |
|---|---|---|
| Unigram （ユニグラム） |
n = 1 | 「デ」「ー」「タ」「分」「析」 （1文字ずつバラバラに分割） |
| Bigram （バイグラム） |
n = 2 | 「デー」「ータ」「タ分」「分析」 （連続する2文字ずつスライドして抽出） |
| Trigram （トライグラム） |
n = 3 | 「データ」「ータ分」「タ分析」 （連続する3文字ずつスライドして抽出） |
n-gramには「文字単位」だけでなく「単語単位」で区切るパターンもあります。
問：テキストデータの前処理や特徴量抽出に関する記述として、最も適切なものはどれか。
① n-gramとは、文章中の単語の出現頻度と逆文書頻度を掛け合わせて、単語の重要度を数値化する手法である。
② 文字列を連続するn個の要素（文字または単語）のリストに分割して抽出する手法をn-gramと呼び、n=2の場合をBigramと呼ぶ。
③ n-gramを用いると、テキスト中の単語同士の文脈的・意味的な類似度を多次元ベクトル空間上の距離として自動的に表現できる。
④ 形態素解析を行わずにn-gram（単語単位）を作成することは、日本語のような分かち書きをしない言語において常に容易である。
【 正解： ② 】
解説： n-gramの基本性質を問う標準問題です。
②が正解です。連続するn個の単位に区切る手法であり、2個ずつの場合はBigramと呼びます。
①単語の出現頻度と逆文書頻度を掛け合わせる手法は「TF-IDF」の説明です。
③単語の意味や類似度を多次元ベクトル空間で表現するのは「Word2Vec」などの分散表現（単語埋め込み）の説明です。
④日本語のように単語間にスペースがない言語で「単語n-gram」を作るには、事前の形態素解析（分かち書き）が必要となります。一方、「文字n-gram」であれば辞書なしで容易に作成できるのがメリットです。
DS検定や資格試験で「連続するn個の文字・単語」「1個＝Unigram」「2個＝Bigram」「3個＝Trigram」といったキーワードが出たら、正解は「n-gram」です！ 形態素解析（辞書が必要）を使わずにテキストの検索や分類を行える利点も含めて、しっかり理解しておきましょう！
]]>クラスタリングの手法において、各データがいずれか1つのクラスタのみに属すると固定するのではなく、各クラスタへの「帰属の度合い（所属確率など）」を連続値として求める手法を何と呼ぶでしょうか？
① ソフトクラスタリング（Soft Clustering）
② ハードクラスタリング（Hard Clustering）
③ 階層的クラスタリング（Hierarchical Clustering）
④ 次元削減（Dimensionality Reduction）
両者の最大の違いは「データとグループの関係性（曖昧さを許容するかどうか）」にあります。
| 分類タイプ | 特徴・グループ分けの考え方 | 代表的な手法 |
|---|---|---|
| ハードクラスタリング （Hard Clustering） |
各データは「必ずいずれか1つのクラスタ」にのみ所属する（所属度は0か1の二者択一）。境界が明確。 | k-means（k平均法） 階層的クラスタリング |
| ソフトクラスタリング （Soft Clustering） |
各データが「複数のクラスタにどれくらいの度合い（確率）で属しているか」を算出する。境界が曖昧なデータに強い。 | ガウス混合モデル（GMM） ファジィc-means（FCM） |
例えば、「顧客を『映画好き』と『音楽好き』のグループに分ける顧客セグメンテーション」を考えてみましょう。
問：クラスタリング手法に関する記述として、最も適切なものはどれか。
① k-means法は、データが各クラスタに所属する確率を算出する代表的なソフトクラスタリング手法である。
② ソフトクラスタリングでは、1つのデータが複数のクラスタに対してそれぞれ異なる帰属度（所属確率など）を持つことができる。
③ ハードクラスタリングは、データ間の確率分布を前提としたEMアルゴリズムを用いてクラスタリングを行う手法の総称である。
④ ソフトクラスタリングを行う場合、最終的なクラスタの数は人間が事前に指定することが一切できない。
【 正解： ② 】
解説： ソフトとハードの性質の違いを正しく理解しているか問う問題です。
②が正解です。データごとに「A群に60%、B群に40%」のような帰属度を持たせることができます。
①k-meansは代表的な「ハードクラスタリング」です。
③EMアルゴリズムを用いて確率分布を推定するのはガウス混合モデル（GMM）などの「ソフトクラスタリング」です。
④ソフトクラスタリング（GMMやFCM等）であっても、クラスタ数はハイパーパラメータとして指定するのが一般的です。
DS検定や資格試験で「帰属の度合い」「所属確率」「複数グループへの重複・曖昧な所属」といったフレーズが出たら、正解は「ソフトクラスタリング（代表例：GMM、ファジィc-means）」です！ 「0か1かで明確に分けるk-means＝ハード」、「確率や割合で柔軟に分けるGMM＝ソフト」というセットで完璧に覚えておきましょう！
]]>このコンペティションは、ゲノムシーケンス解析の手法をモチーフにした「10クラスの多クラス分類タスク」です。
A0T0G0C10 から A10T0G0C0 まで、全286パターンの比率（標準化された確率）がカラム（特徴量）として並んでいます。数値の意味としては、単なる割合ではなく「理論上の期待値（ランダムな発生確率）からのズレ」を示しており、プラスならその細菌特有の出現パターン、マイナスなら滅多に出現しないパターンを意味します。
以前挑戦した「Digit Recognizer（手書き数字認識）」と同じ多クラス分類（multiclass）の枠組みを適用しました。文字列の細菌名を LabelEncoder で数値（0〜9）に変換して学習させ、最終的な予測時に元の細菌名へ復元して提出ファイルを作成します。
import pandas as pd
import numpy as np
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
import lightgbm as lgb
import warnings
warnings.filterwarnings("ignore")
# 1. データの読み込み
print("Loading data...")
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')
# 不要なID列の除去と目的変数の分離
X = train.drop(columns=['row_id', 'target'])
y_raw = train['target']
X_test = test.drop(columns=['row_id'])
# ターゲット（文字列の細菌名）を0〜9の数値に変換
le = LabelEncoder()
y = le.fit_transform(y_raw)
# 2. パラメータ設定（10クラスの多クラス分類）
params = {
'objective': 'multiclass',
'num_class': 10,
'metric': 'multi_logloss',
'verbosity': -1,
'boosting_type': 'gbdt',
'learning_rate': 0.1,
'random_state': 42
}
# 3. Stratified K-Foldによる5分割交差検証
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros((len(train), 10))
test_preds = np.zeros((len(test), 10))
print("Starting Cross Validation...")
for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
X_train, y_train = X.iloc[train_idx], y[train_idx]
X_val, y_val = X.iloc[val_idx], y[val_idx]
model = lgb.LGBMClassifier(**params, n_estimators=1000)
model.fit(
X_train, y_train,
eval_set=[(X_val, y_val)],
callbacks=[lgb.early_stopping(stopping_rounds=50, verbose=False)]
)
oof_preds[val_idx] = model.predict_proba(X_val)
test_preds += model.predict_proba(X_test) / skf.n_splits
print(f" Fold {fold + 1} finished.")
# 4. 手元スコア（Accuracy）の算出
oof_classes = np.argmax(oof_preds, axis=1)
cv_accuracy = accuracy_score(y, oof_classes)
print("\n" + "=" * 30)
print(f"手元での交差検証スコア（Accuracy）: {cv_accuracy:.5f}")
print("=" * 30)
# 5. 提出用ファイルの作成
test_classes_num = np.argmax(test_preds, axis=1)
test_classes_str = le.inverse_transform(test_classes_num) # 数値を元の細菌名に戻す
submission = pd.DataFrame({
'row_id': test['row_id'],
'target': test_classes_str
})
submission.to_csv('submission_tps_feb2022_lgb.csv', index=False)
print("Submission file created: submission_tps_feb2022_lgb.csv")
Macのローカル環境でコードを実行し、手元の交差検証スコア（CV）を確認したところ、驚くべき高精度を記録しました。しかし、作成した submission_tps_feb2022_lgb.csv をKaggleにLate Submitした結果は大きく異なるものでした。
Loading data... Starting Cross Validation... Fold 1 finished. Fold 2 finished. Fold 3 finished. Fold 4 finished. Fold 5 finished. ============================== 手元での交差検証スコア（Accuracy）: 0.99553 ============================== Submission file created: submission_tps_feb2022_lgb.csv
手元でのCVが0.99553（約99.5%）という完璧に近い数値を出していたのに対し、本番のリーダーボード（LB）では0.93937まで急降下するという大きな乖離が発生しました。これこそが、このコンペに潜む「データ重複の罠」です。
StratifiedKFold で分割すると、同じデータが「学習用」と「検証用」の両方に分散して入り込んでしまい、モデルが答えを暗記してCVが跳ね上がっていました。「手元のCVを盲信してはいけない」というKaggleの洗礼を綺麗に浴びる形となりましたが、課題（原因）は明確です。次回はこの「重複データの除外」と「サンプルの重み付け（sample_weight）」を導入し、手元の検証環境を正しく修正した上で本番スコアの大幅更新を狙います。
次回は、重複行の処理とサンプルの重み付けを実装し、Kaggle本番スコア0.98オーバーへの到達を目指します。