1. 【 概要 】

カテゴリ変数のエンコーディングとは、質的なデータ（文字や属性）をコンピュータが計算できる量的なデータ（数値）に変換するプロセスです。

手法によって「作られる列の数」や「数値が持つ意味」が大きく異なります。特に「都道府県名」や「商品ID」のように種類（カテゴリ）が大量にあるデータをどう扱うかによって、モデルの精度が大きく変わるため、適切な手法の選択が重要になります。

2. 【 基本手順（6つの代表的な手法） 】

3. 整理：各エンコーディング手法の具体的な違い

6つの手法がそれぞれどのような構造を持ち、何が違うのかをステップごとに詳しく見ていきましょう。

【 各手法の仕組みと特徴 】

4. 関連して押さえたい「どれを使えばいいの？（実務での選び方）」

「手法が多すぎてどれを使えばいいか迷う」という場合の明確な選び方の基準を整理します。

・カテゴリ数が少ない（10未満）＆決定木系モデルなら「One-Hot」
色や性別など、種類が少ないデータでLightGBMやランダムフォレストを使うならOne-Hotが最も安全です。

・カテゴリ数が膨大（数千〜数万）なら「ターゲットエンコーディング」や「頻度エンコーディング」
「郵便番号」や「商品ID」などをOne-Hotにすると列が爆発して破綻するため、ターゲットエンコーディングや頻度エンコーディングで1列に圧縮します。

・順序に意味があるデータなら「順序エンコーディング」
「満足度（低・中・高）」や「学歴（高卒・大卒・院卒）」など、大小関係に意味がある場合は整数に置き換える順序エンコーディングが最適です。

・本格的な統計・回帰分析なら「ダミーコーディング」
Pythonの `statsmodels` やRでp値を厳密に評価したい場合はダミーコーディングを選択します。

5. 補足：Pythonでの実装コード例

Pythonで代表的なエンコーディングを行う際の書き方イメージです。
可読性の高いライトグレーの背景でまとめています。

6. まとめ

カテゴリ変数のエンコーディングには、定番の「One-Hot」「ダミー」「エフェクト」に加え、カテゴリ数が多いときに無双する「ターゲット・頻度エンコーディング」、順序を保持する「順序エンコーディング」など多彩なアプローチがあります。
「データのカテゴリ数」と「使うモデルの種類」に合わせて最適な手法をチョイスし、機械学習モデルの予測性能を最大限に引き出せるようになりましょう！

1. 【 問題 】

統計的自然言語処理において、高次のN-gram（例：3-gram）で十分な頻度データが得られないレアなケースに直面した際、より低次のN-gram（例：2-gramや1-gram）の確率や統計量に順次切り替えてモデルの予測を補う手法を何と呼ぶでしょうか？

① バックオフ（Backoff / フォールバック）
② 特徴量ハッシング（Feature Hashing）
③ ドロップアウト（Dropout）
④ ワンホットエンコーディング（One-Hot Encoding）

2. 【 解答 】

3. 整理：なぜバックオフが必要なのか？（ゼロ確率の問題）

テキスト分析や言語モデルでは、データが不足しているときに大きな問題が起こります。

4. 関連する重要概念：スムージング（平滑化）との違い

5. DS検定形式：実戦4択クイズ

問：自然言語処理や統計的モデリングにおける「バックオフ（Backoff）」に関する記述として、最も適切なものはどれか。

① レアなカテゴリや出現回数の少ない単語を一律に「その他」という1つのカテゴリにまとめる前処理の専用用語である。
② 高次モデルで十分なデータが得られない場合に、より低次のモデルの統計量や確率へ段階的に切り替えて予測を補う手法である。
③ 勾配降下法において、学習の途中で誤差が大きくなった場合に学習率を強制的に引き上げる調整機構である。
④ 決定木の剪定（プルーニング）において、過学習を防ぐために深すぎる葉ノードを強制的に削除するアルゴリズムである。

【 正解： ② 】

解説： バックオフの目的と仕組みを問う標準問題です。
②が正解です。データ不足のときに低次のモデルへ引き返して確率を補います。
①は「レアカテゴリのまとめ（プール）」の解説です。
③は学習率のバックオフではなく、最適化の調整パラメータに関する記述です。
④は決定木の「プルーニング（枝刈り）」の説明です。

6. まとめ

DS検定や資格試験で「高次モデルでデータがない場合に低次モデルに切り替える」「ゼロ確率を防ぐためのバックオフ（フォールバック）」といったキーワードが出たら、正解は「バックオフ」です！ スムージング（平滑化）とともに、自然言語処理の基礎的な確率推定テクニックとして押さえておきましょう！

1. 【 概要 】

2次元のテンソルとは、行と列を持つ「行列（Matrix）」のデータ構造です。

tf.constant() に入れ子のリスト（リストのリスト）を渡すことで、2次元テンソルを簡単に作成できます。Python標準の数値計算と異なり、TensorFlowの関数や演算子は自動的に並列計算や効率的な行列処理を行ってくれます。

2. 【 基本手順（2つのステップ） 】

3. 整理：行列演算の「要素ごとの計算」と「行列積」の違い

行列を扱う際につまずきやすい「2つの計算方法の違い」を整理しておきましょう。

【 演算の種類と特徴 】

4. 関連して押さえたい「2次元テンソル演算の主な関数」

TensorFlowで2次元テンソルを操作する際に役立つ代表的な関数です。

・要素ごとの掛け算：tf.multiply(a, b) （演算子: a * b）
・数学的な行列積：tf.matmul(a, b) （演算子: a @ b）
・形状の確認や変更：tensor.shape や tf.reshape()

5. 補足：Pythonでの実装コード例

Google Colab等でそのまま実行できる2次元テンソル演算のサンプルコードと実際の実行結果です。

6. まとめ

TensorFlowにおける2次元テンソルは、tf.constant() で直感的に定義でき、通常の足し算や要素ごとの計算だけでなく、AI開発に不可欠な「行列積（tf.matmul）」を簡単に計算できます。データが何次元でどのように処理されているかを意識することで、AIモデルの構造もぐっと理解しやすくなります！

1. 【 問題 】

ニューラルネットワークの最適化アルゴリズムにおいて、これまでの学習で得られた勾配の二乗和を蓄積し、それを利用してパラメータごとに学習率を自動的に小さく調整しながら最適化を行う手法を何と呼ぶでしょうか？

① AdaGrad（Adaptive Gradient Algorithm）
② モーメンタム（Momentum）
③ 確率的勾配降下法（SGD）
④ バッチ正規化（Batch Normalization）

2. 【 解答 】

3. 整理：AdaGradの仕組みと画期的なポイント

通常のSGDでは固定だった「学習率」を、パラメータごとにどう変化させるのかを整理しましょう。

4. AdaGradのメリットと「致命的な弱点」

5. DS検定形式：実戦4択クイズ

問：ディープラーニングの最適化アルゴリズムである「AdaGrad」に関する記述として、最も適切なものはどれか。

① 過去のすべての勾配の二乗和を分母に蓄積し、パラメータごとに個別の学習率を自動調整して最適化を行う手法である。
② 物理の慣性（運動量）の概念を取り入れ、前回のパラメータ更新の方向と勢いを次の更新に引き継ぐ手法である。
③ ミニバッチごとにデータの平均と分散を計算し、強制的にデータを標準化して勾配消失を防ぐ手法である。
④ ネットワークの過学習を防止するために、ランダムに一部のニューロンの結合を遮断しながら学習を進める手法である。

【 正解： ① 】

解説： AdaGradの定義と特徴を問う標準問題です。
①が正解です。勾配の二乗和を蓄積し、パラメータごとの学習率を自動調整します。
②は「モーメンタム」の説明です。
③は「バッチ正規化」の説明です。
④は「ドロップアウト」の説明です。

6. まとめ

DS検定や資格試験で「パラメータごとの学習率の自動調整」「過去の勾配の二乗和を蓄積」「学習が途中で止まってしまうリスク」といったキーワードが出たら、正解は「AdaGrad」です！ 先ほどのモーメンタム（慣性）とあわせて、最適化アルゴリズムの代表例としてしっかり押さえておきましょう！

1. 【 問題 】

ニューラルネットワークの最適化アルゴリズムにおいて、通常の確率的勾配降下法（SGD）に「前回の更新の勢い（慣性）」を意味する項を加え、パラメータの振動を抑えて収束を高速化させる手法を何と呼ぶでしょうか？

① モーメンタム（Momentum）
② ドロップアウト（Dropout）
③ バッチ正規化（Batch Normalization）
④ グリッドサーチ（Grid Search）

2. 【 解答 】

3. 整理：なぜモーメンタムが必要なのか？（転がるボールの例え）

通常のSGDとモーメンタムの違いは、「坂道を転がり落ちるボール」に例えると非常にわかりやすくなります。

4. モーメンタムが持つ2つの強力なメリット

5. DS検定形式：実戦4択クイズ

問：ディープラーニングの最適化アルゴリズムである「モーメンタム（Momentum）」に関する記述として、最も適切なものはどれか。

① 学習率を一定に保つのではなく、エポックが進むにつれて学習率を強制的にゼロまで直線的に減衰させる手法である。
② 物理の慣性（運動量）の概念を導入し、前回のパラメータ更新の方向と大きさを一定の割合で今回の更新に反映させることで、振動を抑え最適化を高速化する手法である。
③ ネットワークの過学習を防ぐため、ランダムに一部のニューロンを無効化しながら学習を進める正則化手法である。
④ ミニバッチごとのデータの偏りをなくすために、各層の入力データの平均と分散を強制的に正規化する手法である。

【 正解： ② 】

解説： モーメンタムの目的と仕組みを問う標準問題です。
②が正解です。慣性の力を取り入れて最適化をスムーズかつ高速にします。
①は学習率減衰（Learning Rate Decay）の説明です。
③は「ドロップアウト（Dropout）」の説明です。
④は「バッチ正規化（Batch Normalization）」の説明です。

6. まとめ

DS検定や資格試験で「物理の慣性」「前回の更新の勢いを引き継ぐ」「ジグザグした振動を抑える」「最適化の高速化」といったキーワードが出たら、正解は「モーメンタム（Momentum）」です！ SGDの弱点である「非効率な蛇行」をカバーする必須の拡張手法として覚えておきましょう！

1. 【 問題 】

機械学習の前処理において、元の特徴量（単語やカテゴリ）をハッシュ関数に通してあらかじめ決まった固定長のインデックス（番号）に変換し、メモリ消費を抑えながら次元数を削減する手法を何と呼ぶでしょうか？

① 特徴量ハッシング（Feature Hashing / ハッシュ化トリック）
② 主成分分析（PCA：Principal Component Analysis）
③ 埋め込み法（Embedded Method）
④ ラッパー法（Wrapper Method）

2. 【 解答 】

3. 整理：特徴量ハッシングの仕組みとメリット

通常の One-Hot エンコーディングや辞書作成（全単語を記憶する方式）とは異なり、ハッシングには大きな特徴があります。

4. 注意点：ハッシュ衝突（Collision）

非常に便利なハッシングですが、致命的なトレードオフも存在します。

5. DS検定形式：実戦4択クイズ

問：機械学習における「特徴量ハッシング（ハッシュ化トリック）」に関する記述として、最も適切なものはどれか。

① 主成分分析（PCA）と同様に、データから共分散行列を計算して分散の最大化を図ることで新しい直交軸を作り出す教師なし次元削減手法である。
② ハッシュ関数を用いて高次元な特徴量を固定長の小さな空間にマッピング（変換）することで、単語の辞書を持たずにメモリを節約しながら次元削減を行う手法である。
③ 決定木の分岐をハッシュ化して高速に検索するアルゴリズムであり、ランダムフォレストの計算速度を何倍にも高速化する専用の前処理である。
④ 異なる特徴量が偶然同じインデックスに変換される「ハッシュ衝突」は理論上絶対に発生しないため、高精度なテキスト分類に最適である。

【 正解： ② 】

解説： 特徴量ハッシングの目的と仕組みを問う標準問題です。
②が正解です。ハッシュ関数で固定長にマッピングし、メモリを節約しつつ次元を削減します。
①は「主成分分析（PCA）」の説明です。
③決定木の高速化技術ではなく、主に高次元スパースデータ（テキスト等）の圧縮技術です。
④ハッシュ衝突は原理上発生する可能性があります（そのため次元数を適切に大きく取ります）。

6. まとめ

DS検定や資格試験で「ハッシュ関数」「辞書を持たない」「固定長への変換」「メモリ節約・次元削減」「ハッシュ衝突」といったキーワードが出たら、正解は「特徴量ハッシング（ハッシュ化トリック）」です！ 主成分分析（PCA）との違い（計算をせず関数で一発変換する点）も含めて整理しておきましょう！

今回は、この乖離の原因である「データ重複によるリーク（過学習）」を解消し、正しく検証環境を再構築してLBスコアの更新に挑みました。

1. なぜ手元スコアと本番スコアが大きくズレたのか？

分析を進めたところ、全20万行ある train.csv の中に、全く同じ特徴量（286列の数値）を持つ「重複行」が約1.1万行（全体の約5%以上）も存在していることが判明しました。

• 丸暗記による過学習： 通常の StratifiedKFold で分割すると、全く同じデータが「学習用」と「検証用」の両方に分散して入り込んでしまいます。結果としてモデルがデータを暗記してしまい、手元のCVだけが異常に高く（0.99553）評価されていました。
• 本番データでの失速： Kaggleのテストデータには未知のデータが含まれるため、暗記に頼ったモデルは本番環境（LB 0.93937）で威力を発揮できませんでした。

2. 対策：重複行の一元化と sample_weight の導入

単に重複行を削除（drop_duplicates）するだけでは、「そのデータがどれだけ高頻度で出現するか」という重要な確率情報（重み）が失われてしまいます。

そこで、groupby().size() を活用して重複行を1行に集約しつつ、出現回数を sample_weight（サンプルの重み）として LightGBM に与えて学習させるアプローチ（sample2.py）へコードを全修正しました。

import pandas as pd
import numpy as np
from sklearn.model_selection import StratifiedKFold
from sklearn.preprocessing import LabelEncoder
from sklearn.metrics import accuracy_score
import lightgbm as lgb
import warnings

warnings.filterwarnings("ignore")

# 1. データの読み込みと重複処理
print("Loading data...")
train = pd.read_csv('train.csv')
test = pd.read_csv('test.csv')

X_raw = train.drop(columns=['row_id'])
X_test = test.drop(columns=['row_id'])

# 特徴量とターゲットが全く同じ行を集計して重み（sample_weight）を作成
features = [col for col in X_raw.columns if col != 'target']
train_dedup = X_raw.groupby(features + ['target']).size().reset_index(name='sample_weight')

X = train_dedup[features]
y_raw = train_dedup['target']
sample_weight = train_dedup['sample_weight']

print(f"元のデータ数: {len(train)} 行")
print(f"重複除去後のデータ数: {len(X)} 行")  # 123,993 行へ圧縮

# ターゲットの数値変換
le = LabelEncoder()
y = le.fit_transform(y_raw)

# 2. 多クラス分類パラメータ
params = {
    'objective': 'multiclass',
    'num_class': 10,
    'metric': 'multi_logloss',
    'verbosity': -1,
    'boosting_type': 'gbdt',
    'learning_rate': 0.1,
    'random_state': 42
}

# 3. Stratified K-Fold（sample_weight付き）
skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42)
oof_preds = np.zeros((len(X), 10))
test_preds = np.zeros((len(test), 10))

for fold, (train_idx, val_idx) in enumerate(skf.split(X, y)):
    X_train, y_train, w_train = X.iloc[train_idx], y[train_idx], sample_weight.iloc[train_idx]
    X_val, y_val, w_val = X.iloc[val_idx], y[val_idx], sample_weight.iloc[val_idx]
    
    model = lgb.LGBMClassifier(**params, n_estimators=1000)
    
    # fit時に sample_weight を適用
    model.fit(
        X_train, y_train,
        sample_weight=w_train,
        eval_set=[(X_val, y_val)],
        eval_sample_weight=[w_val],
        callbacks=[lgb.early_stopping(stopping_rounds=50, verbose=False)]
    )
    
    oof_preds[val_idx] = model.predict_proba(X_val)
    test_preds += model.predict_proba(X_test) / skf.n_splits

# 4. 正しい重み付き評価（Accuracy）の算出
oof_classes = np.argmax(oof_preds, axis=1)
cv_accuracy = accuracy_score(y, oof_classes, sample_weight=sample_weight)
print(f"修正後の手元交差検証スコア（Accuracy）: {cv_accuracy:.5f}")

# 5. 提出用ファイルの作成
test_classes_num = np.argmax(test_preds, axis=1)
test_classes_str = le.inverse_transform(test_classes_num)

submission = pd.DataFrame({
    'row_id': test['row_id'],
    'target': test_classes_str
})
submission.to_csv('submission_tps_feb2022_dedup_lgb.csv', index=False)

3. 実行結果とスコア比較

重複一元化を行ったモデルの実行ログおよびKaggleへ再提出（Late Submit）した結果の推移です。

Loading data...
Processing duplicates...
元のデータ数: 200000 行
重複除去後のデータ数: 123993 行

Starting Cross Validation with sample_weight...
 Fold 1 finished.
 Fold 2 finished.
 Fold 3 finished.
 Fold 4 finished.
 Fold 5 finished.

========================================
修正後の手元交差検証スコア（Accuracy）: 0.95766
========================================

【実験結果の比較表】

4. 考察とエンジニアとしての気づき

手元のCVスコアは前回の「丸暗記による異常値（0.99553）」から0.95766へと下がり、現実的で信頼できる検証値へと正常化されました。そして何より、Kaggle本番（Public LB）のスコアが 0.94192 → 0.94317 へとしっかり向上したことが大きな成果です。

• 検証環境（CV）の重要性： 「CVスコアが高ければ良い」わけではなく、適切な前処理によって本番環境（テストデータ）の挙動を正しく反映する検証環境を作ることが最優先であると再認識しました。
• 重み付けの有効性： 単純な drop_duplicates でデータ量を減らすだけでなく、出現回数を sample_weight としてモデルに伝えることで、情報量を維持したまま過学習を防止できました。

手元検証の基盤が整ったため、いよいよ次回はこのコンペの「真のキーパーツ」であるドメイン知識（GCD：最大公約数を用いた実験スケールの復元）を取り入れ、本番スコアの上位帯（0.98以上）への到達を目指します。

次回は、GCD（最大公約数）特徴量の計算・追加によるモデルの飛躍的な精度向上に挑戦します。

1. 【 概要 】

TensorFlowにおける数値やデータは、すべて「Tensor（テンソル）」というオブジェクトとして扱われます。

0次元のテンソル（単一の数値）を「スカラー」と呼び、tf.constant() 関数を使うことで簡単に定義できます。Python標準の数値と同じ感覚で、TensorFlowの関数を使って四則演算を実行できます。

2. 【 基本手順（2つのステップ） 】

3. 整理：スカラー演算の「基本コード」と出力の読み方

実際のコードと、計算結果がどのように出力されるかのポイントを詳しく見ていきましょう。

【 演算方法と結果のポイント 】

4. 関連して押さえたい「スカラー演算の主な関数」

TensorFlowで用意されている代表的な四則演算関数の一覧です。

・加算（足し算）：tf.add(a, b) （演算子: a + b）
・減算（引き算）：tf.subtract(a, b) （演算子: a - b）
・乗算（掛け算）：tf.multiply(a, b) （演算子: a * b）
・除算（割り算）：tf.divide(a, b) （演算子: a / b）

5. 補足：Pythonでの実装コード例

Google Colab等でそのまま実行できるスカラー演算のサンプルコードと実際の実行結果です。

6. まとめ

TensorFlowにおける数値操作の最小単位である「スカラー」は、tf.constant() で生成し、直感的な演算子や専用関数で簡単に計算できます。.numpy() メソッドを使えば通常のPython数値として結果を取り出せる点もポイントです。まずはこの基本演算からTensorFlowの記法に慣れていきましょう！

1. 【 概要 】

Google Colaboratory（Google Colab）とは、Googleが提供するブラウザ上でPythonのコードを実行できる開発環境です。

面倒なライブラリのインストールや環境構築が一切不要で、あらかじめTensorFlowやNumPyといった主要なAIライブラリが組み込まれています。さらに、AIの計算を高速化する「GPU」環境も無料で利用できるため、初心者の学習に最適です。

2. 【 基本手順（2つのステップ） 】

3. 整理：環境構築の「ステップ順」徹底解説

Google Colab上でTensorFlowを動かすための具体的な手順を詳しく見ていきましょう。

【 各ステップの具体的な操作 】

4. 関連して押さえたい「実行時の注意点と仕様」

Google Colabでコードを実行した際、「すぐに実行されずに待たされる」ことがあります。これらはColabの仕様によるものです。

・初回接続（初期化）の待ち時間：ノートブックを開いて一番最初にコードを実行する際は、裏側で仮想サーバーを起動する処理（割り当て・初期化）が行われるため、数秒〜数十秒の待ち時間が発生します。
・GPUのキュー待ち（順番待ち）：無料版のGPUサーバーはユーザー間で共有されているため、混雑する時間帯は「割り当て待ち」のキューに入ることがあります。
・セッションの保持：一定時間操作を行わないと接続が切断され、実行中のメモリ内容が初期化されます。（作成したコード自体はGoogleドライブに自動保存されます）

5. 補足：動作確認用Pythonコード例

以下のコードをColabに貼り付けて実行することで、TensorFlowが正常に動作しているか、またGPUが認識されているかを確認できます。

6. まとめ

Google Colabを使えば、難解なローカル環境の構築を行うことなく、**「ブラウザを開いてすぐにTensorFlowを動かす」** ことが可能です。出力結果にバージョン番号と「/physical_device:GPU:0」が表示されれば、環境構築は無事成功です。まずは手軽なColab環境からディープラーニングの学習をスタートしてみましょう！

1. 【 問題 】

ニューラルネットワークの層を深くした際、誤差逆伝播法において出力層から入力層に向かって遡るにつれて勾配（微分値）が小さくなりゼロに近づくことで、入力層に近い重みが更新されず学習が進まなくなる現象を何と呼ぶでしょうか？

① 勾配消失問題（Vanishing Gradient Problem）
② 勾配爆発問題（Exploding Gradient Problem）
③ 欠損値問題（Missing Value Problem）
④ 多重共線性（Multicollinearity）

2. 【 解答 】

3. 整理：なぜ勾配が消失してしまうのか？

主な原因は、従来使われていた活性化関数「シグモイド関数」の微分特性と、連鎖律（チェーンルール）にあります。

4. 勾配消失を解決した「3つの画期的アプローチ」

AIの歴史の中で、勾配消失問題を克服するために様々な技術が開発されました。

5. DS検定形式：実戦4択クイズ

問：ニューラルネットワークの学習における「勾配消失問題」とその対策に関する記述として、最も適切なものはどれか。

① 勾配消失問題は、活性化関数にReLUを採用することで、正の入力領域における微分値が0になるため発生しやすくなる。
② 重みの初期値を極めて大きな値に設定することで、誤差逆伝播時の勾配消失を完全に防止することができる。
③ シグモイド関数を深層ニューラルネットワークの各層に使用すると、微分値の最大値が1未満であるため勾配消失が発生しやすい。
④ 勾配消失問題が起きると、出力層に近い層ほどパラメータの更新量が小さくなり、入力層に近い層ほど急速に学習が進む。

【 正解： ③ 】

解説： 勾配消失の原因と対策の正誤を問う重要問題です。
③が正解です。シグモイド関数の微分値は最大0.25のため、層を重ねると勾配が消失します。
①ReLUは正の領域で微分値が「1」となるため、勾配消失を防ぐ効果があります。
②重みの初期値を大きくしすぎると、逆に「勾配爆発（Exploding Gradient）」を起こします。
④勾配逆伝播は出力層から入力層へ遡るため、影響を受ける（更新が止まる）のは「入力層に近い層」です。

6. まとめ

DS検定や資格試験で「誤差逆伝播で勾配がゼロになる」「シグモイド関数の多層利用」「入力層側の重みが更新されない」が出たら、正解は「勾配消失問題」です！ 対策としての「ReLU関数」「Heの初期値」「ResNet（Skip Connection）」もセットで完璧に覚えておきましょう！