【Kaggle挑戦記】Titanic 攻略 #2：最短ルートで初提出（Submit）まで駆け抜ける

前回、データを読み込むところまで成功しました。今回は精度を一旦度外視し、「最短で予測結果を Kaggle に提出（Submit）すること」を目標にします。分析の世界では、まず一度最後まで通してみることが、全体の流れを把握する近道です。

1. 準備：環境構築とデータの再確認

まずは必要なライブラリの導入と、前回ロードしたデータの状態を再読込して準備を整えます。

[ ターミナルでのインストール ]
conda install scikit-learn

[ ライブラリのインポートとバージョン確認 ]
import pandas as pd
import sklearn
print(sklearn.__version__) # 1.7.2 であることを確認

[ データの読み込み（前回の復習） ]
train_df = pd.read_csv('train.csv')
test_df = pd.read_csv('test.csv')

2. 現状把握：AIの「計算」を阻害する Null を特定する

データを読み込んだら、次にすべきはデータの「健康診断」です。プログラムの演算を停止させたり、予測不能に陥らせたりする「Null（欠損値）」と「文字列（Object型）」を特定します。

【 1. Null の確認：isnull() と sum() の組み合わせ 】

データセット内に値が存在しない状態を Null と呼びます。pandas の isnull() 関数を実行すると、全データに対して「Null なら True(1)」「値があれば False(0)」というブール値（論理値）のデータセットが内部で生成されます。

これに sum() を繋げることで、True(1) の数を合計し、各項目にいくつ Null が含まれているかを一気に集計できる仕組みです。

# 各項目に含まれる Null の数を集計
print(train_df.isnull().sum())

[ 実行結果 ]
Age 177 # ← 177件の Null（年齢不明）
Cabin 687 # ← 687件の Null（客室不明）
Embarked 2 # ← 2件の Null（港不明）

→ 数値が入るべき場所に値がない（Null）状態では、AIモデルが数学的な行列演算を行えずエラーとなります。何らかの値で埋めるか、除外する判断が必要です。

【 2. データ型（dtypes）の確認：数値化が必要な項目 】

# データの型を確認
print(train_df.dtypes)

[ 実行結果 ]
Name object
Sex object # ← 文字列型。数値への変換が必須
Embarked object # ← 文字列型。数値への変換が必須

→ object 型と表示される項目は、そのままではモデルの学習には使えません。

3. 最短の「前処理」：AIが読める形に整える

特定した課題に対し、今回は「最短完走」を優先して以下の処理を施します。object 型のうち、今回の予測に採用する Sex のみ数値に置換します。

# 1. 欠損値を埋める（Fare:運賃 などの空欄を中央値で補完）
# ※学習項目に使わない Age や Cabin の Null は一旦放置します
test_df['Fare'] = test_df['Fare'].fillna(test_df['Fare'].median())

# 2. 文字列を数値に変換（Sex を male=0, female=1 に変換）
# ※Embarked も object型ですが、今回は特徴量に含めないため変換をスキップします
train_df['Sex'] = train_df['Sex'].replace({'male': 0, 'female': 1})
test_df['Sex'] = test_df['Sex'].replace({'male': 0, 'female': 1})

4. 学習と予測：標準モデル「ランダムフォレスト」

予測モデルには、強力で使い勝手の良い RandomForestClassifier を使用します。

from sklearn.ensemble import RandomForestClassifier

# Pclass(チケットクラス)、Sex(性別)、SibSp(兄弟・配偶者数)、Parch(両親・子供数)を使用
# これらは Null がなく、かつ数値化が済んでいる項目です
features = ["Pclass", "Sex", "SibSp", "Parch"]
X = train_df[features]
y = train_df["Survived"]
X_test = test_df[features]

# モデル作成・学習
model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=1)
model.fit(X, y)

# 予測実行
predictions = model.predict(X_test)

5. 出力結果の確認：submission.csv の中身

予測が完了すると、Kaggle 提出用の CSV ファイルが生成されます。中身を確認すると、テストデータの乗客（PassengerId 892番〜）に対して、AIが導き出した「生存(1) / 死亡(0)」のフラグが並んでいることがわかります。

PassengerId,Survived
892,0
893,1
894,0
895,0
896,0
897,0
898,1

6. 実践：Kaggle へのアップロードとスコア確認

作成した submission.csv を Kaggle に提出する最終ステップです。

1. Titanic コンペのページ右上にある青い [Submit Predictions] ボタンをクリックします。
2. 専用の提出ページに移動するので、画面中央の「Upload files」エリアに submission.csv をドラッグ＆ドロップします。
3. 右下の [Submit] をクリックします。

数秒後、同じ画面上に以下の結果が表示されます。

submission.csv
Complete · Just now
Score: 0.76794

【 自分の順位を確認する 】

提出履歴から Leaderboard（順位表）へ移動し、自分の立ち位置を確認してみましょう。

9065 XXXX（私の登録名）
Score: 0.76794

順位表を見ると、トップ層には Score 1.00000（正解率100%） がズラリと並んでいます。今の自分とはまだ距離がありますが、最短ルートで完走したことで、戦いの舞台には上がりました。ここからロジックを磨き、上位へと食い込んでいきましょう。頑張ろう、エンジニア諸君！

7. 最短完走：全ソースコード

ここまでの手順を一つにまとめた、提出用ファイルを生成するための全コードです。

import pandas as pd
from sklearn.ensemble import RandomForestClassifier

# 1. データの読み込み
train_df = pd.read_csv('train.csv')
test_df = pd.read_csv('test.csv')

# 2. 最小限の前処理
test_df['Fare'] = test_df['Fare'].fillna(test_df['Fare'].median())
train_df['Sex'] = train_df['Sex'].replace({'male': 0, 'female': 1})
test_df['Sex'] = test_df['Sex'].replace({'male': 0, 'female': 1})

# 3. 予測モデルの作成
# 項目：チケットクラス、性別、兄弟配偶者数、親子数（これらはNullなし・数値済み）
features = ["Pclass", "Sex", "SibSp", "Parch"]
X = train_df[features]
y = train_df["Survived"]
X_test = test_df[features]

model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=1)
model.fit(X, y)

# 4. 予測と保存
predictions = model.predict(X_test)
output = pd.DataFrame({'PassengerId': test_df.PassengerId, 'Survived': predictions})
output.to_csv('submission.csv', index=False)

print("Your submission was successfully saved!")

---

8. まとめ

今回の最短攻略ソースはこれでした！「なぜエラーが出るのか」「何を直すべきか」を特定し、最短で Kaggle にコミットするサイクルを完走しました。これだけで、あなたも立派な Kaggler の仲間入りです。

次回は、今回あえてスルーした「年齢(Age)」の Null をどう埋めるべきか、あるいは「港(Embarked)」をどうモデルに組み込むか。精度向上のための「EDA（探索的データ分析）」に挑戦しましょう！

【Kaggle挑戦記】Titanic 攻略 #1：Mac環境構築とデータロードの第一歩

Kaggle の「Titanic: Machine Learning from Disaster」は、機械学習を学ぶ誰もが通る登竜門です。1912年に起きたタイタニック号の沈没事故を題材に、乗客の「年齢」「性別」「客室の等級」などのデータから、その乗客が生き残るか、それとも犠牲になるか（生存予測）を当てるという、非常に明確な目的を持ったコンペティションです。

今回は、macOS 15.7.4 の Miniconda 環境（Python 3.13.5）を使い、データを読み込んで分析の土俵に上がるまでの手順を整理していきましょう。

1. 準備：データの入手と配置

【 手順 】 まずは Kaggle の公式サイトにログインし、以下のリンクから Titanic コンペティションのページへアクセスします。

URL: https://www.kaggle.com/competitions/titanic/data

「Data」タブから 「Download All」 をクリックして ZIP ファイルをダウンロードし、作業用フォルダ（例：~/Documents/kaggle_titanic/）に解凍します。中には以下の3つの重要なファイルが入っています。

【 ダウンロードファイルの内訳 】

・train.csv : 学習用データ。乗客の属性と「生存(1)・死亡(0)」の正解が含まれています。
・test.csv : 予測用データ。このデータに対して、生存・死亡を予測します。
・gender_submission.csv : 提出用サンプル。「女性は全員生存、男性は全員死亡」と仮定した、提出ファイルのフォーマット見本です。

2. 深掘り：実装前に「データ定義」を読み解く

コードを書く前に、Data ページにある Data Dictionary をよく読み、各カラム（変数）が何を意味しているかを理解しましょう。これが予測の精度を左右します。

Variable	Definition	Key
survival	生存か否か	0 = No, 1 = Yes
pclass	チケットのクラス（社会経済的ステータス）	1 = 1st(Upper), 2 = 2nd(Middle), 3 = 3rd(Lower)
sex	性別
Age	年齢（1歳未満は分数、推定値はxx.5）
sibsp	同乗している兄弟・配偶者の数
parch	同乗している両親・子供の数
ticket	チケット番号
fare	旅客運賃
cabin	客室番号
embarked	出港地（乗船した港）	C=Cherbourg, Q=Queenstown, S=Southampton

【 ここが分析のヒント！ 】

• 家族構成: sibsp と parch を合わせることで、「家族連れか、単身か」という新しい特徴が見えてきます。※乳母と同行した子供は parch=0 になるという注意書きも重要です。
• ステータス: pclass は単なる座席ランクではなく、当時の社会的な地位を反映しています。
• 推定値: 年齢（Age）に 28.5 のような値がある場合、それは「推定値」であることを意味します。

3. 実装：Miniconda 環境で Python を動かす

今回の環境は Python 3.13.5 です。ターミナルを開き、Miniconda で pandas をインストールしてから、バージョン確認とデータの読み込みを行います。

【 環境構築とコードの実行イメージ 】

[ ターミナルでの準備 ]
conda install pandas
python --version # Python 3.13.5 であることを確認

[ ライブラリのバージョン確認 ]
>>> import pandas as pd
>>> print(pd.__version__)
2.3.3

[ データの読み込み ]
df = pd.read_csv('~/Documents/kaggle_titanic/train.csv')

[ 読み込みの確認 ]
print(df.shape)
# (891, 12)

print(df.head())

[ 実行結果 ]
PassengerId Survived Pclass ... Fare Cabin Embarked
0 1 0 3 ... 7.2500 NaN S
1 2 1 1 ... 71.2833 C85 C
2 3 1 3 ... 7.9250 NaN S
3 4 1 1 ... 53.1000 C123 S
4 5 0 3 ... 8.0500 NaN S

[5 rows x 12 columns]

--------------------------

◎ Mac 上で Titanic の学習用データが正常に展開されました！

---

4. まとめ

最新の macOS 15.7.4 と Python 3.13.5 の組み合わせでも、pandas 2.3.3 を使った基本操作は非常にスムーズです。まずは shape でデータの全体像を掴み、head() で「顔」を眺めるところから。これで分析の土俵に上がることができました！

次回は、読み込んだデータの中身を詳しく診察する「健康診断（データの可視化や欠損値の確認）」、そして分析に欠かせないデータの加工（0/1の置き換えなど）に挑戦しましょう。

【DS検定対策】確率の難所を攻略！「結果から原因を遡る」ベイズの定理

「赤玉を引いた」という結果がわかっているとき、それが「どの箱から来たのか」という原因を推測する。これが統計学で非常に重要な「ベイズの定理」の考え方です。図を使って整理していきましょう。

1. 問題：赤玉の正体を探せ

【 問題 】 外見が同じ2つの箱AとBがあります。箱Aには「赤4・白2」、箱Bには「赤2・白4」の玉が入っています。どちらか1つの箱をランダムに選び、玉を1個引いたところ「赤玉」でした。このとき、引いた箱が「箱A」である確率はいくらでしょうか？

① 1/2   ② 2/3   ③ 1/3   ④ 4/6

2. 整理：赤玉が選ばれる「2つのルート」

ベイズの定理のコツは、まず「赤玉が出る全パターン」を分母として書き出すことです。

【 世界の切り出し 】

[ 前提条件 ]
箱を選ぶ確率は、A・Bともに 1/2 です。

[ 全体の世界（分母）：赤玉が出る全ルート ]
① 箱Aを選び、赤を引く： (1/2) × (4/6) ＝ 4/12
② 箱Bを選び、赤を引く： (1/2) × (2/6) ＝ 2/12
⇒ 赤が出る合計： 4/12 ＋ 2/12 ＝ 6/12

[ ターゲット（分子）：その中で箱Aだった場合 ]
・ルート①の 4/12

--------------------------

◎ 確率： (4/12) / (6/12) ＝ 4 / 6 ＝ 2 / 3

3. 計算プロセス

1. 分母を出す: 「箱Aから赤が出る確率」と「箱Bから赤が出る確率」を足して、赤玉が出る全確率（6/12）を求めます。
2. 分子を置く: そのうち、今回のターゲットである「箱A由来の赤玉（4/12）」を分子に置きます。
3. 答えを出す: (4/12) ÷ (6/12) を計算し、約分して 2/3 となります。

---

4. DS検定形式：実戦4択クイズ

問：事象が起こる前の確率（箱を選ぶ1/2など）を「事前確率」と呼ぶのに対し、新しい情報（赤玉が出た）を得た後に更新された確率を何と呼ぶか。

① 条件付き期待値   ② 事後確率   ③ 尤度（ゆうど）   ④ 帰無仮説

【 正解： ② 】

解説： ベイズの定理によって導き出された「結果を知った後の確率」を「事後確率」と呼びます。データを得るたびに予測の精度を高めていくこの手法は、迷惑メールフィルタやAIの学習モデルなど、現代のデータサイエンスの根幹を支えています。

---

5. まとめ

「○○という結果のとき、原因が△△である確率」を問われたら、ベイズの定理の出番です。公式を丸暗記するよりも、「赤が出るルートを全部足して分母にする」という図解イメージを持つことで、ケアレスミスを劇的に減らすことができます！

【Python×機械学習】基本の論理演算を攻略！AND回路の実装と考え方無題

データサイエンスの基礎となる論理演算。今回は、2つの入力がともに「1」のときだけ「1」を出力する「AND回路」を、Pythonプログラムで実装する方法を解説します。

1. 考え方：AND（論理積）の世界

AND演算は、全ての条件が満たされたときだけ真（1）となる処理です。以下の2つのリストを組み合わせて、対応する要素ごとに判定を行います。

X1 = [0, 1, 0, 1]
X2 = [0, 0, 1, 1]

[ 判定ルール ]
・X1 と X2 がともに 1 のとき → 1
・それ以外のとき → 0

2. Pythonサンプルプログラム

関数を使って論理判定を行い、for文でリストの要素を順番に処理するコードを記述します。

def and_number(a, b):
    """aとbのAND判定を行う関数"""
    if a == 1 and b == 1:
        return 1
    else:
        return 0

def main():
    X1 = [0, 1, 0, 1]
    X2 = [0, 0, 1, 1]

    print("プログラムを開始します。")

    for i in range(4):
        y = and_number(X1[i], X2[i])
        print(f"{X1[i]}, {X2[i]} = {y}")

if __name__ == "__main__":
    main()

3. 実行結果

プログラムを開始します。
0, 0 = 0
1, 0 = 0
0, 1 = 0
1, 1 = 1

---

4. まとめ

論理回路の考え方は、プログラミングだけでなく「ベン図」を用いた集合の理解や、統計の条件抽出にも直結します。まずはこのシンプルな「0と1の世界」の判定ルールを、コードとセットでマスターしましょう！

【DS検定対策】確率の落とし穴を攻略！「条件付き確率」は世界を絞るのがコツ

確率の問題で多くの人が迷うのが、「条件が加わったとき」の計算です。今回はトランプを題材に、DS検定でも重要な「条件付き確率」の考え方を、図解で分かりやすく解説します。

1. 問題：黒いカードを引いたとき

【 問題 】 ジョーカーを除いた52枚のトランプから1枚引いたとき、そのカードが「黒（スペードまたはクラブ）」であることが分かっています。このとき、そのカードのマークが「クラブ」である確率はいくらでしょうか？

① 1/4   ② 1/2   ③ 13/52   ④ 1/13

2. 整理：標本空間（世界）の絞り込み

条件付き確率の最大のコツは、最初に「全体の世界」を条件に合わせて小さくすることです。

【 世界の切り出し 】

[ もともとの世界 ]
トランプ全 52枚（赤 26枚 ＋ 黒 26枚）

[ 条件適用後の世界（分母） ]
「引いたカードが黒である」という条件より、
スペード(13枚) ＋ クラブ(13枚) ＝ 26枚

[ ターゲット（分子）：その中でクラブ ]
・クラブの A, 2, 3 …… K

★ クラブの枚数： 13枚

--------------------------

◎ 確率： 13 / 26 ＝ 1 / 2

3. 計算プロセス

1. 世界（分母）を限定する: 「黒である」という情報があるため、赤のカードを無視して 26枚 を分母にします。
2. ターゲット（分子）を数える: 限定された26枚の中に、クラブは 13枚 あります。
3. 答えを出す: 13/26 を約分して 1/2。

---

4. DS検定形式：実戦4択クイズ

問：事象Aが起こったという条件のもとで、事象Bが起こる確率 $P(B|A)$ を何と呼ぶか。

① 独立確率   ② 条件付き確率   ③ 排反確率   ④ 事後分布

【 正解： ② 】

解説： ある情報が与えられたことで全事象（分母）が変化した後の確率を「条件付き確率」と呼びます。ベイズ統計学の基礎となる非常に重要な概念です。

---

5. まとめ

条件付き確率は、公式 $P(B|A) = \frac{P(A \cap B)}{P(A)}$ に当てはめるよりも、今回のように「分母となる世界を条件通りに書き換える」と考えたほうが直感的に理解しやすくなります。DS検定の計算問題でも、まずは「どの範囲を分母にするか」を意識しましょう！