【Kaggle挑戦記】Titanic 攻略 #6：モデルの「合議制」を強化し、精度向上の実験へ
前回（攻略 #5）では、生存率と相関の強かった「Fare（運賃）」を特徴量に加え、スコアを 0.76749 → 0.77511 へと上昇させることに成功しました。今回は、さらに精度を上げるための「次の一手」を、エンジニアらしく最小の工数で検証します。
1. これまでの復習
まずは、現在の私たちの武器（モデル構成）を整理しておきます。
- 利用した特徴量（5項目）： Pclass, Sex, SibSp, Parch, Fare
（生存に直結する納得感のあるヒントを投入済みです） - 利用したアルゴリズム： ランダムフォレスト（Random Forest）
（攻略 #4 で中身を覗いた、100本の決定木による「合議制」モデルです）
2. 今回の戦略：精度向上の実験
さらなる精度向上を狙うにあたり、今回は「木の数（n_estimators）」を変更する実験を行います。検討の理由は以下の通りです。
- 木の深さ（max_depth）の限界：
現在は特徴量が5項目と少なく、これ以上深く掘り下げても学習データへの過剰適合（過学習）を招くリスクが高いと判断しました。 - 多数決（合議制）の強化：
判断材料が限られている現状では、個々の木の判断をより多くの「仲間」で補完し、予測のブレを最小限に抑える（多数決の精度を上げる）ほうが、スコア向上への確実な一手になると仮説を立てました。
3. 【実験】木の数を 100 → 500 へ増強
具体的には、`RandomForestClassifier` を定義している一行にある n_estimators という引数を書き換えます。これは「アンサンブル（合議制）に参加させる木の数」を指定するパラメータです。
import pandas as pd
from sklearn.ensemble import RandomForestClassifier
# 1. データの読み込み
train_data = pd.read_csv('train.csv')
test_data = pd.read_csv('test.csv')
# 2. 特徴量の選択（前回と同じ5項目）
features = ["Pclass", "Sex", "SibSp", "Parch", "Fare"]
X = pd.get_dummies(train_data[features])
y = train_data["Survived"]
X_test = pd.get_dummies(test_data[features])
X_test['Fare'] = X_test['Fare'].fillna(X_test['Fare'].median())
# 3. モデルの構築（★ここを修正！）
# 【変更前】 model = RandomForestClassifier(n_estimators=100, max_depth=5, random_state=1)
model = RandomForestClassifier(n_estimators=500, max_depth=5, random_state=1)
# 4. モデルの学習（書き換えた設定で再計算）
model.fit(X, y)
# 5. 予測の実行
predictions = model.predict(X_test)
# 6. 提出用ファイルの作成
output = pd.DataFrame({'PassengerId': test_data.PassengerId, 'Survived': predictions})
output.to_csv('submission_n500.csv', index=False)
print("Submission with 500 trees saved!")
修正のポイント：
`n_estimators=100` を `n_estimators=500` に変更しました。これにより、100本の多数決から500本の多数決へと「合議制」がパワーアップします。修正はこの1箇所のみ。極めて手間の少ない「次の一手」です。
4. 考察と実験結果
ここでエンジニアとして一つの疑問が湧きます。「教師データが約800件しかないのに、木の数を500本にするのは多すぎる（リソースの無駄）ではないか？」という点です。
結論から言うと、アンサンブル学習において「合議の数（木の数）」を増やすことは、計算コスト以外のデメリット（精度低下のリスク）はありません。それぞれの木が重複を許して抽出された異なるデータセットを学習するため、数を増やすほど予測は安定する方向に向かいます。
さて、注目の実験結果は以下の通りでした。
- 前回（100本）： Score 0.77511
- 今回（500本）： Score 0.77511（変化なし）
エンジニア的な結論：
残念ながら、今回のパラメータ変更だけではスコアはピクリとも動きませんでした。これは、現在の5つの特徴量から引き出せるパターンは、すでに100本の多数決で「出し尽くされている」ということを意味します。計算式をいじっても限界があることが証明されました。
仮説と検証の結果、次なる道が明確になりました。これ以上「既存のヒントの計算」を強化しても意味がありません。次は、いよいよ「Age（年齢）」という新しいヒント（特徴量）の投入、そしてそのための「欠損値処理」という、より高度な前処理へと進みます。
