今回のターゲットは206種類に及ぶマルチラベル構造です。今回は最もシンプルかつ確実なアプローチとして、「206個のターゲットに対して、それぞれ独立したLightGBMの二値分類モデルを5分割交差検証（5-Fold CV）で合計1,030回ループさせて解く」という愚直なパイプラインを構築しました。
前処理としては、LightGBMがエラーを起こさないための最低限の置換（cp_doseの数値化）と、生物学的に正解がすべて「0」と決まっている偽薬データ（cp_type == 'ctl_vehicle'）の除外のみを行っています。
手元での検証（Cross Validation）を厳密に行うために作成したスクリプトの全文です。PandasとLightGBM、そしてscikit-learnを組み合わせてシンプルに記述しています。
import numpy as np
import pandas as pd
from lightgbm import LGBMClassifier
from sklearn.metrics import log_loss
from sklearn.model_selection import KFold
from sklearn.preprocessing import LabelEncoder
import warnings
# 不要な警告ログを非表示にする
warnings.filterwarnings("ignore")
# ==========================================
# 1. データの読み込み
# ==========================================
print("Loading data...")
train_features = pd.read_csv("train_features.csv")
train_targets = pd.read_csv("train_targets_scored.csv")
# ==========================================
# 2. 最低限の前処理（LightGBMが動くためだけ）
# ==========================================
print("Preprocessing...")
# cp_type が 'ctl_vehicle'（偽薬）のデータは、すべての正解が 0 と決まっています。
# ここは混ぜると学習のノイズになるため、純粋な薬のデータ（trt_cp）だけを抽出して学習させます。
train_mask = train_features["cp_type"] == "trt_cp"
X = train_features[train_mask].reset_index(drop=True)
y = train_targets[train_mask].reset_index(drop=True)
# IDと、不要になった cp_type カラムを削除
X = X.drop(columns=["sig_id", "cp_type"])
y = y.drop(columns=["sig_id"])
# 文字列のカテゴリ（cp_dose: D1/D2）を数値（0/1）に変換
le = LabelEncoder()
X["cp_dose"] = le.fit_transform(X["cp_dose"])
# ==========================================
# 3. 交差検証（5-Fold CV）のセットアップ
# ==========================================
kf = KFold(n_splits=5, shuffle=True, random_state=42)
# すべてのターゲット、すべての行の予測値を格納するゼロ行列を用意
oof_preds = np.zeros(y.shape)
target_cols = y.columns
print(f"Dataset shape: {X.shape}")
print(f"Number of targets: {len(target_cols)}")
print("Starting Cross Validation...")
# ==========================================
# 4. 206個のターゲットをループで1つずつ学習
# ==========================================
for idx, col in enumerate(target_cols):
y_target = y[col]
# そのターゲットに「1（効き目あり）」が1つもない特殊なケースの例外処理
if y_target.sum() == 0:
continue
# 5分割のクロスバリデーションを実行
for train_idx, val_idx in kf.split(X, y_target):
X_train, y_train = X.iloc[train_idx], y_target.iloc[train_idx]
X_val, y_val = X.iloc[val_idx], y_target.iloc[val_idx]
# デフォルト設定のままのLightGBM（二値分類）
model = LGBMClassifier(
objective="binary",
random_state=42,
n_estimators=100,
learning_rate=0.05,
verbose=-1,
)
model.fit(X_train, y_train)
# 「1」になる予測確率を対応する位置に格納
oof_preds[val_idx, idx] = model.predict_proba(X_val)[:, 1]
# 進行状況を20個ごとに表示
if (idx + 1) % 20 == 0 or (idx + 1) == len(target_cols):
print(f" Trained targets: {idx + 1}/{len(target_cols)}")
# ==========================================
# 5. 全体のスコア（Log Loss）を計算
# ==========================================
losses = []
for idx, col in enumerate(target_cols):
loss = log_loss(y[col], oof_preds[:, idx], labels=[0, 1])
losses.append(loss)
cv_score = np.mean(losses)
print("\n" + "=" * 30)
print(f"手元での交差検証スコア（CV Score）: {cv_score:.5f}")
print("=" * 30)
手元の環境（Mac M3、Python 3.13.5）で上記のスクリプトを試してみました。
Loading data... Preprocessing... Dataset shape: (21948, 874) Number of targets: 206 Starting Cross Validation... Trained targets: 20/206 Trained targets: 40/206 Trained targets: 60/206 Trained targets: 80/206 Trained targets: 100/206 Trained targets: 120/206 Trained targets: 140/206 Trained targets: 160/206 Trained targets: 180/206 Trained targets: 200/206 Trained targets: 206/206 ============================== 手元での交差検証スコア（CV Score）: 0.03933 ==============================
一見すると「0.039」という数字は非常に低く、モデルが30%くらい予測を外している（正解率70%程度）ように錯覚してしまいます。しかし結論から言うと、予測のハズレ割合（件数）としてはすでに1%未満に抑え込まれています。これこそが本コンペの評価指標であるLog Loss（対数損失）の最大の特徴です。
Log Lossは予測の正誤だけでなく「モデルの自信度合い（確率）」を厳しく採点する指標で、数式にlog（対数）が含まれています。そのため、間違いが大きくなるほどペナルティが倍々ゲーム（指数関数的）に大炎上する仕組みになっています。
この「たまにある1を見逃したときの特大ペナルティ」を、2.4万行 × 206個という膨大なデータの海（分母）で薄く平均化した結果、最終的に「0.03933」という極小の数字として残っているのがこのスコアの正体です。つまり、件数としてはほぼ当たっていますが、本物の「1」に対してモデルがまだ自信を持てずにモヤモヤしている状態と言えます。
何一つ工夫をしていない「素のLightGBM」でここまでのベースラインを測定できたため、手元の検証環境（CV）としては100点満点の仕上がりです。ここからは、先述した「投与時間（cp_time）」や「投与量（cp_dose）」を軸にした特徴量生成や、遺伝子データ（g-）と細胞データ（c-）の統計量を組み合わせ、このスコアをどこまで削り落とせるかの本格的な実験フェーズに移行します。
「Mechanisms of Action (MoA) Prediction」は、新薬の候補化合物が人間の細胞（遺伝子や細胞株）に与える影響を分析し、その薬が「どのような効き目（作用機序＝MoA）」を持っているかを予測するコンペティションです。データの主な仕様は以下の通りです。
終了済みのコンペですが、テストデータ（test_features.csv）に対する予測ファイルを提出する「Late Submission」に対応しています。これにより、当時のリーダーボード（順位表）のどの位置に自分が食い込めていたかのスコアと暫定順位を正確に確認し、腕試しをすることができます。
データの取得手順は以下の通りです。
展開すると、ディレクトリ内に役割の異なる6つのCSVファイルが生成されます。
展開して得られたCSVファイルの中から、初期のLightGBMベースライン構築において直接使用する重要なファイルを整理しました。カラム構造とそれぞれの役割は以下の通りです。
| ファイル名 / カラム名 | 解説 |
|---|---|
| train_features.csv | 学習用の入力データ（約2.4万行）。モデルの「入力（X）」となるファイルです。 |
| ├ sig_id | 各実験サンプルの固有識別子（ID） |
| ├ cp_type / cp_time / cp_dose | 実験条件（薬か偽薬か、投与時間 24/48/72時間、投与量 高/低） |
| ├ g-0 ～ g-771 | 772種類の遺伝子発現データ（すべて小数点付きの数値） |
| ├ c-0 ～ c-99 | 100種類の細胞生存率データ（すべて小数点付きの数値） |
| train_targets_scored.csv | 学習用の正解データ（教師データ）。モデルの「目標（Y）」となるファイルです。 |
| └ 206種類の作用機序カラム | 各薬の効き目の有無を示すバイナリフラグ（0 = なし、1 = あり）。1行の中に「1」が複数存在し得るマルチラベル構造です。 |
| test_features.csv | Kaggleに提出する予測値を計算するための、本番用入力データです（正解は含まれません）。 |
このコンペティションの最大のポイントは、入力データが「実験条件を表すカテゴリ変数」と「ひたすら横に並ぶ872個の純粋な数値」だけで美しく整理されている点にあります。面倒な文字列処理や画像の埋め込みが一切ないため、初期の数値データそのままでLightGBMへダイレクトに投入可能なデータ構造となっています。
あえて高度な特徴量抽出は行わず、この数値の塊をそのままLightGBMに学習させ、206個の各ターゲットに対してどのような境界線を描くことができるのか、まずはストレートな実力を検証します。なお、オマケデータである「train_drug.csv」やスコア対象外の「train_targets_nonscored.csv」は初手では一切使用せず、完全に無視して進めます。
必要な3つの基本CSVファイルが手元に綺麗に揃いました。まずは実験条件（cp_time や cp_dose など）をLightGBMが読める形式にカテゴリ数値化する最低限の前処理だけを行い、そのまま206回ループさせてLightGBMの二値分類モデルを回すベースラインパイプラインの構築に移ります。
統計学やデータサイエンスにおいて、時間の経過とともに変化する確率変数の列（またはその動的なメカニズム全体）のことを何と呼ぶでしょうか？
① 確率過程
② 決定論的過程
③ 主成分分析
④ 線形回帰分析
確率過程は、私たちの身の回りのあらゆる「時間とともに変動するデータ」の裏側で動いています。
【 代表的な確率過程の例 】
確率過程をデータ分析（時系列解析）で扱う際、試験でも非常によく問われる2つの超重要性質があります。
1. マルコフ性（マルコフ過程）: 「未来の確率が、現在の状態だけで決まり、過去の経緯には依存しない」という性質。直前の状態だけをシステムが保持していれば良いというクリーンなモデルで、実務でも広く応用されます。
2. 定常性: 時間が経っても、データ全体の「平均や分散（ばらつきの幅）が一定で変わらない」という性質。時系列予測（ARIMAモデルなど）を行うための大前提となる、タフで安定した状態のことです。
問：確率過程の中でも、「未来の予測を行うために過去のすべての履歴を遡る必要はなく、現在の状態のデータさえ分かれば次の状態の確率が完全に決定される」という性質を何と呼ぶか。
① 定常性 ② 独立性 ③ マルコフ性 ④ 頑健性（ロバスト性）
【 正解： ③ 】
解説： まさに「マルコフ性（Markov property）」の定義です。これを持つ確率過程をマルコフ過程と呼び、自然言語処理の形態素解析（形態素のつながりやすさ）や、強化学習（MDP）、さらにはMCMC法（マルコフ連鎖モンテカルロ法）といった高度なデータサイエンスのアルゴリズムの土台として頻出します。
DS検定において「確率変数そのものが時間で変化していくプロセス」という記述が登場したら「確率過程」です。静的な統計データから、時間の流れる「時系列データ」の分析へとステップアップする際の入り口となる概念ですので、マルコフ性などの関連キーワードと結びつけて整理しておきましょう！
]]>※本記事の手順は、MacBook Air（macOS 15.7.7）の環境にて実際に動作を確認したログをベースに作成しています。
Juliaの条件分岐は、`if` で始まり、最後は必ず `end` で締めくくるというルールがあります。また、複数の条件を重ねたい場合は、Pythonのような「elif」ではなく、`elseif` と一続きで記述するのがJuliaの文法的な特徴です。今回はこの構文の基本を整理します。
Juliaの条件分岐を正しく書きこなすためのポイントを、ステップごとに具体的に見ていきましょう。
【 条件分岐構文の具体的な処理内容 】
他のプログラミング言語（C言語やJavaScriptなど）では、数値の `1` を「正しい（true）」、`0` を「間違い（false）」とみなして `if` 文に放り込めるものもあります。
しかし、Juliaは型に対して非常に厳密な言語です。`if` や `elseif` の後ろに続く条件式の結果は、必ず純粋な論理値である **`true`（真）か `false`（偽）** にならなければなりません。
例えば、`if 1` のように数値をそのまま条件式に書くとエラー（TypeError）になります。必ず `if x == 1` や `if score >= 80` のように、比較演算子を使って結果が `true` か `false` になる式を記述するようにしましょう。この厳密さが、予期せぬバグを防ぎ、Juliaの高速な実行速度を支える基盤になっています。
対話型環境（REPL）を起動し、いくつか条件分岐のコードを実行した際の実際の操作ログです。
画面上でパッと見て構造が分かりやすいよう、短く改行を挟みながら入力しています。
Juliaにおける条件分岐の基本手順をマスターしました。`if` から始まり `elseif` で条件を繋げ、最後に `end` で美しく閉じるという一連のルールは、このあとに学ぶループ処理（for文やwhile文）など、Juliaのあらゆる構文の土台となります。型チェックの厳密さに気をつけながら、状況に応じて賢く動くプログラムを組み立てていきましょう！
アンサンブル学習の代表的な手法の一つであり、決定木などの弱い予測モデル（弱学習器）を一つずつ順番に（直列に）構築し、前のモデルが出した予測値と正解との「誤差（勾配）」を、次のモデルが修正するように学習を繰り返すことで、最終的に非常に高い予測精度を得る機械学習アルゴリズムを何と呼ぶでしょうか？
① 勾配ブースティング（Gradient Boosting）
② バギング（Bagging）
③ 主成分分析（PCA）
④ K-means法
試験で最も狙われるのは、先ほど学んだ「バギング」とのアーキテクチャ（構造）の違いです。ここを完全に区別しておきましょう。
| 手法名 | 学習の進め方（アーキテクチャ） | 統計学的な狙い（強み） |
|---|---|---|
| バギング （前回） |
複数のモデルを「並列」に同時に作り、最後に全員の平均や多数決をとる。 （例：ランダムフォレスト） |
モデルの過学習を抑え、予測の「ブレ（分散・バリアンス）」を下げるのが得意。 |
| ブースティング ★今回の主役 |
モデルを「直列（順番）」に作り、前のモデルのミス（残差）を次のモデルが追いかける。 | モデルの表現力を高め、予測の「的外れさ（バイアス）」を極限まで下げるのが得意。 |
「勾配ブースティング」というアルゴリズムは、実務やKaggleなどのコンペにおいて以下のような超強力な進化系ライブラリとして実装され、表形式データの予測で無双しています。
・XGBoost: 勾配ブースティングを一躍有名にした、高速・高精度な歴史的名作。
・LightGBM: Microsoftが開発。データのスキャン方法を工夫することで、計算速度とメモリ効率を劇的に進化させた現代の主役。
問：勾配ブースティングは非常に強力なアルゴリズムですが、学習（イテレーション）を際限なく繰り返してしまうと、どのような問題（不具合）が発生しやすくなるか。最も適切なものを一つ選べ。
① アンダーフィッティング（学習不足） ② 勾配消失問題 ③ 過学習（オーバーフィッティング） ④ 多重共線性（マルチコ）
【 正解： ③ 】
解説： ブースティングはミスを執拗に追いかけて修正していくため、繰り返し回数を多くしすぎると、訓練データに含まれる細かいノイズまで完璧に合わせにいってしまい、過学習（オーバーフィッティング）を起こします。これを防ぐために、テスト誤差が下がらなくなった時点で学習を強制終了する「早期終了（Early Stopping）」というテクニックが実務では必須になります。
DS検定において「前のモデルの誤差・勾配を後ろのモデルが順番に修正して強くなる」という記述が出たら「勾配ブースティング」です。バギング（並列）との違い、そして過学習を抑えるための周辺技術とセットで頭を整理しておきましょう！
]]>データサイエンスで扱うデータの分類において、リレーショナルデータベースのテーブルのように「すべてのデータに共通する厳密な定義（スキーマ）」は存在しないものの、各データがタグやキーなどの自己記述的な構造（スキーマ）を内部に持っているデータ形式を何と呼ぶでしょうか？
① 構造化データ
② 半構造データ
③ 非構造化データ
④ メタデータ
試験や実務では、データを「構造化」「半構造」「非構造」の3つに明確にキャラクター分けして整理しておくことが鉄則です。
| データの分類 | スキーマ（構造）の特徴 | 具体的なデータ形式 |
|---|---|---|
| 1. 構造化データ | あらかじめ厳密に定義された枠組み（スキーマ）に従って、行と列にきれいに収まっているデータ。 | RDB（関係データベース）のテーブル、CSV、Excelファイルなど。 |
| 2. 半構造データ ★今回の主役 |
全体を一律に縛る枠はないが、データ自身の中に「キー」や「タグ」などの構造（メタデータ）が含まれているデータ。 | JSON、XML、WebサイトのHTML、設定ファイル（YAML）など。 |
| 3. 非構造化データ | 定型的なルールや構造を一切持たない、生のデータ。そのままではRDB等に格納して集計することが難しいデータ。 | 画像、音声、動画、自然言語のテキスト（メール本文や書籍）など。 |
WebサービスのAPI通信や、IoTセンサーから送られてくるログデータなどは、そのほとんどがJSON（半構造データ）でやり取りされます。
「ユーザーによって持っている属性情報（カラム）がバラバラ」「後から新しい項目を急に追加したい」といった場合でも、RDBのように `ALTER TABLE` でシステムを止めたりスキーマ変更をしたりする必要がなく、データをそのまま柔軟に吸い込める（高い拡張性を持つ）という点が、モダンなシステム開発やデータ収集において最大の強みとなっています。
問：半構造データの代表例である「JSON」の記述ルールに関する説明として、最も適切なものはどれか。
① データを「<tag>データ</tag>」のように、カスタムタグで挟むことで構造を表現する。
② データを「"キー" : 値」のペア（Key-Valueペア）の形式で記述し、全体を中括弧 { } や大括弧 [ ] で囲んで表現する。
③ カンマ（,）で区切られたデータ行のみで構成され、階層構造を表現することはできない。
④ バイナリ形式のデータであり、テキストエディタで直接中身を読んで編集することはできない。
【 正解： ② 】
解説： まさにJSON（JavaScript Object Notation）の基本定義です。ちなみに①はXMLの説明、③はCSVの説明です。JSONはテキスト形式でありながら複雑な階層構造（ネスト）を表現できるため、半構造データの王座に君臨しています。
DS検定において「全体の共通スキーマはないが、個々にスキーマを持っているデータ」という非常に精緻な問題文が出たら「半構造データ（JSONやXML）」の事です。構造化データへの前処理（パース）やNoSQLデータベースの文脈でも必ずセットで問われる知識ですので、その柔軟なメリットをしっかり頭に叩き込んでおきましょう！
]]>アンサンブル学習の代表的な手法の一つにおいて、元の訓練データからランダムに重複を許して一部のデータを抽出し（ブートストラップサンプリング）、それらを用いて複数のモデルを並列的に構築した上で、最終的な予測結果を平均（回帰の場合）や多数決（分類の場合）によって決定するアルゴリズムを何と呼ぶでしょうか？
① ブースティング（Boosting）
② バギング（Bagging）
③ スタッキング（Stacking）
④ ドロップアウト（Dropout）
バギング（Bootstrap Aggregating）は、その名の通り「データを小分けのバッグ（Bag）に詰めて別々に学習させる」イメージです。
【 バギングの3ステップ 】
★ ここがメリット：「バリアンス（分散・ブレ）を下げる」
1つのモデルだけに学習させると、手元のデータに過剰に適合してしまい（以前学んだ過学習）、新しいデータに対して予測値が激しくブレる傾向があります。バギングは、並列に作った多くのモデルの意見を総合してマイルドに平均化するため、モデルの過学習を抑え、未知のデータに対する堅牢性（ロバスト性）を劇的に高めることができます。
問：バギングの仕組みをベースに、変数の選択（特徴量の抽出）にもランダム性を加えることで、決定木同士の相関を下げて予測精度をさらに向上させた、データサイエンスで非常によく使われる代表的な機械学習アルゴリズムはどれか。
① 主成分分析 ② ロジスティック回帰 ③ ランダムフォレスト ④ サポートベクターマシン
【 正解： ③ 】
解説： バギングの最も有名な応用例が「ランダムフォレスト」です。データだけでなく「使う変数」までモデルごとにランダムに制限することで、個々の木が全く異なる個性を持ち、それらを並列で組み合わせることで極めて強力な「森（フォレスト）」を作り上げます。
DS検定において「並列的にモデルを構築して平均や多数決を用いる」というキーワードが登場したら、それは「バギング」の性質を指します。実務のデータコンペ（Kaggleなど）でも、モデルのブレを抑えて手堅くスコアを安定させるための大基本となる戦略ですので、直列処理のブースティングとの違いとセットで確実にマスターしておきましょう！
サポートベクターマシン（SVM）において、直線や平面では綺麗に分類できない「非線形分離」なデータに対し、データをより高次元の空間へと写像（マッピング）することで、線形分離（直線や平面での分割）を可能にする手法を何と呼ぶでしょうか？
① カーネル法
② 勾配降下法
③ ステップワイズ法
④ 主成分分析
2次元（平面）ではどう頑張っても直線1本でセパレートできない「ドーナツ型」のデータを例に、カーネル法の魔法を視覚的に整理してみましょう。
| 元の空間（2次元平面） | カーネルトリック後の空間（3次元空間） |
|---|---|
| ・中心に「グループA（●）」がある。 ・その周りを「グループB（✖）」が囲んでいる。 【悩み】 まっすぐな直線（線形）をどこに引いても、●と✖を1本で完全に切り離すことは不可能です。 |
・カーネル関数を使い、データを「縦・横」だけでなく「高さ（Z軸）」の次元を追加した3次元空間にマッピングします。 【結果】 中心の●だけがポコッと上に浮き上がり、周りの群が下に残るため、間を「1枚の平らな紙（平面）」でスパッと水平に切り分ける（線形分離）ことができるようになります！ |
★ ここが天才的：「カーネルトリック」
実際に高次元のめんどくさい座標計算を真面目にやると、計算量が爆発してフリーズしてしまいます。しかし、カーネル法では「高次元に移動した後のデータ同士の内積」を、元の次元のままで直接ショートカット計算できる関数（カーネル関数）を使います。これを「カーネルトリック」と呼び、深層学習が登場する前の機械学習界を席巻しました。
問：サポートベクターマシン（SVM）において、データを2つのクラスに分類する境界線を決定する際、境界線に最も近い位置に存在する（境界線を支える目印となる）一部のデータ点のことを何と呼ぶか。
① サポートベクター ② マージン ③ カーネル係数 ④ スラック変数
【 正解： ① 】
解説： アルゴリズムの名の由来でもある「サポートベクター」です。SVMは、すべてのデータを覚えるのではなく、境界線のギリギリのキワにいる「サポートベクター」だけを基準にして境界線を引きます。そのため、以前に学んだ外れ値やノイズに対しても非常にタフ（堅牢 / ロバスト）であるという、美しい繋がりを持っています。
DS検定において「非線形データを高次元に飛ばして線形分離する」「SVM」というキーワードが来たら「カーネル法」です。実務のデータコンペ（Kaggleなど）でも、データ構造によっては非常に強力な選択肢となるクラシックな名手法ですので、その幾何学的なイメージをしっかり押さえておきましょう！
]]>サブスクリプション型のサービスや会員制ビジネスにおいて、顧客が契約を解除したりサービスを利用しなくなったりする「解約・離脱」の行動やその確率を、過去の利用履歴データ（アクセス頻度、契約期間、サポートへの問い合わせ回数など）から予測・分析する手法を何と呼ぶでしょうか？
① バスケット分析
② チャーン分析（解約・離脱分析）
③ アソシエーション分析
④ ABC分析
顧客が解約する前には、高確率で行動に「サイン（変化）」が現れます。データサイエンティストは以下のような特徴量をモデルに投入して予測を行います。
| データカテゴリ | 解約の予兆（フラグ）となりやすい変化 |
|---|---|
| 1. 利用頻度の減少 | 「ログイン回数が先月比で急激に減った」「動画の視聴時間が短くなった」など、サービスへのエンゲージメント（熱量）の低下。 |
| 2. 顧客属性・契約プラン | 「無料トライアル期間の終了間際」「特定のキャンペーン経由で入会した」など、元からの定着度の低さ。 |
| 3. ネガティブな体験 | 「システムの不具合（エラー）を何度も経験した」「カスタマーサポートに複数回クレームや問い合わせを入れている」など。 |
★ データサイエンティストの戦い方：
これまでに学んだ「LightGBM」や「ロジスティック回帰」などの機械学習アルゴリズムを用いて、「この顧客はあと1ヶ月以内に80%の確率で解約する」といった予測を算出します。マーケティングチームはその予測を基に、解約されそうなユーザーだけに限定してクーポンを配信する、といった効率的な引き止め施策を打ちます。
問：チャーン予測モデルを構築した際、すでに解約してしまった過去のユーザーのデータだけを分析対象とし、途中でプランを変更したユーザーや現在も継続しているユーザーの行動ログを除外してモデルを評価した。このときに警戒すべき、以前の講義で学んだデータの偏り（バイアス）として最も適切なものはどれか。
① 自己選択バイアス ② 脱落バイアス ③ 出版バイアス ④ 確定バイアス
【 正解： ② 】
解説： 解約という「途中の離脱（脱落）」が起きた結果のデータだけを後から見て、そのプロセス（時間の経過に伴う変化）や現役ユーザーとの違いを無視して集計すると、正しい予測ルールが作れなくなります。まさに脱落バイアスへの配慮が必要な典型例です。
DS検定において「顧客の解約・離脱を予測・分析する手法」という主旨の問題が出たら、迷わず「チャーン分析」を選択しましょう。実務において、機械学習モデルが企業の売上守備を固めるための最たる応用例ですので、ビジネス理解とセットでしっかりと押さえておきましょう！
]]>ある施策や新薬などの「本当の効果（因果関係）」を正しく測定するため、対象者を自発的な参加ではなく、確率的に完全に均等な2つのグループ（介入群と対照群）にランダムに割り振って比較する実験手法を何と呼ぶでしょうか？
① ランダム化比較試験（RCT）
② 段階的要因分析
③ 後ろ向きコホート調査
④ 主成分回帰分析
もし、対象者が「自分で選んで」新しい施策（例えば、新しい有料の教育プログラムなど）に参加した場合、そこには以前学んだ自己選択バイアスが働きます。プログラムを受けた人の成績が良くても、それは「プログラムの効果」ではなく「元からやる気があった人の効果」かもしれないからです。
【 RCTの基本構造（2つのグループ） 】
| グループ名 | 役割 | 具体例（新サプリの効果測定） |
|---|---|---|
| 1. 介入群 （試験群 / トリートメント） |
新しく試したい施策や薬を「適用する」グループ。 | ランダムに選ばれた50人。新しいサプリメントを毎日飲む。 |
| 2. 対照群 （コントロール群） |
比較対象（基準）となる、施策を「適用しない」グループ。 | ランダムに選ばれた50人。見た目が同じ偽物のサプリ（プラセボ）を飲む。 |
★ ここがポイント：
くじ引き（ランダム）で分けることによって、年齢・性別・健康状態・やる気の有無といった「あらゆる個体差（ノイズ）」が両方のグループに均等に分散されます。これにより、2つのグループに生じた最終的な差は、純粋に「施策（サプリ）の効果である」と言い切れるようになります（フィッシャーの3原則の『無作為化』の応用です）。
問：インターネットビジネスにおいて、ユーザーをランダムに2つのグループに分け、従来のWebデザイン（A案）と新しいデザイン（B案）のどちらがクリック率が高いかを検証する、実務で広く使われているRCT（ランダム化比較試験）の一種を何と呼ぶか。
① 多変量解析 ② A/Bテスト ③ 顧客ロイヤルティ分析 ④ クロス集計
【 正解： ② 】
解説： 実務で毎日のように行われている「A/Bテスト」は、統計学におけるランダム化比較試験（RCT）そのものです。サーバー側でユーザーを完全にランダムに振り分けることで、時間帯やユーザーの属性による偏りを排除し、デザインの純粋な効果を測定しています。
DS検定において「因果関係を正しく測定するために、ランダムにグループに分けて比較する実験手法」という主旨が出たら、迷わず「ランダム化比較試験（RCT）」です。これまで学んできた『各種バイアス』を数理的にシャットアウトするための最強の防衛策として、その定義をしっかり覚えておきましょう！
]]>