忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】NULLデータの罠！「欠測値」が引き起こす分析の偏り

データベースでおなじみの「空欄（NULL）」。データが足りないからといって、そのレコードを無視して分析すると、結果が完全に歪んでしまうことがあります。それが欠測によるバイアスです。

1. 【 問題 】

アンケートや実験データにおいて、回答の記入漏れや測定エラーなどの「欠測値（欠損値）」が多く含まれる場合、その欠測が発生した原因を考慮せずに、単に欠測値のあるデータを除外して（残ったデータだけで）分析を行うことで、結果に偏りが生じる現象を何と呼ぶでしょうか？

① 欠測値バイアス（欠損による偏り）
② 確定バイアス
③ 回答バイアス
④ 出版バイアス

2. 【 解答 】

正解： ① 欠測値バイアス（欠損による偏り）

3. 整理：なぜ「空欄（NULL）」を除外すると偏るのか？

データが消えた（欠測した）のには、高確率で「人間的な理由やシステムのクセ」が存在します。それを無視して `IS NOT NULL` で削ると、集団の実態を見誤ります。

【 欠測がバイアスを生む具体例 】

・事例：年収と顧客満足度のアンケート
あるサービスの顧客満足度を調査した際、「年収」の項目に空欄（欠測）が非常に多かった。
⇒ 罠：実は「サービスに不満がある低所得層」が年収を書かずに回答（あるいは途中で離脱）していた場合、空欄をすべて除外して集計すると、「高所得者で、かつ満足している人」だけの偏ったデータになり、平均年収も満足度も実態より高く計算されてしまいます。

4. データサイエンティストはどう戦うか？（欠測値の処理）

試験や実務では、このバイアスを防ぐための「前処理（補完）」がセットで問われます。
1. リストワイズ削除（完全情報解析）: 欠測があるレコードを丸ごと消す方法。欠測が完全にランダム（MCAR）でない限り、今回のようなバイアスが発生します。
2. 平均値補完 / 中央値補完: 空欄に、他のデータの平均値などを埋める方法。簡単ですが、データのばらつき（分散）が不自然に小さくなる弱点があります。
3. 多重代入法 / 予測モデルによる補完: 他のカラムの値から、機械学習などを使って空欄の数値を予測して埋める、より高度でバイアスが起きにくい手法です。

5. DS検定形式：実戦4択クイズ

問：データの欠測メカニズムにおいて、体重の重い人が体重の入力を拒否するように、「欠測するかどうかが、その欠測した値自体に依存している（他のデータを見ても欠測の理由を説明できない）」最も扱いが難しい欠測の性質を何と呼ぶか。

① MCAR（完全にランダムな欠測）   ② MAR（条件付きでランダムな欠測）   ③ MNAR（ランダムではない欠測）   ④ 確定論的欠測

【 正解： ③ 】

解説： 「隠したい数値そのもののせいでデータが消える」状態をMNAR（Missing Not At Random：ランダムではない欠測）と呼びます。これがまさに、今回問題にした「最も強いバイアス」を引き起こす原因となります。

6. まとめ

DS検定において「欠測値を含むデータが多い場合に、それを単純に除外することで生じる偏り」というテーマが出たら「欠測値バイアス」の罠を疑いましょう。データが「ない」ということ自体に重要な意味（メッセージ）が隠されているケースが多いことを、しっかり意識しておきましょう！


PR

【DS検定対策】消えたデータの声を聴け！「脱落バイアス」の罠

分析対象者が途中でいなくなってしまう。その「離脱」自体が偏りを生み出す原因になる。それが脱落バイアスです。

1. 【 問題 】

データ収集や実験のプロセスにおいて、調査対象者が「途中で離脱（脱落）」したことにより、最後まで残った対象者だけのデータに偏りが生じ、正しい分析結果が得られなくなる現象（バイアス）を何と呼ぶでしょうか？

① 生存者バイアス（サバイバーシップ・バイアス）
② 脱落バイアス（アトリッション・バイアス）
③ 回答バイアス
④ 確証バイアス

2. 【 解答 】

正解： ② 脱落バイアス（アトリッション・バイアス）

3. 整理：なぜ「脱落」がバイアスを生むのか？

もし、脱落（離脱）が完全にランダムであれば大きな問題にはなりませんが、現実には「離脱するだけの理由」がそこにあるため、結果が歪みます。

【 ビジネスや研究での具体例 】

・事例1：教育アプリの効果測定
難関資格の学習アプリで、1ヶ月継続した人の合格率が「90%」だった！
⇒ 罠：実は「内容が難しすぎて挫折した人」が途中で大量に脱落（アンインストール）していた場合、最後まで残った「元から優秀な人」だけの結果を見ている可能性があります。

・事例2：新薬の臨床試験
ある薬を3ヶ月服用してもらう実験で、副作用が非常に強かった人が途中で通院をやめてしまった。
⇒ 罠：最終的に無事完走した人のデータだけを集計すると、「副作用が少なくて効果が高い魔法の薬」に見えてしまう危険があります。

4. 関連して押さえたい「選択バイアス」

脱落バイアスは、統計学における「選択バイアス（Selection Bias）」という大きな分類の1つです。
似た言葉に、歴史的なエピソード（爆撃から生還した戦闘機の補強など）で有名な「生存者バイアス」がありますが、生存者バイアスが「すでに生き残ったもの（結果）」だけを後から見てしまうことに対し、脱落バイアスは「時間の経過とともに進行形で対象者がいなくなっていくプロセス（縦断調査など）」に注目する点が特徴です。

5. DS検定形式：実戦4択クイズ

問：WebサービスのA/Bテストにおいて、新機能（B案）のページが非常に重く、読み込みに時間がかかったため、多くのユーザーが途中でブラウザを閉じて離脱してしまった。この状況で、ページを最後まで読み込んでコンバージョン（購入）したユーザーだけのデータで効果測定を行う際に発生するバイアスとして最も適切なものはどれか。

① 確証バイアス   ② 脱落バイアス   ③ 社会的妥当性バイアス   ④ 出版バイアス

【 正解： ② 】

解説： 「読み込みが遅くてイライラして途中で離脱した人」の存在を無視し、最後まで粘り強く待ってくれた熱狂的なユーザーだけの数値で評価してしまうため、これも典型的な脱落バイアスです。

6. まとめ

DS検定やデータ分析の現場において「途中で対象者が離脱したことで生じる偏り」という記述が出たら、それは「脱落バイアス」を指します。データサイエンスでは、手元にある綺麗なデータだけでなく、「消えてしまったデータ（離脱した人）の理由」にこそ、システム改善の最大のヒントが隠されていることを忘れないようにしましょう！

【DS検定対策】確率・統計の基礎！順列で考える「封筒を開ける順番」

データサイエンスの確率を学ぶ上で、基本となるのが「場合の数の数え上げ」です。今回は、3つの封筒を開ける順番が何通りあるか、画面で崩れない図解と一緒に整理しましょう。

1. 【 問題 】

中身の異なる3つの封筒（A、B、C）があります。これら3つの封筒を1つずつ順番にすべて開けるとき、その開ける順番の組み合わせ（並び順）は全部で何通りあるでしょうか？

① 3通り
② 6通り
③ 9通り
④ 27通り

2. 【 解答 】

正解： ② 6通り

3. 図解：開ける順番の全パターン（ツリー構造）

1番目、2番目、3番目に選ぶ封筒の選択肢と、その結果をシンプルな表で表しました。

1番目に開ける2番目に開ける3番目に開ける完成する並び順
封筒 A 封筒 B 封筒 C ① A → B → C
封筒 C 封筒 B ② A → C → B
封筒 B 放筒 A 封筒 C ③ B → A → C
封筒 C 封筒 A ④ B → C → A
封筒 C 封筒 A 封筒 B ⑤ C → A → B
封筒 B 封筒 A ⑥ C → B → A

表の右端（青い列）を上から数えると、全部で6通りの並び方があることが一目で分かります！

4. 整理：数式（積の法則）でのアプローチ

毎回表を描かなくても、以下のステップを掛け算（積の法則）することで簡単に計算できます。

【 ステップごとの選択肢の数 】

・1番目に開ける封筒： まだ全部残っているので 3通り（AかBかC）
・2番目に開ける封筒： 1枚開けたので、残りは 2通り
・3番目に開ける封筒： 最後に残った 1通りのみ

--------------------------

$$3 \times 2 \times 1 = 6 \text{通り}$$

このように、ある数から1ずつ減らしながら1まで掛け合わせる計算を数学では「階乗（かいじょう）」と呼び、感嘆符を使って $3!$（3の階乗） と表記します。

5. DS検定形式：実戦4択クイズ

問：異なる5つのデータ（A、B、C、D、E）の中から、順序を考慮せずに「3つのデータ」を同時に選び出す（抽出する）組み合わせの数は何通りか。

① 10通り   ② 20通り   ③ 60通り   ④ 120通り

【 正解： ① 】

解説： 今回の封筒問題のように「順番（列）」を意識する場合は順列ですが、順番を気にせず「グループを選ぶだけ」の場合はコンビネーション（$_5C_3$）を使います。
計算式は $\frac{5 \times 4 \times 3}{3 \times 2 \times 1} = 10 \text{通り}$ となり、サンプリング（標本抽出）の理論の基礎となります。

6. まとめ

DS検定において、確率の基本となる「並び順（順列）」が出たら、選択肢が1つずつ減っていく掛け算（階乗 $n!$）を連想しましょう。この「数え上げ」の感覚が、のちに学ぶ「確率分布」や「ベイズ統計」の複雑な数式を理解するための強固な土台になります！




【DS検定対策】AIブームの原動力！「深層学習（ディープラーニング）」の仕組み

人間の脳の神経回路を模したニューラルネットワーク。その階層を何層にも深く重ねることで、AIの表現力を劇的に高めた技術が深層学習です。

1. 【 問題 】

機械学習の手法の一つにおいて、人間の脳の神経回路を模したアルゴリズムであるニューラルネットワークの層を何層にも深く（多層に）したものを [     ] というでしょうか？

① アンサンブル学習
② 深層学習（ディープラーニング）
③ 教師なし学習
④ 決定木学習

2. 【 解答 】

正解： ② 深層学習（ディープラーニング）

3. 整理：なぜ「多層」にすると賢くなるのか？

従来の機械学習では、人間が「どこに注目すべきか（特徴量）」を手作業で計算して指定する必要がありました（特徴量エンジニアリング）。しかし、深層学習は層を深くすることで、AI自らが段階的に特徴を見つけ出します。

【 画像認識における多層化のイメージ 】

・入力層：画像のピクセルデータ（生の数値）を受け取る。
↓
・浅い層（初期層）：画像の中の「輪郭（縦の線や横の線）」を検出する。
↓
・中間の層：検出した線から「目」や「鼻」「耳」といったパーツの形を合成する。
↓
・深い層（出力層）：パーツの組み合わせから「これは猫である」と最終判断する。

--------------------------

◎ ポイント：
このように、層を深くすることで「単純な特徴」から「複雑な概念」へと、AIが自働でステップアップしながら理解を深めていく点が、深層学習の最大の強みです。

4. 深層学習の代表的なネットワーク構造

1. CNN（畳み込みニューラルネットワーク）: 画像データの処理（特徴の抽出）が非常に得意で、自動運転や物体検出などの基盤となっています。
2. RNN / Transformer: 時系列データやテキストデータの処理が得意で、ChatGPTをはじめとする大規模言語モデル（LLM）の土台として大活躍しています。

5. DS検定形式：実戦4択クイズ

問：深層学習において、層を深くしすぎた結果、誤差を逆方向に伝播させていく過程でパラメーターを更新するための値（勾配）が途中でゼロに近づいてしまい、浅い層が全く学習しなくなってしまう現象を何と呼ぶか。

① 過学習   ② 勾配消失問題   ③ 次元のアサリ   ④ 多重共線性

【 正解： ② 】

解説： 層を多層にする（ディープにする）際の最大の歴史的壁となったのが、この「勾配消失（こうばいしょうしつ）問題」です。現在は、活性化関数（ReLUなど）の工夫や、残差接続（ResNet）などの技術によってこの問題が克服され、さらなる多層化が可能になりました。

6. まとめ

DS検定において「ニューラルネットワークを多層にしたもの」という記述が出たら、迷わず「深層学習（ディープラーニング）」を選びましょう。現代のAIブームを牽引するコア技術として、その概念とメリットをしっかり頭に叩き込んでおきましょう！


【DS検定対策】データの「顔つき」を要約する！基本統計量の選び方

大量のデータをそのまま眺めても特徴は掴めません。データをいくつかの代表的な数値にギュッと凝縮したものが「基本統計量」です。

1. 【 問題 】

データ全体の中心的な位置を表す「代表値」の性質に関する記述として、最も適切なものはどれでしょうか？

① 平均値は、データの中に極端に大きな「外れ値」が1つでも混ざると、その値に強く引きずられて変動してしまう。
② 中央値は、すべてのデータの値を足し算して算出するため、外れ値の影響を最も強く受ける。
③ 最頻値（モード）は、テキストやアンケートの回答（名義尺度）のような、数値以外のデータには適用できない。
④ データの分布が左右非対称であっても、平均値、中央値、最頻値の3つは必ず完全に一致する。

2. 【 解答 】

正解： ① 平均値は、データの中に極端に大きな「外れ値」が1つでも混ざると、その値に強く引きずられて変動してしまう。

3. 整理：基本統計量の「外れ値」への強さ（頑健性）

試験や実務でデータを見る際、各統計量が「外れ値（極端な値）」に対してどう反応するかを知っておくことが非常に重要です。

【 代表値のキャラクター分け 】

・平均値（外れ値に弱い）
すべての値を合計して割るため、大富豪が1人混ざるだけで全体の平均が一気に跳ね上がります。

・中央値（外れ値に強い：堅牢 / ロバスト）
順位の真ん中を見るだけなので、端っこの値がどれだけ極端になろうとも、真ん中の値自体はほとんど変わりません。

・最頻値（外れ値に強い＆文字もいける）
最も票が集まった場所を見るため、外れ値の影響を受けません。また、「好きな色：赤、青、赤」なら最頻値は「赤」となり、数値以外にも使えます。

4. データの「歪み」と代表値の並び（ここがよく出る！）

例えば、日本の「所得データ」のように、一部の高額所得者によって右側に裾が長ーく伸びたグラフ（右に歪んだ分布）では、3つの代表値の大きさに以下のような関係性が生まれます。

最頻値 ＜ 中央値 ＜ 平均値

最も多くの人がいる山（最頻値）に対し、平均値は大富豪たちに右側へグイグイ引っ張られて一番大きな値になります。中央値はその中間に位置します。この位置関係のパターンは、グラフのイメージと一緒に頭に入れておきましょう！

5. DS検定形式：実戦4択クイズ

問：標準偏差を平均値で割ることで算出され、単位が異なるデータ同士（例：身長のばらつきと体重のばらつき）を、公平に比較したい場合に用いられる散布度の指標はどれか。

① 分散   ② 四分位範囲（IQR）   ③ 変動係数（CV）   ④ 標準誤差

【 正解： ③ 】

解説： 「標準偏差 ÷ 平均値」で求められる指標を「変動係数（へんどうけいすう）」と呼びます。平均値の大きさに比例してばらつきも大きくなるようなデータを、相対的に比較したいときの定番統計量です。

6. まとめ

DS検定において「基本統計量」の問題が出たら、それぞれの指標の計算方法と「外れ値に対する強さ」を思い浮かべましょう。正規分布のように綺麗な左右対称のときだけ「平均＝中央＝最頻」になり、歪みがあるとズレる、という原則を押さえておけばバッチリです！