忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】消えたデータの声を聴け!「脱落バイアス」の罠

分析対象者が途中でいなくなってしまう。その「離脱」自体が偏りを生み出す原因になる。それが脱落バイアスです。

1. 【 問題 】

データ収集や実験のプロセスにおいて、調査対象者が「途中で離脱(脱落)」したことにより、最後まで残った対象者だけのデータに偏りが生じ、正しい分析結果が得られなくなる現象(バイアス)を何と呼ぶでしょうか?

① 生存者バイアス(サバイバーシップ・バイアス)
② 脱落バイアス(アトリッション・バイアス)
③ 回答バイアス
④ 確証バイアス


2. 【 解答 】

正解: ② 脱落バイアス(アトリッション・バイアス)

3. 整理:なぜ「脱落」がバイアスを生むのか?

もし、脱落(離脱)が完全にランダムであれば大きな問題にはなりませんが、現実には「離脱するだけの理由」がそこにあるため、結果が歪みます。

【 ビジネスや研究での具体例 】

事例1:教育アプリの効果測定
難関資格の学習アプリで、1ヶ月継続した人の合格率が「90%」だった!
:実は「内容が難しすぎて挫折した人」が途中で大量に脱落(アンインストール)していた場合、最後まで残った「元から優秀な人」だけの結果を見ている可能性があります。

事例2:新薬の臨床試験
ある薬を3ヶ月服用してもらう実験で、副作用が非常に強かった人が途中で通院をやめてしまった。
:最終的に無事完走した人のデータだけを集計すると、「副作用が少なくて効果が高い魔法の薬」に見えてしまう危険があります。

4. 関連して押さえたい「選択バイアス」

脱落バイアスは、統計学における「選択バイアス(Selection Bias)」という大きな分類の1つです。
似た言葉に、歴史的なエピソード(爆撃から生還した戦闘機の補強など)で有名な「生存者バイアス」がありますが、生存者バイアスが「すでに生き残ったもの(結果)」だけを後から見てしまうことに対し、脱落バイアスは「時間の経過とともに進行形で対象者がいなくなっていくプロセス(縦断調査など)」に注目する点が特徴です。


5. DS検定形式:実戦4択クイズ

問:WebサービスのA/Bテストにおいて、新機能(B案)のページが非常に重く、読み込みに時間がかかったため、多くのユーザーが途中でブラウザを閉じて離脱してしまった。この状況で、ページを最後まで読み込んでコンバージョン(購入)したユーザーだけのデータで効果測定を行う際に発生するバイアスとして最も適切なものはどれか。

① 確証バイアス   ② 脱落バイアス   ③ 社会的妥当性バイアス   ④ 出版バイアス

【 正解: ② 】

解説: 「読み込みが遅くてイライラして途中で離脱した人」の存在を無視し、最後まで粘り強く待ってくれた熱狂的なユーザーだけの数値で評価してしまうため、これも典型的な脱落バイアスです。


6. まとめ

DS検定やデータ分析の現場において「途中で対象者が離脱したことで生じる偏り」という記述が出たら、それは「脱落バイアス」を指します。データサイエンスでは、手元にある綺麗なデータだけでなく、「消えてしまったデータ(離脱した人)の理由」にこそ、システム改善の最大のヒントが隠されていることを忘れないようにしましょう!

PR

【DS検定対策】確率・統計の基礎!順列で考える「封筒を開ける順番」

データサイエンスの確率を学ぶ上で、基本となるのが「場合の数の数え上げ」です。今回は、3つの封筒を開ける順番が何通りあるか、画面で崩れない図解と一緒に整理しましょう。

1. 【 問題 】

中身の異なる3つの封筒(A、B、C)があります。これら3つの封筒を1つずつ順番にすべて開けるとき、その開ける順番の組み合わせ(並び順)は全部で何通りあるでしょうか?

① 3通り
② 6通り
③ 9通り
④ 27通り


2. 【 解答 】

正解: ② 6通り

3. 図解:開ける順番の全パターン(ツリー構造)

1番目、2番目、3番目に選ぶ封筒の選択肢と、その結果をシンプルな表で表しました。

1番目に開ける2番目に開ける3番目に開ける完成する並び順
封筒 A 封筒 B 封筒 C ① A → B → C
封筒 C 封筒 B ② A → C → B
封筒 B 放筒 A 封筒 C ③ B → A → C
封筒 C 封筒 A ④ B → C → A
封筒 C 封筒 A 封筒 B ⑤ C → A → B
封筒 B 封筒 A ⑥ C → B → A

表の右端(青い列)を上から数えると、全部で6通りの並び方があることが一目で分かります!


4. 整理:数式(積の法則)でのアプローチ

毎回表を描かなくても、以下のステップを掛け算(積の法則)することで簡単に計算できます。

【 ステップごとの選択肢の数 】

1番目に開ける封筒: まだ全部残っているので 3通り(AかBかC)
2番目に開ける封筒: 1枚開けたので、残りは 2通り
3番目に開ける封筒: 最後に残った 1通りのみ

--------------------------

$$3 \times 2 \times 1 = 6 \text{通り}$$

このように、ある数から1ずつ減らしながら1まで掛け合わせる計算を数学では「階乗(かいじょう)」と呼び、感嘆符を使って $3!$(3の階乗) と表記します。


5. DS検定形式:実戦4択クイズ

問:異なる5つのデータ(A、B、C、D、E)の中から、順序を考慮せずに「3つのデータ」を同時に選び出す(抽出する)組み合わせの数は何通りか。

① 10通り   ② 20通り   ③ 60通り   ④ 120通り

【 正解: ① 】

解説: 今回の封筒問題のように「順番(列)」を意識する場合は順列ですが、順番を気にせず「グループを選ぶだけ」の場合はコンビネーション($_5C_3$)を使います。
計算式は $\frac{5 \times 4 \times 3}{3 \times 2 \times 1} = 10 \text{通り}$ となり、サンプリング(標本抽出)の理論の基礎となります。


6. まとめ

DS検定において、確率の基本となる「並び順(順列)」が出たら、選択肢が1つずつ減っていく掛け算(階乗 $n!$)を連想しましょう。この「数え上げ」の感覚が、のちに学ぶ「確率分布」や「ベイズ統計」の複雑な数式を理解するための強固な土台になります!




【DS検定対策】AIブームの原動力!「深層学習(ディープラーニング)」の仕組み

人間の脳の神経回路を模したニューラルネットワーク。その階層を何層にも深く重ねることで、AIの表現力を劇的に高めた技術が深層学習です。

1. 【 問題 】

機械学習の手法の一つにおいて、人間の脳の神経回路を模したアルゴリズムであるニューラルネットワークの層を何層にも深く(多層に)したものを [     ] というでしょうか?

① アンサンブル学習
② 深層学習(ディープラーニング)
③ 教師なし学習
④ 決定木学習


2. 【 解答 】

正解: ② 深層学習(ディープラーニング)

3. 整理:なぜ「多層」にすると賢くなるのか?

従来の機械学習では、人間が「どこに注目すべきか(特徴量)」を手作業で計算して指定する必要がありました(特徴量エンジニアリング)。しかし、深層学習は層を深くすることで、AI自らが段階的に特徴を見つけ出します。

【 画像認識における多層化のイメージ 】

入力層:画像のピクセルデータ(生の数値)を受け取る。

浅い層(初期層):画像の中の「輪郭(縦の線や横の線)」を検出する。

中間の層:検出した線から「目」や「鼻」「耳」といったパーツの形を合成する。

深い層(出力層):パーツの組み合わせから「これは猫である」と最終判断する。

--------------------------

ポイント:
このように、層を深くすることで「単純な特徴」から「複雑な概念」へと、AIが自働でステップアップしながら理解を深めていく点が、深層学習の最大の強みです。

4. 深層学習の代表的なネットワーク構造

1. CNN(畳み込みニューラルネットワーク): 画像データの処理(特徴の抽出)が非常に得意で、自動運転や物体検出などの基盤となっています。
2. RNN / Transformer: 時系列データやテキストデータの処理が得意で、ChatGPTをはじめとする大規模言語モデル(LLM)の土台として大活躍しています。


5. DS検定形式:実戦4択クイズ

問:深層学習において、層を深くしすぎた結果、誤差を逆方向に伝播させていく過程でパラメーターを更新するための値(勾配)が途中でゼロに近づいてしまい、浅い層が全く学習しなくなってしまう現象を何と呼ぶか。

① 過学習   ② 勾配消失問題   ③ 次元のアサリ   ④ 多重共線性

【 正解: ② 】

解説: 層を多層にする(ディープにする)際の最大の歴史的壁となったのが、この「勾配消失(こうばいしょうしつ)問題」です。現在は、活性化関数(ReLUなど)の工夫や、残差接続(ResNet)などの技術によってこの問題が克服され、さらなる多層化が可能になりました。


6. まとめ

DS検定において「ニューラルネットワークを多層にしたもの」という記述が出たら、迷わず「深層学習(ディープラーニング)」を選びましょう。現代のAIブームを牽引するコア技術として、その概念とメリットをしっかり頭に叩き込んでおきましょう!


【DS検定対策】データの「顔つき」を要約する!基本統計量の選び方

大量のデータをそのまま眺めても特徴は掴めません。データをいくつかの代表的な数値にギュッと凝縮したものが「基本統計量」です。

1. 【 問題 】

データ全体の中心的な位置を表す「代表値」の性質に関する記述として、最も適切なものはどれでしょうか?

① 平均値は、データの中に極端に大きな「外れ値」が1つでも混ざると、その値に強く引きずられて変動してしまう。
② 中央値は、すべてのデータの値を足し算して算出するため、外れ値の影響を最も強く受ける。
③ 最頻値(モード)は、テキストやアンケートの回答(名義尺度)のような、数値以外のデータには適用できない。
④ データの分布が左右非対称であっても、平均値、中央値、最頻値の3つは必ず完全に一致する。


2. 【 解答 】

正解: ① 平均値は、データの中に極端に大きな「外れ値」が1つでも混ざると、その値に強く引きずられて変動してしまう。

3. 整理:基本統計量の「外れ値」への強さ(頑健性)

試験や実務でデータを見る際、各統計量が「外れ値(極端な値)」に対してどう反応するかを知っておくことが非常に重要です。

【 代表値のキャラクター分け 】

平均値(外れ値に弱い)
すべての値を合計して割るため、大富豪が1人混ざるだけで全体の平均が一気に跳ね上がります。

中央値(外れ値に強い:堅牢 / ロバスト)
順位の真ん中を見るだけなので、端っこの値がどれだけ極端になろうとも、真ん中の値自体はほとんど変わりません。

最頻値(外れ値に強い&文字もいける)
最も票が集まった場所を見るため、外れ値の影響を受けません。また、「好きな色:赤、青、赤」なら最頻値は「赤」となり、数値以外にも使えます。

4. データの「歪み」と代表値の並び(ここがよく出る!)

例えば、日本の「所得データ」のように、一部の高額所得者によって右側に裾が長ーく伸びたグラフ(右に歪んだ分布)では、3つの代表値の大きさに以下のような関係性が生まれます。

最頻値 < 中央値 < 平均値

最も多くの人がいる山(最頻値)に対し、平均値は大富豪たちに右側へグイグイ引っ張られて一番大きな値になります。中央値はその中間に位置します。この位置関係のパターンは、グラフのイメージと一緒に頭に入れておきましょう!


5. DS検定形式:実戦4択クイズ

問:標準偏差を平均値で割ることで算出され、単位が異なるデータ同士(例:身長のばらつきと体重のばらつき)を、公平に比較したい場合に用いられる散布度の指標はどれか。

① 分散   ② 四分位範囲(IQR)   ③ 変動係数(CV)   ④ 標準誤差

【 正解: ③ 】

解説: 「標準偏差 ÷ 平均値」で求められる指標を「変動係数(へんどうけいすう)」と呼びます。平均値の大きさに比例してばらつきも大きくなるようなデータを、相対的に比較したいときの定番統計量です。


6. まとめ

DS検定において「基本統計量」の問題が出たら、それぞれの指標の計算方法と「外れ値に対する強さ」を思い浮かべましょう。正規分布のように綺麗な左右対称のときだけ「平均=中央=最頻」になり、歪みがあるとズレる、という原則を押さえておけばバッチリです!

DS検定対策】データの特徴を見抜く!「代表値」と「散布度」の区別

データ全体が「だいたいどのあたりにあるか」を示す代表値。しかし、中にはデータの「広がり(ばらつき)」を表す別の指標が混ざっていることがあります。

1. 【 問題 】

統計学において、データ全体の中心的な傾向や特徴を1つの数値で表したものを「代表値」と呼びます。次の記述のうち、データの「代表値」として適切でないものはどれでしょうか?

① 平均値(ミーン)
② 中央値(メディアン)
③ 最頻値(モード)
④ レンジ(範囲)


2. 【 解答 】

正解: ④ レンジ(範囲)

3. 整理:「代表値」と「散布度」を峻別する

データの特徴を掴むための統計量は、大きく分けて以下の2グループに分類されます。ここを混同しないようにすることが試験対策の第一歩です。

【 2つの重要な統計量グループ 】

1. 代表値(データの中心はどこか?)
平均値:すべての値を足してデータ数で割った値。全体を均した値。
中央値:データを大きさ順に並べたときに中央にくる値。外れ値に強い。
最頻値:データの中で最も多く出現する値。アンケートの回答などに便利。

2. 散布度(データはどれくらいバラついているか?)
レンジ(範囲)★これが正解!
「最大値 - 最小値」で計算され、データの「端から端までの広がり」を表します。
分散 / 標準偏差:平均値からのばらつきの度合いを表します。

4. レンジ(範囲)のメリットと限界

1. メリット: 「最大値 - 最小値」を計算するだけなので、SQLの `MAX(col) - MIN(col)` のように非常にシンプルかつ高速に算出できます。
2. デメリット(限界): 最大値と最小値の2つの値しか見ないため、たった1つでも異常に大きい(または小さい)「外れ値」が混ざるだけで、全体の分布と関係なく数値が跳ね上がってしまう弱点があります。


5. DS検定形式:実戦4択クイズ

問:所得のデータのように、一部の極端な大富豪(外れ値)によって「平均値」が大きく引き上げられてしまうような非対称な分布において、集団の「一般的な真ん中」の実態を最も適切に表しやすい代表値はどれか。

① 平均値   ② 中央値   ③ レンジ   ④ 標準偏差

【 正解: ② 】

解説: 外れ値の影響を強く受けてしまう平均値に対し、順位の真ん中を見る「中央値」は外れ値の影響を受けにくい(頑健である)という性質があります。これもデータ分析の現場や試験で非常によく問われる視点です。


6. まとめ

DS検定において「代表値として適切でないもの」を問われたら、データのばらつきを表す指標(レンジ、分散、標準偏差など)を探しましょう!指標の目的が「位置(真ん中)」を測るものか、「広がり(ばらつき)」を測るものか、常に意識して整理しておくと迷わなくなります!