忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】ノイズに負けないデータ集め!フィッシャーの実験計画法3原則

限られた実験から、いかに正しく、効率よく効果を確かめるか。近代統計学の父、ロナルド・フィッシャーが提唱した「実験計画法の3原則」は、現代のデータサイエンスでも必須の知識です。

1. 【 問題 】

フィッシャーが提唱した「実験計画法の3原則」に含まれる3つの要素の組み合わせとして、正しいものはどれでしょうか?

① 反復(Replication) ・ 無作為化(Randomization) ・ 局所管理(Local Control)
② 抽出(Sampling) ・ 段階的帰還(Stepwise) ・ 交互作用(Interaction)
③ 排除(Elimination) ・ 標準化(Standardization) ・ 適合度(Goodness of Fit)
④ 層別(Stratification) ・ 段階的回帰(Regression) ・ 全数調査(Census)


2. 【 解答 】

正解: ① 反復(Replication) ・ 無作為化(Randomization) ・ 局所管理(Local Control)

3. 整理:3原則の役割と具体例

これら3つの原則は、実験につきまとう「個体差」や「予測できないノイズ」をキャンセルするために作られました。農場での肥料の実験をイメージすると分かりやすいです。

原則名意味具体例(肥料の実験)
1. 反復
(Replication)
同じ条件の実験を「複数回繰り返す」こと。たまたま起きた偶然のブレ(誤差)の影響を小さくし、データの信頼性を高めます。 1つの肥料につき、1株だけでなく「10株」にそれぞれ与えて育ち方を比較する。
2. 無作為化
(Randomization)
実験の対象や順番を「ランダム(無作為)に割り当てる」こと。人間が気づいていない、制御できない未知のノイズ(偏り)を平均化して消し去ります。 「日当たりの良い場所には肥料A」「日陰には肥料B」とならないよう、植える場所を完全にくじ引きで決める。
3. 局所管理
(Local Control)
実験空間をいくつかのブロック(グループ)に区切り、「ブロック内では条件をそろえる」こと。分かっているノイズの影響をブロックごとにブロック(遮断)します。 畑の「傾斜が上の方」と「下の方」で土壌が違う場合、上下でブロックを分け、各ブロック内で肥料A・Bを均等に試す。

5. DS検定形式:実戦4択クイズ

問:フィッシャーの3原則のうち、「システム開発におけるWebサイトのA/Bテストにおいて、ユーザーのアクセス時間帯や年齢層といった『まだデータとして把握できていない未知の要因』による偏りを、確率的に均等に分散させて相殺する」ために、最も直接的に適用されている原則はどれか。

① 反復   ② 無作為化   ③ 局所管理   ④ 段階的選択

【 正解: ② 】

解説: 「未知の要因(原因不明の偏り)を、確率的にチャラにする」のが無作為化(ランダム化)の最大のメリットです。A案とB案へのユーザー割り当てをシステム側で完全にランダムに制御するのは、この無作為化を実践している典型例と言えます。


6. まとめ

DS検定において「実験計画法の3原則」を問われたら、呪文のように「反復・無作為化・局所管理」を思い出し、それぞれの役割(反復は誤差減少、無作為化は未知の偏り相殺、局所管理は既知のノイズ制御)をセットで結びつけておきましょう!

PR

【DS検定対策】「わざわざ回答する人」の偏り!自己選択バイアスの罠

「アンケートにご協力ください」と言われて、進んで回答してくれるのはどんな人でしょうか?そこには最初から強い偏りが存在します。それが自己選択バイアスです。

1. 【 問題 】

統計調査や実験において、調査主体がランダムに対象者を選ぶ(無作為抽出する)のではなく、対象者が「自分の意思で進んで参加(自己選択)する」ことによって、集まったデータに強い偏りが生じる現象を何と呼ぶでしょうか?

① 自己選択バイアス
② 観察者バイアス
③ 回避バイアス
④ 出版バイアス


2. 【 解答 】

正解: ① 自己選択バイアス

3. 整理:なぜ「自分の意思」がバイアスを生むのか?

インターネット上の多くのデータは、このバイアスの影響を強く受けています。実務でもよくある具体例を見てみましょう。

【 自己選択バイアスの具体例 】

事例1:ECサイトの製品レビュー(星評価)
ある商品のレビューを見ると、「星5(大満足)」と「星1(大不満)」ばかりで、中間の星3が極端に少ない。
:普通に満足して何も不満がない「大多数のユーザー」は、わざわざレビューを書くという面倒な行動を起こしません。レビューを書くのは「猛烈に感動した人」か「激怒している人」だけになりがちです(自己選択)。

事例2:ネットの政治世論調査
特定のニュースサイトやSNS上で「〇〇政策に賛成ですか?」と任意のアンケートを取ったところ、賛成が90%になった!
:そのサイトやSNSを普段から利用しており、かつ「そのテーマに強い関心があってわざわざ投票ボタンを押した人」だけの意見に偏っています。日本全体の世論とは大きくかけ離れる危険があります。

4. これまで学んだバイアスとの位置づけ

データ収集の偏りを表す「選択バイアス(Selection Bias)」という大きな引き出しの中に、これまで学んだ重要用語が以下のように整理されます。

脱落バイアス:追跡の「途中」で、対象者がいなくなってしまう偏り。
欠測値バイアス:回答の拒否やエラーで、データが「空欄(NULL)」になる偏り。
自己選択バイアス:データの「入り口」で、特定の熱量を持った人だけが自発的に集まる偏り。


5. DS検定形式:実戦4択クイズ

問:自己選択バイアスを防ぎ、母集団の実態を正しく推測するために、標本調査において最も重視されるサンプリング(データ抽出)の手法はどれか。

① 有意抽出(知り合いや集めやすい人から選ぶ)
② 無作為抽出(ランダムサンプリング)
③ ボランティアサンプリング(公募)
④ スノーボールサンプリング(紹介数珠つなぎ)

【 正解: ② 】

解説: 自発的な参加に頼る(③)と自己選択バイアスが直撃します。これを防ぐには、人間の意思が介在しない「無作為抽出(ランダムに選んで調査を依頼する)」を行うことが統計学的な大原則です。


6. まとめ

DS検定において「対象者が自発的に参加することによる偏り」というキーワードが出たら「自己選択バイアス」です。ネット上に転がっているビッグデータや口コミを分析する際には、常にこのバイアスが裏に潜んでいることを意識できるかどうかが、データサイエンティストの腕の見せ所です!

【DS検定対策】NULLデータの罠!「欠測値」が引き起こす分析の偏り

データベースでおなじみの「空欄(NULL)」。データが足りないからといって、そのレコードを無視して分析すると、結果が完全に歪んでしまうことがあります。それが欠測によるバイアスです。

1. 【 問題 】

アンケートや実験データにおいて、回答の記入漏れや測定エラーなどの「欠測値(欠損値)」が多く含まれる場合、その欠測が発生した原因を考慮せずに、単に欠測値のあるデータを除外して(残ったデータだけで)分析を行うことで、結果に偏りが生じる現象を何と呼ぶでしょうか?

① 欠測値バイアス(欠損による偏り)
② 確定バイアス
③ 回答バイアス
④ 出版バイアス


2. 【 解答 】

正解: ① 欠測値バイアス(欠損による偏り)

3. 整理:なぜ「空欄(NULL)」を除外すると偏るのか?

データが消えた(欠測した)のには、高確率で「人間的な理由やシステムのクセ」が存在します。それを無視して `IS NOT NULL` で削ると、集団の実態を見誤ります。

【 欠測がバイアスを生む具体例 】

事例:年収と顧客満足度のアンケート
あるサービスの顧客満足度を調査した際、「年収」の項目に空欄(欠測)が非常に多かった。
:実は「サービスに不満がある低所得層」が年収を書かずに回答(あるいは途中で離脱)していた場合、空欄をすべて除外して集計すると、「高所得者で、かつ満足している人」だけの偏ったデータになり、平均年収も満足度も実態より高く計算されてしまいます。

4. データサイエンティストはどう戦うか?(欠測値の処理)

試験や実務では、このバイアスを防ぐための「前処理(補完)」がセットで問われます。
1. リストワイズ削除(完全情報解析): 欠測があるレコードを丸ごと消す方法。欠測が完全にランダム(MCAR)でない限り、今回のようなバイアスが発生します。
2. 平均値補完 / 中央値補完: 空欄に、他のデータの平均値などを埋める方法。簡単ですが、データのばらつき(分散)が不自然に小さくなる弱点があります。
3. 多重代入法 / 予測モデルによる補完: 他のカラムの値から、機械学習などを使って空欄の数値を予測して埋める、より高度でバイアスが起きにくい手法です。


5. DS検定形式:実戦4択クイズ

問:データの欠測メカニズムにおいて、体重の重い人が体重の入力を拒否するように、「欠測するかどうかが、その欠測した値自体に依存している(他のデータを見ても欠測の理由を説明できない)」最も扱いが難しい欠測の性質を何と呼ぶか。

① MCAR(完全にランダムな欠測)   ② MAR(条件付きでランダムな欠測)   ③ MNAR(ランダムではない欠測)   ④ 確定論的欠測

【 正解: ③ 】

解説: 「隠したい数値そのもののせいでデータが消える」状態をMNAR(Missing Not At Random:ランダムではない欠測)と呼びます。これがまさに、今回問題にした「最も強いバイアス」を引き起こす原因となります。


6. まとめ

DS検定において「欠測値を含むデータが多い場合に、それを単純に除外することで生じる偏り」というテーマが出たら「欠測値バイアス」の罠を疑いましょう。データが「ない」ということ自体に重要な意味(メッセージ)が隠されているケースが多いことを、しっかり意識しておきましょう!


【DS検定対策】多すぎる変数を賢く選別!「段階的回帰(ステップワイズ法)」の仕組み

予測モデルを作る際、変数は多ければ多いほど良いとは限りません。本当に必要な変数だけをシステムが自動で選ぶ技術、それが段階的回帰(ステップワイズ法)です。

1. 【 問題 】

重回帰分析などの変数選択において、すべての変数(特徴量)を一気に投入するのではなく、モデルの予測精度(AICなどの統計量)が最も向上するように、変数を1つずつ順番に追加、または削除しながら最適な変数の組み合わせを自動的に探索する手法を何と呼ぶでしょうか?

① 段階的回帰(ステップワイズ法)
② 主成分分析(PCA)
③ ロジスティック回帰
④ プルーニング(枝刈り)


2. 【 解答 】

正解: ① 段階的回帰(ステップワイズ法)

3. 整理:ステップワイズ法の3つのアプローチ

ステップワイズ法には、変数をどう動かすかによって主に3つの戦術があります。

手法名変数の選び方の特徴
増加法
(前向き選択)
変数ゼロの状態からスタート。モデルの精度を最も上げる変数を「次々に追加」していき、これ以上精度が上がらなくなったらストップする手法。
減少法
(後ろ向き消去)
最初にすべての変数を全部投入した状態からスタート。予測に「最も貢献していない(不要な)変数」を1つずつ「削除」していく手法。
増減法
(ステップワイズ)
上記のハイブリッド。変数を1つずつ「追加」しつつ、過去に入れた変数が不要になっていないかを毎回チェックして「削除」も行う最も賢い手法。

4. なぜ変数を絞り込む必要があるのか?

「データがたくさんあるなら、全部の変数を回帰式に入れればいいのでは?」と思いがちですが、それは危険です。
関係のないノイズのような変数までたくさん入れてしまうと、前回の問題で扱った過学習(オーバーフィッティング)の原因になったり、変数同士が数理的に衝突する多重共線性(マルチコ)という不具合を引き起こします。そのため、段階的回帰を使って「少数精鋭の変数」に絞り込むことが実務でも非常に重要になります。


5. DS検定形式:実戦4択クイズ

問:段階的回帰(ステップワイズ法)において、変数を追加・削除する際の「予測精度の良さ(モデルのシンプルさと当てはまりの良さのバランス)」を評価するために、最もよく使われる代表的な統計指標はどれか。

① 決定係数($R^2$)   ② 赤池情報量基準(AIC)   ③ 標準偏差   ④ 相関係数

【 正解: ② 】

解説: ステップワイズ法では、一般的に「AIC(Akaike Information Criterion)」という指標が最小になるように変数を出し入れします。決定係数(①)は変数を増やせば増やすほど勝手に数値が上がってしまうため、変数の選別基準としては適切ではありません。


6. まとめ

DS検定において「精度を上げるために変数を次々に追加(選択)または削除する」という自動選別のキーワードが出たら「段階的回帰(ステップワイズ法)」です。手元にあるデータの過学習を防ぎ、シンプルで本番に強いモデルを作るための王道アプローチとして覚えておきましょう!


【機械学習の知識】数式なしでわかるブートストラップ・リサンプリングの仕組みとアルゴリズム

限られたデータから統計的な推測を行いたい。しかし、何度もデータを集め直すのは現実的に不可能。その限界を「何度も復元抽出する」というアイデアで突破するのが、ブートストラップ・リサンプリングです。

1. 【 概要 】

ブートストラップ・リサンプリングとは、手元にある元のデータセット(サンプルサイズ n)から、重複を許して(元に戻しながら)ランダムにデータを取り出し、新しい疑似的なデータセットを何度も作り出す手法です。これにより、手元のデータだけでは分からなかった「統計量のばらつき(分散や信頼区間)」を視覚的・計算的に評価できるようになります。


2. 【 基本アルゴリズム 】

サンプルサイズを n とする。
(1) n 個の標本を抽出して、その平均を記録する。標本を元に戻す。
(2) この処理を N 回繰り返す。
(3) N 個の結果を使って、統計量などを計算する。

3. 整理:各ステップで何が行われているのか?

一見するとシンプルな処理ですが、データサイエンスにおいて非常に強力な効果を発揮します。それぞれのステップを具体的に見ていきましょう。

【 アルゴリズムの具体的な処理内容 】

ステップ(1):復元抽出と記録
元のデータからランダムに1個選び、記録したら「また元のデータの中に戻す」という操作(復元抽出)を n 回 繰り返して新しいデータセットを作ります。この新しいデータセットの平均値などの統計量を計算し、記録します。同じデータが2回以上選ばれることもあれば、1度も選ばれないデータもあります。

ステップ(2):N回の繰り返し
ステップ(1)の「n個選んで平均を記録する」という一連の処理を、十分に大きな回数(N回。一般的に数百〜数千回)繰り返します。手元にN個の「疑似的な平均値のデータ」が集まることになります。

ステップ(3):統計量の計算
集まった N 個 の結果の分布を見ることで、その統計量がどれくらいバラつくのか(標準誤差)を求めたり、95%信頼区間を推定したりします。

4. 関連して押さえたい「アンサンブル学習(バギング)への応用」

このブートストラップ・リサンプリングは、統計推定だけでなく、機械学習において高い予測精度を誇るアルゴリズムの基礎にもなっています。
代表例が「バギング(Bootstrap Aggregating)」です。バギングでは、ブートストラップ法によって大量の異なるデータセットを作り出し、それぞれで決定木などの弱学習器を並列に訓練します。これらを組み合わせたモデルが、機械学習で非常によく使われる「ランダムフォレスト」です。


5. 補足:一度も選ばれないデータ(約37%)の秘密

サンプルサイズ n が十分に大きいとき、ブートストラップ抽出において元のデータから「一度も選ばれないデータ」は理論上、全体の約36.8%(約37%)存在します(数式では (1 - 1/n)^n が 1/e に収束するため)。
機械学習のランダムフォレストなどでは、この選ばれなかった約37%のデータを「Out-of-Bag(OOB)データ」と呼び、モデルの性能をテストするための検証用データとして有効活用しています。


6. まとめ

データサイエンスや機械学習の現場において「元に戻しながら何度もデータを集め直す手法」と言えば、このブートストラップ・リサンプリングです。手元にある限られたデータからでも、計算機のパワー(反復処理)を使って統計的な信頼性を評価したり、強力なアンサンブルモデルを作ったりできる重要なアルゴリズムですので、確実に仕組みを押さえておきましょう!