忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【R言語】独立な2群のt検定(ウェルチのt検定)の基本手順とサンプルコード

t検定は、独立した2つのグループの平均値に、統計的に意味のある差(有意差)があるかどうかを検証するための基本的な統計手法です。例えば、「男性と女性の身長の比較」など、お互いに影響を及ぼさない2つの母集団の平均を比べたいときに用いられます。

0. t検定の前提条件について(正規分布の仮定)

t検定を行う上での理論上の前提として、「比較する2つのグループのデータがそれぞれ正規分布に従っていること」という条件(正規性の仮定)があります。

実際のデータ分析においては以下のポイントを押さえておきましょう。

  • 中心極限定理による頑健性(ロバスト性): サンプルサイズが十分にある場合(各群30〜50以上が目安)、データが多少正規分布から外れていてもt検定の結果は信頼できます。
  • サンプルサイズが非常に少ない場合: データ数が少なく、かつ正規分布から大きくかけ離れている場合は、ノンパラメトリック検定であるマン・ホッケーのU検定(wilcox.test())の利用を検討します。

今回は、あらかじめ rnorm() 関数を使って「正規分布に従うデータ」を生成して検証を行います。

1. サンプルデータの作成(rnorm関数について)

【 手順 】 手元に実データがない場合でも、Rの rnorm() 関数を使えばテスト用のデータ(正規乱数)を簡単に作ることができます。

→ rnorm(n, mean, sd) は、正規分布に従う乱数を発生させる関数(random normal distribution)です。個数・平均値・標準偏差を指定してシミュレーションデータを作成します。

【 サンプルコード 】

# 1. 再現性のための乱数シードの設定
set.seed(123)

# 2. rnorm() を使って男性と女性のダミーデータを生成
male_height <- rnorm(n = 50, mean = 171.5, sd = 5.8)
female_height <- rnorm(n = 50, mean = 158.0, sd = 5.2)

# 3. データフレームへの統合
df <- data.frame(
  gender = factor(rep(c("Male", "Female"), each = 50)),
  height = c(male_height, female_height)
)

# データの先頭6行を確認
head(df)

【 実行結果 】

  gender   height
1   Male 168.2492
2   Male 170.1650
3   Male 180.5405
4   Male 171.9089
5   Male 172.2499
6   Male 181.4474

2. t検定の実行手順

【 手順 】 検定を行う前に記述統計量を確認し、その後 t.test() 関数で検定を実行します。

【 サンプルコード 】

# Step 1: 性別ごとの平均値と標準偏差を算出
aggregate(height ~ gender, data = df, FUN = function(x) c(mean = mean(x), sd = sd(x)))

# Step 2: 2標本t検定の実行(ウェルチのt検定がデフォルト)
res <- t.test(height ~ gender, data = df)

# 検定結果のコンソール出力
print(res)

【 実行結果 】

# Step 1 の結果
  gender height.mean  height.sd
1 Female  158.761323   4.708325
2   Male  171.699541   5.370046

# Step 2 の結果(print(res))
        Welch Two Sample t-test

data:  height by gender
t = -12.81, df = 96.353, p-value < 2.2e-16
alternative hypothesis: true difference in means between group Female and group Male is not equal to 0
95 percent confidence interval:
 -14.94297 -10.93346
sample estimates:
mean in group Female   mean in group Male 
            158.7613             171.6995 

3. 結果の見方とまとめ

【 ポイント 】

[ t検定結果の読み方 ]

1.p-value(p値)
→ p-value < 2.2e-16(ほぼ0)のため、有意水準0.05未満となり「男女の平均身長には統計的に有意な差がある」と結論づけられます。

2.95%信頼区間
→ 平均値の差(女性 - 男性)が約 -14.94cm から -10.93cm の範囲にあると推定されます。

3.サンプル平均
→ 女性は約158.76cm、男性は約171.70cmであることが確認できます。


4. まとめ

Rの rnorm() と t.test() を使えば、手元にデータがなくても簡単に統計検定のシミュレーションが行えます。データの比較を行う際は、ぜひこの手順を試してみてください。


PR

【DS検定対策】上から下へ分けていく!「DIANA(分割型階層的クラスタリング)」の仕組み

教師なし学習の代表例である「階層的クラスター分析」には、データをまとめていく方向によって2つのアプローチがあります。その一つで、1つの大きなグループを徐々に細かく分割していく手法が「DIANA(Divisive Analysis / ダイアナ)」です!

1. 【 問題 】

階層的クラスター分析のアルゴリズムの一つであり、すべてのデータが含まれる1つの大きなグループをスタート地点とし、それを2つに分割する操作を繰り返し行いながら階層的な木構造を構築していく手法を何と呼ぶでしょうか?

① DIANA(ダイアナ / 分割型)
② Ward法(ウォード法)
③ AGNES(アグネス / 凝集型)
④ 勾配ブースティング(Gradient Boosting)


2. 【 解答 】

正解: ① DIANA(ダイアナ / 分割型)

3. 整理:階層的クラスター分析の2つのアプローチ

クラスターをどのように作っていくか、ボトムアップ型とトップダウン型の違いを整理しましょう。

手法のアプローチ内容・特徴
1. 凝集型(Agglomerative)
(例:AGNESなど)
「ボトムアップ型」。個々のデータがそれぞれ独立した状態からスタートし、近いもの同士を次々と結合して大きなクラスターを作っていく(最短距離法、Ward法などはこちらに属する)。
2. 分割型(Divisive)
(★今回のポイント:DIANA)
「トップダウン型」。すべてのデータが含まれる1つの巨大なクラスターからスタートし、それを2つに分割する操作を繰り返して細かいクラスターに分けていく。

4. DIANAの特徴と動きのイメージ

・トップダウンの処理:
1. 全データが1つのクラスターに入っている状態から始まる。
2. 全体の中で最も孤立しているデータ(または散らばりの大きい部分)を見つけ、グループを2つに割る。
3. 分割されたそれぞれのグループに対してさらに分割を繰り返し、最終的にすべてのデータがバラバラの1点になるまで(または指定の階層まで)分解を進める。

5. DS検定形式:実戦4択クイズ

問:階層的クラスター分析における「DIANA」に関する記述として、最も適切なものはどれか。

① 全データを含む1つの大きなグループからスタートし、それを2つに分割する操作を繰り返して細かなクラスターに分けていく分割型(トップダウン型)の手法である。
② 個々のデータが独立した状態からスタートし、クラスター間の距離が最も近いペア同士を次々と結合して大きなグループを作っていく手法である。
③ 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで異常を検知する手法である。
④ 異なる種類の複数のモデルを組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測を行う手法である。

【 正解: ① 】

解説: DIANAの定義と特徴を正確に理解しているかを問う重要問題です。
①が正解です。1つのグループを2つに分割していくトップダウン型の分割型手法です。
②は「凝集型」、③は「MT法」、④は「スタッキング」の説明です。


6. まとめ

DS検定や資格試験で「階層的クラスター分析」「1つのグループを2つに分割する操作を繰り返す」といったキーワードが出たら、正解は「DIANA(ダイアナ)」です! 凝集型(AGNESやWard法など)との違いをあわせてしっかり押さえておきましょう!

【DS検定対策】少ない異常データを賢く見抜く!「MT法(マハラノビス・タグチ法)」の仕組み

製品の検査や機械の故障予知など、実務の現場では「正常なデータは山ほどあるが、異常なデータ(不良品や故障)はほとんど起きていない・手に入らない」というケースがよくあります。そのような状況で異常値判断に威力を発揮するのが「MT法(Mahalanobis-Taguchi Method / マハラノビス・タグチ法)」です!

1. 【 問題 】

異常値判断などで異常なデータが非常に少ない場合に利用され、「正常データから構成される基準(マハラノビス空間)に近いものは正常、遠いものは異常」と判断する多変量解析手法を何と呼ぶでしょうか?

① MT法(マハラノビス・タグチ法)
② 勾配ブースティング(Gradient Boosting)
③ アソシエーション分析(Association Analysis)
④ スタッキング(Stacking)


2. 【 解答 】

正解: ① MT法(マハラノビス・タグチ法)

3. 整理:MT法の仕組みと判断の基準

MT法がどのようにして異常を検知するのか、その基本的な考え方を整理しましょう。

判断のステップ内容・特徴
1. 正常データの基準づくり
(マハラノビス空間)
圧倒的多数である「正常なデータ」だけを使って、項目の相関関係を考慮した「正常な状態の基準(マハラノビス空間)」を構築する。
2. 距離による異常判定
(★今回のポイント)
新しいデータが入力されたとき、基準(正常データ群)からどれくらい離れているかを「マハラノビスの距離」で計算する。
・正常に近いもの: 距離が近いため「正常」と判断。
・正常から遠いもの: 基準から大きく離れているため「異常」と判断。

4. なぜMT法が優れているのか?

・異常データが不要:
通常の機械学習(分類モデルなど)では「正常データ」と「異常データ」の両方が大量に必要ですが、実務では異常品がめったに出ないため学習データが集まりません。MT法は「正常データだけで基準が作れる」ため、この問題をクリアできます。

5. DS検定形式:実戦4択クイズ

問:データサイエンスや品質管理における「MT法」に関する記述として、最も適切なものはどれか。

① 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで正常か異常かを判断する手法である。
② モデルの予測誤差を最小化するために、損失関数の勾配を利用して決定木を逐次的に追加・学習させていく強力な機械学習手法である。
③ 異なる種類の複数のモデルを組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測を行う手法である。
④ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータの統計解析手法である。

【 正解: ① 】

解説: MT法の目的と判定の仕組みを正確に理解しているかを問う重要問題です。
①が正解です。異常データが少ない状況で正常データの距離を基準に異常を検知します。
②は「勾配ブースティング」、③は「スタッキング」、④は「パネルデータ」の説明です。


6. まとめ

DS検定や資格試験で「異常データが少ない場合」「正常データに近いものは正常、遠いものは異常」といったキーワードが出たら、正解は「MT法(マハラノビス・タグチ法)」です! 品質管理や異常検知の代表的手法としてしっかり押さえておきましょう!



【DS検定対策】AIが抱える根本的なジレンマ!「フレーム問題」の仕組み

人工知能(AI)や認知科学の歴史において、コンピュータが現実世界で賢く振る舞う上での限界や壁として議論されてきた非常に有名な難問、それが「フレーム問題(Frame Problem)」です!

1. 【 問題 】

人工知能(AI)やロボットが現実世界で目の前の課題を解決しようとしたとき、「無限に存在する知識や状況の中から、今、自分に関係のある部分だけをどう特定するか?」という計算上・論理上の困難さを指す問題を何と呼ぶでしょうか?

① フレーム問題(Frame Problem)
② シンボル接地問題(Symbol Grounding Problem)
③ アソシエーション分析(Association Analysis)
④ 順序統計量(Order Statistics)


2. 【 解答 】

正解: ① フレーム問題(Frame Problem)

3. 整理:フレーム問題の本質と具体例

フレーム問題がなぜAIにとって難しいのか、その構造を整理しましょう。

概念・特徴内容
直感的な例
(★今回のポイント)
ロボットが洞窟の中にある爆弾を取ってくる任務を言い渡されたとき、ロボットは「爆弾を取る」こと以外にも、「天井の色が変わらないか」「自分の足の靴紐がほどけていないか」など、世界中の無関係な事柄まですべて推論しようとして計算が停止してしまう(あるいは永遠に終わらない)。
本質的な課題 人間は「今、何が無関係で、何が関係あるか」を無意識かつ瞬時に判断して切り捨てることができるが、コンピュータ(従来の記号処理AI)にはこれが極めて困難であるという問題。

4. 関連するAIの哲学的な難問たち

・シンボル接地問題:
AIが扱う言葉(シンボル)の意味が、現実世界の実体や体験とどう結びついているのかという問題。

・常識推論の壁:
人間にとっては当たり前の「水をこぼしたら濡れる」といった暗黙の常識を、コンピュータにすべて教え込むことの膨大さ。

5. DS検定形式:実戦4択クイズ

問:人工知能(AI)の歴史や認知科学における「フレーム問題」に関する記述として、最も適切なものはどれか。

① 膨大な知識や状況の中から、今目の前の課題に関係のある部分だけを効率よく特定することが計算上非常に難しいという問題である。
② 言葉(シンボル)の意味が、現実世界の具体的な感覚や実体とどのように結びついているかという根本的な難しさを示す問題である。
③ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータに関する問題である。
④ 名義尺度データに対する散らばり度合いや、その値が0から1の範囲に収まる性質に関する数学的な問題である。

【 正解: ① 】

解説: フレーム問題の定義を正確に理解しているかを問う重要問題です。
①が正解です。関係する知識をどう特定するかという難しさを指します。
②は「シンボル接地問題」、③は「パネルデータ」、④は「質的変動指標(IQV)」の説明です。


6. まとめ

DS検定や資格試験、AIの基礎論で「膨大な知識の中から関係する部分をどう特定するか」「計算が止まってしまう」といったキーワードが出たら、正解は「フレーム問題(Frame Problem)」です! AIの限界や背景知識としてしっかり押さえておきましょう!

【DS検定対策】横断と時系列のいいとこ取り!「パネルデータ(縦断面データ)」の仕組み

統計学やデータ分析において、データの集め方による種類を理解することは非常に重要です。その中で、同一のサンプル(個人や企業など)に対して複数の時点で継続して記録を行い、「空間の広がり」と「時間の経過」の両方を捉えることができるデータ、それが「パネルデータ(Panel Data)」です!

1. 【 問題 】

同一のサンプル(調査対象)に対して、複数の時点(時間)にわたって複数の項目を継続して記録・収集したデータのことを何と呼ぶでしょうか?

① パネルデータ(Panel Data)
② クロスセクションデータ(横断面データ)
③ 時系列データ(Time Series Data)
④ コーホートデータ(Cohort Data)


2. 【 解答 】

正解: ① パネルデータ(Panel Data)

3. 整理:3つの主要なデータ形式の比較

これまで登場した代表的なデータ形式の特徴を整理しましょう。

データの種類内容・特徴
1. クロスセクションデータ
(横断面データ)
「ある一時点」において、複数の異なる対象を横断的に集めたデータ。
2. 時系列データ
(Time Series Data)
「ある一つの対象」について、時間の経過に沿って継続的に記録したデータ。
3. パネルデータ
(★今回のポイント)
「同一の複数のサンプル」に対して、「複数の時点(時間)」にわたって継続して記録したデータ(クロスセクション + 時系列)。

4. パネルデータの強みとメリット

・個別の変化と時間の変化を分離:
同じ人や企業を追いかけ続けるため、「その人固有の変わらない特徴(能力や性格など)」の影響を取り除き、純粋に「時間が経ったことによる変化や施策の効果」を正確に分析(パネルデータ分析)することができる。

・具体例:
毎年同じ1,000人の会社員を対象に、所得や健康状態の変化を10年間にわたって追跡調査したデータなど。

5. DS検定形式:実戦4択クイズ

問:データサイエンスにおけるデータの種類や収集方法に関する記述として、最も適切なものはどれか。

① 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録したデータをパネルデータと呼ぶ。
② ある特定の時点における各地の人口など、場所やグループ別などの異なる対象を横断的に記録したデータのことである。
③ 名義尺度データに対する散らばり度合いを示し、すべてのデータが1つのカテゴリーに属するときに0、均等に散らばっているときに1となる指標のことである。
④ データを大きさの順に並べたときの各位置にある値のことであり、最小値や最大値、中央値などを総称したものである。

【 正解: ① 】

解説: パネルデータの定義を正確に理解しているかを問う重要問題です。
①が正解です。同一サンプルを複数期間にわたり継続記録したデータを指します。
②は「クロスセクションデータ」、③は「質的変動指標(IQV)」、④は「順序統計量」の説明です。


6. まとめ

DS検定や資格試験で「同一のサンプルに対して」「複数の項目を継続して記録」といったキーワードが出たら、正解は「パネルデータ(Panel Data)」です! クロスセクションや時系列との違いをあわせてしっかり押さえておきましょう!