忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

DS検定対策】データの特徴を見抜く!「代表値」と「散布度」の区別

データ全体が「だいたいどのあたりにあるか」を示す代表値。しかし、中にはデータの「広がり(ばらつき)」を表す別の指標が混ざっていることがあります。

1. 【 問題 】

統計学において、データ全体の中心的な傾向や特徴を1つの数値で表したものを「代表値」と呼びます。次の記述のうち、データの「代表値」として適切でないものはどれでしょうか?

① 平均値(ミーン)
② 中央値(メディアン)
③ 最頻値(モード)
④ レンジ(範囲)


2. 【 解答 】

正解: ④ レンジ(範囲)

3. 整理:「代表値」と「散布度」を峻別する

データの特徴を掴むための統計量は、大きく分けて以下の2グループに分類されます。ここを混同しないようにすることが試験対策の第一歩です。

【 2つの重要な統計量グループ 】

1. 代表値(データの中心はどこか?)
平均値:すべての値を足してデータ数で割った値。全体を均した値。
中央値:データを大きさ順に並べたときに中央にくる値。外れ値に強い。
最頻値:データの中で最も多く出現する値。アンケートの回答などに便利。

2. 散布度(データはどれくらいバラついているか?)
レンジ(範囲)★これが正解!
「最大値 - 最小値」で計算され、データの「端から端までの広がり」を表します。
分散 / 標準偏差:平均値からのばらつきの度合いを表します。

4. レンジ(範囲)のメリットと限界

1. メリット: 「最大値 - 最小値」を計算するだけなので、SQLの `MAX(col) - MIN(col)` のように非常にシンプルかつ高速に算出できます。
2. デメリット(限界): 最大値と最小値の2つの値しか見ないため、たった1つでも異常に大きい(または小さい)「外れ値」が混ざるだけで、全体の分布と関係なく数値が跳ね上がってしまう弱点があります。


5. DS検定形式:実戦4択クイズ

問:所得のデータのように、一部の極端な大富豪(外れ値)によって「平均値」が大きく引き上げられてしまうような非対称な分布において、集団の「一般的な真ん中」の実態を最も適切に表しやすい代表値はどれか。

① 平均値   ② 中央値   ③ レンジ   ④ 標準偏差

【 正解: ② 】

解説: 外れ値の影響を強く受けてしまう平均値に対し、順位の真ん中を見る「中央値」は外れ値の影響を受けにくい(頑健である)という性質があります。これもデータ分析の現場や試験で非常によく問われる視点です。


6. まとめ

DS検定において「代表値として適切でないもの」を問われたら、データのばらつきを表す指標(レンジ、分散、標準偏差など)を探しましょう!指標の目的が「位置(真ん中)」を測るものか、「広がり(ばらつき)」を測るものか、常に意識して整理しておくと迷わなくなります!

PR

【DS検定対策】データ集めの原点!「全数調査」のメリットと限界

「対象を漏れなくすべて調べる」。これが統計学における最も確実な調査方法である全数調査です。

1. 【 問題 】

統計調査において、調査の対象となる母集団の構成要素のすべて(全対象)を漏れなく調査する手法を何と呼ぶでしょうか?

① 標本調査(サンプリング調査)
② 全数調査(悉皆調査:しっかいちょうさ)
③ 有意抽出調査
④ 乱数調査


2. 【 解答 】

正解: ② 全数調査(悉皆調査)

3. 整理:全数調査の「光」と「影」

全数調査は、文字通り「全員・全部」を調べるため、結果に一切のブレ(標本誤差)がありません。しかし、現実には実行が難しいケースも多々あります。

【 メリットとデメリット 】

メリット:
誤差がゼロ:一部を抜き出したわけではないので、「たまたま偏った」という確率的なエラー(標本誤差)が絶対に起きません。

デメリット(限界):
莫大なコストと時間:対象が大きければ大きいほど、人手やお金、期間が必要になります。
不可能なケースがある(破壊検査など):「製造した電球の寿命」を全数調査すると、出荷できる電球がゼロになってしまいます。

--------------------------

代表的な具体例:
・日本の国勢調査(5年に1度、日本に住むすべての人を対象にする全数調査の代表格)
・社内システムの全ユーザーのログインログ分析

4. 対比して覚えたい「標本調査」

全数調査が難しい場合に、母集団から一部のデータ(サンプル)を確率的に抜き出して全体を推測する手法を「標本調査」と呼びます。
データサイエンスや統計学の発展は、「いかに少ないサンプル(標本調査)で、正しく全体(全数調査の結果)を予測するか」という挑戦の歴史でもあります。


5. DS検定形式:実戦4択クイズ

問:全数調査と標本調査の性質に関する記述として、最も適切なものはどれか。

① 標本調査では、サンプルの選び方に関わらず「標本誤差」は常にゼロになる。
② 国勢調査は、日本国内の一部の世帯をランダムに選んで行う標本調査である。
③ データの測定ミスや記入漏れといった「非標本誤差」は、全数調査でも標本調査でも発生する。
④ 破壊検査(製品を壊して性能を確かめるテスト)を行う際は、全数調査が推奨される。

【 正解: ③ 】

解説: 「たまたま偏った」という誤差(標本誤差)は全数調査にはありませんが、「計算ミス」「記入漏れ」「回答拒否」といったヒューマンエラー(非標本誤差)は、全数調査でも(むしろ規模が大きい分だけ)発生します。


6. まとめ

DS検定において「母集団の全対象を調査する」というキーワードが出たら、シンプルに「全数調査(悉皆調査)」です。一部を調査する「標本調査」と対比させながら、それぞれのメリット・デメリットをしっかり整理しておきましょう!

【DS検定対策】コイン投げからABテストまで!「二項分布」の基礎

「表か裏か」「購入か非購入か」。結果が2通りしかない試行を繰り返したとき、成功する回数のばらつきを表すのが二項分布です。

1. 【 問題 】

コインを投げたときに「表が出るか裏が出るか」のように、結果が2通りしか存在しない独立な試行(ベルヌーイ試行)を $n$ 回繰り返したとき、目的とする事象がちょうど $k$ 回起こる確率の分布を何と呼ぶでしょうか?

① 正規分布
② ポアソン分布
③ 二項分布
④ 指数分布


2. 【 解答 】

正解: ③ 二項分布

3. 整理:二項分布が成り立つ「条件」

二項分布を適用するためには、その前提となる試行が以下の条件を満たしている必要があります。これを「ベルヌーイ試行」と呼びます。

【 二項分布の3大特徴 】

結果が2択である
 「成功か失敗か」「購入か見送りか」のように、状態が2つだけ。

各試行が独立である
 1回目の結果が、2回目の確率に影響を与えない。

確率が一定である
 何回繰り返しても、1回あたりに成功する確率 $p$ は変わらない。

--------------------------

ビジネスでの具体例:
・メルマガを1000人に配信したとき、何人が開封してくれるか?
・ある部品を50個製造したとき、不良品が何個含まれるか?

4. 超頻出:正規分布との美しいつながり

二項分布は「1回、2回…」と数える**離散確率分布**です。しかし、試行回数 $n$ が十分に大きくなると、この二項分布の形はきれいな左右対称の山型になり、連続確率分布である**「正規分布」**に近似(変化)するという性質を持っています(中心極限定理)。
この「データ数が多ければ正規分布として扱ってよい」という割り切りが、実務での統計的検定(A/Bテストの有意差判定など)を劇的に楽にしています。


5. DS検定形式:実戦4択クイズ

問:1回の成功確率が $p$ である試行を $n$ 回繰り返す二項分布において、その「平均(期待値)」を表す正しい数式はどれか。

① $p$   ② $np$   ③ $np(1-p)$   ④ $\sqrt{np(1-p)}$

【 正解: ② 】

解説: 二項分布の平均は $np$ で非常にシンプルに計算できます(例:成功確率10%のガチャを100回引いたら、平均10回当たる)。ちなみに ③ は「分散」、④ は「標準偏差」の数式です。


6. まとめ

DS検定において「2通りの結果」「$n$ 回繰り返す」「成功回数の分布」という記述が出たら間違いなく「二項分布」です。データ分析の現場でも、コンバージョン率(CVR)のばらつきを評価する際などに裏で必ず使われている、超基本にして最強の武器として押さえておきましょう!

【DS検定対策】結果は1つか、確率か?「確定的モデル」と「確率的モデル」の決定的な違い

同じ入力から常に同じ答えを導き出すモデルか、それとも「確率的なゆらぎ」を考慮するモデルか。データ分析の前提を変える2つのアプローチを整理しましょう。

1. 【 問題 】

データサイエンスにおける予測モデルのうち、「まったく同じデータ(入力値)を与えた場合、内部にランダムな要素を持たないため、何度計算しても必ず完全に同じ予測結果(出力値)が得られるモデル」を何と呼ぶでしょうか?

① 確率的モデル
② 確定的モデル
③ 潜在変数モデル
④ 動的モデル


2. 【 解答 】

正解: ② 確定的モデル

3. 整理:2つのモデルの決定的な違い

それぞれのモデルは、現実世界の捉え方が根本から異なります。

モデル型特徴具体例
確定的
モデル
・偶然の要素(確率)を排除する。
・入力が決まれば、出力は一意に(1つに)決定する。
・数式に「誤差項(ランダムなノイズ)」を含めない。
・ニュートンの運動方程式
・シンプルな線形計画法
・決定木(推論時)
確率的
モデル
・現実の「予測不可能な不確実性」を認める。
・出力が確率分布として得られる(例:○%の確率で雨)。
・乱数や確率変数、誤差項を数式に組み込む。
・ロジスティック回帰
・ポアソン過程(ATMの行列)
・気象予測シミュレーション

4. なぜ使い分けるのか?

1. 確定的モデルのメリット: 計算がシンプルで、結果の解釈や再現が容易です。「条件Aなら結果はB」と言い切れる業務ルールに向いています。
2. 確率的モデルのメリット: 「株価の変動」や「顧客の来店予測」のように、人間の行動や複雑な自然現象など、どうしてもノイズ(不確実性)を無視できない現実的な問題を扱うのに適しています。


5. DS検定形式:実戦4択クイズ

問:確率的モデルにおいて、モデルが予測した結果がどれくらい「不確実」であるかを評価するために、予測値と一緒に算出されることが多い指標はどれか。

① 信頼区間(または予測区間)   ② 決定係数   ③ ダミー変数   ④ 特徴量重要度

【 正解: ① 】

解説: 確率的モデルでは「ピンポイントな1点」だけでなく、「95%の確率でこの範囲に収まります」という不確実性の幅(信頼区間・予測区間)をセットで出すことができるのが大きな強みです。


6. まとめ

DS検定において「同じ入力なら常に同じ出力、ランダム性なし」なら「確定的モデル」、「不確実性や確率分布を考慮する」なら「確率的モデル」です。これまで学んできた多くのアルゴリズムが、このどちらの思想で作られているかを意識してみると、理解がさらに深まります!

【Python】SymPyで極限(limit)を求める!1/x の 0 への接近

関数の値がどこまで近づくかを計算する「極限(limit)」。PythonのSymPyライブラリを使うと、単純な数値代入ではエラー(ゼロ除算)になってしまう $f(x) = 1/x$ のようなケースも、数学的な極限として正しく処理できます。

1. limit関数のポイント:近づく「方向」

関数 $f(x) = 1/x$ は、0に近づくときに「右側(正の数)」から近づくか、「左側(負の数)」から近づくかで結果が異なります。SymPyでは引数 dir を使ってこの方向を指定します。

  • dir='+':右側極限(0.1, 0.01...と正の側から接近)
  • dir='-':左側極限(-0.1, -0.01...と負の側から接近)

2. Pythonサンプルプログラム

特別な設定をせず、標準的な print 関数を使って結果を出力します。

# -*- coding: utf-8 -*-
from sympy import symbols, limit

def main():
    # 変数xを定義
    x = symbols('x')
    
    # 関数 f(x) = 1/x の定義
    f = 1 / x

    # 右側極限 (x -> 0+)
    limit_right = limit(f, x, 0, dir='+')

    # 左側極限 (x -> 0-)
    limit_left = limit(f, x, 0, dir='-')

    print("--- f(x) = 1/x の極限計算 ---")
    print(f"x -> 0+ (右側極限): {limit_right}")
    print(f"x -> 0- (左側極限): {limit_left}")

if __name__ == "__main__":
    main()

3. 実行結果

実行すると、以下のような結果が得られます。SymPyでは無限大($\infty$)を oo(小文字のoが2つ)で表現します。

--- f(x) = 1/x の極限計算 ---
x -> 0+ (右側極限): oo
x -> 0- (左側極限): -oo

4. まとめ

結果にある oo は正の無限大、-oo は負の無限大を意味しています。右から近づけばプラス無限に、左から近づけばマイナス無限に発散するという数学的な挙動が、たった数行のコードで確認できました。ゼロ除算エラーを気にせず数学的検証ができるSymPyは、エンジニアにとっても強力な武器になりますね。