忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】言葉の「つながり」を可視化！共起分析とネットワーク図

特定の単語が「どの単語と一緒に使われやすいか」を分析することで、文章の背後にあるテーマや構造を浮き彫りにするのが共起分析です。

1. 【 問題 】

テキストマイニングにおいて、一つの文章や文の中に、複数の特定の単語が同時に出現する状態を「共起」と呼びます。この共起関係を統計的に分析し、図（ネットワーク図）などで可視化する手法を何と呼ぶでしょうか？

① センチメント分析
② 共起分析
③ 主成分分析
④ 対応分析（コレスポンデンス分析）

2. 【 解答 】

正解： ② 共起分析

3. 整理：「セットで現れる」ことに意味がある

単語の出現回数だけでは、「何について語られているか」の深い文脈は分かりません。共起分析をすることで、言葉のネットワークが見えてきます。

【 共起分析の可視化：共起ネットワーク 】

[ 図の読み方 ]
・ノード（円）：単語を表す。大きいほど出現頻度が高い。
・エッジ（線）：共起関係を表す。太いほど「セット」で使われる度合いが強い。

（例：スマートフォンのレビュー分析）
「バッテリー」──「持ち」：電池の寿命に関する話題
「カメラ」──「暗所」：夜景撮影に関する話題
--------------------------

◎ 活用例：
・アンケート自由記述から「不満の構造」を特定する。
・ニュース記事からトレンドワードの関連性を探る。

4. 共起の強さを測る指標

単に同時に出た回数だけでなく、以下の指標がよく使われます。
1. Jaccard（ジャカード）係数: 2つの単語がどれだけ「いつも一緒」にいるかの割合。DS検定でもよく問われる指標です。
2. Dice係数 / Simpson係数: 共起の度合いを測るための統計的指標。

5. DS検定形式：実戦4択クイズ

問：共起分析の結果を可視化した「共起ネットワーク図」において、単語間の結びつきの強さを表す線のことを何と呼ぶか。

① ノード   ② セントロイド   ③ エッジ   ④ クラスタ

【 正解： ③ 】

解説： 円（点）をノード、それらを結ぶ線をエッジと呼びます。共起分析では、このエッジが太いほど、その単語ペアに強い関連性があることを示します。

6. まとめ

DS検定において「単語の同時出現」「ネットワーク図による可視化」というキーワードが出たら「共起分析」です。頻度だけでは見落としてしまう「文脈」を捉えるための強力なツールとして覚えておきましょう！

PR

【DS検定対策】言葉の裏の「感情」を読み解く！センチメント分析

テキストデータから「嬉しい」「悲しい」「不満」といった感情の傾向を抽出する。顧客の声をビジネスに活かすための必須技術が、センチメント分析です。

1. 【 問題 】

テキストマイニングにおいて、文章の中から書き手の主観的な感情や態（ポジティブ、ネガティブ、ニュートラルなど）を判定する手法を何と呼ぶでしょうか？

① 形態素解析
② センチメント分析（感情分析）
③ 構文解析
④ トピックモデル

2. 【 解答 】

正解： ② センチメント分析（感情分析）

3. 整理：どうやって「感情」を判定するのか？

センチメント分析には、大きく分けて「辞書ベース」と「機械学習ベース」の2つのアプローチがあります。

【 感情分析の仕組み 】

[ 1. 感情極性辞書による方法 ]
「美味しい」「速い」＝ポジティブ (+1)
「壊れた」「遅い」＝ネガティブ (-1)
といった辞書を用意し、文章内の単語の合計スコアで判定する。

[ 2. 機械学習による方法 ]
大量の「ポジティブな文章」と「ネガティブな文章」をAIに学習させ、新しい文章の傾向を予測させる。

--------------------------

◎ 活用例：
・新商品のTwitter（X）での評判調査
・コールセンターへの問い合わせ内容の自動仕分け
・アンケートの自由記述欄の満足度スコア化

4. 分析の落とし穴

1. 皮肉や二重否定: 「最高に最悪だ」のような皮肉や、「悪くない」といった表現は、単語レベルの辞書だけでは誤判定しやすいため、文脈の理解が求められます。
2. ドメイン（分野）依存: 映画のレビューでの「ヤバい」はポジティブかもしれませんが、医療データでの「ヤバい」は深刻なネガティブです。

5. DS検定形式：実戦4択クイズ

問：センチメント分析において、単語ごとにポジティブ・ネガティブの度合いを数値化したリストのことを何と呼ぶか。

① ストップワードリスト   ② 感情極性辞書   ③ 逆文書頻度   ④ コーパス

【 正解： ② 】

解説： 単語に「感情の極性（プラス・マイナス）」を持たせた辞書です。日本語では「日本語評価極性辞書」などが有名です。

6. まとめ

DS検定において「主観的な感情」「ポジネガ判定」というキーワードが出たら「センチメント分析」です。テキストデータの「量」だけでなく「質」を測るための手法として、しっかりマスターしておきましょう！

【DS検定対策】ランダムな「来店」を予測する！ポアソン過程の正体

「1時間に平均5人来る店に、ちょうど3人来る確率は？」そんなランダムな出来事のカウントを扱うのがポアソン過程です。

1. 【 問題 】

ポアソン過程の説明として最も適切なものはどれでしょうか？

① 過去の出来事に影響されて、次の出来事の発生確率が変化するプロセス
② 一定の期間内に発生するイベントの回数を表し、各イベントが独立かつランダムに発生するプロセス
③ データの平均値が時間の経過とともに直線的に増加していくプロセス
④ 決まった周期（例：10分ごと）で必ずイベントが発生するプロセス

2. 【 解答 】

正解： ② 一定の期間内に発生するイベントの回数を表し、各イベントが独立かつランダムに発生するプロセス

3. 整理：ポアソン過程の「3つの特徴」

ポアソン過程と認められるためには、以下の3つの性質（定常性、独立性、希薄性）が重要です。

【 ポアソン過程のイメージ 】

[ 1. 独立性 ]
ある時間帯に客が来たことが、次の客が来る確率に影響しない。

[ 2. 定常性 ]
どの時間帯をとっても、客の来やすさ（平均発生率 λ）が変わらない。

[ 3. 希薄性 ]
ごく短い時間（一瞬）の間に、2回以上のイベントが同時に起きることはない。

--------------------------

◎ 活用例：
・ATMへの利用者の到着
・Webサイトへのアクセス数
・放射性物質の崩壊回数

4. セットで覚えたい「指数分布」

1. ポアソン分布: 「単位時間あたりに何回起きるか（回数）」に注目した分布。
2. 指数分布: 「次に起きるまで何分かかるか（時間の間隔）」に注目した分布。
※ ポアソン過程において、イベント発生の間隔は必ず「指数分布」に従います。これはDS検定の超頻出ポイントです！

5. DS検定形式：実戦4択クイズ

問：ポアソン過程において、過去にイベントが発生してからどれだけ時間が経過していても、次にイベントが発生する確率は変わらないという性質を何と呼ぶか。

① 無記憶性   ② 収束性   ③ 局所性   ④ 線形性

【 正解： ① 】

解説： 「さっき来たばかりだから当分来ないだろう」という予測ができないのが「無記憶性」です。これがマルコフ性の一種とされる理由でもあります。

6. まとめ

DS検定において「ランダムな到着」「独立に発生」「平均 λ（ラムダ）」という言葉が出たら「ポアソン過程」です。待ち行列理論など、ビジネスの効率化にも直結する重要な概念として押さえておきましょう！

【DS検定対策】AIの学習は必ず終わる？「パーセプトロンの収束定理」

「学習を繰り返せば、いつかは正解にたどり着けるのか？」その疑問に数学的な答えを出したのが、パーセプトロンの収束定理です。

1. 【 問題 】

パーセプトロンの学習において、特定の条件を満たすデータセットであれば、有限回の学習ステップで必ず誤分類がゼロになる（収束する）ことが証明されています。その必須条件とは何でしょうか？

① データが正規分布に従っていること
② データが「線形分離可能」であること
③ 学習率が常に一定であること
④ 入力変数がすべて正の数であること

2. 【 解答 】

正解： ② データが「線形分離可能」であること

3. 整理：収束定理が保証するもの

1960年代に証明されたこの定理は、初期のAIブームを支える大きな根拠となりました。

【 定理のポイント 】

[ 1. 線形分離可能（Linear Separable） ]
2つのグループを、1本の直線（または超平面）でスパッと完全に分けられる状態のこと。

[ 2. 有限回の学習 ]
データが線形分離可能であれば、たとえ初期値がバラバラでも、「有限回の重み更新」で必ず正解の境界線を見つけ出すことができます。

--------------------------

◎ 注意点：
逆に、データが直線で分けられない場合（例：XOR問題）、単純パーセプトロンの学習は永遠に終わりません（収束しません）。

4. なぜ歴史的に重要なのか？

1. 理論的保証: 「いつ終わるか分からない」という不安に対し、「条件さえ合えば必ず終わる」という数学的安心感を与えました。
2. AIの冬のきっかけ: その後、「XOR問題（線形分離不可能な例）」が指摘され、単純パーセプトロンの限界が露呈したことで、AI研究は一時停滞期（冬の時代）に入ることになります。
3. 多層化への布石: この限界を乗り越えるために、「多層パーセプトロン」と「誤差逆伝播法」が生まれることになります。

5. DS検定形式：実戦4択クイズ

問：パーセプトロンの収束定理を証明し、初期AI研究をリードした人物は誰か。

① フランク・ローゼンブラット   ② ジェフリー・ヒントン   ③ ヤン・ルカン   ④ アラン・チューリング

【 正解： ① 】

解説： パーセプトロンの発案者であり、収束定理の証明にも寄与したのがローゼンブラットです。②と③は現代のディープラーニングの父と呼ばれる人々です。

6. まとめ

DS検定において「有限回の学習で解を出す」「収束の保証」というフレーズが出たら「パーセプトロンの収束定理」です。そしてセットで「線形分離可能」という条件をセットで覚えておきましょう！

【DS検定対策】「結果」の裏に「原因」あり！潜在変数モデルの思考法

私たちが観測しているデータは、実は「氷山の一角」に過ぎません。その水面下に隠れた「真の姿」からデータが生まれると考えるのが、潜在変数モデルです。

1. 【 問題 】

潜在変数モデルにおけるデータの生成プロセスに関する説明として、最も適切なものはどれでしょうか？

① 観測データから直接、別の観測データを予測する。
② 最初に潜在変数が生成され、次にその潜在変数に基づいて観測データが生成される。
③ 観測データをランダムに入れ替えて、新しい特徴量を作成する。
④ 潜在変数と観測変数を区別せず、すべて等しく入力データとして扱う。

2. 【 解答 】

正解： ② 最初に潜在変数が生成され、次にその潜在変数に基づいて観測データが生成される。

3. 整理：潜在変数モデルの「2段階プロセス」

このモデルでは、データが世の中に現れるまでのストーリーを次のように仮定します。

【 データの誕生ストーリー 】

[ Step 1：潜在変数の決定 ]
目に見えない「本質」が決まる。
（例：この画像は「猫」という概念であり、右を向いている）
　↓
[ Step 2：データの生成 ]
潜在変数に基づいて、具体的な数値が現れる。
（例：各ピクセルの色が決定し、1枚の画像データになる）

--------------------------

◎ この考え方のメリット：
複雑で膨大なデータ（画像など）も、少数の「潜在変数（特徴）」に集約して理解・制御できるようになります。

4. 代表的な潜在変数モデル

1. 因子分析: 複数のテストの点数から「知能」という潜在変数を探ります。
2. 混合ガウスモデル（GMM）: データがどのグループ（潜在的なクラス）に属しているかを考えます。
3. VAE / GAN: 低次元の潜在空間（ベクトル）から、高解像度の画像を生成します。
4. トピックモデル（LDA）: 文書が書かれる前に「トピック（話題）」が選ばれると仮定します。

5. DS検定形式：実戦4択クイズ

問：潜在変数モデルにおいて、観測データから逆方向に「潜在変数」を推定する操作を一般に何と呼ぶか。

① 推論（推計）   ② 蒸留   ③ 正則化   ④ 標準化

【 正解： ① 】

解説： 「潜在変数（原因）からデータ（結果）」ができるのが生成ですが、私たちが分析時に行う「データ（結果）から潜在変数（原因）」を特定する作業は「推論（Inference）」と呼ばれます。

6. まとめ

DS検定において「潜在変数が先に生成され、それに基づいてデータが生成される」という記述が出たら、まさに潜在変数モデルの本質を突いた表現です。この「原因 → 結果」の順序を意識することで、多くの複雑なアルゴリズムをシンプルに整理できるようになります！