<?xml version="1.0" encoding="UTF-8" ?>
<rss version="0.91">
  <channel>
    <title>いけいけ機械学習</title>
    <description>統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。</description>
    <link>https://learnms.blog.shinobi.jp/</link>
    <language>ja</language>
    <copyright>Copyright (C) NINJATOOLS ALL RIGHTS RESERVED.</copyright>

    <item>
      <title>【自然言語処理】テキストの前処理における「正規化（Normalization）」の基本と手法</title>
      <description>&lt;p&gt;自然言語処理（NLP）において、機械がテキストデータを正確に理解・学習するためには、入力される文章の表記ゆれを綺麗に整える「正規化（Normalization）」という前処理が極めて重要です。今回は、正規化の基本となる代表的な処理と、その他の重要な前処理の全体像を整理します。&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 概要 】&lt;/h3&gt;
&lt;p&gt;正規化とは、人間にとっては同じ意味であっても表記が異なるテキスト（例：「Apple」「apple」「Ａｐｐｌｅ」など）を、統一された一定のルールに従って綺麗に整えるプロセスです。&lt;/p&gt;
&lt;p&gt;この前処理を徹底することで、不要な語彙の重複を防ぎ、機械学習モデルが単語のパターンを効率よく学習できるようになります。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 基本手順（代表的な5つの正規化処理） 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.1em; line-height: 1.8; text-align: left;&quot;&gt;&lt;b&gt;(1) 大文字・小文字の統一&lt;/b&gt;：すべてのテキストを小文字（または大文字）に変換する。&lt;br /&gt;
&lt;b&gt;(2) 全角・半角の統一&lt;/b&gt;：全角の英数字やカタカナを半角（またはその逆）に統一する。&lt;br /&gt;
&lt;b&gt;(3) 句読点・特殊文字の削除&lt;/b&gt;：分析のノイズになる「、」「。」「！」「？」などを取り除く。&lt;br /&gt;
&lt;b&gt;(4) 数字の削除（または置換）&lt;/b&gt;：価格や個数などの数字を取り除く、または特定のプレースホルダーに置き換える。&lt;br /&gt;
&lt;b&gt;(5) 固有表現の正規化・抽出&lt;/b&gt;：電話番号や郵便番号、日付などを特定のカテゴリー（タグ）に割り振る。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：各正規化処理の具体的な役割&lt;/h3&gt;
&lt;p&gt;正規化における5つの基本処理が、なぜ必要なのかを詳しく見ていきましょう。&lt;/p&gt;
&lt;p&gt;【 各プロセスの具体的な仕組み 】&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 10px; line-height: 1.6;&quot;&gt;・&lt;b&gt;処理(1)：大文字・小文字の統一&lt;/b&gt;&lt;br /&gt;
「Python」と「python」は人間には同じ意味ですが、コンピュータは別々の単語として認識してしまいます。すべて小文字に統一することで語彙の爆発を防ぎます。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;処理(2)：全角・半角の統一&lt;/b&gt;&lt;br /&gt;
日本語のテキストでは、全角の「Ａ」や「１」と、半角の「A」や「1」が混在しがちです。Unicode正規化（NFKCなど）を用いて一括で統一します。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;処理(3)：句読点・特殊文字の削除&lt;/b&gt;&lt;br /&gt;
「、」や「。」などの句読点や記号は、文書の意味理解においてノイズになることが多いため、正規表現などを用いてあらかじめ取り除きます。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;処理(4)：数字の処理&lt;/b&gt;&lt;br /&gt;
具体的な数字（「100円」「200人」など）が多すぎるとモデルが過学習を起こしやすくなります。数字を一律で「0」や特定の記号に置換することがよく行われます。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;処理(5)：固有表現の正規化（マスキング）&lt;/b&gt;&lt;br /&gt;
「090-XXXX-YYYY」のような電話番号や、「〒100-0001」のような郵便番号をそのまま残すと情報が分散します。「[PHONE]」「[ZIPCODE]」のような特殊なカテゴリーに置き換えて抽象化します。&lt;/div&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. 関連して押さえたい「その他の重要なテキスト前処理」&lt;/h3&gt;
&lt;p&gt;正規化の前後で行われる、自然言語処理に不可欠なその他の代表的な前処理の流れを確認しておきましょう。&lt;/p&gt;
&lt;p&gt;・&lt;b&gt;トークン化（Tokenization）&lt;/b&gt;&lt;br /&gt;
文章を意味のある最小単位（単語や形態素）に分割する処理です。日本語の場合はMeCabなどの形態素解析器を使って単語に切り分けます。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;ストップワード（Stop words）の除去&lt;/b&gt;&lt;br /&gt;
「は」「の」「に」「the」「is」など、文章の構造には不可欠ですが意味を持たない高頻度語を取り除きます。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;ステミング（Stemming）と表題化（Lemmatization）&lt;/b&gt;&lt;br /&gt;
「running」「runs」「ran」のような変化形を、原形である「run」に変換して単語のバリエーションをまとめます。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. 補足：Pythonでの実装コード例&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 10px; line-height: 1.6; background-color: #f5f5f5; color: #222222;&quot;&gt;&lt;span style=&quot;color: #666666;&quot;&gt;# 1. 簡易的な大文字変換と全角半角の正規化（unicodedataを使用）&lt;/span&gt;&lt;br /&gt;
import unicodedata&lt;br /&gt;
import re&lt;br /&gt;
&lt;br /&gt;
def normalize_text(text):&lt;br /&gt;
&lt;span style=&quot;color: #666666;&quot;&gt;# NFKC正規化で全角半角を統一&lt;/span&gt;&lt;br /&gt;
text = unicodedata.normalize(&#039;NFKC&#039;, text)&lt;br /&gt;
&lt;span style=&quot;color: #666666;&quot;&gt;# 小文字に変換&lt;/span&gt;&lt;br /&gt;
text = text.lower()&lt;br /&gt;
&lt;span style=&quot;color: #666666;&quot;&gt;# 句読点の削除&lt;/span&gt;&lt;br /&gt;
text = re.sub(r&#039;[、。！？「」]&#039;, &#039;&#039;, text)&lt;br /&gt;
&lt;span style=&quot;color: #666666;&quot;&gt;# 数字を「0」に置換&lt;/span&gt;&lt;br /&gt;
text = re.sub(r&#039;\d+&#039;, &#039;0&#039;, text)&lt;br /&gt;
return text&lt;br /&gt;
&lt;br /&gt;
sample_text = &quot;Ａｐｐｌｅの価格は１０００円です！&quot;&lt;br /&gt;
print(normalize_text(sample_text))&lt;br /&gt;
&lt;span style=&quot;color: #666666;&quot;&gt;# 出力イメージ: appleの価格は0円です&lt;/span&gt;&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;自然言語処理における正規化は、「大文字小文字の統一」「全角半角の整理」「不要な記号・数字の削除」「固有表現の抽象化」など、テキストのノイズを取り除くための必須のステップです。&lt;br /&gt;
これらの前処理を丁寧に設計・実行することで、機械学習モデルの精度と安定性を劇的に高めることができます！&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/307/</link> 
    </item>
    <item>
      <title>【DS検定対策】言葉の意味をどう理解させるか？「シンボル接地問題（記号着地問題）」の仕組み</title>
      <description>&lt;p&gt;人工知能（AI）や認知科学の歴史において、コンピュータが人間のように言葉や概念を本当の意味で「理解」できているのかという本質的な限界を突いた有名な問いが、&lt;b&gt;「シンボル接地問題（Symbol Grounding Problem / 記号着地問題）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;AIやコンピュータが内部で処理する抽象的な「記号（シンボル）」と、現実世界における具体的な「実体や感覚（実物のモノや手触りなど）」が結びついていないため、コンピュータは単なる記号の操作をしているだけで、本当の意味で知能や意味を理解しているとは言えないという問題を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① シンボル接地問題（記号着地問題）&lt;br /&gt;
② フレーム問題（Frame Problem）&lt;br /&gt;
③ アソシエーション分析（Association Analysis）&lt;br /&gt;
④ 順序統計量（Order Statistics）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① シンボル接地問題（記号着地問題）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：シンボル接地問題の本質と具体例&lt;/h3&gt;
&lt;p&gt;この問題が何を意味しているのか、具体例を交えて整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;概念・特徴&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;中国語の部屋（思考実験）&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;中国語を全く知らない人が部屋にこもり、マニュアル（規則書）通りに記号を並べ替えて外に返しているとする。部屋の中の人にとっては「ただの記号のパズル」だが、部屋の外の人からは「完璧に中国語を理解している」ように見える。AIの内部処理もこれと同じではないかという批判。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;「接地（Grounding）」の意味&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;人間は言葉（記号）を覚えるとき、実際のモノを見たり触ったりする「感覚（五感）」と結びつけることで意味を理解している。しかし、文字データだけを学習した初期のAIにはその「現実世界との接地（グラウンディング）」がない。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. フレーム問題との違い&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;フレーム問題：&lt;/b&gt;&lt;br /&gt;
「膨大な知識の中から、目の前の課題に関係ある部分をどう選び出すか（計算上の処理の限界）」という問題。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;シンボル接地問題：&lt;/b&gt;&lt;br /&gt;
「記号（言葉）が、現実世界のモノや感覚とどう結びついているか（意味の理解の限界）」という問題。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：人工知能（AI）の哲学や認知科学における「シンボル接地問題（記号着地問題）」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 記号と現実世界の実体が結びついていないため、コンピュータは単に記号を操作しているだけであり、本当の意味で知能を持っているとは言えないという問題である。&lt;br /&gt;
② 膨大な知識や状況の中から、今目の前の課題に関係のある部分だけを効率よく特定することが計算上非常に難しいという問題である。&lt;br /&gt;
③ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータに関する問題である。&lt;br /&gt;
④ 名義尺度データに対する散らばり度合いや、その値が0から1の範囲に収まる性質に関する数学的な問題である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; シンボル接地問題の定義を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。記号と実体が結びついていないという本質的な問いを指します。&lt;br /&gt;
②は「フレーム問題」、③は「パネルデータ」、④は「質的変動指標（IQV）」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験、AIの基礎論で「記号と実体が結びついていない」「知能を持っているとは言えない」といったキーワードが出たら、正解は「シンボル接地問題（記号着地問題）」です！ フレーム問題とあわせて、AIの限界を論じる重要な概念としてしっかり押さえておきましょう！&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/306/</link> 
    </item>
    <item>
      <title>【DS検定対策】3つの視点で顧客を格付けする！「RFM分析」の仕組み</title>
      <description>&lt;p&gt;マーケティングや顧客分析（CRM）の基礎において、顧客の購買履歴から「3つの重要な軸」を用いて顧客をグループ分けし、優良顧客の特定やアプローチ施策に活用する手法が&lt;b&gt;「RFM分析（RFM Analysis）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;顧客の購買履歴データをもとに、Recency（直近の購買日）、Frequency（購買頻度）、Monetary（購買金額）の3つの指標に基づいて顧客を評価・分析する手法を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① RFM分析（RFM Analysis）&lt;br /&gt;
② デシル分析（Decile Analysis）&lt;br /&gt;
③ アソシエーション分析（Association Analysis）&lt;br /&gt;
④ クラスター分析（Cluster Analysis）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① RFM分析（RFM Analysis）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：RFM分析を構成する3つの指標&lt;/h3&gt;
&lt;p&gt;RFM分析の頭文字となっている3つの重要な軸を整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;指標・頭文字&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容・意味&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;1. Recency（R）&lt;br /&gt;
（直近性）&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;「最終購買日（最後に買ってからどれくらい日が経っているか）」。最近買った顧客ほど、今後も買ってくれる可能性が高い。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;2. Frequency（F）&lt;br /&gt;
（頻度）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;「購買頻度（一定期間内に何回買ってくれたか）」。回数が多いほど、ロイヤルティ（愛顧度）が高い顧客であると判断できる。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;3. Monetary（M）&lt;br /&gt;
（金額）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;「購買金額（合計でどれくらいお金を使ってくれたか）」。デシル分析でも使われる、売上に対する貢献度の指標。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. なぜRFM分析が優れているのか？&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;デシル分析の弱点を克服：&lt;/b&gt;&lt;br /&gt;
デシル分析は「金額（M）」だけで見るため、例えば「1年前に1回だけ高額な商品を買った人」と「最近毎月のように買ってくれている優良顧客」が同じ評価になってしまうという課題がありました。RFM分析では「直近性（R）」や「頻度（F）」も加味するため、現在進行形の優良顧客や、最近離れかけている顧客（離反予備軍）を正確に見つけ出すことができます。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：データサイエンスやマーケティングにおける「RFM分析」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① Recency（直近性）、Frequency（頻度）、Monetary（金額）の3つの指標に基づいて顧客を評価・分類する分析手法である。&lt;br /&gt;
② 購買履歴をもとに顧客を購買金額の順に並べて10等分し、上位の顧客層が全体の売上にどれだけ貢献しているかを分析する手法である。&lt;br /&gt;
③ 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで異常を検知する手法である。&lt;br /&gt;
④ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータの統計解析手法である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; RFM分析の3つの構成要素と目的を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。R・F・Mの3軸で顧客を分析します。&lt;br /&gt;
②は「デシル分析」、③は「MT法」、④は「パネルデータ」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験で「Recency」「Frequency」「Monetary」「に基づいて顧客を分析」といったキーワードが出たら、正解は「RFM分析（RFM Analysis）」です！ デシル分析との違いもあわせてしっかり押さえておきましょう！&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/305/</link> 
    </item>
    <item>
      <title>【DS検定対策】顧客の貢献度を10段階で可視化する！「デシル分析（Decile Analysis）」の仕組み</title>
      <description>&lt;p&gt;マーケティングや顧客分析（CRM）の基礎において、顧客の購買履歴をもとに全体を10等分してランク分けし、どの層が売上に大きく貢献しているかを把握するための手法が&lt;b&gt;「デシル分析（Decile Analysis）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;顧客の購買履歴をもとに、購買金額の多い順にすべての顧客を上位から10等分（10階層）にランク分けし、それぞれのグループが全体の売上に対してどれだけ貢献しているかを分析する手法を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① デシル分析（Decile Analysis）&lt;br /&gt;
② RFM分析（RFM Analysis）&lt;br /&gt;
③ アソシエーション分析（Association Analysis）&lt;br /&gt;
④ クラスター分析（Cluster Analysis）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① デシル分析（Decile Analysis）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：デシル分析の仕組みと手順&lt;/h3&gt;
&lt;p&gt;デシル分析がどのように行われ、何を読み解くのかを整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;ステップ・特徴&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;1. 10等分へのランク分け&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;保有するすべての顧客を購買金額の多い順に並べ、上から順に10等分（デシル1〜デシル10）のグループに分割する。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;2. 売上貢献度の算出&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;それぞれのグループが、全体の売上に対してどれくらいの割合（％）を占めているかを計算し、上位層への依存度や優良顧客の割合を把握する。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. デシル分析から分かること&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;パレートの法則（80:20の法則）の確認：&lt;/b&gt;&lt;br /&gt;
多くの場合、「上位20%の顧客（デシル1〜2）で、全体の売上の大部分（例：60〜80%）を占めている」といった偏りが見えてきます。これにより、どの顧客層を最優先で優遇・アプローチすべきかの判断材料になります。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;限界点：&lt;/b&gt;&lt;br /&gt;
購買金額の高さだけでランキングするため、「最近いつ買ったか（Recency）」や「何回買ったか（Frequency）」の視点が抜けている点に注意が必要です。それを補うのが「RFM分析」です。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：データサイエンスやマーケティングにおける「デシル分析」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 購買履歴をもとに顧客を購買金額の順に並べて10等分し、上位の顧客層が全体の売上にどれだけ貢献しているかを分析する手法である。&lt;br /&gt;
② 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで異常を検知する手法である。&lt;br /&gt;
③ 非復元抽出を用いて各サブセット内で重複のない形でランダムにデータをサンプリングし、複数のモデルを並列に学習させる手法である。&lt;br /&gt;
④ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータの統計解析手法である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; デシル分析の定義と目的を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。購買金額で10等分して売上貢献度を分析します。&lt;br /&gt;
②は「MT法」、③は「ペーティング」、④は「パネルデータ」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験で「購買履歴を元に」「購買金額の上位が全体の売り上げにどれだけ貢献しているか」「10等分」といったキーワードが出たら、正解は「デシル分析（Decile Analysis）」です！ マーケティングの基礎手法としてしっかり押さえておきましょう！&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/304/</link> 
    </item>
    <item>
      <title>【R言語】正規分布に従わないデータに！マン・ホットニーのU検定（WMW検定）の基本手順とサンプルコード</title>
      <description>&lt;p&gt;WMW検定（マン・ホッケーのU検定 / ウィルコクソンの順位和検定）は、データが正規分布に従わない場合や、アンケートの満足度のような「順序尺度」のデータを比較したいときに使われるノンパラメトリック検定です。&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;0. WMW検定の特徴と向いているデータ&lt;/h3&gt;
&lt;p&gt;t検定とは異なり、データの「実際の数値の大きさ」ではなく&lt;b&gt;「データの順位（大小関係）」&lt;/b&gt;をもとに2つのグループに差があるかを検証します。&lt;/p&gt;
&lt;p&gt;&lt;b&gt;【 向いているデータの例 】&lt;/b&gt;&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;b&gt;アンケートの満足度（1〜5点など）&lt;/b&gt;: 正規分布に従いにくい順序データ。&lt;/li&gt;
&lt;li&gt;&lt;b&gt;購入金額や滞在時間&lt;/b&gt;: 一部の極端な数値（外れ値）によって分布が大きく歪んでいるデータ。&lt;/li&gt;
&lt;/ul&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. サンプルデータの作成（満足度スコアの例）&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 手順 】&lt;/b&gt; 今回は、店舗Aと店舗Bにおける顧客の満足度（1〜5点）のダミーデータを作成して検定を行います。&lt;/p&gt;
&lt;p&gt;【 サンプルコード 】&lt;/p&gt;
&lt;blockquote style=&quot;background: #f9f9f9; padding: 10px; border-left: 5px solid #ccc;&quot;&gt;# 1. 再現性のための乱数シードの設定&lt;br /&gt;
set.seed(456)&lt;br /&gt;
&lt;br /&gt;
# 2. 店舗Aと店舗Bの満足度スコア（1〜5点）のダミーデータを生成&lt;br /&gt;
shop_a &amp;lt;- sample(1:5, size = 40, replace = TRUE, prob = c(0.05, 0.1, 0.2, 0.4, 0.25))&lt;br /&gt;
shop_b &amp;lt;- sample(1:5, size = 40, replace = TRUE, prob = c(0.2, 0.3, 0.3, 0.15, 0.05))&lt;br /&gt;
&lt;br /&gt;
# 3. データフレームへの統合&lt;br /&gt;
df_shop &amp;lt;- data.frame(&lt;br /&gt;
&amp;nbsp;&amp;nbsp;store = factor(rep(c(&quot;Store_A&quot;, &quot;Store_B&quot;), each = 40)),&lt;br /&gt;
&amp;nbsp;&amp;nbsp;score = c(shop_a, shop_b)&lt;br /&gt;
)&lt;br /&gt;
&lt;br /&gt;
# データの先頭6行を確認&lt;br /&gt;
head(df_shop)&lt;/blockquote&gt;
&lt;p&gt;【 実行結果 】&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; background: #333; color: #fff; padding: 10px;&quot;&gt;&amp;nbsp;&amp;nbsp;&amp;nbsp;store score&lt;br /&gt;
1 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;4&lt;br /&gt;
2 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;4&lt;br /&gt;
3 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;3&lt;br /&gt;
4 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;2&lt;br /&gt;
5 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;3&lt;br /&gt;
6 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;4&lt;/div&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;2. WMW検定の実行手順&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 手順 】&lt;/b&gt; RでWMW検定を行うには、t検定とほぼ同じ要領で &lt;code&gt;wilcox.test()&lt;/code&gt; 関数を使用します。&lt;/p&gt;
&lt;p&gt;【 サンプルコード 】&lt;/p&gt;
&lt;blockquote style=&quot;background: #f9f9f9; padding: 10px; border-left: 5px solid #ccc;&quot;&gt;# Step 1: グループごとの要約（中央値の算出）&lt;br /&gt;
aggregate(score ~ store, data = df_shop, FUN = median)&lt;br /&gt;
&lt;br /&gt;
# Step 2: マン・ホッケーのU検定（WMW検定）の実行&lt;br /&gt;
res_mw &amp;lt;- wilcox.test(score ~ store, data = df_shop)&lt;br /&gt;
&lt;br /&gt;
# 検定結果のコンソール出力&lt;br /&gt;
print(res_mw)&lt;/blockquote&gt;
&lt;p&gt;【 実行結果 】&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; background: #333; color: #fff; padding: 10px; line-height: 1.5;&quot;&gt;# Step 1 の結果（中央値）&lt;br /&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;store score&lt;br /&gt;
1 Store_A&amp;nbsp;&amp;nbsp;&amp;nbsp;3.5&lt;br /&gt;
2 Store_B&amp;nbsp;&amp;nbsp;&amp;nbsp;3.0&lt;br /&gt;
&lt;br /&gt;
# Step 2 の結果（print(res_mw)）&lt;br /&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;Wilcoxon rank sum test with continuity correction&lt;br /&gt;
&lt;br /&gt;
data:&amp;nbsp;&amp;nbsp;score by store&lt;br /&gt;
W = 1093.5, p-value = 0.003499&lt;br /&gt;
alternative hypothesis: true location shift is not equal to 0&lt;/div&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 結果の見方とまとめ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 ポイント 】&lt;/b&gt;&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 10px; line-height: 1.6;&quot;&gt;[ 検定結果の読み方 ]&lt;br /&gt;
&lt;br /&gt;
1.&lt;b&gt;W統計量（W = 1093.5）とは？&lt;/b&gt;&lt;br /&gt;
&amp;rarr; 全データを合わせ小さな順に並べたときの「順位の合計（順位和）」を一方のグループで足し合わせた値です。この値が、2つのグループに偏りがないとした場合の期待値からどれくらい離れているかを示しています。&lt;br /&gt;
&lt;br /&gt;
2.&lt;b&gt;なぜその結論になるのか？（p値との関係）&lt;/b&gt;&lt;br /&gt;
&amp;rarr; W = 1093.5 という偏りが「偶然に起こる確率」を計算したものが &lt;code&gt;p-value = 0.003499&lt;/code&gt; です。これが一般的な基準である 0.05（5%）を大きく下回っているため、「偶然ではなく、店舗Aと店舗Bの間には明確な満足度の差（分布のズレ）がある」と判断できます。&lt;br /&gt;
&lt;br /&gt;
3.&lt;b&gt;中央値の比較&lt;/b&gt;&lt;br /&gt;
&amp;rarr; 店舗Aの中央値は 3.5、店舗Bの中央値は 3.0 であり、店舗Aの方が満足度が高い傾向にあることが裏付けられます。&lt;/div&gt;
&lt;br /&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. まとめ&lt;/h3&gt;
&lt;p&gt;アンケート結果など正規分布に従わない順序データを扱うときは、無理にt検定を使わず &lt;b&gt;wilcox.test()&lt;/b&gt; によるWMW検定を選択するのが安全です。&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/303/</link> 
    </item>
    <item>
      <title>【R言語】独立な2群のt検定（ウェルチのt検定）の基本手順とサンプルコード</title>
      <description>&lt;p&gt;t検定は、独立した2つのグループの平均値に、統計的に意味のある差（有意差）があるかどうかを検証するための基本的な統計手法です。例えば、「男性と女性の身長の比較」など、お互いに影響を及ぼさない2つの母集団の平均を比べたいときに用いられます。&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;0. t検定の前提条件について（正規分布の仮定）&lt;/h3&gt;
&lt;p&gt;t検定を行う上での理論上の前提として、&lt;b&gt;「比較する2つのグループのデータがそれぞれ正規分布に従っていること」&lt;/b&gt;という条件（正規性の仮定）があります。&lt;/p&gt;
&lt;p&gt;実際のデータ分析においては以下のポイントを押さえておきましょう。&lt;/p&gt;
&lt;ul&gt;
&lt;li&gt;&lt;b&gt;中心極限定理による頑健性（ロバスト性）&lt;/b&gt;: サンプルサイズが十分にある場合（各群30〜50以上が目安）、データが多少正規分布から外れていてもt検定の結果は信頼できます。&lt;/li&gt;
&lt;li&gt;&lt;b&gt;サンプルサイズが非常に少ない場合&lt;/b&gt;: データ数が少なく、かつ正規分布から大きくかけ離れている場合は、ノンパラメトリック検定である&lt;b&gt;マン・ホッケーのU検定（&lt;code&gt;wilcox.test()&lt;/code&gt;）&lt;/b&gt;の利用を検討します。&lt;/li&gt;
&lt;/ul&gt;
&lt;p&gt;今回は、あらかじめ &lt;code&gt;rnorm()&lt;/code&gt; 関数を使って「正規分布に従うデータ」を生成して検証を行います。&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. サンプルデータの作成（rnorm関数について）&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 手順 】&lt;/b&gt; 手元に実データがない場合でも、Rの &lt;b&gt;rnorm()&lt;/b&gt; 関数を使えばテスト用のデータ（正規乱数）を簡単に作ることができます。&lt;/p&gt;
&lt;p&gt;&amp;rarr; &lt;code&gt;rnorm(n, mean, sd)&lt;/code&gt; は、&lt;b&gt;正規分布に従う乱数を発生させる関数&lt;/b&gt;（random normal distribution）です。個数・平均値・標準偏差を指定してシミュレーションデータを作成します。&lt;/p&gt;
&lt;p&gt;【 サンプルコード 】&lt;/p&gt;
&lt;blockquote style=&quot;background: #f9f9f9; padding: 10px; border-left: 5px solid #ccc;&quot;&gt;# 1. 再現性のための乱数シードの設定&lt;br /&gt;
set.seed(123)&lt;br /&gt;
&lt;br /&gt;
# 2. rnorm() を使って男性と女性のダミーデータを生成&lt;br /&gt;
male_height &amp;lt;- rnorm(n = 50, mean = 171.5, sd = 5.8) &lt;br /&gt;
female_height &amp;lt;- rnorm(n = 50, mean = 158.0, sd = 5.2) &lt;br /&gt;
&lt;br /&gt;
# 3. データフレームへの統合&lt;br /&gt;
df &amp;lt;- data.frame(&lt;br /&gt;
&amp;nbsp;&amp;nbsp;gender = factor(rep(c(&quot;Male&quot;, &quot;Female&quot;), each = 50)),&lt;br /&gt;
&amp;nbsp;&amp;nbsp;height = c(male_height, female_height)&lt;br /&gt;
)&lt;br /&gt;
&lt;br /&gt;
# データの先頭6行を確認&lt;br /&gt;
head(df)&lt;/blockquote&gt;
&lt;p&gt;【 実行結果 】&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; background: #333; color: #fff; padding: 10px;&quot;&gt;&amp;nbsp;&amp;nbsp;gender&amp;nbsp;&amp;nbsp;&amp;nbsp;height&lt;br /&gt;
1&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 168.2492&lt;br /&gt;
2&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 170.1650&lt;br /&gt;
3&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 180.5405&lt;br /&gt;
4&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 171.9089&lt;br /&gt;
5&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 172.2499&lt;br /&gt;
6&amp;nbsp;&amp;nbsp;&amp;nbsp;Male 181.4474&lt;/div&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;2. t検定の実行手順&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 手順 】&lt;/b&gt; 検定を行う前に記述統計量を確認し、その後 &lt;code&gt;t.test()&lt;/code&gt; 関数で検定を実行します。&lt;/p&gt;
&lt;p&gt;【 サンプルコード 】&lt;/p&gt;
&lt;blockquote style=&quot;background: #f9f9f9; padding: 10px; border-left: 5px solid #ccc;&quot;&gt;# Step 1: 性別ごとの平均値と標準偏差を算出&lt;br /&gt;
aggregate(height ~ gender, data = df, FUN = function(x) c(mean = mean(x), sd = sd(x)))&lt;br /&gt;
&lt;br /&gt;
# Step 2: 2標本t検定の実行（ウェルチのt検定がデフォルト）&lt;br /&gt;
res &amp;lt;- t.test(height ~ gender, data = df)&lt;br /&gt;
&lt;br /&gt;
# 検定結果のコンソール出力&lt;br /&gt;
print(res)&lt;/blockquote&gt;
&lt;p&gt;【 実行結果 】&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; background: #333; color: #fff; padding: 10px; line-height: 1.5;&quot;&gt;# Step 1 の結果&lt;br /&gt;
&amp;nbsp;&amp;nbsp;gender height.mean&amp;nbsp;&amp;nbsp;height.sd&lt;br /&gt;
1 Female&amp;nbsp;&amp;nbsp;158.761323&amp;nbsp;&amp;nbsp;&amp;nbsp;4.708325&lt;br /&gt;
2&amp;nbsp;&amp;nbsp;&amp;nbsp;Male&amp;nbsp;&amp;nbsp;171.699541&amp;nbsp;&amp;nbsp;&amp;nbsp;5.370046&lt;br /&gt;
&lt;br /&gt;
# Step 2 の結果（print(res)）&lt;br /&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;Welch Two Sample t-test&lt;br /&gt;
&lt;br /&gt;
data:&amp;nbsp;&amp;nbsp;height by gender&lt;br /&gt;
t = -12.81, df = 96.353, p-value &amp;lt; 2.2e-16&lt;br /&gt;
alternative hypothesis: true difference in means between group Female and group Male is not equal to 0&lt;br /&gt;
95 percent confidence interval:&lt;br /&gt;
&amp;nbsp;-14.94297 -10.93346&lt;br /&gt;
sample estimates:&lt;br /&gt;
mean in group Female&amp;nbsp;&amp;nbsp;&amp;nbsp;mean in group Male&amp;nbsp;&lt;br /&gt;
&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;158.7613&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;&amp;nbsp;171.6995&amp;nbsp;&lt;/div&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 結果の見方とまとめ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;【 ポイント 】&lt;/b&gt;&lt;/p&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 10px; line-height: 1.6;&quot;&gt;[ t検定結果の読み方 ]&lt;br /&gt;
&lt;br /&gt;
1.&lt;b&gt;p-value（p値）&lt;/b&gt;&lt;br /&gt;
&amp;rarr; &lt;code&gt;p-value &amp;lt; 2.2e-16&lt;/code&gt;（ほぼ0）のため、有意水準0.05未満となり「男女の平均身長には統計的に有意な差がある」と結論づけられます。&lt;br /&gt;
&lt;br /&gt;
2.&lt;b&gt;95%信頼区間&lt;/b&gt;&lt;br /&gt;
&amp;rarr; 平均値の差（女性 － 男性）が約 -14.94cm から -10.93cm の範囲にあると推定されます。&lt;br /&gt;
&lt;br /&gt;
3.&lt;b&gt;サンプル平均&lt;/b&gt;&lt;br /&gt;
&amp;rarr; 女性は約158.76cm、男性は約171.70cmであることが確認できます。&lt;/div&gt;
&lt;br /&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. まとめ&lt;/h3&gt;
&lt;p&gt;Rの &lt;code&gt;rnorm()&lt;/code&gt; と &lt;code&gt;t.test()&lt;/code&gt; を使えば、手元にデータがなくても簡単に統計検定のシミュレーションが行えます。データの比較を行う際は、ぜひこの手順を試してみてください。&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/302/</link> 
    </item>
    <item>
      <title>【DS検定対策】上から下へ分けていく！「DIANA（分割型階層的クラスタリング）」の仕組み</title>
      <description>&lt;p&gt;教師なし学習の代表例である「階層的クラスター分析」には、データをまとめていく方向によって2つのアプローチがあります。その一つで、1つの大きなグループを徐々に細かく分割していく手法が&lt;b&gt;「DIANA（Divisive Analysis / ダイアナ）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;階層的クラスター分析のアルゴリズムの一つであり、すべてのデータが含まれる1つの大きなグループをスタート地点とし、それを2つに分割する操作を繰り返し行いながら階層的な木構造を構築していく手法を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① DIANA（ダイアナ / 分割型）&lt;br /&gt;
② Ward法（ウォード法）&lt;br /&gt;
③ AGNES（アグネス / 凝集型）&lt;br /&gt;
④ 勾配ブースティング（Gradient Boosting）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① DIANA（ダイアナ / 分割型）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：階層的クラスター分析の2つのアプローチ&lt;/h3&gt;
&lt;p&gt;クラスターをどのように作っていくか、ボトムアップ型とトップダウン型の違いを整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;手法のアプローチ&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容・特徴&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;1. 凝集型（Agglomerative）&lt;br /&gt;
（例：AGNESなど）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;&lt;b&gt;「ボトムアップ型」&lt;/b&gt;。個々のデータがそれぞれ独立した状態からスタートし、近いもの同士を次々と結合して大きなクラスターを作っていく（最短距離法、Ward法などはこちらに属する）。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;2. 分割型（Divisive）&lt;br /&gt;
（★今回のポイント：DIANA）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;&lt;b&gt;「トップダウン型」&lt;/b&gt;。すべてのデータが含まれる1つの巨大なクラスターからスタートし、それを2つに分割する操作を繰り返して細かいクラスターに分けていく。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. DIANAの特徴と動きのイメージ&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;トップダウンの処理：&lt;/b&gt;&lt;br /&gt;
1. 全データが1つのクラスターに入っている状態から始まる。&lt;br /&gt;
2. 全体の中で最も孤立しているデータ（または散らばりの大きい部分）を見つけ、グループを2つに割る。&lt;br /&gt;
3. 分割されたそれぞれのグループに対してさらに分割を繰り返し、最終的にすべてのデータがバラバラの1点になるまで（または指定の階層まで）分解を進める。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：階層的クラスター分析における「DIANA」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 全データを含む1つの大きなグループからスタートし、それを2つに分割する操作を繰り返して細かなクラスターに分けていく分割型（トップダウン型）の手法である。&lt;br /&gt;
② 個々のデータが独立した状態からスタートし、クラスター間の距離が最も近いペア同士を次々と結合して大きなグループを作っていく手法である。&lt;br /&gt;
③ 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで異常を検知する手法である。&lt;br /&gt;
④ 異なる種類の複数のモデルを組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測を行う手法である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; DIANAの定義と特徴を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。1つのグループを2つに分割していくトップダウン型の分割型手法です。&lt;br /&gt;
②は「凝集型」、③は「MT法」、④は「スタッキング」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験で「階層的クラスター分析」「1つのグループを2つに分割する操作を繰り返す」といったキーワードが出たら、正解は「DIANA（ダイアナ）」です！ 凝集型（AGNESやWard法など）との違いをあわせてしっかり押さえておきましょう！&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/301/</link> 
    </item>
    <item>
      <title>【DS検定対策】少ない異常データを賢く見抜く！「MT法（マハラノビス・タグチ法）」の仕組み</title>
      <description>&lt;p&gt;製品の検査や機械の故障予知など、実務の現場では「正常なデータは山ほどあるが、異常なデータ（不良品や故障）はほとんど起きていない・手に入らない」というケースがよくあります。そのような状況で異常値判断に威力を発揮するのが&lt;b&gt;「MT法（Mahalanobis-Taguchi Method / マハラノビス・タグチ法）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;異常値判断などで異常なデータが非常に少ない場合に利用され、「正常データから構成される基準（マハラノビス空間）に近いものは正常、遠いものは異常」と判断する多変量解析手法を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① MT法（マハラノビス・タグチ法）&lt;br /&gt;
② 勾配ブースティング（Gradient Boosting）&lt;br /&gt;
③ アソシエーション分析（Association Analysis）&lt;br /&gt;
④ スタッキング（Stacking）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① MT法（マハラノビス・タグチ法）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：MT法の仕組みと判断の基準&lt;/h3&gt;
&lt;p&gt;MT法がどのようにして異常を検知するのか、その基本的な考え方を整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;判断のステップ&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容・特徴&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;1. 正常データの基準づくり&lt;br /&gt;
（マハラノビス空間）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;圧倒的多数である「正常なデータ」だけを使って、項目の相関関係を考慮した「正常な状態の基準（マハラノビス空間）」を構築する。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;2. 距離による異常判定&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;新しいデータが入力されたとき、基準（正常データ群）からどれくらい離れているかを「マハラノビスの距離」で計算する。&lt;br /&gt;
・&lt;b&gt;正常に近いもの：&lt;/b&gt; 距離が近いため「正常」と判断。&lt;br /&gt;
・&lt;b&gt;正常から遠いもの：&lt;/b&gt; 基準から大きく離れているため「異常」と判断。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. なぜMT法が優れているのか？&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;異常データが不要：&lt;/b&gt;&lt;br /&gt;
通常の機械学習（分類モデルなど）では「正常データ」と「異常データ」の両方が大量に必要ですが、実務では異常品がめったに出ないため学習データが集まりません。MT法は「正常データだけで基準が作れる」ため、この問題をクリアできます。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：データサイエンスや品質管理における「MT法」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで正常か異常かを判断する手法である。&lt;br /&gt;
② モデルの予測誤差を最小化するために、損失関数の勾配を利用して決定木を逐次的に追加・学習させていく強力な機械学習手法である。&lt;br /&gt;
③ 異なる種類の複数のモデルを組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測を行う手法である。&lt;br /&gt;
④ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータの統計解析手法である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; MT法の目的と判定の仕組みを正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。異常データが少ない状況で正常データの距離を基準に異常を検知します。&lt;br /&gt;
②は「勾配ブースティング」、③は「スタッキング」、④は「パネルデータ」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験で「異常データが少ない場合」「正常データに近いものは正常、遠いものは異常」といったキーワードが出たら、正解は「MT法（マハラノビス・タグチ法）」です！ 品質管理や異常検知の代表的手法としてしっかり押さえておきましょう！&lt;/p&gt;
&lt;br /&gt;
&lt;br /&gt;
</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/300/</link> 
    </item>
    <item>
      <title>【DS検定対策】AIが抱える根本的なジレンマ！「フレーム問題」の仕組み</title>
      <description>&lt;p&gt;人工知能（AI）や認知科学の歴史において、コンピュータが現実世界で賢く振る舞う上での限界や壁として議論されてきた非常に有名な難問、それが&lt;b&gt;「フレーム問題（Frame Problem）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;人工知能（AI）やロボットが現実世界で目の前の課題を解決しようとしたとき、「無限に存在する知識や状況の中から、今、自分に関係のある部分だけをどう特定するか？」という計算上・論理上の困難さを指す問題を何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① フレーム問題（Frame Problem）&lt;br /&gt;
② シンボル接地問題（Symbol Grounding Problem）&lt;br /&gt;
③ アソシエーション分析（Association Analysis）&lt;br /&gt;
④ 順序統計量（Order Statistics）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① フレーム問題（Frame Problem）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：フレーム問題の本質と具体例&lt;/h3&gt;
&lt;p&gt;フレーム問題がなぜAIにとって難しいのか、その構造を整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;概念・特徴&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;直感的な例&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;ロボットが洞窟の中にある爆弾を取ってくる任務を言い渡されたとき、ロボットは「爆弾を取る」こと以外にも、「天井の色が変わらないか」「自分の足の靴紐がほどけていないか」など、世界中の無関係な事柄まですべて推論しようとして計算が停止してしまう（あるいは永遠に終わらない）。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;本質的な課題&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;人間は「今、何が無関係で、何が関係あるか」を無意識かつ瞬時に判断して切り捨てることができるが、コンピュータ（従来の記号処理AI）にはこれが極めて困難であるという問題。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. 関連するAIの哲学的な難問たち&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;シンボル接地問題：&lt;/b&gt;&lt;br /&gt;
AIが扱う言葉（シンボル）の意味が、現実世界の実体や体験とどう結びついているのかという問題。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;常識推論の壁：&lt;/b&gt;&lt;br /&gt;
人間にとっては当たり前の「水をこぼしたら濡れる」といった暗黙の常識を、コンピュータにすべて教え込むことの膨大さ。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：人工知能（AI）の歴史や認知科学における「フレーム問題」に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 膨大な知識や状況の中から、今目の前の課題に関係のある部分だけを効率よく特定することが計算上非常に難しいという問題である。&lt;br /&gt;
② 言葉（シンボル）の意味が、現実世界の具体的な感覚や実体とどのように結びついているかという根本的な難しさを示す問題である。&lt;br /&gt;
③ 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録・収集したデータに関する問題である。&lt;br /&gt;
④ 名義尺度データに対する散らばり度合いや、その値が0から1の範囲に収まる性質に関する数学的な問題である。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; フレーム問題の定義を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。関係する知識をどう特定するかという難しさを指します。&lt;br /&gt;
②は「シンボル接地問題」、③は「パネルデータ」、④は「質的変動指標（IQV）」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験、AIの基礎論で「膨大な知識の中から関係する部分をどう特定するか」「計算が止まってしまう」といったキーワードが出たら、正解は「フレーム問題（Frame Problem）」です！ AIの限界や背景知識としてしっかり押さえておきましょう！&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/299/</link> 
    </item>
    <item>
      <title>【DS検定対策】横断と時系列のいいとこ取り！「パネルデータ（縦断面データ）」の仕組み</title>
      <description>&lt;p&gt;統計学やデータ分析において、データの集め方による種類を理解することは非常に重要です。その中で、同一のサンプル（個人や企業など）に対して複数の時点で継続して記録を行い、「空間の広がり」と「時間の経過」の両方を捉えることができるデータ、それが&lt;b&gt;「パネルデータ（Panel Data）」&lt;/b&gt;です！&lt;/p&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;1. 【 問題 】&lt;/h3&gt;
&lt;p&gt;同一のサンプル（調査対象）に対して、複数の時点（時間）にわたって複数の項目を継続して記録・収集したデータのことを何と呼ぶでしょうか？&lt;/p&gt;
&lt;p&gt;① パネルデータ（Panel Data）&lt;br /&gt;
② クロスセクションデータ（横断面データ）&lt;br /&gt;
③ 時系列データ（Time Series Data）&lt;br /&gt;
④ コーホートデータ（Cohort Data）&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: #d32f2f;&quot;&gt;2. 【 解答 】&lt;/h3&gt;
&lt;div style=&quot;background-color: #eeeeee; border: 2px solid #333; padding: 15px; font-size: 1.2em; font-weight: bold; text-align: center;&quot;&gt;正解： ① パネルデータ（Panel Data）&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;3. 整理：3つの主要なデータ形式の比較&lt;/h3&gt;
&lt;p&gt;これまで登場した代表的なデータ形式の特徴を整理しましょう。&lt;/p&gt;
&lt;table border=&quot;1&quot; style=&quot;border-collapse: collapse; width: 100%; text-align: left; cellpadding: 8px;&quot;&gt;
&lt;tbody&gt;
&lt;tr style=&quot;background-color: #f2f2f2; text-align: center;&quot;&gt;&lt;th style=&quot;width: 25%;&quot;&gt;データの種類&lt;/th&gt;&lt;th style=&quot;width: 75%;&quot;&gt;内容・特徴&lt;/th&gt;&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;1. クロスセクションデータ&lt;br /&gt;
（横断面データ）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;「ある一時点」において、複数の異なる対象を横断的に集めたデータ。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;2. 時系列データ&lt;br /&gt;
（Time Series Data）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;「ある一つの対象」について、時間の経過に沿って継続的に記録したデータ。&lt;/td&gt;
&lt;/tr&gt;
&lt;tr&gt;
&lt;td&gt;&lt;b&gt;3. パネルデータ&lt;br /&gt;
（★今回のポイント）&lt;/b&gt;&lt;/td&gt;
&lt;td&gt;&lt;b&gt;「同一の複数のサンプル」&lt;/b&gt;に対して、&lt;b&gt;「複数の時点（時間）」&lt;/b&gt;にわたって継続して記録したデータ（クロスセクション ＋ 時系列）。&lt;/td&gt;
&lt;/tr&gt;
&lt;/tbody&gt;
&lt;/table&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;4. パネルデータの強みとメリット&lt;/h3&gt;
&lt;div style=&quot;font-family: monospace; border: 1px solid #ccc; padding: 12px; line-height: 1.6; background-color: #fafafa;&quot;&gt;・&lt;b&gt;個別の変化と時間の変化を分離：&lt;/b&gt;&lt;br /&gt;
同じ人や企業を追いかけ続けるため、「その人固有の変わらない特徴（能力や性格など）」の影響を取り除き、純粋に「時間が経ったことによる変化や施策の効果」を正確に分析（パネルデータ分析）することができる。&lt;br /&gt;
&lt;br /&gt;
・&lt;b&gt;具体例：&lt;/b&gt;&lt;br /&gt;
毎年同じ1,000人の会社員を対象に、所得や健康状態の変化を10年間にわたって追跡調査したデータなど。&lt;/div&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: orange;&quot;&gt;5. DS検定形式：実戦4択クイズ&lt;/h3&gt;
&lt;p&gt;&lt;b&gt;問：データサイエンスにおけるデータの種類や収集方法に関する記述として、最も適切なものはどれか。&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;① 同一のサンプルに対して、複数の時点にわたって複数の項目を継続して記録したデータをパネルデータと呼ぶ。&lt;br /&gt;
② ある特定の時点における各地の人口など、場所やグループ別などの異なる対象を横断的に記録したデータのことである。&lt;br /&gt;
③ 名義尺度データに対する散らばり度合いを示し、すべてのデータが1つのカテゴリーに属するときに0、均等に散らばっているときに1となる指標のことである。&lt;br /&gt;
④ データを大きさの順に並べたときの各位置にある値のことであり、最小値や最大値、中央値などを総称したものである。&lt;/p&gt;
&lt;p&gt;&lt;b style=&quot;color: #d32f2f;&quot;&gt;【 正解： ① 】&lt;/b&gt;&lt;/p&gt;
&lt;p&gt;&lt;b&gt;解説：&lt;/b&gt; パネルデータの定義を正確に理解しているかを問う重要問題です。&lt;br /&gt;
①が正解です。同一サンプルを複数期間にわたり継続記録したデータを指します。&lt;br /&gt;
②は「クロスセクションデータ」、③は「質的変動指標（IQV）」、④は「順序統計量」の説明です。&lt;/p&gt;
&lt;hr /&gt;
&lt;h3 style=&quot;color: blue;&quot;&gt;6. まとめ&lt;/h3&gt;
&lt;p&gt;DS検定や資格試験で「同一のサンプルに対して」「複数の項目を継続して記録」といったキーワードが出たら、正解は「パネルデータ（Panel Data）」です！ クロスセクションや時系列との違いをあわせてしっかり押さえておきましょう！&lt;/p&gt;</description> 
      <link>https://learnms.blog.shinobi.jp/Entry/298/</link> 
    </item>

  </channel>
</rss>
