【DS検定対策】JSONやXMLの正体！「半構造データ」の特徴とメリット

リレーショナルデータベース（RDB）のテーブルのようにカチッと決まった枠はないけれど、テキストファイルとも違う。柔軟性と扱いやすさを両立したのが「半構造データ」です。

1. 【 問題 】

データサイエンスで扱うデータの分類において、リレーショナルデータベースのテーブルのように「すべてのデータに共通する厳密な定義（スキーマ）」は存在しないものの、各データがタグやキーなどの自己記述的な構造（スキーマ）を内部に持っているデータ形式を何と呼ぶでしょうか？

① 構造化データ
② 半構造データ
③ 非構造化データ
④ メタデータ

---

2. 【 解答 】

正解： ② 半構造データ

---

3. 整理：3つのデータ形式の違いと具体例

試験や実務では、データを「構造化」「半構造」「非構造」の3つに明確にキャラクター分けして整理しておくことが鉄則です。

データの分類	スキーマ（構造）の特徴	具体的なデータ形式
1. 構造化データ	あらかじめ厳密に定義された枠組み（スキーマ）に従って、行と列にきれいに収まっているデータ。	RDB（関係データベース）のテーブル、CSV、Excelファイルなど。
2. 半構造データ ★今回の主役	全体を一律に縛る枠はないが、データ自身の中に「キー」や「タグ」などの構造（メタデータ）が含まれているデータ。	JSON、XML、WebサイトのHTML、設定ファイル（YAML）など。
3. 非構造化データ	定型的なルールや構造を一切持たない、生のデータ。そのままではRDB等に格納して集計することが難しいデータ。	画像、音声、動画、自然言語のテキスト（メール本文や書籍）など。

4. なぜ今「半構造データ」が重要なのか？

WebサービスのAPI通信や、IoTセンサーから送られてくるログデータなどは、そのほとんどがJSON（半構造データ）でやり取りされます。
「ユーザーによって持っている属性情報（カラム）がバラバラ」「後から新しい項目を急に追加したい」といった場合でも、RDBのように `ALTER TABLE` でシステムを止めたりスキーマ変更をしたりする必要がなく、データをそのまま柔軟に吸い込める（高い拡張性を持つ）という点が、モダンなシステム開発やデータ収集において最大の強みとなっています。

---

5. DS検定形式：実戦4択クイズ

問：半構造データの代表例である「JSON」の記述ルールに関する説明として、最も適切なものはどれか。

① データを「<tag>データ</tag>」のように、カスタムタグで挟むことで構造を表現する。
② データを「"キー" : 値」のペア（Key-Valueペア）の形式で記述し、全体を中括弧 { } や大括弧 [ ] で囲んで表現する。
③ カンマ（,）で区切られたデータ行のみで構成され、階層構造を表現することはできない。
④ バイナリ形式のデータであり、テキストエディタで直接中身を読んで編集することはできない。

【 正解： ② 】

解説： まさにJSON（JavaScript Object Notation）の基本定義です。ちなみに①はXMLの説明、③はCSVの説明です。JSONはテキスト形式でありながら複雑な階層構造（ネスト）を表現できるため、半構造データの王座に君臨しています。

---

6. まとめ

DS検定において「全体の共通スキーマはないが、個々にスキーマを持っているデータ」という非常に精緻な問題文が出たら「半構造データ（JSONやXML）」の事です。構造化データへの前処理（パース）やNoSQLデータベースの文脈でも必ずセットで問われる知識ですので、その柔軟なメリットをしっかり頭に叩き込んでおきましょう！

【DS検定対策】並列処理でブレを抑える！アンサンブル学習の王道「バギング」

機械学習モデルの予測性能を安定させる「アンサンブル学習」。その中でも、データをランダムに切り分けて複数のモデルを同時に（並列に）育てる手法がバギングです。

1. 【 問題 】

アンサンブル学習の代表的な手法の一つにおいて、元の訓練データからランダムに重複を許して一部のデータを抽出し（ブートストラップサンプリング）、それらを用いて複数のモデルを並列的に構築した上で、最終的な予測結果を平均（回帰の場合）や多数決（分類の場合）によって決定するアルゴリズムを何と呼ぶでしょうか？

① ブースティング（Boosting）
② バギング（Bagging）
③ スタッキング（Stacking）
④ ドロップアウト（Dropout）

---

2. 【 解答 】

正解： ② バギング（Bagging）

---

3. 整理：バギングの仕組みと最大のメリット

バギング（Bootstrap Aggregating）は、その名の通り「データを小分けのバッグ（Bag）に詰めて別々に学習させる」イメージです。

【 バギングの3ステップ 】

1. データの切り分け（並列準備）：元のデータから、重複を許してランダムにデータを抜き出した「子データ」を大量に作成します。
2. 並列構築：それぞれの子データを使って、複数のモデル（決定木など）を完全に独立して並列に同時学習させます。
3. 総合（アグリゲーション）：テストデータに対して全員で予測を行い、最後にその「平均」や「多数決」で一つの答えを出します。

★ ここがメリット：「バリアンス（分散・ブレ）を下げる」
1つのモデルだけに学習させると、手元のデータに過剰に適合してしまい（以前学んだ過学習）、新しいデータに対して予測値が激しくブレる傾向があります。バギングは、並列に作った多くのモデルの意見を総合してマイルドに平均化するため、モデルの過学習を抑え、未知のデータに対する堅牢性（ロバスト性）を劇的に高めることができます。

---

5. DS検定形式：実戦4択クイズ

問：バギングの仕組みをベースに、変数の選択（特徴量の抽出）にもランダム性を加えることで、決定木同士の相関を下げて予測精度をさらに向上させた、データサイエンスで非常によく使われる代表的な機械学習アルゴリズムはどれか。

① 主成分分析   ② ロジスティック回帰   ③ ランダムフォレスト   ④ サポートベクターマシン

【 正解： ③ 】

解説： バギングの最も有名な応用例が「ランダムフォレスト」です。データだけでなく「使う変数」までモデルごとにランダムに制限することで、個々の木が全く異なる個性を持ち、それらを並列で組み合わせることで極めて強力な「森（フォレスト）」を作り上げます。

---

6. まとめ

DS検定において「並列的にモデルを構築して平均や多数決を用いる」というキーワードが登場したら、それは「バギング」の性質を指します。実務のデータコンペ（Kaggleなど）でも、モデルのブレを抑えて手堅くスコアを安定させるための大基本となる戦略ですので、直列処理のブースティングとの違いとセットで確実にマスターしておきましょう！

【DS検定対策】高次元へ飛ばしてスパッと切る！SVMと「カーネル法」の魔術

直線や平面ではどうしても2つのグループに切り分けることができない複雑なデータ。それを数理の力で鮮やかに分類できるようにするのが、サポートベクターマシンの「カーネル法」です。

1. 【 問題 】

サポートベクターマシン（SVM）において、直線や平面では綺麗に分類できない「非線形分離」なデータに対し、データをより高次元の空間へと写像（マッピング）することで、線形分離（直線や平面での分割）を可能にする手法を何と呼ぶでしょうか？

① カーネル法
② 勾配降下法
③ ステップワイズ法
④ 主成分分析

---

2. 【 解答 】

正解： ① カーネル法

---

3. 図解イメージ：高次元へ飛ばすとはどういうことか？

2次元（平面）ではどう頑張っても直線1本でセパレートできない「ドーナツ型」のデータを例に、カーネル法の魔法を視覚的に整理してみましょう。

元の空間（2次元平面）	カーネルトリック後の空間（3次元空間）
・中心に「グループA（●）」がある。 ・その周りを「グループB（✖）」が囲んでいる。 【悩み】 まっすぐな直線（線形）をどこに引いても、●と✖を1本で完全に切り離すことは不可能です。	・カーネル関数を使い、データを「縦・横」だけでなく「高さ（Z軸）」の次元を追加した3次元空間にマッピングします。 【結果】 中心の●だけがポコッと上に浮き上がり、周りの群が下に残るため、間を「1枚の平らな紙（平面）」でスパッと水平に切り分ける（線形分離）ことができるようになります！

★ ここが天才的：「カーネルトリック」
実際に高次元のめんどくさい座標計算を真面目にやると、計算量が爆発してフリーズしてしまいます。しかし、カーネル法では「高次元に移動した後のデータ同士の内積」を、元の次元のままで直接ショートカット計算できる関数（カーネル関数）を使います。これを「カーネルトリック」と呼び、深層学習が登場する前の機械学習界を席巻しました。

---

5. DS検定形式：実戦4択クイズ

問：サポートベクターマシン（SVM）において、データを2つのクラスに分類する境界線を決定する際、境界線に最も近い位置に存在する（境界線を支える目印となる）一部のデータ点のことを何と呼ぶか。

① サポートベクター   ② マージン   ③ カーネル係数   ④ スラック変数

【 正解： ① 】

解説： アルゴリズムの名の由来でもある「サポートベクター」です。SVMは、すべてのデータを覚えるのではなく、境界線のギリギリのキワにいる「サポートベクター」だけを基準にして境界線を引きます。そのため、以前に学んだ外れ値やノイズに対しても非常にタフ（堅牢 / ロバスト）であるという、美しい繋がりを持っています。

---

6. まとめ

DS検定において「非線形データを高次元に飛ばして線形分離する」「SVM」というキーワードが来たら「カーネル法」です。実務のデータコンペ（Kaggleなど）でも、データ構造によっては非常に強力な選択肢となるクラシックな名手法ですので、その幾何学的なイメージをしっかり押さえておきましょう！

【DS検定対策】サブスクビジネスの命綱！顧客の離脱を防ぐ「チャーン分析」

新規顧客を獲得するよりも、既存の顧客に長く続けてもらう方がコストを低く抑えられます。顧客がサービスを解約（離脱）する予兆をデータから予測する手法が、チャーン分析です。

1. 【 問題 】

サブスクリプション型のサービスや会員制ビジネスにおいて、顧客が契約を解除したりサービスを利用しなくなったりする「解約・離脱」の行動やその確率を、過去の利用履歴データ（アクセス頻度、契約期間、サポートへの問い合わせ回数など）から予測・分析する手法を何と呼ぶでしょうか？

① バスケット分析
② チャーン分析（解約・離脱分析）
③ アソシエーション分析
④ ABC分析

---

2. 【 解答 】

正解： ② チャーン分析（解約・離脱分析）

---

3. 整理：チャーン分析で「予測の手がかり」となるデータ（特徴量）

顧客が解約する前には、高確率で行動に「サイン（変化）」が現れます。データサイエンティストは以下のような特徴量をモデルに投入して予測を行います。

データカテゴリ	解約の予兆（フラグ）となりやすい変化
1. 利用頻度の減少	「ログイン回数が先月比で急激に減った」「動画の視聴時間が短くなった」など、サービスへのエンゲージメント（熱量）の低下。
2. 顧客属性・契約プラン	「無料トライアル期間の終了間際」「特定のキャンペーン経由で入会した」など、元からの定着度の低さ。
3. ネガティブな体験	「システムの不具合（エラー）を何度も経験した」「カスタマーサポートに複数回クレームや問い合わせを入れている」など。

★ データサイエンティストの戦い方：
これまでに学んだ「LightGBM」や「ロジスティック回帰」などの機械学習アルゴリズムを用いて、「この顧客はあと1ヶ月以内に80%の確率で解約する」といった予測を算出します。マーケティングチームはその予測を基に、解約されそうなユーザーだけに限定してクーポンを配信する、といった効率的な引き止め施策を打ちます。

---

5. DS検定形式：実戦4択クイズ

問：チャーン予測モデルを構築した際、すでに解約してしまった過去のユーザーのデータだけを分析対象とし、途中でプランを変更したユーザーや現在も継続しているユーザーの行動ログを除外してモデルを評価した。このときに警戒すべき、以前の講義で学んだデータの偏り（バイアス）として最も適切なものはどれか。

① 自己選択バイアス   ② 脱落バイアス   ③ 出版バイアス   ④ 確定バイアス

【 正解： ② 】

解説： 解約という「途中の離脱（脱落）」が起きた結果のデータだけを後から見て、そのプロセス（時間の経過に伴う変化）や現役ユーザーとの違いを無視して集計すると、正しい予測ルールが作れなくなります。まさに脱落バイアスへの配慮が必要な典型例です。

---

6. まとめ

DS検定において「顧客の解約・離脱を予測・分析する手法」という主旨の問題が出たら、迷わず「チャーン分析」を選択しましょう。実務において、機械学習モデルが企業の売上守備を固めるための最たる応用例ですので、ビジネス理解とセットでしっかりと押さえておきましょう！

【DS検定対策】因果関係を証明する黄金基準！「ランダム化比較試験（RCT）」の仕組み

データ分析で最も難しいのが「因果関係」の証明です。相関関係（たまたま一緒に動いているだけ）に騙されず、本当の効果を正しく見極めるための強力な実験手法が、ランダム化比較試験（RCT）です。

1. 【 問題 】

ある施策や新薬などの「本当の効果（因果関係）」を正しく測定するため、対象者を自発的な参加ではなく、確率的に完全に均等な2つのグループ（介入群と対照群）にランダムに割り振って比較する実験手法を何と呼ぶでしょうか？

① ランダム化比較試験（RCT）
② 段階的要因分析
③ 後ろ向きコホート調査
④ 主成分回帰分析

---

2. 【 解答 】

正解： ① ランダム化比較試験（RCT）

---

3. 整理：なぜ「ランダム（無作為）」に分ける必要があるのか？

もし、対象者が「自分で選んで」新しい施策（例えば、新しい有料の教育プログラムなど）に参加した場合、そこには以前学んだ自己選択バイアスが働きます。プログラムを受けた人の成績が良くても、それは「プログラムの効果」ではなく「元からやる気があった人の効果」かもしれないからです。

【 RCTの基本構造（2つのグループ） 】

グループ名	役割	具体例（新サプリの効果測定）
1. 介入群 （試験群 / トリートメント）	新しく試したい施策や薬を「適用する」グループ。	ランダムに選ばれた50人。新しいサプリメントを毎日飲む。
2. 対照群 （コントロール群）	比較対象（基準）となる、施策を「適用しない」グループ。	ランダムに選ばれた50人。見た目が同じ偽物のサプリ（プラセボ）を飲む。

★ ここがポイント：
くじ引き（ランダム）で分けることによって、年齢・性別・健康状態・やる気の有無といった「あらゆる個体差（ノイズ）」が両方のグループに均等に分散されます。これにより、2つのグループに生じた最終的な差は、純粋に「施策（サプリ）の効果である」と言い切れるようになります（フィッシャーの3原則の『無作為化』の応用です）。

---

5. DS検定形式：実戦4択クイズ

問：インターネットビジネスにおいて、ユーザーをランダムに2つのグループに分け、従来のWebデザイン（A案）と新しいデザイン（B案）のどちらがクリック率が高いかを検証する、実務で広く使われているRCT（ランダム化比較試験）の一種を何と呼ぶか。

① 多変量解析   ② A/Bテスト   ③ 顧客ロイヤルティ分析   ④ クロス集計

【 正解： ② 】

解説： 実務で毎日のように行われている「A/Bテスト」は、統計学におけるランダム化比較試験（RCT）そのものです。サーバー側でユーザーを完全にランダムに振り分けることで、時間帯やユーザーの属性による偏りを排除し、デザインの純粋な効果を測定しています。

---

6. まとめ

DS検定において「因果関係を正しく測定するために、ランダムにグループに分けて比較する実験手法」という主旨が出たら、迷わず「ランダム化比較試験（RCT）」です。これまで学んできた『各種バイアス』を数理的にシャットアウトするための最強の防衛策として、その定義をしっかり覚えておきましょう！