【DS検定対策】クラスタの「近さ」はどう測る?階層型クラスタリングの距離計算まとめ
データを似たもの同士のグループに分ける「クラスタリング」。その中でも、トーナメント表のような樹状図(デンドログラム)を作る「階層型クラスタリング」では、グループ(クラスター)同士の【距離】をどう定義するかが非常に重要です。手法ごとの違いをスッキリ整理しましょう!
1. 【 問題 】
階層型クラスタリングにおいて、2つのクラスター同士の距離を定義する方法のうち、「それぞれのクラスターに含まれるすべてのデータペア間の距離の平均」をそのクラスター間の距離とする手法の名称として、最も適切なものはどれでしょうか?
① 最短距離法(単連結法)
② 最長距離法(完全連結法)
③ 群平均法
④ ウォード法
2. 【 解答 】
3. 整理:クラスター間距離の5大手法と特徴
試験で問われるのは、各手法の「定義」と「どんなクラスタができやすいかという特徴」です。以下の表で一撃でマスターしましょう!
| 手法名 | 距離の定義 | 実務上の特徴・性質 |
|---|---|---|
| 最短距離法 (単連結法) |
2つのクラスタの中で、最も近いデータ同士の距離を採用する。 | データが鎖のようにつながる「鎖状効果(チェーン効果)」が起きやすく、細長いクラスタになりやすい。 |
| 最長距離法 (完全連結法) |
2つのクラスタの中で、最も遠いデータ同士の距離を採用する。 | 鎖状効果は起きにくいが、外れ値(異常値)の影響を非常に強く受けやすい。 |
| 群平均法 | 2つのクラスタにあるすべてのデータペアの距離の平均を採用する。 | 最短と最長の中間的な性質を持ち、比較的バランスの良いクラスタリングができる(外れ値にもやや強い)。 |
| 重心法 | 各クラスターの「重心(平均ベクトル)」同士の距離を採用する。 | 計算効率が良いが、クラスタが合体したときに「前の段階より距離が短くなる(矛盾が生じる)」現象(逆転現象)が起きることがある。 |
| ウォード法 ★試験最頻出! |
クラスタを合体させたときの「クラスター内の分散の増加量」が最も小さくなるように選ぶ。 | 計算量は多いが、サイズが均等で球状の綺麗なクラスタを作りやすいため、実務で最もよく使われる。 |
4. なぜ使い分けが重要なのか?(DS実務の視点)
階層型クラスタリングは、データ間の距離行列さえあれば計算できるため非常に強力ですが、上記のように「どの距離を採用するか」で結果の解釈が180度変わります。
例えば、マーケティングで「似たような購買傾向の顧客グループ」を綺麗に等分割したいときはウォード法が第一候補になりますし、逆に「不正アクセス検知」や「異常値の検出」のように、孤立した変なデータを見つけ出したいときには最短距離法が役に立つことがあります。データの分布や分析の目的に応じて手法を選択するセンスが、データサイエンティストには求められます。
5. DS検定形式:実戦4択クイズ
問:階層型クラスタリングの距離計算手法において、「クラスターを結合した際の『クラスター内平方和(分散)』の増加量が最小になるものから順に結合していく」という特徴を持ち、ノイズに比較的強く、データの個数が同程度に揃った球状のクラスタを形成しやすい、実務で最も一般的に用いられる手法はどれか。
① 最短距離法 ② 重心法 ③ メドイド法 ④ ウォード法
【 正解: ④ 】
解説: 受験生が絶対に落としてはいけない**「ウォード法」**に関する超頻出問題です。 「分散の増加量を最小にする」「球状の綺麗なクラスタを作る」というキーワードが出てきたら、迷わずウォード法を選べるように頭のインデックスを整理しておきましょう!
6. まとめ
階層型クラスタリングのクラスター間距離は、「最短」「最長」「群平均」はその名の通りの定義なので覚えやすいですが、試験で得点差になるのは「重心法(逆転現象のリスク)」と「ウォード法(分散の増加量最小・実務で最強)」の2つです。それぞれの距離の測り方が持つ「クセ」を理解して、試験の選択肢を確実に撃破しましょう!