【DS検定対策】階層的クラスター分析のキモ！「クラスター間距離の定義（最短・最長・群平均・Ward法）」

教師なし学習の代表例である「階層的クラスター分析」において、データ同士だけでなく「クラスターとクラスターの間の距離（非類似度）」をどのように測るかによって、分類の結果やグループの形状が大きく変わります。最短距離法、最長距離法、群平均法などがありますが、中でも実務でよく使われる「Ward法（ウォード法）」は非常に重要な手法です！

1. 【問題】

階層的クラスター分析において、クラスター間の距離（非類似度）を定義する手法の一つであり、2つのクラスターを結合したときに生じる「偏差平方和（分散）の増加分が最小になるようにペアを選んで結合していく手法」のことを何と呼ぶでしょうか？

① Ward法（ウォード法）
② 最短距離法（単一連結法）
③ 最長距離法（完全連結法）
④ 群平均法

2. 【解答】

正解： ① Ward法（ウォード法）

3. 整理：クラスター間距離の主な測り方（結合基準）

クラスター同士をどのように結びつけるか、代表的な4つの手法を整理しましょう。

手法の名前	内容・特徴
1. 最短距離法（単一連結法）	2つのクラスターに含まれるデータ同士の距離のうち、最も短い（近い）距離をクラスター間距離とする。鎖状につながりやすい性質がある。
2. 最長距離法（完全連結法）	2つのクラスターに含まれるデータ同士の距離のうち、最も長い（遠い）距離をクラスター間距離とする。まとまりの良いコンパクトなクラスターができやすい。
3. 群平均法	2つのクラスター間のすべてのデータのペアの距離の平均値をクラスター間距離とする。バランスの良い結合ができる。
4. Ward法（★今回のポイント）	2つのクラスターを結合したときに生じる「偏差平方和（分散）の増加分」が最小になるペアを選んで結合していく方法。バランスの取れた丸みを帯びたクラスターができやすく、実務でよく使われる。

4. 階層的クラスター分析の全体の流れ

・アルゴリズムの手順：

すべてのデータがそれぞれ独立した1つのクラスター（個別の状態）からスタートする。

クラスター間距離が最も近いペア同士を次々と結合し、大きなクラスターを作っていく。

樹形図（デンドログラム）を描き、どこで結合を止めるかを決定してグループを確定させる。

5. DS検定形式：実戦4択クイズ

問：階層的クラスター分析におけるクラスター間の距離の定義や手法に関する記述として、最も適切なものはどれか。

① クラスターを結合したときに生じる偏差平方和（分散）の増加分が最小になるようにグループ化を行う手法をWard法（ウォード法）と呼ぶ。
② 手元にある限られたデータから重複を許した復元抽出を何度も行い、母数の信頼区間をノンパラメトリックに推定するための統計的手法である。
③ ミニバッチ単位でデータの平均と分散を正規化し、ディープラーニングの内部共変量シフトを抑えて学習を安定させるための技術である。
④ 実際のデータが持つ統計的特徴を模倣して人工的に生成されたデータであり、個人情報の保護やデータの不足を解消する目的で利用される。

【正解： ① 】

解説： Ward法の特徴を正確に理解しているかを問う重要問題です。
①が正解です。クラスター結合時の偏差平方和の増加分を最小化する手法がWard法です。
②は「ブートストラップ法」、③は「バッチノーマライゼーション」、④は「合成データ」の説明です。

6. まとめ

DS検定や資格試験で「クラスター間の距離」「最短距離」「最長距離」「群平均」「Ward法（偏差平方和の増加最小）」といったキーワードが出たら、それぞれの手法の特徴を思い出せるようにしておきましょう！