【DS検定対策】上から下へ分けていく!「DIANA(分割型階層的クラスタリング)」の仕組み
教師なし学習の代表例である「階層的クラスター分析」には、データをまとめていく方向によって2つのアプローチがあります。その一つで、1つの大きなグループを徐々に細かく分割していく手法が「DIANA(Divisive Analysis / ダイアナ)」です!
1. 【 問題 】
階層的クラスター分析のアルゴリズムの一つであり、すべてのデータが含まれる1つの大きなグループをスタート地点とし、それを2つに分割する操作を繰り返し行いながら階層的な木構造を構築していく手法を何と呼ぶでしょうか?
① DIANA(ダイアナ / 分割型)
② Ward法(ウォード法)
③ AGNES(アグネス / 凝集型)
④ 勾配ブースティング(Gradient Boosting)
2. 【 解答 】
3. 整理:階層的クラスター分析の2つのアプローチ
クラスターをどのように作っていくか、ボトムアップ型とトップダウン型の違いを整理しましょう。
| 手法のアプローチ | 内容・特徴 |
|---|---|
| 1. 凝集型(Agglomerative) (例:AGNESなど) |
「ボトムアップ型」。個々のデータがそれぞれ独立した状態からスタートし、近いもの同士を次々と結合して大きなクラスターを作っていく(最短距離法、Ward法などはこちらに属する)。 |
| 2. 分割型(Divisive) (★今回のポイント:DIANA) |
「トップダウン型」。すべてのデータが含まれる1つの巨大なクラスターからスタートし、それを2つに分割する操作を繰り返して細かいクラスターに分けていく。 |
4. DIANAの特徴と動きのイメージ
1. 全データが1つのクラスターに入っている状態から始まる。
2. 全体の中で最も孤立しているデータ(または散らばりの大きい部分)を見つけ、グループを2つに割る。
3. 分割されたそれぞれのグループに対してさらに分割を繰り返し、最終的にすべてのデータがバラバラの1点になるまで(または指定の階層まで)分解を進める。
5. DS検定形式:実戦4択クイズ
問:階層的クラスター分析における「DIANA」に関する記述として、最も適切なものはどれか。
① 全データを含む1つの大きなグループからスタートし、それを2つに分割する操作を繰り返して細かなクラスターに分けていく分割型(トップダウン型)の手法である。
② 個々のデータが独立した状態からスタートし、クラスター間の距離が最も近いペア同士を次々と結合して大きなグループを作っていく手法である。
③ 異常値判断などで異常なデータが少ない場合に利用され、正常データからなる基準からの距離を測ることで異常を検知する手法である。
④ 異なる種類の複数のモデルを組み合わせて予測を行い、その予測結果をさらに別のメタモデルに入力して最終的な予測を行う手法である。
【 正解: ① 】
解説: DIANAの定義と特徴を正確に理解しているかを問う重要問題です。
①が正解です。1つのグループを2つに分割していくトップダウン型の分割型手法です。
②は「凝集型」、③は「MT法」、④は「スタッキング」の説明です。
6. まとめ
DS検定や資格試験で「階層的クラスター分析」「1つのグループを2つに分割する操作を繰り返す」といったキーワードが出たら、正解は「DIANA(ダイアナ)」です! 凝集型(AGNESやWard法など)との違いをあわせてしっかり押さえておきましょう!