忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【機械学習の知識】データマイニングの概要と主要な手法

膨大なデータの中に眠っている、人間では気づけないような貴重なルールやパターンを見つけ出したい。データウェアハウスなどに蓄積されたビッグデータから、ビジネスに役立つお宝(知識)を発掘するための技術が、データマイニングです。

1. 【 概要 】

データマイニングとは、一見何の因果関係もないと思われる膨大なデータの集まりから、統計学や機械学習の手法を用いて規則性や法則性を発見する作業です。

例えば、「特定の食べ物と飲み物の組み合わせが同時に最も購入されやすい」といった隠れたビジネスルールを発見し、組織の業績向上やマーケティング施策に繋げます。一般的には、データウェアハウス(DWH)に蓄積されたクレンジング済みの大量データに対して行われます。


2. 【 基本手順(代表的な4つの手法) 】

(1) 相関関係/類似性分析(アソシエーション分析)
・データ同士の「同時に起こる関係性」に関するルールを発見する。

(2) クラスタリング
・あらかじめ基準を決めず、統計的な類似性によってデータを自然にグループ分けする。

(3) クラシフィケーション(分類)
・明確なルールに基づき、新しいデータを既存の決まったクラスに割り当てる。

(4) 時系列分析
・時間の経過に伴うデータの変化から、未来の予測や時間的な類似性を発見する。

3. 整理:各手法の具体的な処理内容

データマイニングで用いられる4つのアプローチについて、具体的な例を交えてステップごとに深く見ていきましょう。

【 各手法の具体的な処理内容 】

手法(1):相関関係/類似性分析
「商品Aを買う人は、商品Bも一緒に買いやすい」といった購入履歴の傾向を分析します。
ECサイトの「この商品を買った人はこんな商品も買っています」というレコメンド機能のベースとなる技術です。

手法(2):クラスタリング
正解ラベルがない状態のデータに対し、コンピュータが自発的に「似ている者同士」を集めます。
顧客データを購買金額や頻度で「優良顧客」「休眠顧客」などのグループに自動で取り分ける際に使われます。

手法(3):クラシフィケーション
「過去の解約者データ」などを学習させ、新しく入ってきたデータが「継続」か「解約」のどちらに属するかを判定します。
あらかじめ決められた枠組み(クラス)へ綺麗に分類するのが目的です。

手法(4):時系列分析
過去の売上推移やアクセス数の増減パターンをもとに、来月の需要を予測したりします。
「毎年この時期に数値が跳ね上がる」といった、時間軸に紐づく規則性を抽出します。

4. 関連して押さえたい「OLAP(多次元分析)とデータマイニングの違い」

データウェアハウスを活用する手法として、データマイニングと並んでよく登場するのが「OLAP(Online Analytical Processing)」です。これらは「アプローチの出発点」が決定的に異なります。

OLAPは、まず利用者が「男性より女性の方がこの商品を買っているのではないか?」といった仮説を自ら設定します。その仮説が正しいかどうかを、ツールを使ってデータを多角的にグラフ化・集計しながら「検証」していく手法です(人間主導)。

一方、データマイニングは、人間が仮説を持っていなくても、コンピュータ自身が大量のデータを探索し、人間が思いつきもしなかった新しいルールや未知のパターンを自動的に「発見」してくれる手法です(システム主導)。実務では、この両者をバランスよく組み合わせて分析を進めます。


5. 補足:相関分析の有名トピック「ビールと紙おむつ」

データマイニングの「相関関係分析」において、世界で最も有名な事例がアメリカのスーパーマーケットでの逸話である「ビールと紙おむつ」です。

膨大なPOSデータ(レジの販売データ)をマイニングした結果、「金曜日の夕方に紙おむつを買う父親(男性)は、一緒に缶ビールをまとめ買いしていく」という、人間が頭で考えているだけでは絶対に気づけない奇妙な相関ルールが見つかりました。

この発見をもとに、店側が「おむつ売り場のすぐ横にビールを並べて配置した」ところ、両方の売上がさらに跳ね上がったと言われています。これこそが、データマイニングがビジネスに莫大な利益をもたらすことを証明した象徴的なトピックです。


6. まとめ

データサイエンスやビッグデータ活用の核となる「データマイニング」。人間主導で仮説検証を行うOLAPとは異なり、相関分析、クラスタリング、分類、時系列分析といった強力な技術を駆使して、データの中からビジネスの勝機となる隠れたルールを自動で発掘できるのが最大の強みです。DWHに眠るデータを価値ある資産に変えるために、各手法の特徴をしっかり押さえておきましょう!


PR