統計分析の手順

PPDACサイクルと呼ばれる

(1)Problem  問題

(2)Plan 調査の計画

(3)Data  データの収集

(4)Analysis 分析

(5)Conclusion 結論

CRISP-DMメソッド

CRISP-DMメソッドは、データマイニングの伝統的な方法論

次のプロセスからなる

1.ビジネスの理解

ビジネスの観点から、プロジェクトの目的や要求を理解する

そこから、問題点を定義する

2.データの理解

関連するデータを集め、データを理解し、品質の問題などを確認する

また、データから、過程を組み立てることもある

3.データの準備

データのクリーニングなどを行い最終的なデータセットを作る

4.モデリング

さまざまな手法で、データをモデリングする

5.評価

構築したモデルで、ビジネス上の課題が解決できるかを評価する

6.ディプロイメント

データマイニング概要

1.概要

一見、何の因果関係もないと思われる膨大なデータの集まりから、

規則性や法則性を発見する作業。

例えば、何の食べ物と飲み物の組み合わせが最も購入されるか、など。

規則性、法則性、すなわち隠れたビジネスルールを発見することで、

組織の業績向上につなげる。

一般的には、データウェアハウスに蓄積されたデータに対してマイニング作業を行う。

OLAPは、利用者がデータの相互関係に関する仮説を設定し、

その検証のため、ツールを利用する。

データマイニングは、新しいルールやパターンを発見する。

2.データマイニングの手法

相関関係／類似性分析

　データの相関関係に関するルールの発見

クラスタリング

　統計的な類似性によるデータのグループ分け

クラシフィケーション

　新しいデータを、既存のクラスに割り当てる

時系列分析

　時間に基づいた類似性の発見

画像認識の用語

エッジ

画像の中で、色や明るさが変わる所

コーナー

画像の中で角の部分

パターン

画像の中で、何度もあらわれる色や明るさの組み合わせ

テクスチャ

文体表見の粗さや、滑らかさ、模様など

プロンプト・エンジニアリング

プロンプトとは

・プロンプトは、モデルからの応答に関して与える命令や指示である。

・LLMの応答に関するガイドを短いテキストで表現する。

・プロンプトは、LLMに応じて、何が問われているか？に

関する情報を与え、適切な回答を得ることを目的としている。

・プロンプトを明示することで、モデルの振る舞いを変化させ、

応答に影響を与えることができる。

プロンプトエンジニアリングの原則

効果的なプロンプトは、LLMの種類やタスクによって異なる。

しかし、次のような原則がある。

(1) タスクを十分理解する

LLMに対して何をさせたいのか、どんなアウトプットを欲するのか、

などを理解する。

(2) 明確で一貫性のある言葉を使う

シンプルな言葉を使う。

(3) 特定する

「文書をかけ」ではなく「・・についての文書を書け」とする。

(4) 例を用いる

出力の例を用いる。

プロンプトの構造の例

(1) 例1

・命令

・コンテキスト(背景)

・インプットデータ

・出力方法の指示


(2) 例2 Q&Aプロンプト

Q:{質問}
A:

複数の回答が欲しい時

Q:{質問}
A:
B:
C:

(3) 例3 指示と入力を指定する

指示:漢字にしてください

入力:やま、かわ、うみ

出力:・・