機械学習の概要
機械学習の分類
1.分類
ある要素が、どのクラスに分類されるかを予測する
スコアリングモデルでは、ある要素が、各分類クラスに属する確率を計算する
2.回帰
あるデータに関する何らかの変数の値を予測する
たとえば、顧客の使用量は、どれぐらいか
3.類似マッチング
類似するデータを発見する。レコメンド等に利用する
4.クラスタリング
データから分類の基準を発見し、分類する
機械学習のアルゴリズム
1.分類
ロジステック回帰
SVM
ナイーブベイズ
ニューラルネットワーク
k近傍法
2.回帰
線形回帰ランダムフォレスト
ニューラルネットワーク
KNN
3.クラスタリング
k-means混合ガウスモデル
4.決定木
XGBoostLightGBM
Tabnet
いろいろな分布
一様分布
各事象が、同じ確率を取る分布二項分布
表が出る確率pのコインを、n回投げたとき、表の出た回数xの分布次の条件を満たす試行の分布
1.各試行において、その事業が発生するか、どうかを対象とする
2.各試行は、独立
3.事象が発生する確率は、一定
ポアソン分布
ある時間間隔で、平均n回発生する事象が、k回発生する確率を表すものベルヌーイ分布
ベルヌーイ分布は、ベルヌーイ試行の結果を、0と1で表したものベルヌーイ分布は、次の3つの条件を満たすもの
1.試行の結果は、成功または失敗のどちらか
2.各試行は、独立
3.成功確率p、失敗確率(1-p)は、試行を通じて一定
幾何分布
確率pで当たる懸賞に、n回目の応募で当たる確率Pn = p(1-p)n-1
データサイエンス 実務での手順
1.要件と目的の把握2.データの収集
3.集計、可視化、学習
4.結果の評価
5.結果をふまえてのアクション
機械学習の分類
1．教師あり学習の手法
・k近傍法・線形回帰
・ロジステック回帰
・サポートベクトルマシン(SVN)
・決定木とランダムフォレスト
・ニューラルネットワーク
2.教師なし学習
(1)クラスタリング・k平均法
・階層型クラスタリング分析
・期待値最大化法(EMアルゴリズム)
(2)次元削減
・主成分分析(PCA)
(3)相関ルール
アプリオリ
クラス判別の手法
・k近傍法・ナイーブベイズ
・ロジステック回帰
線形モデルと確率モデルの組み合わせを利用する
・サポートベクトルマシーン(SVM)
・決定木
・アンサンブル法
複数の学習モデルを組み合わせる。多数の決定木を組み合わせるものを
ランダムフォレストという
機械学習の分類
1.教師あり学習
・分類や回帰に利用される
・サポートベクトルマシン、多層ニューラルネットワーク、ディープラーニングなどの手法がある
2.教師なし学習
2-1.クラスタリング
・k-means、自己組織化マップ、ディープラーニングなどの手法がある2-2.データの次元を減らす
・主成分分析、因子分析、ディープラーニングなどの手法がある3.強化学習
・運転制御などに利用される・Q学習などの手法がある
データ分析の技法
1.独立変数・・・質的変数 従属変数・・・質的変数
クロス表、数量化2類、順位相関2.独立変数・・・量的変数 従属変数・・・量的変数
相関分析、回帰分析3.独立変数・・・質的変数 従属変数・・・量的変数
t検定、分散分析4.独立変数・・・量的変数 従属変数・・・質的変数
判別分析、ロジステック回帰分析AIの機能の分類
分類
過去データから入力を判断する
回帰
過去データから、目的の数値を判断する
クラスタリング
与えられたデータをグループに分ける
推論
予め与えられている知識やデータで問題をとく
探索
条件に合致するものをみつける
PR
