2つのデータを比較する

2つのデータを比較するときは、単純な比較ではなく、平均や散らばりを考慮する

ことが必要である。そのため、データを次のように変換する。


1.標準化

標準化とは、平均が0、 標準偏差が1、となるようデータを変換する。

標準化後のデータ = ( 標準化前のデータ - 標準化前のデータの平均 ) / 標準化前の標準偏差


2.偏差値

偏差値は、 平均が50、 標準偏差が10、となるようデータを変換する。

偏差値 = ( ( 標準化前のデータ - 標準化前のデータの平均 ) / 標準化前の標準偏差 )

×10 + 50

ケースクイズ削除

・欠損のあるデータを分析する時の手法。

・相関係数を計算するとき、対象となる2つの変量がともに欠損でなければ、

　計算対象として、どちらか一方が欠損していれば、計算から外す。

自然言語処理のクリーニング処理の例

テキストを統一する。

・半角変換

　全角半角を、半角に統一する

・小文字変換

　大文字、小文字を、小文字に統一する

・記号除去

　！や。などの記号を消す

・表記を統一

　打ち合わせ、打合せ等

点推定の考え方

1.不偏推定量を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本の不偏分散を用いる。



2.最尤法を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本分散を用いる。

遺伝的アルゴリズムの処理

1.コーティング

問題を、遺伝子の型に変換する

2.初期設定

1.の遺伝子型を元に、個体をランダムに発生させる

3.適応度評価

個体の適応度を計算する
結果が、OKならば処理を終了する

4.選択

3.の結果をもとに、交叉を行う個体を選択する
「適応度比例方式」「トーナメント方式」等の手法がある

5.交叉

2つの個体から新しい個体を生み出す

6.突然変異

ある部分の値を置き換える突然変異で
新しい個体を生成する

7.3に戻る