自然言語処理のクリーニング処理の例

テキストを統一する。

・半角変換

　全角半角を、半角に統一する

・小文字変換

　大文字、小文字を、小文字に統一する

・記号除去

　！や。などの記号を消す

・表記を統一

　打ち合わせ、打合せ等

点推定の考え方

1.不偏推定量を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本の不偏分散を用いる。



2.最尤法を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本分散を用いる。

遺伝的アルゴリズムの処理

1.コーティング

問題を、遺伝子の型に変換する

2.初期設定

1.の遺伝子型を元に、個体をランダムに発生させる

3.適応度評価

個体の適応度を計算する
結果が、OKならば処理を終了する

4.選択

3.の結果をもとに、交叉を行う個体を選択する
「適応度比例方式」「トーナメント方式」等の手法がある

5.交叉

2つの個体から新しい個体を生み出す

6.突然変異

ある部分の値を置き換える突然変異で
新しい個体を生成する

7.3に戻る

データ分析の流れの例

1. 仮説の立案

解決する課題を明確化し、解決策の仮説を作る。

2.データの収集

3.データの分析

4.課題解決の検証

データ分析の結果から、解決策を検証する。

データの分布に関する経験則

ヒストグラムで表したときの分布の型で、

1か所の最大値をもつ左右対称の形であれば、次が成り立つ。

1.おおよそ68%のデータが、平均値から、1標準偏差内に存在する

2.おおよそ95%のデータが、平均値から、2標準偏差内に存在する

3.おおよそすべてのデータが、平均値から、3標準偏差内に存在する