2つのデータを比較する

2つのデータを比較するときは、単純な比較ではなく、平均や散らばりを考慮する

ことが必要である。そのため、データを次のように変換する。


1.標準化

標準化とは、平均が0、 標準偏差が1、となるようデータを変換する。

標準化後のデータ = ( 標準化前のデータ - 標準化前のデータの平均 ) / 標準化前の標準偏差


2.偏差値

偏差値は、 平均が50、 標準偏差が10、となるようデータを変換する。

偏差値 = ( ( 標準化前のデータ - 標準化前のデータの平均 ) / 標準化前の標準偏差 )

×10 + 50

良いプロンプトの原則

・明確に述べる

・詳細に述べる

・否定文ではなく、肯定文にする

・1回に1つのタスクだけを依頼する

ケースクイズ削除

・欠損のあるデータを分析する時の手法。

・相関係数を計算するとき、対象となる2つの変量がともに欠損でなければ、

　計算対象として、どちらか一方が欠損していれば、計算から外す。

自然言語処理のクリーニング処理の例

テキストを統一する。

・半角変換

　全角半角を、半角に統一する

・小文字変換

　大文字、小文字を、小文字に統一する

・記号除去

　！や。などの記号を消す

・表記を統一

　打ち合わせ、打合せ等

点推定の考え方

1.不偏推定量を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本の不偏分散を用いる。



2.最尤法を用いる方法

・母集団の平均は、標本平均を、そのまま用いる。

・母集団の分散は、標本分散を用いる。