自然言語処理のクリーニング処理の例

テキストを統一する。

・半角変換

　全角半角を、半角に統一する

・小文字変換

　大文字、小文字を、小文字に統一する

・記号除去

　！や。などの記号を消す

・表記を統一

　打ち合わせ、打合せ等