1. completion
送られてきた文章のみを対象として、回答する。
2.Chat
送られてきた文章の前後の文章も対象として、回答する。
PR
データを分割し、一部でモデルを作成し(訓練データ)、
残るデータでテスト評価を行う(評価用データ)。
1.ホールドアウト法
データを訓練用データ(例:全体のデータの70%)、
評価用データ(例:全体のデータの30%)に2分割する。
2. k分割法
・学習用データをk個に分割
・k個のうち、1つを評価用データ、残りを学習用データとして、
学習・評価をk回実行する。
テキストを統一する。
・半角変換
全角半角を、半角に統一する
・小文字変換
大文字、小文字を、小文字に統一する
・記号除去
！や。などの記号を消す
・表記を統一
打ち合わせ、打合せ等
