・文章の特徴量として、文章ベクトルを利用する
・文章ベクトルは、TFとIDFの値の組
・TF(Term Frequenc )処理は、多く出現する単語は重要である
という前提に基づく
・IDF(Inverse Document Frequency)処理は、ある安吾が
出現する文書の数が少ないほど、より大きな値を与えるもの
PR
公開されている
A Prompt Pattern Catalog to Enhance Prompt Engineering with ChatGPT
のキモ部分を読んで、勉強してみたいと思います。
概要
プロンプトエンジニアリングは、ChatGPTなどLLMを効果的に
使うために重要なスキルとなっている。
プロンプトは、LLMへ与える命令で、規則を指定し、生成される
出力の品質を保証するものである。
また、LLMの出力をカスタマイズするものである。
このペーパーは、プロンプトエンジニアリングのテクニックのカタログである。
LLMで直面する共通の問題に適用される。
イントロダクション
LLMは、広範囲で使われているが、このペーパーでは、次のような
用途とする。
・開発者が、経験のないAPIを利用してコードを効果的に作成する
・学生が、コーディングのスキルや技術を身につける
LLMは、信頼性の高いソフトウェアを迅速に開発するために
人間と協働する。
LLMは、GithubのCo-pilotやIDEのInntelliJ 、Visual Codeなどに組み込まれ、
好みのIDEから自由に使うことができる。
プロンプトは、LLMに与える命令のセットで、LLMのケーパビリティを拡張する
ものである。LLMに特定のルールやガイダンスを指定する。
コンテキストや何が重要なのか、望まれる出力などを指定する。
(つづきます)
言語モデルの1つで、直前の1語を用いて、次の単語を算出する。
・英語では、冠詞(a, the・・・)、前置詞(by , of , ・・・)のこと
・自然言語の解析では、除去されることが多い
1.文字種の統一
半角で書かれているもの、全角で書かれているものを揃えるなど
2.用語の統一
同じものを別の言葉で表現しているものの統一など
