忍者ブログ
統計、機械学習、AIを学んでいきたいと思います。 お役に立てば幸いです。

【DS検定対策】AIに「お手本」を1つ見せる！ワンショットプロンプトの力

AIに対して「具体的にどう答えてほしいか」を伝える最もシンプルで効果的な方法、それが「例を1つ出す」ことです。この手法の名称と役割を正しく理解しましょう。

1. 【 問題 】

大規模言語モデル（LLM）への指示（プロンプト）において、回答の形式やルールを理解させるために「1つの実行例（サンプル）」を提示して実行させる手法を何と呼ぶでしょうか？

① ゼロショットプロンプト
② ワンショットプロンプト
③ フューショットプロンプト
④ ネガティブプロンプト

2. 【 解答 】

正解： ② ワンショットプロンプト

3. 整理：言葉で説明するより「見せる」方が早い

AIは非常に高い「文脈理解能力」を持っているため、1つのお手本を見せるだけで、その後の回答形式を劇的に安定させることができます。

【 ワンショットプロンプトの構成イメージ 】

[ 指示（命令） ]
以下の日本語を英語に翻訳し、最後に「(Translated)」と付けてください。

[ 1つの例（お手本） ]
入力：こんにちは
出力：Hello (Translated)

[ 実際の入力 ]
入力：おやすみなさい
★ ここがワンショット！
AIは上の例を真似して「Good night (Translated)」と出力します。

--------------------------

◎ ポイント： 言葉の定義や細かいルールを並べるよりも、1つの具体例を出す方がAIは迷わず動けます。

4. 関連用語との違い

1. ゼロショット (Zero-shot): 例を1つも出さない手法。「〜して」と命令だけを出す。
2. フューショット (Few-shot): 2つ以上の複数の例（few）を出す手法。複雑なルールを覚えさせる際に有効。
3. インコンテキスト学習: モデル自体の重みを更新せず、プロンプト内の「文脈」から即座に学習して回答する能力。

5. DS検定形式：実戦4択クイズ

問：プロンプトエンジニアリングにおいて、例示を全く与えずに指示のみで回答を求める手法を何と呼ぶか。

① Few-shot   ② One-shot   ③ Zero-shot   ④ Multi-shot

【 正解： ③ 】

解説： 「Zero = 0個」の例示という意味です。最新の高性能なAI（GPT-4など）は、このゼロショットでも高い精度を出せますが、形式を固定したい場合はワンショット（One-shot）以上の工夫が効果的です。

6. まとめ

DS検定において「1つの例を出す」「真似させる」という記述があれば「ワンショットプロンプト」です。実務のブログ記事作成やデータ整形でも非常に役立つテクニックですので、名前とセットで覚えておきましょう！

PR

【DS検定対策】AIが突如目覚める？大規模言語モデルの「創発現象」

大規模言語モデルを巨大化させていくと、ある地点で「昨日までできなかったことが、今日突然できるようになる」という不思議な現象が起こります。これが「創発現象」です。

1. 【 問題 】

大規模言語モデル（LLM）において、モデルの規模（パラメータ数など）が一定のしきい値を超えたとき、それまで解けなかった複雑な問題や未知のタスクが、突如として高い精度で解けるようになる現象を何と呼ぶでしょうか？

① 収束現象
② 創発現象（エマージェンス）
③ 特異点（シンギュラリティ）
④ 過学習（オーバーフィッティング）

2. 【 解答 】

正解： ② 創発現象（エマージェンス）

3. 整理：量から質への「劇的な変化」

創発現象は、「ただの単語予測機」が、あるサイズを境に「論理的な思考を持つ知能」のように振る舞い始める現象を指します。

【 創発現象のイメージ 】

[ 小〜中規模モデル ]
性能はなだらかに向上するが、難しい数学や多段階の推論は全く解けない。

[ 巨大モデル（しきい値突破！） ]
★ ここで創発が起こる！
性能グラフが垂直に近い角度で立ち上がり、それまで正解率0%だったタスク（例：複雑なパズル、ジョークの解説、プログラミング）を解き始める。

--------------------------

◎ 特徴： 単なる計算量やデータ量の増加から、質的な能力（未知のタスクへの対応力）が生まれる点にあります。

4. 創発によって現れる代表的な能力

1. 多言語推論: 学習データに少ない言語でも、他の言語の知識を応用して理解し始める。
2. Chain-of-Thought（思考の連鎖）: 手順を追って考える能力が備わり、複雑な算術問題などが解けるようになる。
3. ゼロショット学習: 追加の学習なしで、指示（プロンプト）だけで新しいタスクをこなす。

5. DS検定形式：実戦4択クイズ

問：創発現象に関する説明として、最も適切なものはどれか。

① モデルの規模を大きくしても、性能は常に一定の割合でなだらかに向上する。
② 小規模なモデルでも、学習時間を長くすれば創発現象は必ず発生する。
③ ある一定の規模を超えると、それまで予測困難だった高度な能力が不連続に現れる。
④ 創発現象は画像認識モデルで多く見られ、言語モデルでは発生しにくい。

【 正解： ③ 】

解説： 創発現象の鍵は「不連続な向上」です。なだらかな成長（スケーリング則）とは別に、あるポイントで能力が爆発的に開花するのが創発の大きな特徴です。

6. まとめ

DS検定において「モデルが一定以上になると」「不連続に未知の問題が解けるようになる」という記述があれば「創発現象」が正解です。なぜ世界中の企業が巨大モデルの開発に挑むのか、その大きな理由の一つがこの現象を期待してのことなのです！

【DS検定対策】AIはどこまで賢くなる？性能の限界を決める「スケーリング則」

「なぜAIモデルは巨大化し続けるのか？」その明確な答えが、データの量・計算量・モデルの大きさと性能の関係性を示した「スケーリング則」にあります。

1. 【 問題 】

大規模言語モデル（LLM）において、モデルのパラメータ数、学習データの量、そして学習に投入する計算資源の3つを拡大すればするほど、モデルの性能（予測精度）が予測可能な形で向上するという法則を何と呼ぶでしょうか？

① ムーアの法則
② スケーリング則（スケーリング・ロー）
③ 収穫加速の法則
④ べき乗則の限界

2. 【 解答 】

正解： ② スケーリング則（スケーリング・ロー）

3. 整理：性能を決定する「3つの柱」

2020年にOpenAIの研究者らによって提唱されたこの法則は、AIの性能が以下の3つの要素の「べき乗」に比例して向上することを示しました。

【 スケーリング則の3大要素 】

1. モデルのサイズ（N）
→ パラメータ数（ニューロンの結びつきの数）が多いほど賢くなる。

2. データセットのサイズ（D）
→ 学習に使うテキストや情報の量が多いほど、より深い知識を得る。

3. 計算量（C）
→ 学習に費やす計算リソース（GPUの稼働時間など）を増やすほど精度が上がる。

--------------------------

◎ ポイント： これら3つをバランスよく増やす限り、性能の向上には頭打ちが見られない（予測可能である）という点が衝撃を与えました。

4. 関連用語：創発的能力

1. べき乗則: グラフにすると、リソースを10倍にするごとに一定の割合でエラー率が下がっていく、きれいな直線（対数グラフ上）を描きます。
2. 創発（Emergence）: スケーリング則に従ってモデルを巨大化させていくと、ある一定のサイズを超えた瞬間に、それまでできなかった複雑な推論や多言語能力が「突然」現れる現象のことです。

5. DS検定形式：実戦4択クイズ

問：スケーリング則に関する記述として、最も適切なものはどれか。

① モデルのサイズだけを大きくすれば、データが少なくても性能は無限に上がる。
② 計算量を増やしても、ある一定の段階で性能向上は完全にストップする。
③ パラメータ数、データ量、計算量を同時に増やすことで、予測精度はべき乗則に従って向上する。
④ スケーリング則は画像認識モデルでのみ確認されており、言語モデルには適用されない。

【 正解： ③ 】

解説： スケーリング則の肝は「バランス」です。パラメータ数だけを増やしてデータが足りないと過学習を起こします。3つの要素を適切にスケーリングすることが、高性能なLLMを作るための定石となっています。

6. まとめ

DS検定において「計算資源・データ・モデルサイズに比例して性能が上がる」という話が出たら「スケーリング則」です。この法則を信じて巨額の投資が行われ、現在のGPT-4などのモデルが誕生したという背景を理解しておきましょう！


【DS検定対策】AIの「知能」をゼロから作る！事前学習の本質とは？

GPTなどの大規模言語モデル（LLM）が、なぜ多様なタスクをこなせるのか。その答えは、特定の用途に絞る前に行われる「事前学習」という工程に隠されています。

1. 【 問題 】

言語モデルにおける「事前学習（Pre-training）」の説明として、最も適切なものはどれでしょうか？

① 専門的なデータを用いて、特定のタスク（翻訳や要約など）に特化させること
② 膨大なラベルなしデータを用いて、言語の構造や一般的な知識をゼロから獲得させること
③ 学習済みモデルを圧縮して、スマートフォンのような小型端末で動くようにすること
④ 人間のフィードバックに基づき、AIの回答をより安全で好ましいものに調整すること

2. 【 解答 】

正解： ② 膨大なラベルなしデータを用いて、言語の構造や一般的な知識をゼロから獲得させること

3. 整理：事前学習の役割と仕組み

事前学習は、モデルが「言葉の並び順」や「概念のつながり」を自ら発見し、知能の土台（基盤モデル）を作るプロセスです。

【 事前学習のメカニズム 】

[ 1. データの性質 ]
インターネット上のテキストや書籍など、正解ラベルのない「生のデータ」をそのまま利用します。

[ 2. 学習タスク（次単語予測） ]
★ ここが本質！
「今日はとても[ ]が良い」の[ ]に入る単語を、膨大なパターンから予測。これを繰り返すことで、文法や知識を身につけます。

[ 3. 到達点 ]
特定の目的は持たないものの、あらゆる質問に応用できる「汎用的な能力」が備わります。

--------------------------

◎ 重要： この段階で出来上がったものを「基盤モデル（Foundation Model）」と呼びます。

4. なぜ「事前」に学習するのか？

1. 知識の共有: 言語の基本を一度マスターしておけば、後の専門学習（ファインチューニング）が非常に効率的になります。
2. データの有効活用: ラベル付きデータは貴重ですが、ラベルなしデータはネット上に無限にあるため、大規模なスケーリングが可能です。
3. ゼロショット能力: 事前学習だけで、一度も解いたことがない問題に対してある程度の回答を出す能力が生まれます。

5. DS検定形式：実戦4択クイズ

問：事前学習において、人間が正解を与えなくてもデータ自身から学習信号を作り出す手法を何と呼ぶか。

① 教師あり学習   ② 自己教師あり学習   ③ 転移学習   ④ 蒸留

【 正解： ② 】

解説： 事前学習の多くは、データの一部を隠してそれを予測させる「自己教師あり学習（Self-supervised Learning）」という手法で行われます。これにより、人間が手作業でラベルを付ける手間を省き、巨大なモデルの構築が可能になりました。

6. まとめ

DS検定において「事前学習」は、AIが汎用的な知能を得るための「第一段階」として定義されます。「ゼロから学ぶ」「ラベルなしデータの活用」「自己教師あり学習」というキーワードをセットで押さえておきましょう！