Fine-tuning/Few-Shot/One-Shot/Zero-Shotとは

この4つは目標タスクのデータをどれくらい必要とするかによる分類

自己回帰（与えられた単語系列から次の単語を予測する）によって予測を行うという点は共通

与えられるデモンストレーション（図中example）の数が異なっている

ちなみにChatGPT先生の回答。

Fine-Tuning:

Fine-Tuningは、大量のテキストデータで学習されたGPTモデルを、特定のタスクに適合するように微調整することを指します。Fine-Tuningでは、事前学習済みのGPTモデルをタスクに合わせて微調整することで、タスクによっては人間と同等以上の性能を発揮することができます。具体例としては、感情分析やテキスト生成などがあります。

Few-Shot:

Few-Shotは、ごく少数の例文から学習を行う手法です。Few-Shotでは、事前学習済みのGPTモデルに対して、ごく少数の例文を与え、新しいタスクに応じたモデルを学習することができます。例えば、英語のGPTモデルに対して、日本語のQAタスクを与えた場合、ごく少数の日本語のQAペアを学習させることで、日本語のQAタスクに対応することができます。

One-Shot:

One-Shotは、わずか1つの例文から学習を行う手法です。One-Shotでは、GPTモデルに対して、1つの例文を与え、新しいタスクに応じたモデルを学習することができます。例えば、英語のGPTモデルに対して、「ニューヨークはどこですか？」という1つの例文を与えた場合、地名に関する質問に対するモデルを学習することができます。

Zero-Shot:

Zero-Shotは、学習データを一切用意せずに、新しいタスクに対してモデルを学習する手法です。Zero-Shotでは、事前学習済みのGPTモデルに対して、与えられたタスクの説明文や例文を与え、新しいタスクに対応するモデルを学習することができます。例えば、英語のGPTモデルに対して、「犬は4本の足を持っています。」という説明文を与えた場合、犬に関する質問に対するモデルを学習することができます。Zero-Shotは、大規模な学習データを用意することが難しい場合や、新しいタスクに対応するための学習データが存在しない場合に有用です。