GPT-3

BERTとGPT-3の違いについて．

最大の違いは，前者が個別のデータセットでモデルのパラメータをファイン・チューニングするのに対し，後者はモデルのパラメータを変更せずプロンプトをいじって生成を制御することです．

GPT-3の方法はこれまでのDeep Learning研究の観点からみるとかなり特殊です．むしろ新しいプログラミングパラダイムと見るべきかもしれません．

GPT-3を使ってアプリを作成する場合，プログラマーはGPT-3と対話し，GPT-3がタスクを「理解」するまで自然言語でプロンプトを調整します．この作業は高度に抽象化されたメタ学習であり，プロンプト・プログラミングです．