ChatGPT
大規模言語モデルが複雑なタスクをこなす、といった話をしました。
しかし複雑なタスクについてはまだ例示してませんでした。
その前にChatGPTについて見て行きましょう。
ChatGPTは最新型AIに一般ユーザーでも気軽にアクセスできるWebサービスのことを指します。
2022年の11月にリリースされ、リリースからわずか2ヶ月で1億人のユーザー数獲得をしました。
＝＝まぎれてしまった駄文＝＝
tGPTに移します。2022年の段階でAIを巡る見方というのはそんな程度のものでした。だからgoogleの技術者が批判にさらされたのです。
＝＝まぎれてしまった駄文＝＝
与太話ですが、ChatGPTが私を英語の勉強へ駆り立てるモチベーションとなりました。どういうことかと言いますと「英語でプロンプトを書きたい」という一心で英語を勉強しました。なぜなら英語でプロンプトを書いた方が、性能がいいからです。
ChatGPTの紹介をしたところで、複雑なタスクの例を見ていきましょう。専門的にはfew shot promptとかone shot promptとか言われるあれです。
ためしにChatGPTに
まず回答する
そして自分の回答を批判的にレビュー
その結果を取り入れてまた新しい回答をする
を5回繰り返してください
と指示をしてみました。
本当に5回の回答作成、レビュー、それに応える回答生成を行ってくれました。
これだけでは納得しない？では別の例を示しましょう。
こんなの、誰が教えるんでしょうか。
誰も教えてないんです。
これこそが、それまでのAIひいては機械学習の常識を覆すものでした。
すなわちモデル及びデータの巨大化により、副次的なタスクが上手にこなせるようになったのです。
＝＝＝＝＝
ChatGPTについては語りたいことが沢山あります。でも、簡単な事実を二つ紹介するにとどめましょう。
ChatGPTもまた機械学習の一種であること
膨大な学習の結果、教えてもないタスクまで上手にこなせるようになったこと
要約とか翻訳は2番目の例の一部です。
最近思いついたプロンプトで面白い例を上げます。
まず回答する
そして自分の回答を批判的にレビュー
その結果を取り入れてまた新しい回答をする
を5回繰り返してください
と指示しました。
創発はまったく偶然発見されました。Googleが2022年の1月に創発について論文を出しています。
それを受けて、より大規模なモデルで大量のデータを学習したらどうなるのか。それを実現したのがOpenAIから出て来たChatGPTです。
今、副次的なタスクと言いました。では、メインのタスクとは何か。
これは重要なポイントです。LLMとはあくまで次単語予測モデルに過ぎないんです。これは大勢の専門家が主張するところです。そしてAIの怖いところでもあります。
前回紹介したアルファ碁が、次の手を読む仕組みが完全には人間にわからないように、LLMもまた完全にはどのように次の単語を予測するのかわかっていません。
そのことが、専門家を大いに沸かせ、驚きを与えました。
結果的にChatGPTはわずか2ヶ月の間に一億人のユーザーを獲得するまでに至りました。
みなさんお待たせしました。いよいよChatGPTの登場になります。正直アルファ碁からChatGPTの間にもAIは信じられないくらい進歩を遂げていました。お絵描きAIの登場がその一つの例になるでしょうか。でも本記事で伝えたいことの本筋ではないので今回は端折ることにします。
みなさん言語モデルというのは聞いたことがあるでしょうか。機械学習の文脈ではBARDとかGPTといった「言葉が喋れるAI」になります。AIモデルにとりあえずことばをしゃへるようになっていてね、というのが言語モデルです。
この言語モデル、具体的には何をしているかというと、次単語予測です。
（ここで記事の紹介）
この基本は今も変わりありません。
では何がすごいか。
巨大なモデルに膨大なテキストを食わせて学習させた結果、開発者も意図しない知能のようなものが芽生え始めました。これは先に述べたようにあくまで次単語予測モデルに過ぎないのに、です。
この記事を読んでる読者は信じないかもしれません。具体例を示してみましょう。