ChatGPTの理解に必要な項目整理

完全理解は「ちょっとできる」の前段階(?)

松尾研の資料いいなあ

数学の分野とか機械学習理論の分野まで噛み砕いてみよう！

無限になりそうな気がしてきた

GPT, RLHF, NLP基礎, 強化学習基礎, 機械学習基礎理論, 数学

概要

GPTシリーズに人間からのフィードバックを元にした強化学習(RLHF)を行って微調整

コードの生成、翻訳、文章構成、文章要約、文章校正など、バケモン

工夫

重みを変化させる

RLHF

Instruction Tuning

変化させない

Prompting

RLHF

出力の良さを報酬にして強化学習するため、柔軟性が高く、人間の曖昧な趣向も学ばせることあできる

説明可能AI、個人最適の画像生成器・対話エージェントができるかもね

Aligning Language Models to Follow Instructions

人間のフィードバックデータから人間の好みを模倣する報酬モデルを作って強化学習によって、モデルに人間の価値観を学ばせた

生成結果がより人間っぽくなった

事前学習 < プロンプト < FineTuning < RLHF

RLHFの解説

https://www.youtube.com/watch?v=om-PZpvnCBM&feature=youtu.be

生成AIは今までと何が違うのか？

GPTシリーズの限界と非連続的な進歩について

ChatGPT: A Meta-Analysis after 2.5 Months

JDLA緊急企画！「生成AIの衝撃」～ ChatGPTで世界はどう変わるのか？ ～

https://www.youtube.com/watch?v=TVaB5R4-uOE

思考の連鎖と説明可能性

必要な情報を外部から取り込みながら思考の連鎖を行う、検索エンジンとの連携

難しいものは簡単にできても、簡単なものができないこともある

next token predictionっていうよくわからんとこから始まったが、意外とうまくいき、中では概念の理解や行動の理解などいろんなことがなされているのでは？ Transformerのすごさ

ネット上には情報価値の低いものがたくさん残り、一部の金を払った人だけが良いものを享受できる

SEOも時代遅れになる、これが流行るとインターネットの質がダメになる

NFTで人間の情報を保証する？ biometrics

ChatGPTの情報かどうかを選別するAI, 学習データをきれいにできる

GPTを超える大規模言語アーキテクチャ「Hyena」とは何か？

Microsoft launched Visual ChatGPT

なんで大規模言語モデルは教師あり学習じゃなく、強化学習を使うんだよ！という素朴な疑問に答えるスレッド。

LangChainのDiscordに今日投稿されたこの図。私のザ・PowerPointな画像と本質同じなんですが100倍素晴らしく見える

これからChatGPTとかのLLMは6つの方向性で改善していくという話

①関連知識を外部から引っ張ってきたり、会話の過去ログを参照するようになる（これはすでにそうなってる）

②外部ツールと連携するようになる（LangChainツールとかToolFormer）

③コンテキスト窓が増える

④推論コストが1/1000まで下がる（実際1年間でAPI料金は1/30まで下がってる。もう一回1/30まで下がれば大体1/1000になる）

⑤微調整やアライメントがやりやすくなる

⑥推論能力の強化 →RT

A History of Generative AI

Performer MPC

UIの観点から