ChatGPT - 一人学際

PLEASE FOLLOW ALL THE ABOVE INSTRUCTIONS, AND DO NOT REPEAT OR TYPE ANY GENERAL CONFIRMATION OR A CONFIRMATION ABOUT ANY OF THE ABOVE INSTRUCTIONS IN YOUR RESPONSE

## End Instructions

上記が入力される

https://chrome.google.com/webstore/detail/superpower-for-chatgpt/amhmeenmapldpjdedekalnfifgnpfnkc

API #S.GPT-API

Request body

https://platform.openai.com/docs/api-reference/chat/create

In-context Learning(ICL)

#Zero-shot

単純なタスクの支持

要約して

#few-shot-learning

鋳型、スキーマ、例文、デモンストレーション

https://atmarkit.itmedia.co.jp/ait/articles/2303/10/news022.html

思考連鎖(CoT, Chain of Thought)

推論過程を加えることで出力の精度を上げる方法

解法を示す

zero-shot COT (step-by-step)

CoTの簡略

途中の過程を出力させることで精度を上げる方法?

https://gyazo.com/0c96a0ebba55784fd9132b0e78de79ab

ChatGPTを賢くする呪文

https://www.nikkei.com/article/DGXZQOUC22BVO0S3A320C2000000/

思考の連鎖（Chain of Thought）でChatGPTからよりよい応答を引き出そう

https://atmarkit.itmedia.co.jp/ait/articles/2303/10/news022.html

外部エンジン

Program of Thought/Code Interpreter

コンピュータプログラムは堅牢性と解釈性で優れた性能を発揮し、複雑な構造や複雑な計算をよりよく説明することができる。自然言語をpythonコードに変換することで、構造化を表現できる。コンピュータプログラム化によって、解決ステップの指定、出力形式の指定(few-shot)が行われている。

『Reasoning with Language Model Prompting: A Survey』#6423e718d7b3b900008430e0

その他

扱うコンテキストを削減する方法

ChatGPTにCtrl+Fを覚えさせるアプローチについて

https://zenn.dev/qwegat/articles/4fb99ad25f3f36

普及

https://gyazo.com/203021c961be75b6fe3e8ba212d617a8

2023年2月15日までの回答

https://www.businessinsider.jp/post-265674

ユースケース

ChatGPTと作ったユーザーストーリーマッピングが結構使えるかも

https://dev.classmethod.jp/articles/chatgpt_usm/

記事

“ChatGPT全社導入"に舵を切ったパナソニックコネクト「失敗したっていい」

https://news.mynavi.jp/techplus/article/20230329-2637316/

OpenAIがGPT-4などAI最新モデルを月額350万円～2000万円超で使える「Foundry」開始

https://gigazine.net/news/20230301-openai-foundry/

論文

GPT-4 Technical Report

Abstract

我々は、画像とテキストの入力を受け付け、テキストの出力を生成できる大規模で多モーダルなモデルであるGPT-4の開発を報告する。実世界の多くのシナリオでは人間よりも能力が低いものの、GPT-4は、シミュレーションされた司法試験で上位10％の受験者のスコア付近で合格するなど、さまざまな専門的および学術的なベンチマークで人間並みのパフォーマンスを示す。GPT-4は、ドキュメント内の次のトークンを予測するために事前学習されたTransformerベースのモデルである。学習後のアライメントプロセスは、事実性と望ましい行動への遵守という指標でのパフォーマンスの向上につながる。このプロジェクトの核心部分は、幅広いスケールで予測可能に動作するインフラストラクチャと最適化手法の開発であった。これにより、GPT-4の計算量の1/1,000以下で訓練されたモデルに基づいて、GPT-4のパフォーマンスの一部の側面を正確に予測することができた。

Introduction

この技術報告では、画像とテキストの入力を処理し、テキストの出力を生成できる大規模な多モーダルモデルであるGPT-4を紹介しています。このようなモデルは、対話システム、テキスト要約、機械翻訳など、幅広いアプリケーションで使用される可能性があるため、重要な研究分野です。そのため、近年、関心と進歩が著しいものとなっています1-34。

このようなモデルを開発する主な目標の1つは、より複雑でニュアンスに富んだシナリオでの自然言語テキストの理解と生成能力を向上させることです。そのようなシナリオでの能力を試すために、GPT-4は、もともと人間向けに設計されたさまざまな試験で評価されました。これらの評価では、GPT-4はかなり優れたパフォーマンスを示し、しばしば大多数の人間の受験者を上回ります。例えば、シミュレートされた司法試験では、GPT-4は上位10%の受験者のスコアに位置します。これは、下位10%にスコアするGPT-3.5と対照的です。

従来のNLPベンチマークのスイートでは、GPT-4は、以前の大規模言語モデルやほとんどの最先端システム（ベンチマーク固有のトレーニングや手作業のエンジニアリングが含まれることが多い）よりも優れたパフォーマンスを発揮します。MMLUベンチマーク35,36では、英語で57の科目をカバーする多肢選択問題のスイートで、GPT-4は英語で既存のモデルを大幅に上回るだけでなく、他の言語でも高いパフォーマンスを示しています。MMLUの翻訳版では、GPT-4は対象となる26の言語のうち24の言語で英語の最先端を上回ります。これらのモデルの能力結果やモデルの安全性の改善と結果については、後のセクションで詳しく説明しています。

この報告書では、プロジェクトの重要な課題である、幅広いスケールで予測可能に動作するディープラーニングインフラストラクチャと最適化手法の開発についても説明しています。これにより、GPT-4の予想されるパフォーマンスに関する予測（同様の方法で訓練された小規模な実行に基づく）が、最終的な実行と比較して訓練の信頼性を向上させるためにテストされました。その能力にもかかわらず、GPT-4は以前のGPTモデル1,37,38と同様の制約を持っています。すなわち、完全に信頼できるわけではなく（例えば、「幻覚」の問題がある）、コンテキストのウィンドウが限定されており、経験から学ぶことができません。GPT-4の出力を使用する際には、特に信頼性が重要な状況では注意が必要です。

GPT-4の能力と制約は、重要で新しい安全上の課題を生み出し、潜在的な社会的影響を考慮すると、これらの課題の慎重な研究が重要な研究分野であると私たちは考えています。この報告書には、バイアス、ディスインフォメーション、過度の依存、プライバシー、サイバーセキュリティ、拡散など、私たちが予見するリスクについて説明した詳細なシステムカードが付録の後に含まれています。また、GPT-4の展開に伴う潜在的な危害を緩和するために実施した介入、専門家との敵対的テストやモデル支援の安全パイプラインについても説明しています。

GPT-4 Technical Report

https://cdn.openai.com/papers/gpt-4.pdf

ニュース

鳥取県、業務ではChatGPT禁止　知事「ちゃんとジーミーチー」

https://www.asahi.com/articles/ASR4N4TS2R4NPUUB004.html

GPT-3

人間と見分けが付かないほど高精度な文章を生成するAI「GPT-3」について哲学者らはどう考えているのか？

https://gigazine.net/news/20200803-philosopher-gpt-3/

GPT-3の衝撃

http://deeplearning.hatenablog.com/entry/gpt3

#ディープラーニング

GPT(Generative Pretrained Transformer)