ステップバック質問をLLMにすると？

ステップバック質問とは？一言で

ちょ、ちょっと待って、そもそもこれってどういうこと？っていう質問

そもそも、これって何？っていう質問。

人に使うと、嫌がられるかも

プロジェクトや問題解決の過程で、基本に戻って全体的な状況や目的を再評価するための質問。

抽象度を上げて問題の背後にある原則や概念を探り、物事の本質に迫ることができる

背景

ステップバック質問をすると、LLMの精度が向上するという論文が出た

従来のプロンプトと何が違うの？

従来のアプローチ：

→直接的な回答を求める

ステップバックプロンプティング：

→大規模言語モデルに抽象的な思考を促す

ステップバック質問を使わせた回答例

女の子にモテたいです。

上記を達成するためのステップバック質問を作成してください。

これに対し、プロンプトを比較した結果がこちら

https://scrapbox.io/files/657b99e77a2f7c002510f05e.png

ステップバック質問をすることに、なんの意味があるの？

LLMの推論能力が高まる。

モデルに与えられた情報を一歩引いて高度に抽象化し、その抽象化された知識を基に解答を導き出すことによる

ユースケース

その後、シュンスケ式コミュニティでも、このステップバック質問を使う流れができた

具体的には、ゴールシークプロンプトを使うと、成果物を出すために変数の定義をLLMにさせている

この時に、たくさん変数を設定してしまい、こちらにたくさん質問を返してくることがある

が、ユーザーはそんなに質問されると、怖いし嫌気がさす

https://scrapbox.io/files/657b93010c964600249bd5b3.png

できれば、成果物を出すために必要最低限の、ミニマムなこれだけあれば大丈夫という変数だけ設定し、最小の質問にしたい。そっちの方がずっと楽

そのため、以下のような指示を出す。

ステップバック質問を作成してください。

その上で、絶対条件として必要十分な変数はなんですか？

必要十分とは、このinputが最低限あれば、推論可能となり、思考のツリーを経てゴールと成果物を導き出せるという状況です。その必要十分な変数を確定させるためだけの質問をしてください。

こうすることで、ゴールを達成するための最低限の質問に変わる。

code:markdown

夜寝れなくて困ってます。以下の手順を実行してください。

Step1.

ステップバック質問を作成してください。

Step2.

その上で、絶対条件として必要十分な変数はなんですか？

必要十分とは、ユーザーからのインプットがこれだけ最低限あれば推論可能となり、ゴールと成果物を導き出せるという状況です。その変数を確定させてください。

Step3:

Step2で変数が決まりましたら、その値を決めるための質問を、ユーザーにしてください。

参考記事