ステップバイステップより精度が高いテクニック

Zero-Shot CoTと比較して、それより精度が良いものは何かを検証する。

結論

ステップバイステップとの併用では、Rephrase and Respond (RaR)が優秀

結果では、Meta Cognitive Promptが推論タスクにおいて最良だった。

https://scrapbox.io/files/65de089604eb6400254540bd.png

テクニック集

正しい答えを得るために、ステップバイステップで考えて答えて

深呼吸をして、ステップバイステップで考えて答えて

上記の質問を考慮して、より良い回答ができるように質問を言い換えて拡張し、最後にステップバイステップで答えて

{question} 質問をもう一度読む。{question} ステップバイステップで答えてください。

質問を繰り返して、そしてステップバイステップで答えてください。

まず問題を理解し、関連する変数とそれに対応する数値を抽出し、計画を立てましょう。次に、計画を実行し、中間変数を計算することに注意して（正しい数値計算と常識に注意して）、問題をステップバイステップで考えて答えを示しましょう。

どれを使えば良いか？論文データ

ReReadingでは、Plan and solveとReReadingの併用で、GSM8Kの正解率で良好な結果を出している (Re-Reading論文)

https://scrapbox.io/files/65b1f871ebb61b002616a1d5.png

APEよりTake a Deep Breath の方がGSM8Kの正解率が高い (Take a Deep Breathe論文)

https://scrapbox.io/files/65b1faeb2f16630025642269.png

https://scrapbox.io/files/65b1f5e8d2d7f6002678de39.png

Echo Promptでは、特に他のプロンプトの比較はない(Echo Prompt論文)

https://scrapbox.io/files/65b9a783e294b20024783f49.png

76.4%

Plan and Solveの実験結果では、上記他のプロンプトの比較はない。(Plan and Solve論文)

https://scrapbox.io/files/65b1f71788a41700280963e5.png

結論: Zero-Shot CoTの併用に使うテクニック

モデルが若干違うため多少怪しいが、GSM8Kの正解率をもとに考えると、以下の順位になる。

2位: Echo Prompt: 76.4%

以上から、Take a Deep Breathとの併用を使う方針とする

code:md

深呼吸をして問題をステップバイステップで考えて答えを示しましょう。

参考