Auto-CoT
これ何？
ただ「一歩ずつ」考えるだけでなく、「一つずつ」考える。
質問のライブラリがBERTなどのモデルによってベクトルに変換される。
その質問ベクトルはクラスタ化される。
各クラスタの重心に最も近い質問が選択される。
LLMは、各質問に対してゼロショットCoTを行う。
得られたCoT例は、データセットに追加される。
新しい質問が入力されると、最も近い質問に対するCoT例が取得され、プロンプトに追加される。
背景
算数や常識推論など、異なるタスクには異なるデモンストレーションの方法が求められるため、タスク固有のデモンストレーションを設計するための人間は多大な努力を要する。
この手作業は、最適でない解決策につながる可能性がある。
しかし、このような自動的な処理でも、生成された思考の連鎖に間違いが生じる可能性がある。このミスの影響を軽減するためには、デモの多様性が重要である。本研究では、多様性を持つ質問をサンプリングし、推論チェーンを生成してデモを構築するAuto-CoTを提案する。
プロンプトの詳細
通常のFew-Shotのデモをランダムに取得し、最後にステップバイステップで考えてを追加している https://scrapbox.io/files/658933575af44500233cab93.png
https://scrapbox.io/files/658933c14417a50024c9840f.png
私たちが気軽に扱えるものではない。