PAL論文
論文情報
タイトル：PAL: Program-aided Language Models
発行日：
著者：Luyu Gao, Aman Madaan, Shuyan Zhou, Uri Alon, Pengfei Liu, Yiming Yang, Jamie Callan, Graham Neubig
所属：Carnegie Mellon University
概要
大規模言語モデル(LLM)は最近、テスト時にいくつかの例題が与えられた場合、算数や記号推論タスクを実行する素晴らしい能力を実証している（「数発プロンプト」）。この成功の多くは、「CoT (Chain-of-Thought)」のようなプロンプティング手法によるもので、LLMは問題の説明をステップに分解して理解し、問題の各ステップを解く。LLMはこのようなステップごとの分解に長けているように見えるが、問題を正しく分解しても、解答部分で論理的・算術的な誤りを犯すことが多い。本論文では、プログラム支援言語モデル(PAL)を紹介する。この新しいアプローチは、LLMを使って自然言語問題を読み、中間推論ステップとしてプログラムを生成するが、解答ステップはPythonインタプリタなどのランタイムにオフロードする。PALでは、自然言語問題を実行可能なステップに分解することだけがLLMの学習タスクであり、解法はインタプリタに委ねられる。我々は、BIG-Bench Hardやその他のベンチマークにある13の数学的、記号的、アルゴリズム的推論タスクにおいて、ニューラルLLMと記号インタープリタ間のこの相乗効果を実証する。これらすべての自然言語推論タスクにおいて、LLMを使用してコードを生成し、Pythonインタプリタを使用して推論することで、はるかに大きなモデルよりも正確な結果が得られる。例えば、Codexを使用したPALは、数学の単語問題のGSM8Kベンチマークで最先端のFew-Shot精度を達成し、CoTを使用したPaLM-540Bを絶対値で15%上回ります。