Learning to Orchestrate Agents in Natural Language with the Conductor

abstract（PLaMo翻訳）

様々なプロバイダーによって開発された強力な大規模言語モデル（LLM）は、それぞれ異なる領域に特化させるため、高額の費用をかけて訓練および微調整が行われてきた。本研究では、強化学習を用いて訓練された新たな「指揮者」モデルを提案する。

この指揮者モデルは、LLM間の効果的な協調戦略を自動的に発見する能力を有する。本モデルの主な機能は以下の通りである：第一に、エージェント間の効果的な協働を実現するための最適な通信トポロジーを設計する能力、第二に、各LLMの個別の能力を最大限に活用するための焦点を絞ったプロンプトエンジニアリング指示を生成する能力である。

実験結果によれば、70億パラメータの指揮者モデルが強力なワーカーLLM群全体にわたって最適な協調戦略を学習することで、個々のワーカーモデルを凌駕する顕著な性能向上を達成し、LiveCodeBenchやGPQAといった難易度の高い推論ベンチマークにおいて最先端の結果を得た。

さらに、ランダムに選定したエージェント群を用いて訓練を行うことで、本指揮者モデルはオープンソース・クローズドソースを問わず任意の組み合わせのエージェントに適応可能であり、あらゆるユーザー要件に対応できる。加えて、指揮者自身がワーカーとして機能することを許可することで、再帰的なトポロジーが形成され、オンライン反復適応による動的なテスト時スケーリングという新たな形態を通じて性能がさらに向上する。より広範に見れば、本研究は言語モデル間の協調が強化学習によって解放され得ることを示した初期段階の研究の一つであり、強力な協調戦略が純粋なエンドツーエンドの報酬最大化を通じてLLM内で自然に出現することを実証したものである。