TRINITY: An Evolved LLM Coordinator

abstract（PLaMo翻訳）

多様な基盤モデルを統合する手法は有望であるものの、重みの統合はアーキテクチャの不一致やAPIの閉鎖性によって制約を受ける。本論文で提案するTRINITYは、この課題を解決するため、大規模言語モデル（LLM）間の協調動作を統括する軽量なコーディネーターアーキテクチャを採用している。このコーディネーターは、コンパクトな言語モデル部分（約0.6Bパラメータ）と軽量なヘッド部分（約10,000パラメータ）で構成されており、効率的かつ適応的なタスク委任を実現するために進化的戦略を用いて最適化されている。TRINITYは複数のターンにわたってクエリを処理し、各ターンにおいてコーディネーターは選択されたLLMに対して「思考者」「作業者」「検証者」のいずれかの役割を割り当てることで、複雑なスキル獲得タスクをコーディネーター自身から効果的にオフロードする。

実験結果によれば、TRINITYはコーディング、数学、推論、ドメイン知識タスクにおいて、個別モデルや既存手法を常に上回る性能を示し、さらに分布外タスクに対しても頑健な汎化性能を発揮する。標準的なベンチマークテストにおいて、TRINITYは最先端の結果を達成しており、特にLiveCodeBenchでは86.2%というスコアを記録している。

理論的および実証的な分析により、この優れた性能の背景にある主要な要因として以下の2点が明らかとなった：（1）コーディネーターの隠れ状態表現が入力に対して豊富な文脈情報を提供すること、（2）高次元かつ厳しい予算制約下において、分離可能な共分散行列適応進化戦略が、強化学習、模倣学習、ランダム探索といった他の手法に比べて優位性を発揮する点である。これは、潜在的なブロックε分離可能性を活用することによるものである。