FuguとFugu-Ultraの学習

課題解決のためにLLM APIの使い方を学習したLLMエージェント

軽量版のFuguは，与えられたタスクに対して適したモデルを選択する

高精度版のFugu-Ultraは，登録されたLLMの特性を踏まえて，タスクに最適なマルチLLMワークフローを動的に生成する

FuguとFugu-Ultra

Fugu は速度を重視したルーティングモデルであり、Fugu-Ultra は品質を重視したワークフロー生成モデルである。

Fugu は single-worker routing を学習し、入力ごとに適切な1つのワーカーモデルを選ぶ。

Fugu-Ultra は multi-agent orchestration を学習し、複数のワーカーモデルを使った分担・検証・統合のプロセスを生成する。

Fugu の学習

事前学習済みLLMを基盤に、低遅延で妥当なモデルへ処理を渡すことを目的にした追加学習がなされている。

第一段階：教師ありファインチューニング（SFT：supervised fine-tuning）

最初の段階では、検証可能な単発タスクを複数のワーカーモデルに解かせ、各モデルの性能を測定する。

この性能差を教師データとしたSFTにより、Fuguはタスクの特徴から適切なワーカーを予測する能力を獲得する。

教師データには、1つの正解ラベルだけを与える hard label ではなく、複数候補に重みを持たせる soft label が使われる。

これにより、「あるモデルが最有力で、別のモデルも一定程度有力」という相対的な性能情報を学習に反映できる。

つまり、性能が近いワーカーモデルが複数ある場合にも、柔軟にルーティングを行えるという利点がある。

第二段階：進化計算

次の段階では、複数ターンのコーディングタスクなど、実運用に近い環境で追加調整する。

この段階では、途中の選択ごとの正誤よりも、最終的にタスクが成功したかどうかを重視する。

論文では、この調整に進化戦略の一種である sep-CMA-ES が使われている。

sep-CMA-ES は、ルーティング方針に小さな変化を加え、最終成功率を高める方向を探索する最適化手法である。

Fugu-Ultra の学習

目的は、難しいタスクに対して、分担・検証・統合を含む高品質な解答プロセスを作ることである。

学習に成功すると、どのモデルにどの役割を与え、どの順序で処理し、どの結果を統合するかを決められるようになる。

入力タスクに対してエージェントワークフローを生成する。

ワークフローには、作成するサブタスク、各サブタスクを担当するワーカーモデル、中間結果の受け渡し方が含まれる。

学習では、生成されたワークフローの形式と実行結果を評価する。

1. ワークフローが正しくパースできる形式になっているかを確認する。

2. そのワークフローを実際に実行し、最終出力が正しいかどうかを評価する。

GRPO は、複数の候補出力の報酬を比較し、より高い報酬を得る出力の確率を高める強化学習手法である。

参考