ADASWITCHの輪読

ADASWITCHの輪読

結局何をするのだっけ?

Localでは難しい問題をクラウドに依頼

クラウドのAPIではいけないの?

コストの問題がある

計算資源

帯域

電力は言及されてない

今回使用したクラウドは30Bで,そこまで巨大ではない

スイッチング戦略という研究があるらしい

先行研究がある

LLMを切り替える手法

利点

LLMを稼働させる費用と効果のバランスが可能

費用は何?

電力

GPUなど計算資源

精度の高いLLMは100Bを超えるらしい