LiteLLM
LiteLLMとは何ですか？
LiteLLMはオープンソースのAIゲートウェイであり、OpenAIフォーマットを使用して、OpenAI、Anthropic、Gemini、Bedrock、Azureなど100以上のLLMプロバイダーを呼び出すための単一の統合インターフェースを提供します。
Python SDKとして使用してライブラリを直接統合することも、AIゲートウェイ（プロキシサーバー）をチームや組織向けの中央集中型サービスとして展開することもできます。
もの凄くざっくり:多くのLLMのAPIをメジャーなLLMのAPIに変換したりできるプロキシサーバ
例えばOpenAI_APIでStream apiに対応してない互換サーバーをStream対応に擬似的にしたり、ollama apiに対応しててOpenAI APIへの互換性がやや微妙感のあるところで使ったり,etc... 取り敢えず「APIがなんか噛み合わねぇってときに使うとなんとかしてくれるやつ」位の認識で良いかも知れない。
(API互換周り)なんとかなれーッ!
なんか小さくてllmの奴