LiteLLM Proxy
https://github.com/BerriAI/litellm
LLM
サービス
とアプリケーションの間に置く
OSS
の
プロキシ
Python
製
リトライ
や
Exponential Backoff
などをやってくれるうえ、
従量課金
の制限チェックなどもできる