OpenAI vs Azure OpenAI、半年使って気づいたハマりポイントと乗り越え方
自己紹介
Helpfeelについて
Gyazo, Scrapbox, Helpfeelを作っている会社
https://gyazo.com/e4f86a1ec00066e674ae2be8c4619254
Helpfeel(プロダクト)
近況:プロ驚き屋です
GPT-4 Turboヤバすぎる!!Perplexity.aiヤバすぎる!!Gemini 1.5 Proヤバすぎる!!Claude 3ヤバすぎる!!(以下略)
個人でもヘビーユースしてて、一通り課金してます
GPT-3のAPIを軽く試したけど、当時は何に使えるのかサッパリ分からなかった T5がすごいらしいと聞いて、夜な夜なデータを作ってファインチューニングしたり 今日はその辺の知見を話せればと思ってます
https://nota.gyazo.com/63c774d33389be77f1b855b5b97f24a5https://nota.gyazo.com/9d216e6af4ed003dbc79c3778659afdfhttps://nota.gyazo.com/e583f78682f57c840685d0b0820c3764
2023/3/1にChatGPTのAPIが出て、 翌日の3/2に製品リリース
Helpfeelの独自検索技術とベクトル検索、奇跡のマリアージュ
Helpfeelの検索改善ノウハウが詰まった業務支援ツール
社内ChatGPT
詳しくは聞いてくださいteramotodaiki.icon
Azure OpenAI 101
🧠 頭脳は同じ(GPT)
最新のGPTモデルから旧バージョンまで、基本的に同じものを提供
💰 価格も(ほぼ)同じ
Fine tuningのみ料金体系が異なる
Azure OpenAIの場合、PTUという価格体系もある(大規模事業者向け) 🔐 データの扱いも(ほぼ)同じ
OpenAI v.s. Azure OpenAI
試作・研究が目的なら、OpenAI一択
😊 OpenAIのAPIは、とにかくシンプルで扱いやすい
😊 APIリファレンスも分かりやすいし、ググれば出てくる
😅 インフラが不安定。SLAが必要ならAzureを使った方がいい 😅 ステークホルダーの理解を得づらい
エンタープライズ向けなら、Azure OpenAI一択
😊 エンタープライズ企業からの絶大な信頼
😅 複雑怪奇なAzureワールド
リソース管理、複雑なIAM、クォータ、デプロイ管理……ウッ゙
😅 何をするにも事前の申請・承認が必要
それ以外の差
💨 速度
基本的にAzure OpenAIの方が早いが、ケースバイケース。後述
🆕 新しいモデルの対応
OpenAIで使えるようになるのが先
Azure OpenAIは、大体1~2ヶ月後に対応
⚙️ APIパラメータの一部
微妙に違う。ちょっとコードを書けば容易に抽象化できる
速度の違い💨
基本的にはAzure OpenAIの方が安定して早い
とくに混雑するタイミングでは、OpenAIは数秒オーダーのレイテンシーがある
ただし、結果をストリーミング(途中経過を出す奴)する場合のみ、Azure OpenAIがこのように遅くなる
https://gyazo.com/eeb22bfb899ee6c2a1e9fbe1376ffc0e
コンテンツフィルターが出力をバッファリングしているせい
通常だと変更できないが、これもMicrosoftに申請して承認されれば設定を変更できる
出力をバッファリングしない非同期修正フィルターを適用するか、
コンテンツフィルター自体をオフにできる
新しいモデルの対応 🆕
table:models
OpenAI Azure OpenAI
GPT-4 Turbo ✅ ✅ すべて使える
GPT-4V (vision) ✅ ✅ すべて使える
GPT-3.5 Turbo ✅ ✅ すべて使える
Embeddings ✅ 🔼 バッチサイズが小さい
Assistants API ✅ 🔼 RetrievalとStreaming非対応
Fine tuning ✅ ✅🤑 料金体系が違う
DALL-E 3 ✅ ✅
Azure OpenAIの落とし穴
「デプロイ」という独自概念
OpenAIは、共通のAPIエンドポイントに対してリクエストを行う
Azure OpenAIは、「デプロイ」という単位でAPIエンドポイントが変わる
他にもモデルバージョンの指定、クォータの割り当て、コンテンツフィルターの設定等が「デプロイ」単位で行われる
リージョンごとにデプロイできるモデルが違う
デプロイ可能なモデルを地理的に分散させることで、地球規模で負荷分散をしている(!)
逆に、(製品では)やってないこと
PTU (Provisioning Throughput Units)
ファインチューニング
オープンモデル