LLMOps
MLOps
LLMの評価
LLM作成
CI/CD
LLMOpsを考え始める
https://blog.shuit.dev/posts/begin-thinking-llmops
本番環境投入後のモデル性能モニタリング
モデルの性能を回復させる処理の実行
Weights & Biases
https://wandb.ai/site/prompts
Feature Stores and LLMs
https://note.com/mahlab/n/ncae905f78f2c
LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー
https://note.com/wandb_jp/n/n1aa6d77f33cf
prompt flow
https://x.com/hiro_gamo/status/1702509012661760149?s=20
LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム
https://speakerdeck.com/os1ma/langsmithru-men-toresu-slash-ping-jia-slash-puronputoguan-li-nadowodan-ullmapurikai-fa-puratutohuomu
Lens for LLMs
https://prtimes.jp/main/html/rd/p/000000028.000075720.html
Prompt Flowの一括テストを使ってRAGの複数回答を自動評価する
https://acro-engineer.hatenablog.com/entry/2023/07/26/120000
【2024/10/30】LLMアプリケーションのトレース・評価と継続的改善〜LangSmithを使ったLLMOps構築〜【アーカイブ】
https://www.youtube.com/watch?v=EfBKr1ktvII
LLMOps: Eval-Centric を前提としたMLOps
https://speakerdeck.com/asei/llmops-eval-centric-woqian-ti-tositamlops
https://www.youtube.com/watch?v=kF86LXwEbEI
LLMOpsって何？AI運用を進化させる新たな考え方
https://zenn.dev/shintaroamaike/articles/ba975609780e3a
LLM Gateway: The One Decision That Removes 100 AI Engineering Decisions
Building the Foundation Model Ops Platform — with Raza Habib of Humanloop
https://www.latent.space/p/humanloop
Production AI Engineering starts with Evals — with Ankur Goyal of Braintrust
https://www.latent.space/p/braintrust
An unfiltered conversation with Alex Atallah, CEO of OpenRouter
https://www.youtube.com/watch?v=fwHkdivFCuc
Open-source LLM tracing and evaluation
https://phoenix.arize.com/
Arize Phoenix で実現する LLM アプリケーションのトレース
https://www.ai-shift.co.jp/techblog/5608
Integration Platform for AI Agents & LLMs
https://composio.dev/
Developers Night Cafe ～第 9 回 LLMOps ってなに？～
https://www.youtube.com/live/ScqNp2Iy7AY