LLMOps - yuyan

LLMOps

LLMOpsを考え始める

https://blog.shuit.dev/posts/begin-thinking-llmops

本番環境投入後のモデル性能モニタリング

モデルの性能を回復させる処理の実行

Weights & Biases

https://wandb.ai/site/prompts

Feature Stores and LLMs

https://note.com/mahlab/n/ncae905f78f2c

LLMOps：基盤モデルに基づくアプリケーション開発のワークフロー

https://note.com/wandb_jp/n/n1aa6d77f33cf

prompt flow

https://x.com/hiro_gamo/status/1702509012661760149?s=20

LangSmith入門―トレース／評価／プロンプト管理などを担うLLMアプリ開発プラットフォーム

https://speakerdeck.com/os1ma/langsmithru-men-toresu-slash-ping-jia-slash-puronputoguan-li-nadowodan-ullmapurikai-fa-puratutohuomu

Lens for LLMs

https://prtimes.jp/main/html/rd/p/000000028.000075720.html

Prompt Flowの一括テストを使ってRAGの複数回答を自動評価する

https://acro-engineer.hatenablog.com/entry/2023/07/26/120000

【2024/10/30】LLMアプリケーションのトレース・評価と継続的改善〜LangSmithを使ったLLMOps構築〜【アーカイブ】

https://www.youtube.com/watch?v=EfBKr1ktvII

LLMOps: Eval-Centric を前提としたMLOps

https://speakerdeck.com/asei/llmops-eval-centric-woqian-ti-tositamlops

https://www.youtube.com/watch?v=kF86LXwEbEI

LLMOpsって何？AI運用を進化させる新たな考え方

https://zenn.dev/shintaroamaike/articles/ba975609780e3a