LLMOps
LLMOpsを考え始める
https://blog.shuit.dev/posts/begin-thinking-llmops
本番環境投入後のモデル性能モニタリング
モデルの性能を回復させる処理の実行
Weights & Biases
https://wandb.ai/site/prompts
Feature Stores and LLMs
https://note.com/mahlab/n/ncae905f78f2c
LLMOps:基盤モデルに基づくアプリケーション開発のワークフロー
https://note.com/wandb_jp/n/n1aa6d77f33cf
prompt flow
https://x.com/hiro_gamo/status/1702509012661760149?s=20
LangSmith入門―トレース/評価/プロンプト管理などを担うLLMアプリ開発プラットフォーム
https://speakerdeck.com/os1ma/langsmithru-men-toresu-slash-ping-jia-slash-puronputoguan-li-nadowodan-ullmapurikai-fa-puratutohuomu
Lens for LLMs
https://prtimes.jp/main/html/rd/p/000000028.000075720.html
Prompt Flowの一括テストを使ってRAGの複数回答を自動評価する
https://acro-engineer.hatenablog.com/entry/2023/07/26/120000