Gen AI Evaluation Service
#Vertex_AI
概要 https://cloud.google.com/vertex-ai/generative-ai/docs/models/evaluation-overview?hl=ja
このページでは、生成 AI モデルの評価サービスの概要について説明します
Vertex AI でのモデル評価
Vertex AI の Gen AI Evaluation Service を使用すると、生成モデルまたはアプリケーションを評価し、独自の評価基準に基づいて、独自の判断と照らし合わせて評価結果のベンチマークを実施できます。
評価プロセス
1. 評価指標を定義する
2. 評価データセットを準備する
3. 評価を実行する
候補モデルを定義し、EvalTask を作成して、Vertex AI で評価ロジックを再利用します。
4. 評価結果を表示して解釈する
ユースケース評価用のノートブック
積ん読