adk eval
eval extraを指定してgoogle-adkをインストール
eval_config = get_evaluation_criteria_or_default(config_file_path)
eval_metrics = get_eval_metrics_from_config(eval_config)
root_agent = get_root_agent(agent_module_file_path)
eval_set_results_manager = LocalEvalSetResultsManager(agents_dir=agents_dir)
InferenceRequestを用意する
asyncio.runする
inferencesを作って、eval_resultsに変換する
metric_evaluator_registryが渡されるのでカスタムメトリクスもサポート (v1.23.0)
metric_evaluator_registry.register_evaluator(metric_info, _CustomMetricEvaluator)したものが渡される
以下は古くなってしまった
Returns a summary of eval runs.