bert-score
https://pypi.org/project/bert-score/
BERTScore: Evaluating Text Generation with BERT
CLIからも使える(bert-score)
https://github.com/Tiiiger/bert_score/tree/v0.3.13/example を参照
bert-score --lang ja -r refs.txt -c preds.txt
BERTScore算出例(『大規模言語モデル入門』)をCLIで
すべての例で平均した値(samples)が算出された!
code:preds.txt
T5モデルの日本語版を公開
日本語T5をリリース
Japanese T5を発表
code:refs.txt
日本語T5モデルの公開
日本語T5モデルの公開
日本語T5モデルの公開
code:標準出力
bert-base-multilingual-cased_L9_no-idf_version=0.3.12(hug_trans=4.33.2)_fast-tokenizer P: 0.863281 R: 0.837414 F1: 0.849752