BERTScore論文

論文情報

タイトル：

発行日：2020年2月

著者：Tianyi Zhang, Varsha Kishore, Felix Wu, Kilian Q. Weinberger, Yoav Artzi

所属：Cornell University

URL： https://arxiv.org/abs/1904.09675

概要

テキスト生成のための自動評価指標であるBERTScoreを提案する。一般的な評価指標と同様に、BERTScoreは候補文の各トークンと参照文の各トークンとの類似度スコアを計算する。ただし、完全一致ではなく、文脈埋め込みを用いてトークンの類似度を計算する。363の機械翻訳と画像キャプションシステムの出力を使って評価した。BERTScoreは人間の判断との相関が高く、既存のメトリクスよりも強力なモデル選択性能を提供する。最後に、敵対的な言い換え検出タスクを用いて、BERTScoreが既存のメトリクスと比較して困難な例に対してより頑健であることを示す。

https://scrapbox.io/files/659e02b9e505390023fa1c8e.png