seqeval
https://pypi.org/project/seqeval/
sequence labeling evaluation用のパッケージ
https://github.com/chakki-works/seqeval
#機械学習・深層学習による自然言語処理入門 で知った
seqeval.metricsにsklearn.metricsと同様のAPIの評価指標の関数がある
code:PyPIの例.py
>> from seqeval.metrics import classification_report, f1_score
>> y_true = 'O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O'
>> y_pred = 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O'
>> # 1例目は誤っている(MISCの始まりが1つ早く、長くなっている)。2例目は正解
>> f1_score(y_true, y_pred)
0.5
>> print(classification_report(y_true, y_pred))
precision recall f1-score support
MISC 0.00 0.00 0.00 1
PER 1.00 1.00 1.00 1
micro avg 0.50 0.50 0.50 2
macro avg 0.50 0.50 0.50 2
weighted avg 0.50 0.50 0.50 2