seqeval
sequence labeling evaluation用のパッケージ
seqeval.metricsにsklearn.metricsと同様のAPIの評価指標の関数がある
code:PyPIの例.py
>> from seqeval.metrics import classification_report, f1_score
>> y_true = 'O', 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O'
>> y_pred = 'O', 'O', 'B-MISC', 'I-MISC', 'I-MISC', 'I-MISC', 'O'], ['B-PER', 'I-PER', 'O'
>> # 1例目は誤っている(MISCの始まりが1つ早く、長くなっている)。2例目は正解
>> f1_score(y_true, y_pred)
0.5
>> print(classification_report(y_true, y_pred))
precision recall f1-score support
MISC 0.00 0.00 0.00 1
PER 1.00 1.00 1.00 1
micro avg 0.50 0.50 0.50 2
macro avg 0.50 0.50 0.50 2
weighted avg 0.50 0.50 0.50 2