4ab46088eec4,002

http://nhiro.org.s3.amazonaws.com/2/b/2bd258b62098edaa362bd88ecb878207.jpg https://gyazo.com/2bd258b62098edaa362bd88ecb878207

(OCR text)

BERTの結果の一部

. MNLI: 2つの文章が与えられて、2つ目の文章が1

つ目の文章に賛成·反対·中立を当てる

QQP: 質問サイトからの2質問文が同一内容に関

する質問かどうかを判断

QNLI: 2文を与えられて後者が前者の質問の回答

になってるか判断

MNLI-(m/mm) QQP QNLI SST-2 CoLA STS-B MRPC RTE Average

System

363k 108k

67k

8.5k

5.7k

3.5k

2.5k

392k

66.1

Pre-OpenAI SOTA

80.6/80.1

82.3

93.2

35.0

81.0

86.0

61.7

74.0

90.4

84.9

BILSTM+ELMO+Attn

76.4/76.1

64.8 79.9

36.0

73.3

56.8

71.0

OpenAI GPT

BERTBASE

BERTLARGE

82.1/81.4

70.388.1

91.3

45.4

80.0

82.3

56.0

75.2

84.6/83.4

71.2 90.1

93.5

52.1

85.8

88.9

66.4

79.6

86.7/85.9

72.1 91.1

94.9

60.5

86.5

89.3 70.1

81.9