CNN/Dailymail

CNN/Daily Mailはテキスト要約のためのデータセット

CNN と Daily Mail のジャーナリストによって書かれた 30 万件を超えるユニークなニュース記事を含む英語のデータセットです。抽出的要約と抽象的要約の両方をサポートしているが、元のバージョンは機械による読解と理解、および抽象的な質問応答のために作成されたもの。

CNNとDaily Mailのウェブサイトに掲載されているニュース記事から、人間が作成した抽象的な要約の箇条書きを質問として生成し、ストーリーは対応する文章として生成された。

著者らは、これらのウェブサイトから文章と質問のペアをクロール、抽出、生成するスクリプトを公開した。

スクリプトによって定義されたコーパスには、全部で286,817のトレーニングペア、13,368の検証ペア、11,487のテストペアがある。トレーニングセットのソース文書は766単語、平均29.74センテンスからなり、要約は53単語、3.72センテンスからなる。

具体例

https://scrapbox.io/files/65b0b8e27bf72600246a6e0f.png

https://scrapbox.io/files/65b0b90d41551a0025a584c0.png

dailymail

https://scrapbox.io/files/65b0b9435a97e30026315bd0.png