亚洲在线久爱草,狠狠天天香蕉网,天天搞日日干久草,伊人亚洲日本欧美

為了賬號安全,請及時綁定郵箱和手機立即綁定

機器閱讀理解中你需要知道的幾個經典數據集

標簽:
人工智能
一、2013,MCTest

论文:《MCTest:A Challenge Dataset for the Open-Domain Machine Comprehension of Test》

数据以json格式给出。小规模,大部分在这个数据集上的研究都是基于特征工程的工作。

下载链接:http://www.msmarco.org/dataset.aspx

二、2015,CNN&Dailymail

论文:《Teaching Machines to Read and Comprehend》

填空型大规模英文机器理解数据集,答案是原文中的某一个词。

CNN数据集包含美国有线电视新闻网的新闻文章和相关问题。大约有90k文章和380k问题。

Dailymail数据集包含每日新闻的文章和相关问题。大约有197k文章和879k问题。

下载链接:https://github.com/deepmind/rc-data

三、2016,SQuAD

论文:《SQuAD:100000+ Question for Machine Comprehension of Test》

机器理解领域的ImageNet,数据来源于对维基百科文章的问题的整理,在500多篇文章中有超过100000个问题答案对,答案不是原文的一个词,而是原文的一个连续文本片段。数据以json格式给出,只给出了训练集以及验证集,如果要获取在测试集上的效果,需要上传模型,官方会把你的模型在测试集上跑,得出结果后再反馈给你。

下载链接:https://rajpurkar.github.io/SQuAD-explorer/

四、2017,RACE

论文:《RACE:Large-scale Reading Comprehension Dataset From Examinations》

数据集为中国中学生英语阅读理解题目,给定一篇文章和 5 道 4 选 1 的题目,包括了 28000+ passages 和 100,000 问题。与MCTest同为选择题形式的机器阅读数据集,但规模比MCTest大,且相对CNN&Dailymail和SQuAD,RACE更注重推理能力。

数据以txt格式给出,数据集的high文件夹下有20794篇文章,每篇文章有4个问题;middle文件夹下有7139篇文章,每篇文章有5个问题。

训练集的high文件夹下有18728篇文章,占比90%,middle文件夹下有6409篇文章,占比90%;

验证集的high文件夹下有1021篇文章,占比5%,middle文件夹下有368篇文章,占比5%;

测试集的high文件夹下有1045篇文章,占比5%,middle文件夹下有362篇文章,占比5%。

需要发送email,官方会给你的邮箱发下载链接,申请地址:http://www.cs.cmu.edu/~glai1/data/race/

样本数据展示:

图片描述

图片描述

點擊查看更多內容
TA 點贊

若覺得本文不錯,就分享一下吧!

評論

作者其他優質文章

正在加載中
算法工程師
手記
粉絲
1532
獲贊與收藏
2735

關注作者,訂閱最新文章

閱讀免費教程

  • 推薦
  • 評論
  • 收藏
  • 共同學習,寫下你的評論
感謝您的支持,我會繼續努力的~
掃碼打賞,你說多少就多少
贊賞金額會直接到老師賬戶
支付方式
打開微信掃一掃,即可進行掃碼打賞哦
今天注冊有機會得

100積分直接送

付費專欄免費學

大額優惠券免費領

立即參與 放棄機會
微信客服

購課補貼
聯系客服咨詢優惠詳情

幫助反饋 APP下載

慕課網APP
您的移動學習伙伴

公眾號

掃描二維碼
關注慕課網微信公眾號

舉報

0/150
提交
取消