来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-3-13

该数据集由纽约大学的研究者于2022年提出，它是一个创新的多项选择题数据集，旨在提升自然语言理解模型处理长文本的能力。该数据集包含平均长度约5000个标记的英文上下文段落，远超大部分模型的处理范围。问题由阅读完整文章的贡献者编写并验证，确保了问题的明确性和挑战性。

QuALITY数据集共有6,737个问题，其中3,360个问题属于困难子集。数据集通过一个精心设计的众包流程收集，确保了问题的质量和多样性。基线实验表明，尽管模型性能有所提升，但与人类93.5%的准确率相比仍有显著差距。QuALITY数据集的发布，为研究人员提供了一个评估和改进长文档阅读理解模型的平台。然而，该数据集的作者主要来自美国，反映了相对特权和受过教育的人口，因此在其他语言或方言上的有效性可能有限。

相关数据集与论文获取，GZ： AINLPer公众号 回复：APPS数据集