来源: AINLPer公众号（每日干货分享！！）
编辑: ShuYini
校稿: ShuYini
时间: 2024-2-28

自然语言处理（NLP）模型在特定基准测试上取得了超人的表现，但整体语言理解能力仍远低于人类水平。现有的基准测试（如GLUE和SuperGLUE）主要评估语言技能，而非全面的语言理解。为了填补模型在预训练期间接触到的广泛知识与现有成功度量之间的差距，作者提出了一个新的基准测试集(MMLU)，旨在评估语言模型的常识推理能力。

该数据集由UC伯克利的研究者开发发表在ICLR 2021会议，共计包含了57个不同的任务，涉及基础数学、美国历史、计算机科学、法律等多个领域。为了在这项测试中取得高分，模型必须具备广泛的世界知识和推理能力。除此之外，俄勒冈大学大学基于该数据集还开发了多语言的MMLU数据集，共计包含26种语言，关于Claude3使用的是其中10中语言。

相关数据集与论文获取，GZ： AINLPer公众号 回复：MMLU数据集