开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！-编程知识

开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！

本文原文来自DataLearnerAI官方网站：

开源王者！全球最强的开源大模型Llama3发布！15万亿数据集训练，最高4000亿参数，数学评测超过GPT-4，全球第二！ | 数据学习者官方网站(Datalearner)https://www.datalearner.com/blog/1051713454866102

大语言模型开源领域最重要的一个模型就是MetaAI开源的Llama系列。当前，很多著名开源模型都是基于Llama系列进行预训练得到。就在刚才，MetaAI开源了第三代Llama3系列。官方透露的信息非常多，Llama3系列是目前为止最强的开源大语言模型，未来还有4000亿参数版本，支持多模态、超长上下文、多国语言！

Llama3系列简介
Llama3-70B是目前最强的开源大模型
Llama3的人工评分
Llama3最大的版本是4000亿参数规模
Llama3开源情况

Llama3系列简介

Llama3系列模型是MetaAI开源的第三代大语言模型，本次发布的包含2个不同参数规模的版本，一个是80亿参数的LLama3-8B，另一个是700亿参数规模的Llama3-70B。

不过，根据官方描述，目前这两个版本是早期预览版本，未来几个月，Llama3的能力将拓展到多语言支持和更长的上下文，并且会开源更多不同参数规模版本的模型。并且，Llama3将会有多模态版本的模型！

Llama3模型是在15万亿tokens数据集上训练，是Llama2的7倍！其中的代码数据集高4倍！当前支持的上下文长度是128K！

Llama3模型具体信息可以参考DataLearnerAI模型信息卡：

Llama3版本名称	DataLearnerAI模型信息卡
Llama3-8B	Llama3-8B（Llama3-8B）详细信息 \| 名称、简介、使用方法，开源情况，商用授权信息 \| 数据学习(DataLearner)
Llama3-70B	Llama3-70B（Llama3-70B）详细信息 \| 名称、简介、使用方法，开源情况，商用授权信息 \| 数据学习(DataLearner)
Llama3-8B-Instruct	Llama3-8B-Instruct（Llama3-8B-Instruct）详细信息 \| 名称、简介、使用方法，开源情况，商用授权信息 \| 数据学习(DataLearner)
Llama3-70B-Instruct	Llama3-70B-Instruct（Llama3-70B-Instruct）详细信息 \| 名称、简介、使用方法，开源情况，商用授权信息 \| 数据学习(DataLearner)
Llama3-400B	https://www.datalearner.com/ai-models/pretrained-models/Llama3-400B
Llama3-400B-Instruct	https://www.datalearner.com/ai-models/pretrained-models/Llama3-400B-Instruct

需要注意的是，这里的4000亿参数版本正在训练中，还没完成。

Llama3-70B是目前最强的开源大模型

虽然目前MetaAI仅仅开源了2个不同参数规模版本的模型，其中700亿参数规模的模型评测结果极其优秀。最大的亮点是数学评测GSM8K的结果上得分93分！根据DataLearnerAI目前收集的数据，这个分数仅次于Claude3-Opus的95分，超过GPT-4，全球第二，是目前开源大模型中得分最高的一个。

Llama3-70B模型评测结果

数据来源：大模型综合评测对比 | 当前主流大模型在各评测数据集上的表现总榜单 | 数据学习 (DataLearner)

可以看到，按照GSM8K排序的靠前的模型中，除了Llama3-70B外，全部是闭源的私有模型。而数学能力与推理等强相关，在解决复杂任务方面有着非常好的优势。而Llama3-70B的MMLU得分82.0分，排名在Claude3-Opus、GPT-4和Gemini Ultra之后，全球第四，成绩也是非常好，也是开源模型中最强的一个。

注意，上述模型的评测的是Llama3的指令优化版本，基座预训练得分目前只公布了MMLU部分，稍低于这些分数。