Meta 最新发布 LLaMA 2(允许商业化)

2023年7月18日,Meta 发布了LLaMA 2,包含7B,13B,70B三种参数(34B暂时还未发布)。
官方: https://ai.meta.com/llama/
论文:Llama 2: Open Foundation and Fine-Tuned Chat Models
模型:https://huggingface.co/meta-llama
github:https://github.com/facebookresearch/llama

LLaMA 2相比LLaMA最大亮点之一是允许商业化,但需要注意的是如果使用LLaMA 2的企业月活人数超过7亿,将需要向Meta申请特定的商业许可。

Llama 2 训练语料相比LLaMA多出40%,接受了 2 万亿个标记的训练;
Llama 2 上下文长度是由之前的2048升级到4096,可以理解和生成更长的文本;
Llama 2 的34B、70B模型采用分组查询注意力(GQA),代替了MQA和MHA,主要是考虑效果和易扩展性的权衡。
在这里插入图片描述
在这里插入图片描述

Llama-2-chat 模型还接受了超过 100 万个新的人类注释的训练,使用来自人类反馈的强化学习来确保安全性和帮助性。
Llama-2-chat 模型可以使用工具和插件。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/28886.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络编程——RPC与HTTP基本介绍、历史追溯、主流应用场景、对比分析、为什么还需要使用RPC

一、HTTP与RPC基本介绍 HTTP协议(Hyper Text Transfer Protocol)超文本传输协议: 一个用于在网络上交换信息的标准协议,它定义了客户端(例如浏览器)和服务器之间的通信方式。如平时上网在浏览器上敲个网址url就能访问网页&#x…

关于电脑显示器屏幕看不出灰色,灰色和白色几乎一样无法区分,色彩调整方法

问题: 电脑显示器屏幕看不出灰色,灰色和白色几乎一样无法区分。白色和灰色有色差。 解决方法: 打开“控制面板” ->“色彩管理” ->“高级” ->“校正显示器” 在下一步调节中调成中间这一个实例的样子就可以了 进行微调&#x…

如何用3D格式转换工具HOOPS Exchange读取颜色和材料信息?

作为应用程序开发人员,非常希望导入部件的图形表示与它们在创作软件中的外观尽可能接近。外观可以在每个B-Rep面的基础上指定,而且,通过装配层次结构的特定路径可以在视觉外观上赋予父/子覆盖。HOOPS ExchangeHOOPS Exchange可捕获有关来自各…

亚信科技荣任「DBL电信行业工作组」副组长单位,AntDB数据库连年入选《中国数据库产品图谱》

日前,“2023可信数据库发展大会”在京圆满召开。亚信科技凭借自研的电信级核心交易数据库AntDB在通信行业15年的技术积累和行业贡献,成功当选为数据库应用创新实验室(DBL)电信行业工作组副组长单位。AntDB数据库连续两年入选《全球…

11、动手学深度学习——语言模型和数据集:代码详解

我们了解了如何将文本数据映射为词元,以及将这些词元可以视为一系列离散的观测,例如单词或字符。 假设长度为 T T T的文本序列中的词元依次为 x 1 , x 2 , … , x T x_1, x_2, \ldots, x_T x1​,x2​,…,xT​。于是, x t x_t xt​&#xff08…

Type-C带充电的OTG转接器方案 LDR6028

近些年随着社会生活水平提高,每个人的的电子设备逐渐的多了起来,各大品牌都在发售自家品牌的全家桶。手机、平板、笔记本电脑、智能手表、无线耳机、任天堂Switch、索尼PS5等电子设备一种不落。 那么多的电子设备基本来说都是需要充电,比如手…

求出0~100000之间的所有“水仙花数”并输出

求出0~100000之间的所有“水仙花数”并输出。 “水仙花数”是指一个N位数,其各位数字的n次方之和正好等于该数本身。 如:1531^3 5^3 3^3 , 则153是一个“水仙花数” 先来了解一下水仙花数的概念: 水仙花数只是自幂数的一种,严…

匿名内部类/Lambda Java和Kotlin谁会导致内存泄漏?

作者:小鱼人爱编程 前言 内存泄漏是程序界永恒的话题,对于Android开发来说尤为重要,想让你的App表现得更优雅,了解并治理内存泄漏问题势在必行。 通过本篇文章,你将了解到: 何为内存泄漏?Android 常见内存…

动态规划---子序列问题

一)最长递增子序列: 300. 最长递增子序列 - 力扣(LeetCode) 算法原理: 1.定义一个状态表示:经验题目要求 dp[i]表示,以i位置为结尾,最长递增子序列的长度 中心思路就是找到以i位置为结尾的所有递增子序列,然后找到递增…

causal-learn ModuleNotFoundError: No module named ‘pygam‘

调用 causallearn 库包,测试CAM-UV算法时报错: No module named pygam 解决方法: pip install pygam 参考链接: 【Python Causal Learning Toolbox】causallearn 库包的使用、报错修改_板砖板砖我是兔子的博客-CSDN博客

linux kernel单独编译某项驱动

linux内核经常涉及编译某一项驱动代码的场景,本次以网卡驱动e1000为例说明整个步骤流程。 首先编译内核驱动不必要编译整个内核,但编译的驱动代码必须要和要安装的内核版本保持一致,否则经常会出现无法加载模块。 在编译驱动前,最…

排序算法第四辑——归并排序与计数排序

目录 一,归并排序算法 二,归并排序的非递归版本 三,计数排序 一,归并排序算法 归并排序算法是一个特别经典的算法了。这个算法采用的思想就是一个分治的思想,也就是将大问题化为子问题的思想。这个思想其实我们经常…