本地体验最强开源模型Llama3+Qnw(支持Windows和Mac)

一键运行大模型本地软件(含模型):点击下载

Meta放出Llama3模型了,也应该是这段时间里的一个科技大新闻了。

Llama一直都是开源大语言模型的领头羊驼。

而Llama3又是所有羊驼中最新的领头羊。

可以简单地来看一下官方的对比数据。

下面是Llama3和谷歌Gemma以及法国的Mistral开源版的对比,以及Llama3 70B和gemini和Claude3闭源版的对比。

关于Llama3具体有多牛X,这样的内容我就不写了。网上新闻一大堆!

我就说说怎么在我们自己的电脑上玩起来。

这才是我们该关心的核心问题。

Llama3的衍生模型非常多,整个生态也发展的特别好,所以支持的工具也特别多。根本无需自己去配置,写代码,加载模型和做模型交互。有一大堆现成的“基础设施”可以用!

今天还是用可视化的GUI软件来运行Llama3,是个人都会的那种软件。

这里说的软件就是LM Studio,这是一款基于llama.cpp,可以运行几乎所有主流大语言模型的应用程序。

由于软件主要是使用CPU来运行,所以基本上所有电脑都可以使用!!!

第一次见到这个软件的人,可以跟着文章来操作。只要简单的几步就可以用了。

1.下载软件

打开网盘,在网盘上找到对应版本,点击下载即可。

软件安装包并不大,所以很快就能完成。

稍微注意下,版本是v0.2.20。只有这个最新版才支持最新的Llam3。

2. 下载模型

下载的软件知识一个管理工具,为了使用模型,我们需要先下载模型。

打开软件之后,右下角第一个模型就是Llama3-8B,非常好找。

点击Download进行下载。

开始下载后,软件底部会有进度条!

这里唯一需要注意的是,这个下载可能需要魔法,它是从HF上获取资源,但是HF在部分地区已经不可访问了。

3.加载模型并开始对话

点击①处的聊天图标,切换到对话界面。

点击②处下拉列表,选择Llama3模型,新装模型默认排在最上面。

点击③处输入对话内容,输入完成之后,按回车发送。

4.设置系统指令

Llama3是一个国外开源的模型,所以默认都是英语对话。即便你说中文,它能懂,也会用英文回答你。

但是从公开资料来看,这个版本训练数据中也有其他语言,所以你也可以让它直接用中文回答你。

设置方法如上图,在System Prompt 下面的输入框中输入“所有问题都用中文回答” 。

然后重新加载一下模型,就可以全程用中文进行交互了。

从实际体验来看,中文不算太好,但是也在六七十分的样子了。

比较有意思的是,它还特别喜欢发一个表情😊。

到这里,我们就快速体验到了最新的开源模型了。

你可以尝试提出各种类型的问题,来考验一下它的能力!

个人感觉,从实际体验上来说,中文对话能力一般般。

当然基础能力强的未必应用能力强。

Llama的模型,每次都是需要微调一下套壳一下,用起来就很吊了。

另外这个模型只是8B量化版,属于这个系列中的小弟弟。它还有个70B的哥哥。

据说还有一个400B的老大哥。一旦出山就是最大参数最大的开源模型,比马斯克3150亿参数的Grok还要大很多。

参数越大,智慧涌现越多!

这就是为啥我喜欢把东西装在自己电脑上的原因!

decentralization

最后

软件和模型已经都给你准备好了!

 一键运行大模型本地软件(含模型):点击下载

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/652607.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

如何安全进行速卖通自养号测评操作?

对于新加入的卖家而言,进行销量测评显得尤为关键。速卖通平台上的新店往往难以获得活动的扶持,且初始流量相当有限。因此,开店的首要任务便是积极展开测评工作,努力积累初始的评论和销售记录。测评的益处颇为显著,它不…

【Linux系统编程】基本指令(一)

目录 1、ls指令 2、pwd指令 3、cd指令 4、touch指令 5、mkdir指令 6、rmdir指令与rm指令 7、man指令 8、cp指令 指令就像刚学windows时学的单击、双击一样,都是操作操作系统 在windows下,文件通常会放在文件夹中,而Linux中同样有文件…

Java设计模式 _创建型模式_原型模式(Cloneable)

一、原型模式 1、原型模式(Prototype Pattern)是用于创建重复的对象,同时又能保证性能比较好。一般对付出较大代价获取到的实体对象进行克隆操作,可以提升性能。 2、实现思路: (1)、需要克隆的…

python中怎么注释多行

多行代码注释 方法一:先选中要注释的段落,然后按下“ctrl/”,即可实现多行代码的注释。效果如下: 再一次按下“ctrl/”就可以取消注释。 方法二:跟注释单行一样在每一行前面输入“shift#”。 #r(i-arr[idx])*rat[idx]…

62、回溯-N皇后

思路: N皇后问题要求在一个nn的棋盘上放置n个皇后,使得它们不能相互攻击。皇后可以攻击同一行、同一列,以及两个对角线方向上的其他皇后。解决这个问题意味着找到所有可能的棋盘配置,每个配置都符合上述条件。 1、初始化数据结构…

【iconv】Linux c++ 中文字符串转十六进制 GBK 编码/内码

文章目录 问题描述c 代码CMakeLists.txt参考链接 问题描述 Linux 系统默认使用的是 UTF-8 编码,并且 c 中没有标准库可以直接将中文字符转为 GBK 编码/内码。因此需要借助 iconv 库来实现。 在实现代码之前,可以在一下在线工具网站进行中文字符到各个编…

【Webgl_glslThreejs】搬运分享shader_飘落心形

来源网站 https://www.shadertoy.com/view/4sccWr效果预览 代码演示 将shadertory上的代码转成了threejs可以直接用的代码,引入文件的material,并在创建mesh或已有物体上使用material即可,使用时请注意uv对齐。 import { DoubleSide, Shad…

【Day 9】Mybatis CURD + XML 映射 + 动态 SQL

1 Mybatis 基础操作 下面进行:增删改查——C(create)U(update)R(retrieve)D(delete) 1.1 删除(删) 根据主键 id 进行删除 注意 占位符 #{ } 返回值是删除的记录条数 测试: 可以在日志中看到 mybatis 具体的语句 预编译 SQL 的优…

项目管理系统(PMS):一文扫盲,再也不用担心质量和延期了。

一、什么是PMS系统 项目管理系统(PMS)是一种软件工具或平台,用于帮助组织和团队有效地规划、执行和监控项目。PMS系统提供了一系列功能和工具,以支持项目管理的各个方面,包括项目计划、进度跟踪、资源管理、任务分配、…

Android Studio 报错:AVD Pixel_3a_API_30_x86 is already running

在我的Android Studio和虚拟机运行时,我的电脑不小心关机了,在启动后再次打开Android Studio并运行虚拟机时发现报错。 Error while waiting for device: AVD Pixel_3a_API_30_x86 is already running. If that is not the case, delete the files at C…

【Docker】Docker 实践(一):在 Docker 中部署第一个应用

Docker 实践(一):在 Docker 中部署第一个应用 1.使用 YUM 方式安装 Docker2.验证 Docker 环境3.在 Docker 中部署第一个应用3.1 小插曲:docker pull 报 missing signature key 错误3.2 重新安装 Nginx 1.使用 YUM 方式安装 Docker…

C++链表操作入门

数据结构基础:链表操作入门 数据结构基础:链表操作入门链表的基本概念链表的基本操作输出链表插入节点删除节点查找值 完整的链表操作示例结语 数据结构基础:链表操作入门 在计算机科学中,数据结构是组织和存储数据的方式&#x…