通义千问开源大模型部署教程-小白也能懂

1、基础环境

        1.1 python3安装

           准备好:python 3.10 (不要用3.8 ,有bug)           https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe

           安装完了之后,观察是否添加到path环境变量里了,如果安装的时候忘记勾选自动添加到环境变量,就自己加到path里。

               

  1.2 pytorch 安装

       pytorch  安装需要根据自己是否有显卡选择不同的命令安装,官网通过选择你的模式后,会自动生成命令,传送门:PyTorch

      

    如果cpu玩的话,记得选择CPU,安装命令是不同的,执行安装命令就完了。

  1.3 配置镜像

    配置这个镜像:hf-mirror.com - Huggingface 镜像站  

     

pip install -U huggingface_hub

  然后配置环境变量,HF_ENDPOINT=https://hf-mirror.com

 

 1.4 安装transformers 32版本

     

pip install transformers==4.32.0

1.5 安装CUDA 11.4 

   我的显卡还没回来,等我回来了我补充这里。

2、通义千问部署

       git clone https://github.com/QwenLM/Qwen

      然后执行安装依赖的命令,

pip install -r requirements.txt

      上面的命令不会安装web页面所需要的依赖,如果需要web ui玩还需要执行下面这个

pip install -r requirements_web_demo.txt

     最后运行

 

python cli_demo.py
//或者
python web_demo.py

  如果是CPU跑模型,7B的肯定不行,要用1.8B的 需要修改模型名称

  

Qwen/Qwen-1_8B-Chat  改成这个,不是Qwen/Qwen-1.8B-Chat哦,会提示找不到模型的。

 运行的时候多给个参数即可,web页面或者命令行都支持这个参数。

python  cli_demo.py --cpu-only

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/342218.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

六款简单的开关电源电路设计原理图详解

简单的开关电源电路图(一) 简单实用的开关电源电路图 调整C3和R5使振荡频率在30KHz-45KHz。输出电压需要稳压。输出电流可以达到500mA.有效功率8W、效率87%。其他没有要求就可以正常工作。 简单的开关电源电路图(二) 24V开关电源…

网络市场中的品牌推广:面向新一代数字原住民的挑战与机遇

随着科技的迅速发展和互联网的普及,我们正处在一个网络成熟期,一个以数字化和网络化为特征的新时代。在这个时代,新一代的数字原住民经营者正在崛起,他们依赖网络寻找商机,建立自己的事业。对于企业来说,如…

构建基于RHEL8系列(CentOS8,AlmaLinux8,RockyLinux8等)的支持63个常见模块的PHP8.1.20的RPM包

本文适用:rhel8系列,或同类系统(CentOS8,AlmaLinux8,RockyLinux8等) 文档形成时期:2023年 因系统版本不同,构建部署应略有差异,但本文未做细分,对稍有经验者应不存在明显障碍。 因软件世界之复杂和个人能力…

FridaHook(三)——AllSafe App wp

By ruanruan,2022/04/21 文章目录 1、不安全的日志记录2、硬编码3、pin绕过(1)反编译查看方法判断逻辑(2)hook方法A、Hook areEqual(Object,Object)B、Hook checkPin(a) (3)页面效果&#xff08…

C++程序员必备的面试技巧

“程序员必备的面试技巧,就像是编写一段完美的代码一样重要。在面试战场上,我们需要像忍者一样灵活,像侦探一样聪明,还要像无敌铁金刚一样坚定。只有掌握了这些技巧,我们才能在面试的舞台上闪耀光芒,成为那…

Window平台安装MongoDB

在部署前需要在官网先确定系统对应的Mongo DB版本。 本机电脑为Window10,所以这里以MongoDB 6.0版本。 1 在官网下载安装包 2 安装MongoDB MongoDB Compass 是一个图形界面管理工具,如果勾选了安装会花费长一点时间,可以取消掉勾选&#xff…

代码随想录算法训练营Day17|110.平衡二叉树、257. 二叉树的所有路径、 404.左叶子之和

文章目录 一、110.平衡二叉树1.递归法 二、257. 二叉树的所有路径1. 递归法 三、 404.左叶子之和1.迭代法 一、110.平衡二叉树 题目描述: 给定一个二叉树,判断它是否是高度平衡的二叉树。 本题中,一棵高度平衡二叉树定义为:一个二…

MidTool的AIGC与NFT的结合-艺术创作和版权保护的革新

在数字艺术和区块链技术的交汇点上,NFT(非同质化代币)正以其独特的方式重塑艺术品的收藏与交易。将MidTool(https://www.aimidtool.com/)的AIGC(人工智能生成内容)创作的图片转为NFT&#xff0c…

用通俗易懂的方式讲解大模型分布式训练并行技术:序列并行

近年来,随着Transformer、MOE架构的提出,使得深度学习模型轻松突破上万亿规模参数,传统的单机单卡模式已经无法满足超大模型进行训练的要求。因此,我们需要基于单机多卡、甚至是多机多卡进行分布式大模型的训练。 而利用AI集群&a…

【2023年度总结与2024展望】---23年故事不长,且听我来讲

文章目录 前言一、学习方面1.1 攥写博客1.2 学习内容1.3 参加比赛获得证书 二、生活方面2.1写周报记录生活 三、运动方面四、CSDN的鼓励五、24年展望总结 前言 时光飞逝,又是新的一年,遥想去年2023年我也同样在这个时间段参加了CSDN举办的年度总结活动&a…

慢 SQL 的优化思路

分析慢 SQL 如何定位慢 SQL 呢? 可以通过 slow log 来查看慢SQL,默认的情况下,MySQL 数据库是不开启慢查询日志(slow query log)。所以我们需要手动把它打开。 查看下慢查询日志配置,我们可以使用 show …

【算法Hot100系列】外观数列

💝💝💝欢迎来到我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学习,不断总结,共同进步,活到老学到老导航 檀越剑指大厂系列:全面总结 jav…