第五节笔记：LMDeploy 大模型量化部署实践

大模型部署背景
在这里插入图片描述
参数用FP16半精度也就是2字节，7B的模型就大约占14G
在这里插入图片描述

2.LMDeploy简介
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
量化降低显存需求量，提高推理速度

大语言模型推理是典型的访问密集型，因为是decoder only的架构，需要token by token的生成，因此需要频繁读取之前生成过的token。
这个量化只是在存储时做的， 在推理时还要反量化回FP16.
在这里插入图片描述
在这里插入图片描述
w4a16意思是参数4bit量化，激活时是16bit

在这里插入图片描述
不用等一个batch的请求全部执行完才退出。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
3.动手实践-安装、部署、量化

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/473658.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【数据结构排序算法篇】----基数排序【实战演练】

【数据结构排序算法篇】----基数排序【实战演练】

作为一名对技术充满热情的学习者，我一直以来都深刻地体会到知识的广度和深度。在这个不断演变的数字时代，我远非专家，而是一位不断追求进步的旅行者。通过这篇博客，我想分享我在某个领域的学习经验，与大家共同探讨、共…
阅读更多...
鸿蒙语言ArkTS（更好的生产力与性能）

鸿蒙语言ArkTS（更好的生产力与性能）

ArkTS是鸿蒙生态的应用开发语言 ArkTS提供了声明式UI范式、状态管理支持等相应的能力，让开发者可以以更简洁、更自然的方式开发应用。 同时，它在保持TypeScript（简称TS）基本语法风格的基础上，进一步通过规范强化静态检…
阅读更多...
Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference

Quantitative Analysis: PIM Chip Demands for LLAMA-7B inference

1 Architecture 如果将LLAMA-7B模型参数量化为4bit，则存储模型参数需要3.3GB。那么，至少PIM chip 的存储至少要4GB。 AiM单个bank为32MB，单个die 512MB，至少需要8个die的芯片。8个die集成在一个芯片上。 提供816bank级别的访存带…
阅读更多...
贪心第一天，别太贪了

贪心第一天，别太贪了

今天是贪心第一天，做376. 摆动序列时脑子都要干烧了，贪心的题还是很有意思的，对于理论知识，我觉得做题的时候就想这两个问题吧： 如何找到局部最优解呢？用这个局部最优解模拟示例后能通过吗？ 455…
阅读更多...
智慧公厕的主要应用

智慧公厕的主要应用

在现代社会中，随着城市化进程的加速推进，公共卫生设施的建设和管理变得愈加重要。而智慧公厕作为一种新型城市公共设施，正以其智能化、高效化的特点，成为改善城市卫生环境的重要手段。智慧公厕运用物联网、互联网、大数据、云计算…
阅读更多...
线索化二叉树（先序，中序，后序）+线索化二叉树的遍历【java详解】

线索化二叉树（先序，中序，后序）+线索化二叉树的遍历【java详解】

目录 线索化二叉树的基本介绍： 举个栗子： 二叉树的中序线索化： 创建HeroNode类，表示节点信息： 编写中序线索化方法代码： 中序线索化遍历代码： 测试代码： 测试结果&#xff1a…
阅读更多...
OpenCV库及在ROS中使用

OpenCV库及在ROS中使用

OpenCV库及在ROS中使用 依赖 cv_bridge image_transport roscpp rospy sensor_msgs std_msgsCMakeLists.txt添加 find_package(OpenCV REQUIRED) include_directories(${OpenCV_INCLUDE_DIRS}) target_link_libraries(pub_img_topic ${catkin_LIBRARIES} ${Opencv_LIBS}) C …
阅读更多...
视觉设计师的项目评审复盘攻略：如何提升设计质量与效率

视觉设计师的项目评审复盘攻略：如何提升设计质量与效率

视觉设计师的角色是至关重要的，以确保设计项目满足预期的质量和结果。作为一名视觉设计师，有必要进行定期的项目审查，以确保项目在正轨上进行，并尽早解决任何问题。在本文中我们将讨论可视化设计人员如何做好项目评审，…
阅读更多...
每日五道java面试题之java基础篇（十）

每日五道java面试题之java基础篇（十）

目录: 第一题 JVM有哪些垃圾回收器？第二题 垃圾回收分为哪些阶段？第三题 线程的⽣命周期？线程有⼏种状态？第四题.ThreadLocal的底层原理第五题.并发、并⾏、串⾏之间的区别 第一题 JVM有哪些垃圾回收器？ ● 新⽣代收集…
阅读更多...
.NET Core WebAPI中使用Log4net 日志级别分类并记录到数据库

.NET Core WebAPI中使用Log4net 日志级别分类并记录到数据库

一、效果 记录日志为文档 记录日志到数据库 二、添加NuGet包 三、log4net.config代码配置 <?xml version"1.0" encoding"utf-8" ?> <log4net><!-- Debug日志 --><appender name"RollingFileDebug" type"log4net…
阅读更多...
51_蓝桥杯_蜂鸣器与继电器

51_蓝桥杯_蜂鸣器与继电器

一 电路 二 蜂鸣器与继电器工作原理 2.1蜂鸣器与继电器 2.2 十六进制与二进制 二进制 0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101 1110 1111 十六进制 0 1 2 3 4 5 6 7 8 9 A B C D E F 2.3非门 二 代码 …
阅读更多...
Nginx （window）2024版 笔记 下载 安装 配置

Nginx （window）2024版 笔记 下载 安装 配置

前言 Nginx (engine x) 是一款轻量级的 Web 服务器 、反向代理&#xff08;Reverse Proxy&#xff09;服务器及电子邮件&#xff08;IMAP/POP3&#xff09;代理服务器。 反向代理方式是指以代理服务器来接受 internet 上的连接请求&#xff0c;然后将请求转发给内部网络上的服…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023