Baichuan2百川模型部署的bug汇总-编程知识

Baichuan2百川模型部署的bug汇总

news/2024/10/7 3:30:08/文章来源:https://blog.csdn.net/lsf_007/article/details/135643129

1.4bit的量化版本最好不要在Windows系统中运行，大概原因报错原因是bitsandbytes不支持window，bitsandbytes-windows目前仅支持8bit量化。

2. 在这里插入图片描述

报错原因是机器没有足够的内存和显存，offload_folder设置一个文件夹来保存那些离线加载到硬盘的权重。
ag：需要再cli_demo.py的文件中增加
在这里插入图片描述

offload_folder="offload" model.float()

3.安装对应的cuda版本 Python版本 pytorch版本
读者有bug可以在评论区留言，我会尽可能回复解答

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/411033.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

数据结构和算法的部分例题（力扣）

1.数组 1.1 合并一个数组的两个有序区间 public class MargTwo {public static void main(String[] args) {int[] arr1{1,5,6,2,4,10,11};int[] arr2new int[arr1.length];marg2(arr1,0,2,3,6,arr2);}private static void marg2(int[]arr1,int iStar,int iEnd,int jStar,int j…

具于xilinx FPGA的可动态配置DDS频率控制字的DDS IP核使用例程详解

目录 1 概述2 IP examples功能3 IP 使用例程4注意事项5 DDS IP Examples下载位置 1 概述本文用于讲解xilinx IP 的dds ip examples（动态配置频率）的功能说明，方便使用者快速上手。 2 IP examples功能本examples 是月隐编写的针对DDS的使…

基于Matlab/Simulink的MIL仿真验证解决方案

文章目录需求追溯虚拟环境模型检查仿真验证测试报告参考文献针对模型开发阶段的ECU算法，可以很直接地将其与虚拟车辆模型连接起来，通过MIL对其进行验证和确认。可以在开发过程的早期检测到设计错误和不正确的需求，也有助于安全地…

App分发测试平台：改变应用开发的游戏规则

App分发测试平台是一个提供应用开发者上传、测试、分享和发布应用的在线服务平台。它为开发者提供了一个高效的测试环境，并为用户提供了一个方便的应用获取渠道。其中，测试环节尤为关键，因为它能够确保应用在上线之前达到预期的功能和性能。 …

React 基于Ant Degisn 实现table表格列表拖拽排序

效果图： 代码： myRow.js import { MenuOutlined } from ant-design/icons; import { DndContext } from dnd-kit/core; import { restrictToVerticalAxis } from dnd-kit/modifiers; import {arrayMove,SortableContext,useSortable,verticalListSorti…

【SSM】—— Spring+SpringMVC+MyBatis整合使用

目录 SSM整合流程 1、创建工程 2、SSM整合 1)Spring 2)MyBatis 3)SpringMVC 3、功能模块表与实体类 dao（接口自动代理） service（接口实现类） controller 4、测试 SSM整合流程 1、创建工程新建模块可参考&#xff…

【Qt】Qt配置

需要云服务器等云产品来学习Linux的同学可以移步/-->腾讯云<--/-->阿里云<--/-->华为云<--/官网，轻量型云服务器低至112元/年，新用户首次下单享超低折扣。目录一、Qt SDK下载二、配置环境变量三、新建工程(QWidget) 四、QWidg…

Python ❀ 使用代码实现API接口调用详解

文章目录 1. 工具准备1.1. requests代码包1.2. BurpSuite抓包工具 2. 操作过程2.1. 一个简单的请求2.1.1. Burp获取响应2.1.2. 转发获取响应 2.2. 构造GET类型URL参数2.3. 构造请求头部2.4. 构造POST类型payload数据本文主要讲解常用API接口如何使用python实现。 API&#xff…

【问题+解决】axios/vue/element/echarts引入报错

缘由笔者在html页面引用vue来快速实现页面；<head></head>中通过<script>src""></script>方法引入，开始引入，应用都是正常，后来用了也没问题；奇怪的是，前几天发现htm…

Docker registry镜像仓库，私有仓库及harbor管理详解

目录 registry镜像仓库概述 Docker 镜像仓库（Docker Registry）： registry 容器： 私有仓库概述搭建本地私有仓库示例 Harbor概述 harbor架构详解构成 Harbor由容器构成 Harbor部署示例环境准备部署Docker-Compose服…

Elasticsearch8 集群搭建（二）配置篇：（1）节点和集群配置

安装完Elasticsearch后，需要对其进行配置，包括以下几部分：节点和集群配置、系统配置、安全配置。此篇记录节点和集群配置的内容，后续将更新系统配置和安全配置。节点和集群配置： 通过编辑/usr/local/elasticsearc…

【STM32调试】寄存器调试不良问题记录持续版

STM32寄存器调试不良问题记录 NVIC（内嵌的中断向量控制器）EXTI（外部中断/事件） 记录一些stm32调试过程中：不易被理解、存在使用误区、不清不楚、是坑、使用常识等方面的一些记录。本记录只包含stm32的内核以及外设等寄…

Baichuan2百川模型部署的bug汇总

相关文章