Qwen2-VL华为卡300i duo环境搭建推理测试

引子
前面也写过华为300i duo DeepSeek的环境搭建&推理测试,感兴趣的同事请移步(https://blog.csdn.net/zzq1989_/article/details/146149684?spm=1001.2014.3001.5501)。多模态华为卡的适配倒是一直没有出过相关的博客。刚好遇到需要Qwen2-VL的配置,安装。OK, 那就让我们开始吧。
一、模型介绍
请移步(https://blog.csdn.net/zzq1989_/article/details/142332651?spm=1001.2014.3001.5501)
二、环境安装
1、下载模型
modelscope download --model Qwen/Qwen2-VL-7B-Instruct --local dir /home/aicc/modelscope/qwen2_vl_7b_2
修改模型里的config.json里面的文件如下:修改torch_dtype(由bfloat16改成float16):
0
0
2、启动docker
docker run -dit -u root --name mindie_qwen_vl_zzq -e ASCEND_RUNTIME_OPTIONS=NODRV --privileged=true -v /home/aicc:/home/aicc -v /data:/data -v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ -v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ -v /usr/local/sbin/:/usr/local/sbin -v /etc/ascend_install.info:/etc/ascend_install.info -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size=100g --net=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash
进到下面路径:
docker exec -it -u 0 mindie_qwen_vl_zzq bashcd /usr/local/Ascend/atb-models
pip install -r requirements/models/requirements_qwen2_vl.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
3、修改ip和端口号,检查httpsEnabled是否是false
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
0
4、配置大模型路径、name和分配对应的芯片
0
三、推理测试
1、启动服务:
export MASTER_ADDR=localhost
export MASTER_PORT=7896
cd /usr/local/Ascend/mindie/latest/mindie-service/bin
export MINDIE_LOG_TO_STDOUT=1
export MINDIE_CHECK_INPUTFILES_PREMISSION=0
export MINDIE_LLM_PYTHON_LOG_TO_STDOUT=1
export MINDIE_LLM_PYTHON_LOG_TO_FILE=1./mindieservice_daemon 
通过watch -n 1 npu-smi info命令查看当前的npu程序,看看是否加载顺利
0
2、用curl命令本地访问大模型,看是否有返回结果
 curl 172.16.7.240:1025/v1/chat/completions -d '{
  "model": "qwen2_vl",
  "messages": [{
    "role": "user",
    "content": [
      {"type": "image_url", "image_url": "/home/aicc/modelscope/test.jpeg"},
      {"type": "text", "text": "介绍图中的内容."}
    ]
  }],
  "max_tokens": 512,
  "do_sample": true,
  "repetition_penalty": 1.00,
  "temperature": 0.9,
  "top_p": 0.95,
  "top_k": 1
}'
0
 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/900315.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

EWM528-2G4NW20SX系列LORA MESH无线组网模块深度测评

1.LORA MESH模块产品简介 EWM528-2G4NW20SX、EWM528-2G4NW27SX系列LORA MESH无线组网模块基于先进的无线通信技术打造。在输出功率方面,LORA MESH模块能提供稳定且适配多种场景的功率支持,保障信号的有效传输范围。空中速率表现出色,可满足大量数据快速传输的需求,提升工作…

SQLService 导入excel数据生成一个数据表

SQLService 导入excel数据生成一个数据表 1、先选择导入的数据库右键任务=》选择导入数据 2、选择导入的数据源excel 3、选择excel的的地址和格式。 如果不知道格式的可以excel、另存改格式。 4、选择选择OLE DB Provider ,点击 下一步(Next) 5、选择默认下一步。 6、勾选 源…

20242935 2024-2025-2 《网络攻防实践》第三周作业

20242935 2024-2025-2 《网络攻防实践》第三周作业 网络嗅探与协议分析 一、实验要求 (1)动手实践tcpdump 使用tcpdump开源软件对在本机上访问www.tianya.cn网站过程进行嗅探,回答问题:你在访问www.tianya.cn网站首页时,浏览器将访问多少个Web服务器?他们的IP地址都是什…

ASE40N30-ASEMI电源管理专用ASE40N30

ASE40N30-ASEMI电源管理专用ASE40N30编辑:LL ASE40N30-ASEMI电源管理专用ASE40N30 型号:ASE40N30 品牌:ASEMI 封装:TO-220F 最大漏源电流:40A 漏源击穿电压:300V 批号:最新 RDS(ON)Max:12mΩ 引脚数量:3 沟道类型:N沟道MOS管 封装尺寸:如图 特性:MOS管、N沟道MO…

FANUC机器人维修SRVO-050报警代码诠析

仔细查阅发那科机器人所提供的故障原因及其相应的FANUC机器人维修处理措施,并逐条进行深入剖析。机器人发出碰撞报警,通常可以归结为以下六种情形。即机器人确实发生了碰撞,因此触发了报警机制。这一问题多发生在机器人的初期调试阶段,往往是由于调试人员对于空间概念的把…

京准电钟:高精度北斗卫星对时装置电力系统改造方案

京准电钟:高精度北斗卫星对时装置电力系统改造方案京准电钟:高精度北斗卫星对时装置电力系统改造方案 京准电钟:高精度北斗卫星对时装置电力系统改造方案 京准电钟官微——ahjzsz随着电力系统对时间同步精度、安全性和自主可控需求的提升,北斗卫星授时技术逐渐替代GPS成为主…

IDEA Plugins:GitToolBox

官网插件下载: https://plugins.jetbrains.com/plugin/7499-gittoolbox/versions/stable 一定要选择IDEA对应的版本 下载后离线安装 安装后重启IDEAI have a dream : Sandy beach B-J-N.

北京大学DeepSeek全家桶(大礼包免费下载)

【摘要】 最近被北京大学发布的DeepSeek系列技术文档刷屏了,曾经,我以为AI还只是实验室里遥不可及的神秘代码,如今才明白,它早已飞入寻常百姓家,成为我们生活里不可或缺的得力助手。全6册PDF资料已打包,点击下载 https://www.linuxyz.cn/5633.html 一、技术原理:国产AI的…

《数字化时代质量工程白皮书2021版》读书笔记

《数字化时代质量工程白皮书2021版》读书笔记 概念质量评估:QPS 每秒查询数、TPS 每秒处理数、响应时间、吞吐量SLA相关使用:MTTF平均故障时间、MTBF平均故障间隔时间、MTTR平均修复时间测试准入评估:单元测试覆盖率、冒烟case通过率;测试准出评估:用例执行率、bug闭环率、…

Hgame-final复盘

我是废物RE Crackme获得name为"hgame"的许可证__int64 __fastcall sub_1400123F0(HINSTANCE a1) {char *v1; // rdi__int64 i; // rcxchar v4[32]; // [rsp+0h] [rbp-60h] BYREFchar v5; // [rsp+60h] [rbp+0h] BYREFWNDCLASSW WndClass; // [rsp+70h] [rbp+10h] BYR…

011 App宽高铺满和Element-Plus的CS

1、让app的盒子沾满屏幕 首先我们给app一个底色 可以看到并没有占满 可以看到app在这个盒子里面 所以应该先让这个盒子占满 方法一:(应为需要改index.html,不推荐,但是可以看一下) 可以看到 方法二(推荐) 这段代码,用来设置元素的尺寸:width: 100vw;:width表示元素…

5. 创建一个栅栏布局组件-DeepSeek辅助编程

在deepseek中输入:创建一个vue组件 组件实现栅栏布局的功能 deepseek返回的代码: Row.vue<template><div class="grid-row":style="rowStyle":class="rowClass"><slot></slot></div> </template><scri…