引子
前面也写过华为300i duo DeepSeek的环境搭建&推理测试，感兴趣的同事请移步（https://blog.csdn.net/zzq1989_/article/details/146149684?spm=1001.2014.3001.5501）。多模态华为卡的适配倒是一直没有出过相关的博客。刚好遇到需要Qwen2-VL的配置，安装。OK， 那就让我们开始吧。
一、模型介绍
请移步（https://blog.csdn.net/zzq1989_/article/details/142332651?spm=1001.2014.3001.5501）
二、环境安装
1、下载模型
modelscope download --model Qwen/Qwen2-VL-7B-Instruct --local dir /home/aicc/modelscope/qwen2_vl_7b_2
修改模型里的config.json里面的文件如下：修改torch_dtype(由bfloat16改成float16):
2、启动docker
docker run -dit -u root --name mindie_qwen_vl_zzq -e ASCEND_RUNTIME_OPTIONS=NODRV --privileged=true -v /home/aicc:/home/aicc -v /data:/data -v /usr/local/Ascend/driver/:/usr/local/Ascend/driver/ -v /usr/local/Ascend/firmware/:/usr/local/Ascend/firmware/ -v /usr/local/sbin/:/usr/local/sbin -v /etc/ascend_install.info:/etc/ascend_install.info -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi --shm-size=100g --net=host --cap-add=SYS_PTRACE --security-opt seccomp=unconfined swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts /bin/bash
进到下面路径：
docker exec -it -u 0 mindie_qwen_vl_zzq bashcd /usr/local/Ascend/atb-models
pip install -r requirements/models/requirements_qwen2_vl.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
3、修改ip和端口号，检查httpsEnabled是否是false
vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json
4、配置大模型路径、name和分配对应的芯片
三、推理测试
1、启动服务：
export MASTER_ADDR=localhost
export MASTER_PORT=7896
cd /usr/local/Ascend/mindie/latest/mindie-service/bin
export MINDIE_LOG_TO_STDOUT=1
export MINDIE_CHECK_INPUTFILES_PREMISSION=0
export MINDIE_LLM_PYTHON_LOG_TO_STDOUT=1
export MINDIE_LLM_PYTHON_LOG_TO_FILE=1./mindieservice_daemon
通过watch -n 1 npu-smi info命令查看当前的npu程序，看看是否加载顺利
2、用curl命令本地访问大模型，看是否有返回结果
curl 172.16.7.240:1025/v1/chat/completions -d '{
"model": "qwen2_vl",
"messages": [{
"role": "user",
"content": [
{"type": "image_url", "image_url": "/home/aicc/modelscope/test.jpeg"},
{"type": "text", "text": "介绍图中的内容."}
]
}],
"max_tokens": 512,
"do_sample": true,
"repetition_penalty": 1.00,
"temperature": 0.9,
"top_p": 0.95,
"top_k": 1
}'
