1、基础环境
1.1 python3安装
准备好:python 3.10 (不要用3.8 ,有bug) https://www.python.org/ftp/python/3.10.9/python-3.10.9-amd64.exe
安装完了之后,观察是否添加到path环境变量里了,如果安装的时候忘记勾选自动添加到环境变量,就自己加到path里。
1.2 pytorch 安装
pytorch 安装需要根据自己是否有显卡选择不同的命令安装,官网通过选择你的模式后,会自动生成命令,传送门:PyTorch
如果cpu玩的话,记得选择CPU,安装命令是不同的,执行安装命令就完了。
1.3 配置镜像
配置这个镜像:hf-mirror.com - Huggingface 镜像站
pip install -U huggingface_hub
然后配置环境变量,HF_ENDPOINT=https://hf-mirror.com
1.4 安装transformers 32版本
pip install transformers==4.32.0
1.5 安装CUDA 11.4
我的显卡还没回来,等我回来了我补充这里。
2、通义千问部署
git clone https://github.com/QwenLM/Qwen
然后执行安装依赖的命令,
pip install -r requirements.txt
上面的命令不会安装web页面所需要的依赖,如果需要web ui玩还需要执行下面这个
pip install -r requirements_web_demo.txt
最后运行
python cli_demo.py
//或者
python web_demo.py
如果是CPU跑模型,7B的肯定不行,要用1.8B的 需要修改模型名称
Qwen/Qwen-1_8B-Chat 改成这个,不是Qwen/Qwen-1.8B-Chat哦,会提示找不到模型的。
运行的时候多给个参数即可,web页面或者命令行都支持这个参数。
python cli_demo.py --cpu-only