部署langchain+chatglm

先参考:window零基础部署langchain-ChatGLM_飞奔的屎壳郎的博客-CSDN博客

安装一部分, 

1.GCC安装
gcc64位下载
一定要装64位的gcc,因为我的电脑是w10 64位的,装32位运行langchain报错并配置环境变量
可直接用压缩包中的文件:x86_64-8.1.0-release-posix-seh-rt_v6-rev0.7z
软件下载地址:https://sourceforge.net/projects/mingw-w64/files/

安装后解压,然后将bin目录配置到path目录

image.png
gcc64安装验证
gcc -v

2.Visual Studio 2019安装
可直接用压缩包的文件:vs_community__studio2019.exe
官方下载地址:https://visualstudio.microsoft.com/zh-hans/vs/older-downloads/
2019版下载链接,社区版就够用了:https://my.visualstudio.com/Downloads?q=visual%20studio%202019&wt.mc_id=omsftvscom~older-downloads

 注意,需要选择C++开发模块,其余默认,其它根据自己的需求安装就好了,安装路径可以默认,也可以根据自己情况更改一下,然后点击安装就好了,后面都是自动安装了,因为需要在线下载东西,过程有点长,耐心等待一下~~

3.Anaconda安装
可直接用压缩包中的文件:Anaconda3-2023.03-0-Windows-x86_64.exe

下载安装
下载地址:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/

安装的时候选择所有all users,直接下一步就行

4. CUDA安装
安装CUDA11.7
参考https://blog.csdn.net/chen565884393/article/details/127905428

下载安装包
可直接用压缩包的文件:cuda_11.7.1_516.94_windows.exe

下载CUDA,根据自己的配置选择,win10还是win11安装包
下载地址:https://developer.nvidia.com/cuda-11-7-1-download-archive?target_os=Windows&target_arch=x86_64&target_version=10&target_type=exe_local

检查命令:nvcc -V

6. 安装CUDNN
下载CUDNN
可直接用压缩包的文件:cudnn-windows-x86_64-8.5.0.96_cuda11-archive.zip
下载安装包,在NVIDIA官方网站即可下载,地址为:https://developer.nvidia.com/rdp/cudnn-archive

把这CUDNN中三个文件夹的文件分别拷贝到CUDA安装目录对应的(bin、include、lib)文件夹中即可。CUDA的lib目录有x64 、Win32、cmake三个文件夹,拷到其中的x64这个文件夹中

C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin\x64

 torch_stable
下载地址:https://download.pytorch.org/whl/torch_stable.html
下载torch==2.0.1+cu117,可以观察到cu117/torch-2.0.1有很多的版本,cp38对应python3.8,win_amd64对应windows的64位操作系统,根据自己的实际情况进行下载即可。 (+cu117表示CUDA10.1,+cpu表示CPU版本)
 

chatglm_langchain_demo

#Setup envirnment

conda create -n langchain python=3.10 -channel  http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/

conda activate langchain

# 拉取仓库

git clone https://github.com/imClumsyPanda/langchain-ChatGLM.git

# 安装依赖

cd langchain-ChatGLM

python3 -m pip install -r requirements.txt

python3 -m pip install gradio==3.28.3

python3 -m pip install tabulate

#Download models

git lfs install   #此句我没写

git clone https://huggingface.co/THUDM/chatglm-6b-int4

git clone https://huggingface.co/GanymedeNil/text2vec-large-chinese

python3 webui.py

成功

【langchain_chatglm问中级职称评定】 https://www.bilibili.com/video/BV1GW4y1Z7wu/?share_source=copy_web&vd_source=159f872f790f3f11c2991f350622f681

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/26810.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Web3的2048,Sui 8192能否打开全链游戏的大门?

作者:Peng SUN,Foresight News Sui 8192:一局游戏就是一个NFT Sui 8192智能合约基于Move语言编写,构成非常简单,包括游戏、Game Board与排行榜(Leaderboard)三部分,覆盖方块移动、…

Leetcode每日一题(困难):834. 树中距离之和(2023.7.16 C++)

目录 834. 树中距离之和 题目描述: 实现代码与解析: DFS 原理思路: 834. 树中距离之和 题目描述: 给定一个无向、连通的树。树中有 n 个标记为 0...n-1 的节点以及 n-1 条边 。 给定整数 n 和数组 edges , edge…

《C++程序设计原理与实践》笔记 第20章 容器和迭代器

本章和下一章将介绍STL,即C标准库的容器和算法部分。关键概念序列和迭代器用于将容器(数据)和算法(处理)联系在一起。 20.1 存储和处理数据 首先考虑一个简单的例子:Jack和Jill各自在测量车速&#xff0c…

GO语言slice

slice: data lencap 以及存取的元素是可以安全读写的 Slice 扩容。 1,预估: 2,预估容量后*字节数 所需的内存 3,各种语言从OS上提前申请内存,匹配GO规则的内存

Windows搭建SVN环境

VisualSVN Server下载 https://www.visualsvn.com/products VisualSVN Server安装创建仓库创建项目创建用户创建组项目分配组VisualSVN下载 https://www.visualsvn.com/products VisualSVN安装项目检出项目检出路径:https://changwq:8443/svn/dev/InterfaceManage 项…

如何实时记录工序流转状态——手机扫码让进度一目了然

对于生产企业来说记录工序的进展状态非常重要,有一部分中小型企业会使用纸制的“工序流转卡”,每日收集齐后再交由专员人工录入到电脑上,这种方式不仅费时费力,还容易出错,更重要的是无法让管理者实时掌握各个订单的进…

【FPGA】基于C5的第一个SoC工程

文章目录 前言SoC的Linux系统搭建 前言 本文是在毕业实习期间学习FPGA的SoC开发板运行全连接神经网络实例手写体的总结。 声明:本文仅作记录和操作指南,涉及到的操作会尽量细致,但是由于文件过大不会分享文件,具体软件可以自行搜…

程序环境和预处理超详细讲解

目录 程序的翻译环境和执行环境 详解编译链接 翻译环境 编译本身也分为几个阶段 运行环境 预处理(预编译)详解 预定义符号 #define #define 定义标识符 #define 定义宏 #define 替换规则 #和## ## 的作用 带副作用的宏参数 宏和函数对比 …

服务器反向代理

反向代理作用 隐藏服务器信息 -> 保证内网的安全,通常将反向代理作为公网访问地址,web服务器是内网,即通过nginx配置外网访问web服务器内网 举例 百度的网址是:http://www.baidu.com , 现在我通过自己的服务器地…

mysql 备份

mysql 备份 1. 备份的类型2.备份的类容3. 备份工具1:MySQL自带的备份工具2:文件系统备份工具3:其他工具 4:备份的策略1. 直接拷贝数据库文件2. mysqldump备份数据库3. mydumper备份数据库4.lvm快照从物理角度实现几乎热备的完全备份&#xff…

Webpack原理与实战 --- Webpack 核心特性

如何使用 Webpack 实现模块化打包? 对模块化打包方案或工具的设想或者说是诉求: 能够将散落的模块打包到一起;能够编译代码中的新特性;能够支持不同种类的前端资源模块。 其中最为主流的就是 Webpack、Parcel 和 Rollup 以 We…

2023年7月广州/东莞/深圳传统行业产品经理NPDP认证招生

产品经理国际资格认证NPDP是新产品开发方面的认证,集理论、方法与实践为一体的全方位的知识体系,为公司组织层级进行规划、决策、执行提供良好的方法体系支撑。 【认证机构】 产品开发与管理协会(PDMA)成立于1979年,是…