DeepSeek-7B-chat langchain 接入
这篇主要讲 DeepSeek-7B-chat 如何对接Langchain中 langchain.llms.base 的 LLM 模块，其他关于如何对接向量数据库和gradio的部分请参考internLM langchain模块。
安装依赖
除了需要安装模型的运行依赖之外，还需要安装 langchain 依赖。
pip install langchain==0.0.292
DeepSeek-7B-chat 接入 LangChain
为便捷构建 LLM 应用，我们需要基于本地部署的 DeepSeek-7B-chat，自定义一个 LLM 类，将 DeepSeek-7B-chat 接入到 LangChain 框架中。完成自定义 LLM 类之后，可以以完全一致的方式调用 LangChain 的接口，而无需考虑底层模型调用的不一致。
基于本地部署的 DeepSeek-7B-chat 自定义 LLM 类并不复杂，我们只需从 LangChain.llms.base.LLM 类继承一个子类，并重写构造函数与 _call 函数即可：
from langchain.llms.base import LLM
from typing import Any, List, Optional
from langchain.callbacks.manager import CallbackManagerForLLMRun
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torchclass DeepSeek_LLM(LLM):# 基于本地 InternLM 自定义 LLM 类tokenizer : AutoTokenizer = Nonemodel: AutoModelForCausalLM = Nonedef __init__(self, model_path :str):# model_path: InternLM 模型路径# 从本地初始化模型super().__init__()print("正在从本地加载模型...")self.tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)self.model = AutoModelForCausalLM.from_pretrained(model_path, trust_remote_code=True,torch_dtype=torch.bfloat16, device_map="auto")self.model.generation_config = GenerationConfig.from_pretrained(model_path)self.model.generation_config.pad_token_id = self.model.generation_config.eos_token_idself.model = self.model.eval()print("完成本地模型的加载")def _call(self, prompt : str, stop: Optional[List[str]] = None,run_manager: Optional[CallbackManagerForLLMRun] = None,**kwargs: Any):# 重写调用函数messages = [{"role": "user", "content": prompt}]# 构建输入 input_tensor = self.tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt")# 通过模型获得输出outputs = self.model.generate(input_tensor.to(self.model.device), max_new_tokens=100)response = self.tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)return response@propertydef _llm_type(self) -> str:return "DeepSeek_LLM"
调用
然后就可以像使用任何其他的langchain大模型功能一样使用了。
llm = DeepSeek_LLM('/root/autodl-tmp/deepseek-ai/deepseek-llm-7b-chat')llm('你好')
如下图所示：
