L2G2-Lagent 自定义你的 Agent 智能体
1. Agent 入门
1.1 Agent 是什么
Agent 的核心是将感知,推理和行动结合成一个闭环。Agent 通过感知器感知外部的环境,获取输入的数据。然后输入数据到某种形式中(比如模型),它负责处理输入数据,制定行动策略。随后执行器根据模型的输出执行操作,比如控制机器人的移动,调用工具完成特定任务。
Agent 有四个基本特性:
- 自主性:能够独立完成决策;
- 交互性:与外界环境实时交换信息。
- 适应性:根据环境变化调整自身行为。
- 目的性:最重要的特性,Agent 的所有行为都以实现特定目标为导向。
右下角是 Agent 的经典工作组件图:
- 记忆存储:记录历史信息,为未来的决策提供支持。
- 规划模块:回答如何解决问题,以及调用哪些工具。
- 工具集:可以使用的工具的集合,由规划模块需要根据任务选择合适的工具。
- 行动模块:完成最终的操作,形成闭环反馈。
【大模型研讨课第六期(共 10 期):推理 2】 【精准空降到 43:38】
1.2 LLM 智能体框架——以 Lagent 为例
Lagent 是一个轻量级开源智能体框架,旨在让用户可以高效地构建基于大语言模型的智能体。同时它也提供了一些典型工具以增强大语言模型的能力。
Lagent 目前已经支持了包括 AutoGPT、ReAct 等在内的多个经典智能体范式。
其基本结构如下所示:
- LLM:大语言模型,中心模块,负责推理规划和生成响应。
- Action Executor:行动执行器,负责支持调用多种外部的工具。比如在 Lagent 中集成了以下工具:
- Arxiv 搜索
- Bing 地图
- Google 学术搜索
- Google 搜索
- 交互式 IPython 解释器
- IPython 解释器
- PPT
- Python 解释器
- 等等
- Plan and Action:支持多种推理模式。
LLM智能体典型框架如下图所示:
1.3 常见工具调用能力范式(智能体范式)
1.3.1 通用智能体范式
这种范式强调模型无需依赖特定的特殊标记(special token)来定义工具调用的参数边界。模型依靠其强大的指令跟随与推理能力,在指定的system prompt框架下,根据任务需求自动生成响应。这种方式让模型在推理过程中能更灵活地适应多种任务,不需要对 Tokenizer 进行特殊设计。
优势:
- 灵活适应不同任务,无需设计和维护复杂的标记系统。
- 适合快速迭代,降低微调和部署的复杂性。
- 更易与多模态输入(如文本和图像)结合,扩展模型的通用性。
劣势:
- 由于没有明确标记,调用工具时的错误难以捕捉和纠正。
- 在复杂任务中,模型生成可能不够精准,导致工具调用的准确性下降。
典型例子1:ReAct
将模型的推理分为Reason和Action两个步骤,并让它们交替执行,直到得到最终结果:
- Reason:生成分析步骤,解释当前任务的上下文或状态,帮助模型理解下一步行动的逻辑依据。
- Action:基于 Reason 的结果,生成具体的工具调用请求(如查询搜索引擎、调用 API、数据库检索等),将模型的推理转化为行动。
典型例子2:ReWoo
全称为Reason without Observation,是在 ReAct 范式基础上进行改进的 Agent 架构,针对多工具调用的复杂性与冗余性提供了一种高效的解决方案。相比于 ReAct 中的交替推理和行动,ReWoo直接生成一次性使用的完整工具链,减少了不必要的 Token 消耗和执行时间。同时,由于工具调用的规划与执行解耦,这一范式在模型微调时不需要实际调用工具即可完成。
- Planner:用户输入的问题或任务首先传递给 Planner,Planner 将其分解为多个逻辑上相关的计划。每个计划包含推理部分(Reason)以及工具调用和参数(Execution)。Task List 按顺序列出所有需要执行的任务链。
- Worker:每个 Worker 根据 Task List 中的子任务,调用指定工具并返回结果。所有 Worker 之间通过共享状态保持任务执行的连续性。
- Solver阶段:Worker 完成任务后,将所有结果同步到 Solver。Solver 会对这些结果进行整合,并生成最终的答案或解决方案返回给用户。
1.3.2 模型特化智能体范式
模型特化智能体范式强调在模型的工具调用过程中,使用特定的特殊标记(special tokens )来明确调用的起止点。这些标记通常与模型的 Tokenizer 深度集成,确保在执行特定任务时,能够准确识别并执行相应的工具调用。
优势:
- 特定标记明确工具调用的起止点,提高了调用的准确性。
- 有助于模型在部署过程中避免误调用,增强系统的可控性。
- 提高对复杂调用链的支持,适合复杂任务的场景。
劣势:
- 需要对 Tokenizer 和模型架构进行定制,增加开发和维护成本。
- 调用流程固定,降低了模型的灵活性,难以适应快速变化的任务。
典型例子:IntermLM2
工具调用使用了如 <|plugin|>
、<|interpreter|>
、<|action_start|>
和 <|action_end|>
等特殊标记,确保每个调用都符合指定的格式。模型在执行任务时,依靠这些标记与系统紧密协作,保障任务的精准执行。文档链接:InternLM-Chat Agent
1.3.3 两种范式的对比
1.4 Lagent 框架中 Agent 的使用
工具调用流程:
- 用户输入JSON或者字典形式的参数,通过Action Executor传递给工具。
- Action Executor动态地触发工具并返回结果。
- 结果以标准形式输出,供Agent使用。
在Lagent中,动作也被成为工具,即下图中的Action Executor模块。
2. 实战1:让大模型学会搜文献
2.1 功能概览
2.2 代码实现
创建一个代码example,创建agent_api_web_demo.py
,在里面实现我们的Web Demo:
conda activate lagent
cd /root/agent_camp4/lagent/examples
touch agent_api_web_demo.py
Action,也称为工具,Lagent中集成了很多好用的工具,提供了一套LLM驱动的智能体用来与真实世界交互并执行复杂任务的函数,包括谷歌文献检索、Arxiv文献检索、Python编译器等。具体可以查看文档。
让我们来体验一下,让LLM调用Arxiv文献检索这个工具:
在agent_api_web_demo.py
中写入下面的代码,这里利用 GPTAPI
类,该类继承自 BaseAPILLM
,封装了对 API 的调用逻辑,然后利用Streamlit
启动Web服务:
import copy
import os
from typing import List
import streamlit as st
from lagent.actions import ArxivSearch
from lagent.prompts.parsers import PluginParser
from lagent.agents.stream import INTERPRETER_CN, META_CN, PLUGIN_CN, AgentForInternLM, get_plugin_prompt
from lagent.llms import GPTAPIclass SessionState:"""管理会话状态的类。"""def init_state(self):"""初始化会话状态变量。"""st.session_state['assistant'] = [] # 助手消息历史st.session_state['user'] = [] # 用户消息历史# 初始化插件列表action_list = [ArxivSearch(),]st.session_state['plugin_map'] = {action.name: action for action in action_list}st.session_state['model_map'] = {} # 存储模型实例st.session_state['model_selected'] = None # 当前选定模型st.session_state['plugin_actions'] = set() # 当前激活插件st.session_state['history'] = [] # 聊天历史st.session_state['api_base'] = None # 初始化API base地址def clear_state(self):"""清除当前会话状态。"""st.session_state['assistant'] = []st.session_state['user'] = []st.session_state['model_selected'] = Noneclass StreamlitUI:"""管理 Streamlit 界面的类。"""def __init__(self, session_state: SessionState):self.session_state = session_stateself.plugin_action = [] # 当前选定的插件# 初始化提示词self.meta_prompt = META_CNself.plugin_prompt = PLUGIN_CNself.init_streamlit()def init_streamlit(self):"""初始化 Streamlit 的 UI 设置。"""st.set_page_config(layout='wide',page_title='lagent-web',page_icon='./docs/imgs/lagent_icon.png')st.header(':robot_face: :blue[Lagent] Web Demo ', divider='rainbow')def setup_sidebar(self):"""设置侧边栏,选择模型和插件。"""# 模型名称和 API Base 输入框model_name = st.sidebar.text_input('模型名称:', value='internlm2.5-latest')# ================================== 硅基流动的API ==================================# 注意,如果采用硅基流动API,模型名称需要更改为:internlm/internlm2_5-7b-chat 或者 internlm/internlm2_5-20b-chat# api_base = st.sidebar.text_input(# 'API Base 地址:', value='https://api.siliconflow.cn/v1/chat/completions'# )# ================================== 浦语官方的API ==================================api_base = st.sidebar.text_input('API Base 地址:', value='https://internlm-chat.intern-ai.org.cn/puyu/api/v1/chat/completions')# ==================================================================================# 插件选择plugin_name = st.sidebar.multiselect('插件选择',options=list(st.session_state['plugin_map'].keys()),default=[],)# 根据选择的插件生成插件操作列表self.plugin_action = [st.session_state['plugin_map'][name] for name in plugin_name]# 动态生成插件提示if self.plugin_action:self.plugin_prompt = get_plugin_prompt(self.plugin_action)# 清空对话按钮if st.sidebar.button('清空对话', key='clear'):self.session_state.clear_state()return model_name, api_base, self.plugin_actiondef initialize_chatbot(self, model_name, api_base, plugin_action):"""初始化 GPTAPI 实例作为 chatbot。"""token = os.getenv("token")if not token:st.error("未检测到环境变量 `token`,请设置环境变量,例如 `export token='your_token_here'` 后重新运行 X﹏X")st.stop() # 停止运行应用# 创建完整的 meta_prompt,保留原始结构并动态插入侧边栏配置meta_prompt = [{"role": "system", "content": self.meta_prompt, "api_role": "system"},{"role": "user", "content": "", "api_role": "user"},{"role": "assistant", "content": self.plugin_prompt, "api_role": "assistant"},{"role": "environment", "content": "", "api_role": "environment"}]api_model = GPTAPI(model_type=model_name,api_base=api_base,key=token, # 从环境变量中获取授权令牌meta_template=meta_prompt,max_new_tokens=512,temperature=0.8,top_p=0.9)return api_modeldef render_user(self, prompt: str):"""渲染用户输入内容。"""with st.chat_message('user'):st.markdown(prompt)def render_assistant(self, agent_return):"""渲染助手响应内容。"""with st.chat_message('assistant'):content = getattr(agent_return, "content", str(agent_return))st.markdown(content if isinstance(content, str) else str(content))def main():"""主函数,运行 Streamlit 应用。"""if 'ui' not in st.session_state:session_state = SessionState()session_state.init_state()st.session_state['ui'] = StreamlitUI(session_state)else:st.set_page_config(layout='wide',page_title='lagent-web',page_icon='./docs/imgs/lagent_icon.png')st.header(':robot_face: :blue[Lagent] Web Demo ', divider='rainbow')# 设置侧边栏并获取模型和插件信息model_name, api_base, plugin_action = st.session_state['ui'].setup_sidebar()plugins = [dict(type=f"lagent.actions.{plugin.__class__.__name__}") for plugin in plugin_action]if ('chatbot' not in st.session_state ormodel_name != st.session_state['chatbot'].model_type or'last_plugin_action' not in st.session_state orplugin_action != st.session_state['last_plugin_action'] orapi_base != st.session_state['api_base'] ):# 更新 Chatbotst.session_state['chatbot'] = st.session_state['ui'].initialize_chatbot(model_name, api_base, plugin_action)st.session_state['last_plugin_action'] = plugin_action # 更新插件状态st.session_state['api_base'] = api_base # 更新 API Base 地址# 初始化 AgentForInternLMst.session_state['agent'] = AgentForInternLM(llm=st.session_state['chatbot'],plugins=plugins,output_format=dict(type=PluginParser,template=PLUGIN_CN,prompt=get_plugin_prompt(plugin_action)))# 清空对话历史st.session_state['session_history'] = []if 'agent' not in st.session_state:st.session_state['agent'] = Noneagent = st.session_state['agent']for prompt, agent_return in zip(st.session_state['user'], st.session_state['assistant']):st.session_state['ui'].render_user(prompt)st.session_state['ui'].render_assistant(agent_return)# 处理用户输入if user_input := st.chat_input(''):st.session_state['ui'].render_user(user_input)# 调用模型时确保侧边栏的系统提示词和插件提示词生效res = agent(user_input, session_id=0)st.session_state['ui'].render_assistant(res)# 更新会话状态st.session_state['user'].append(user_input)st.session_state['assistant'].append(copy.deepcopy(res))st.session_state['last_status'] = Noneif __name__ == '__main__':main()
在终端中记得先将获取的API密钥写入环境变量,然后再输入启动命令:
export token='your_token_here' # 也可以在.bashrc中写入,然后source执行
streamlit run agent_api_web_demo.py
启动成功:
接下来在vscode的终端中做端口映射,streamlit默认是8501端口:
然后直接点击终端中的Local URL
即可在本地浏览器打开网页:
页面的侧边栏有三个内容,分别是模型名称、API Base地址和插件选择,其中如果采用浦语的API,模型名称可以选择internlm2.5-latest,默认指向最新发布的 InternLM2.5 系列模型,
备注: 如果采用硅基流动API,模型名称需要更改为:internlm/internlm2_5-7b-chat
或者 internlm/internlm2_5-20b-chat
。
未开启ArxivSearch插件时,让模型“帮我搜索最新的Multilingual clip Embedding模型”。
得到结果如下:它会给出截止最后的更新日期(2023年4月)的论文,但本文写作时间已经是2025年2月23日了。
开启ArxivSearch插件,再次提问:
得到了最新的论文。
3. 实战2:自定义大模型天气助手
3.1 功能概览
3.2 代码实现
在完成了上面的内容后,可能就会同学好奇了,那么我应该如何基于Lagent框架实现一个自己的工具,赋予LLM额外的能力? 本节将会以实时天气查询为例子,通过调用和风天气API,介绍如何自定义一个自己的Agent。
Lagent 框架的工具部分文档可以在此处查看:Lagent 工具文档。
使用 Lagent 自定义工具主要分为以下3步:
(1)继承 BaseAction
类
(2)实现简单工具的 run
方法;或者实现工具包内每个子工具的功能
(3)简单工具的 run
方法可选被 tool_api
装饰;工具包内每个子工具的功能都需要被 tool_api
装饰
首先,为了使用和风天气的 API 服务,你需要获取一个 API Key。请按以下步骤操作:
(1)访问 和风天气 API 文档(需要注册账号)。
(2)点击页面右上角的“控制台”。
(3)在控制台中,点击左侧的“项目管理”,然后点击右上角“创建项目”。
(4)输入项目名称(可以使用“Lagent”),选择免费订阅,并在凭据设置中创建新的凭据。
(5)创建后,回到“项目管理”页面,找到你的 API Key 并复制保存。
在~/.bashrc
中export weather_token="your api key"
,并source ~/.bashrc
执行。
[!caution]
export语句是shell语法,在等号两边不能加空格。
export weather_token="you_api_key"
接着,我们需要在laegnt/actions
文件夹下面创建一个天气查询的工具程序。
conda activate lagent
cd /root/agent_camp4/lagent/lagent/actions
touch weather_query.py
贴入如下python代码:
import os
import requests
from lagent.actions.base_action import BaseAction, tool_api
from lagent.schema import ActionReturn, ActionStatusCodeclass WeatherQuery(BaseAction):def __init__(self):super().__init__()self.api_key = os.getenv("weather_token")print(self.api_key)if not self.api_key:raise EnvironmentError("未找到环境变量 'token'。请设置你的和风天气 API Key 到 'weather_token' 环境变量中,比如export weather_token='xxx' ")@tool_apidef run(self, location: str) -> dict:"""查询实时天气信息。Args:location (str): 要查询的地点名称、LocationID 或经纬度坐标(如 "101010100" 或 "116.41,39.92")。Returns:dict: 包含天气信息的字典* location: 地点名称* weather: 天气状况* temperature: 当前温度* wind_direction: 风向* wind_speed: 风速(公里/小时)* humidity: 相对湿度(%)* report_time: 数据报告时间"""try:# 如果 location 不是坐标格式(例如 "116.41,39.92"),则调用 GeoAPI 获取 LocationIDif not ("," in location and location.replace(",", "").replace(".", "").isdigit()):# 使用 GeoAPI 获取 LocationIDgeo_url = f"https://geoapi.qweather.com/v2/city/lookup?location={location}&key={self.api_key}"geo_response = requests.get(geo_url)geo_data = geo_response.json()if geo_data.get("code") != "200" or not geo_data.get("location"):raise Exception(f"GeoAPI 返回错误码:{geo_data.get('code')} 或未找到位置")location = geo_data["location"][0]["id"]# 构建天气查询的 API 请求 URLweather_url = f"https://devapi.qweather.com/v7/weather/now?location={location}&key={self.api_key}"response = requests.get(weather_url)data = response.json()# 检查 API 响应码if data.get("code") != "200":raise Exception(f"Weather API 返回错误码:{data.get('code')}")# 解析和组织天气信息weather_info = {"location": location,"weather": data["now"]["text"],"temperature": data["now"]["temp"] + "°C", "wind_direction": data["now"]["windDir"],"wind_speed": data["now"]["windSpeed"] + " km/h", "humidity": data["now"]["humidity"] + "%","report_time": data["updateTime"]}return {"result": weather_info}except Exception as exc:return ActionReturn(errmsg=f"WeatherQuery 异常:{exc}",state=ActionStatusCode.HTTP_ERROR)
其中,WeatherQuery
类继承自 BaseAction
,这是 Lagent 的基础工具类,提供了工具的框架逻辑。tool_api
是一个装饰器,用于标记工具中具体执行逻辑的函数,使得 Lagent 智能体能够调用该方法执行任务。run
方法是工具的主要逻辑入口,通常会根据输入参数完成一项任务并返回结果。
在具体函数实现上,利用GeoAPI 获取 LocationID,当用户输入的 location
不是经纬度坐标格式(如 116.41,39.92
),则使用和风天气的 GeoAPI
将位置名转换为 LocationID
,并通过 Weather API
获取目标位置的实时天气数据。最后,解析返回的 JSON 数据,并格式化为结构化字典:
在/root/agent_camp4/lagent/lagent/actions/__init__.py
中加入下面的代码,用以初始化WeatherQuery
方法:
from .weather_query import WeatherQuery # 新增这行
__all__ = ['BaseAction', 'ActionExecutor', 'AsyncActionExecutor', 'InvalidAction','FinishAction', 'NoAction', 'BINGMap', 'AsyncBINGMap', 'ArxivSearch','AsyncArxivSearch', 'GoogleSearch', 'AsyncGoogleSearch', 'GoogleScholar','AsyncGoogleScholar', 'IPythonInterpreter', 'AsyncIPythonInterpreter','IPythonInteractive', 'AsyncIPythonInteractive','IPythonInteractiveManager', 'PythonInterpreter', 'AsyncPythonInterpreter','PPT', 'AsyncPPT', 'WebBrowser', 'AsyncWebBrowser', 'BaseParser','JsonParser', 'TupleParser', 'tool_api', 'WeatherQuery' # 新增这里
]
接下来,我们将修改 2.2小节中的Web Demo 脚本来集成自定义的 WeatherQuery
插件。
打开agent_api_web_demo.py
, 修改内容如下,目的是将该工具注册进大模型的插件列表中,使得其可以知道。
- from lagent.actions import ArxivSearch
+ from lagent.actions import ArxivSearch, WeatherQuery
- # 初始化插件列表
- action_list = [
- ArxivSearch(),
- ]
+ action_list = [
+ ArxivSearch(),
+ WeatherQuery(),
+ ]
再次启动Web程序,streamlit run agent_api_web_demo.py
。
可以看到左侧的插件栏多了天气查询插件,我们首先输入命令“帮我查询一下厦门现在的天气”,可以看到模型无法知道现在的实时天气情况。
现在,我们将2个插件同时勾选上,用以说明模型具备识别调用不同工具的能力,什么任务对应什么工具来解决。
这次我们查询一下厦门(随便什么城市都行的☀️)的天气,输入命令“帮我查询一下厦门现在的天气”。 现在,大模型通过天气查询的API准确地完成了这个任务:
如果我们再次询问,让其搜索文献,可以看到,模型具备了根据任务情况调用不同工具的能力。
4. 实战3:Multi-Agents博客写作系统的搭建
4.1 功能概览
4.2 代码实现
在这一节中,我们将使用 Lagent 来构建一个多智能体系统 (Multi-Agent System),展示如何协调不同的智能代理完成内容生成和优化的任务。我们的多智能体系统由两个主要代理组成:
(1)内容生成代理(作家):负责根据用户的主题提示生成一篇结构化、专业的文章或报告。
(2)批评优化代理(评论家):负责审阅生成的内容,指出不足,推荐合适的文献,使文章更加完善。
Multi-Agents博客写作系统的流程图如下:
首先,创建一个新的 Python 文件 multi_agents_api_web_demo.py
,并进入 lagent
环境:
conda activate lagent
cd /root/agent_camp4/lagent/examples
touch multi_agents_api_web_demo.py
将下面的代码填入multi_agents_api_web_demo.py
:
运行streamlit run multi_agents_api_web_demo.py
,启动Web服务 输入话题,比如Multilingual clip Embedding model
:
可以看到,Multi-Agents博客写作系统正在按照下面的3步骤,生成、批评和完善内容。
Step 1:写作者根据用户输入生成初稿。
Step 2:批评者对初稿进行评估,提供改进建议和文献推荐(通过关键词触发 Arxiv 文献搜索)。
Step 3:写作者根据批评意见对内容进行改进。
可以看到,我们的agent还是有很大不足,并未没有找到合适的论文来修改。
5. Huggingface Spaces 部署Agent
小伙伴们可能在将 agent 的代码部署到 Huggingface Spaces 时遇到了一些困难,比如我不想让别人看到我的 api_key 但我又不知道环境变量怎么设?agent 的 demo 里引用了别的代码的内容,有没有比较方便的办法保留原本的文档结构,直接把天气和博客两个代码一锅端一块儿提交?接下来将手把手教大家解决上面两个痛点。
5.1 Spaces本地设置环境变量
首先创建一个新的Spaces,SDK 选择 Streamlit,点击 Create Spaces
然后就会跳转到如下页面,点击右上角 Settings
然后往下翻,找到 Variables and secrets,找到右上角创建 New secret
这里我们输入两个 api_key,一个是 token
——你的浦语/硅基流动 api,一个是 weather_token
——你的和风天气 api,要注意名称不要写错。
然后点击 Save 就保存好你的密钥了。
Secrets 和 Variables的区别:
官方说法:
实际上:两者都可以通过
os.getenv("api_key_name")
访问到。但只要你不傻傻地自己写代码暴露 api 别人是没办法获取你写在 Huggingface Spaces 环境变量中的 api_token 的。
5.2 修改原来的代码,使其符合hugging face要求
[!note]
这里只记录了要点,具体的步骤看教程
hugging face要求:
-
在初始化时需要提供 python 环境的清单,文件名为
requirements.txt
。提供了这个清单之后,hugging face可以自动下载所需要的依赖。 -
huggingfaces 上的 docker 找不到 嵌套的依赖文件
-r requirements/optional.txt # 找不到 -r requirements/runtime.txt # 找不到
我们将其手动添加至
requirements.txt
中,即所有依赖都添加到这个文件中。 -
Huggingface Spaces 要求 file 中必须有一个名称为
app.py
的文件作为项目的入口启动文件,否则会出现No application file
错误。一般可以将app.py
的入口文件当作 HomePage,编写一个多页面的 streamlit 首页实现对天气查询小助手和博客写作小助手两个 agent 的导航。示例代码如下(我们这里采用代码写入环境变量的方式,这样子别人来访问的时候可以不用消耗你自己的 api_token,而是让他们自己填写)
import streamlit as st import os import runpy st.set_page_config(layout="wide", page_title="My Multi-Page App") def set_env_variable(key, value): os.environ[key] = value def home_page(): st.header("欢迎来到首页") # 设置输入框为隐私状态 token = st.text_input("请输入浦语token:", type="password", key="token") weather_token = st.text_input("请输入和风天气token:", type="password", key="weather_token") if st.button("保存并体验agent"): if token and weather_token: set_env_variable("token", token) # 设置环境变量为 'token' set_env_variable("weather_token", weather_token) # 设置环境变量为 'weather_token' st.session_state.token_entered = True st.rerun() else: st.error("请输入所有token") if 'token_entered' not in st.session_state: st.session_state.token_entered = False if not st.session_state.token_entered: home_page() else: # 动态加载子页面 page = st.sidebar.radio("选择页面", ["天气查询助手", "博客写作助手"]) if page == "天气查询助手": runpy.run_path("examples/agent_api_web_demo.py", run_name="__main__") elif page == "博客写作助手": runpy.run_path("examples/multi_agents_api_web_demo.py", run_name="__main__")
此外由于 streamlit 要求一个页面内只能有一个
st.set_page_config()
函数,因此需要把其他文件中的相应代码注释掉,不然会报错。 -
huggingface space项目的readme文件必须有项目的设置:
官方文档
遇到的问题
-
开发机无法直接连接到hugging face,用官方提供的git链接无法克隆仓库到开发机中。
解决方法:使用hfmirror克隆
git clone https://hf-mirror.com/spaces/{your_huggingface_name}/{your_space_name}
-
我们克隆space的文件到开发机后,需要将
agent_camp4/lagent
中的文件拷贝到本地仓库中。但是需要注意原来的lagent文件夹中也有.git
目录和readme文件,由于 git 文件和README
中有仓库的配置信息,一定要警惕不能被覆盖掉,保持原来的就行。使用命令:
# --exclude='.git*': 排除所有以.git开头的文件和目录 # --exclude='README.md': 排除README.md文件 rsync -av -o -t --exclude='.git*' --exclude='README.md' /root/agent_camp4/lagent/ /root/Lagent/
-
rsync
是一个强大的文件同步和传输工具,它可以实现增量备份,只传输发生变化的文件部分,这使得文件同步更加高效。rsync
中的 r 代表 remote(远程、跨系统),因为这个工具最初设计的主要目的是在远程系统之间同步文件。完整名称是:remote synchronization(远程同步) -
rsync
不仅可以在本地使用,还特别适合:
- 在不同主机之间同步文件
- 通过 SSH 进行安全的远程文件传输
- 在服务器之间进行备份和镜像
-
基本语法
rsync [选项] 源路径 目标路径
-
常用选项说明
-a
(archive mode):- 归档模式,保持原文件的所有属性
- 相当于
-rlptgoD
的组合(递归、链接、权限、时间、组、所有者、设备文件)
-v
(verbose):- 显示详细信息
- 让你能看到正在传输哪些文件
-z
(compress):- 传输时进行压缩
- 适用于通过网络传输文件时。在本地传输时,通常不需要使用
-z
选项。
-e
: 指定使用的远程shell命令--progress
:- 显示传输进度
--exclude
:- 排除不需要同步的文件或目录
-
使用示例:
-
远程传输
rsync -avz --progress -e "ssh命令" /local/folder/ user@remote:/remote/folder/ # 例如 # rsync -avz --progress -e "ssh -p 43543 -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null" intern_study_L0_4/ root@ssh.intern-ai.org.cn:/root/intern_study_L0_4/# 传到远程之后可能需要更改文件的所有者 chown -R root:root . # chown: 更改文件所有者(change owner)的基本命令 # -R: 递归(Recursive)选项,表示对当前目录及其所有子目录和文件都进行操作 # root:root: 指定新的所有者和所属组 # 第一个root是用户所有者(owner) # 第二个root是组所有者(group) # .: 表示当前目录,即命令执行位置的目录
-
本地传输
rsync -av --progress source/ destination/
-
-