书生·谱语全链条开发体系
包含:数据、模型预训练、模型微调、模型量化部署、模型测评、模型场景应用全链路开发体系
github链接
通用大模型
国内外大语言模型快速发展,涌现了大量的大语言模型以及一批创业公司
深度学习模型的发展
大模型利用多模态优势,利用一个模型实现以往多个模型的功能,使模型具有通用行,大模型较为经典的语言问答、图文理解、图文生成,集成了nlp、图像识别、图像生成等功能。
书生开源体系之书生万卷:
包含文本数据、图文-文本数据集、视频数据集。数据集详细介绍链接-知乎
数据集支持灵活检索、高速下载、智能标注、高效采集
全面的测评体系
模型部署LMdeploy
LM-Deploy支持模型并行、模型量化、推理加速
Agent
Agent属于模型应用端
针对大模型对最新知识获取的实时性较差、回复的可靠性不稳定、数学计算较差等问题,设计的Lagent智能体框架,支持多种智能体能力,简化大模型的落地应用流程
AgentLego
可以结合丰富的开源模型与mmlab生态体系,实现大模型智能体的部署、调试