书生·浦语大模型全链路开源体系介绍

背景介绍

随着人工智能技术的迅猛发展，大模型技术已成为当今人工智能领域的热门话题。2022 年 11 月 30 日，美国 OpenAI 公司发布了 ChatGPT 通用型对话系统 并引发了全球 的极大关注，上线仅 60 天月活用户数便超过 1 亿，成为历史上用户增长最快的互联网 应用产品。2023 年 3 月 14 日，OpenAI 公司再次发布了升级版模型 GPT-4 又展现 出了更高阶的能力，再一次实现了技术飞跃，并在全球范围掀起大模型发展浪潮。不仅国外科技巨头纷纷加码布局，推动大模型产业的快速落地，国内的头部企业也积极追赶步伐，竞相抢滩大模型的新赛道，抢抓认知智能大模型带来的历史机遇，下图为ChatGPT的发布时间线。
[图片]
在OpenAI发布GPT3.5后，各大模型厂商积极跟进，相继推出各类大模型。国内本土已经发布近80款参数量在十亿量级以上的大模型，主要有华为、阿里、百度、腾讯等，亦有清华大学等高校机构。
在这里插入图片描述
专用大模型： 针对特定任务，一个模型解决一个问题，比如适用于围棋比赛的围棋大模型
在这里插入图片描述
通用大模型： 一个模型应对多种任务、多种模态

大模型介绍

书生·浦语大模型开源历程：
在这里插入图片描述
书生·浦语大模型系列：
在这里插入图片描述
以20B开源大模型为例，其性能全面领先相近量级的开源模型（包括Llama-33B、Llama2-13B以及国内主流的7B、13B开源模型），以不足三分之一的参数量，达到Llama2-70B水平。
在这里插入图片描述

大模型开源开放体系

在这里插入图片描述
数据： 开放了书生万卷，具有2TB数据，涵盖多种模态与任务
预训练： 开源了InternLM-Train框架，支持并行训练，进行了极致优化，速度达到3600 tokens/sec/gpu
微调： 开源了XTuner框架，支持 全参数微调，支持LoRA等低成本微调
部署： 开源了LMDeploy框架，支持全链路部署，性能领先，每秒生成2000+ tokens
评测： 开源OpenCompass框架，支持全方位评测，性能可复现，80套评测集，40万道题目
应用： 开源了Lagent、AgentLego项目，支持多种智能体，支持代码解析器多种工具调用

数据-书生万卷

在这里插入图片描述
在这里插入图片描述

预训练

在这里插入图片描述

微调

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

评测

在这里插入图片描述
OpenCompass提供的评测集
在这里插入图片描述
OpenCompass 开源评测平台架构
在这里插入图片描述
OpenCompass的亮点
在这里插入图片描述
OpenCompass支持的模型
在这里插入图片描述

部署

在这里插入图片描述

LMDeploy 提供大模型在GPU上部署的全流程解决方案，包括模型轻量化、推理和服务

在这里插入图片描述

智能体应用

在这里插入图片描述
轻量级智能体框架Lagent
在这里插入图片描述
多模态智能体工具箱 AgentLego
在这里插入图片描述

总结

总之书生浦语是一个大模型全链路开源体系，为开发者提供了从数据集准备到模型训练、部署和应用的全套解决方案。通过该体系，开发者可以自由定制和扩展模型，满足不同场景下的需求。

本文提到的相关框架工具地址：
OpenDataLab: https://opendatalab.com/home
书生万卷：https://opendatalab.com/OpenDataLab/WanJuan1_dot_0
预训练框架：https://github.com/InternLM/InternEvo
微调框架XTuner：https://github.com/InternLM/xtuner
部署框架LMDeploy：https://github.com/InternLM/lmdeploy
Lagent：https://github.com/InternLM/lagent
AgentLego：https://github.com/InternLM/agentlego
评估框架OpenCompass: https://github.com/open-compass/opencompass

作者其他不相干的专栏，也来看看：

  • Prometheus+Grafana 实践派

Prometheus来自CNCF的产品，云原生时代监控产品； Grafana是一款开源的指标可视化工具，拥有大量的插件和图表工具来查询，展示您的指标，本专栏从基础知识开始学习，逐渐进阶，最终实现企业级统一监控目标

  • Loki + Tempo

一步步学习Grafana家族的轻量型聚合日志框架-Loki，链路追踪框架-Tempo

  • Spring Boot 3.x

Spring Boot 具有 Spring 一切优秀特性，Spring 能做的事，Spring Boot 都可以做，本专栏将全面介绍Spring Boot特性，继而对其进行全面的源码分析，不再犀牛望月，Spring Boot 版本：3.x

  • Spring Security

使用Spring Security版本5.7.2

  • Spring Boot Admin2

SBA2 源码解析

  • 阿提小作

作者平时心血来潮开发的小系统，都在运行玩了一段时间后停了

等等，还有其他很多

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/495695.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

10.selenium的基本使用

10.selenium的基本使用

selenium是一个关于爬虫功能python的库，它的整体逻辑与之前的请求爬虫思路不同。selenium是模拟出一个浏览器，你通过代码操作这个浏览器从而获取一些信息，比如执行click()就相当于点击了浏览器中的某个元素，相当于是针对浏览器的鼠…
阅读更多...
统计分析笔记3

统计分析笔记3

文章目录 统计检验选择正确的统计检验统计检验是做什么的？何时进行统计检验选择参数化测试：回归、比较或相关性选择非参数检验 假设检验的假设条件skewness什么是零偏度right skewleft skew计算skewnesswhat to do if your data is skewed kurtosis怎么计…
阅读更多...
【文献管理】Zotero使用指南：软件安装 | 插件安装 | 同步 | 文献导入及引用

【文献管理】Zotero使用指南：软件安装 | 插件安装 | 同步 | 文献导入及引用

文章目录 1 下载2 安装3 插件安装浏览器插件：Zotero Connector翻译插件：zotero-pdf-translate笔记插件：zotero better notes为下载的学位论文添加目录中文文献识别：jasminumzotero-gptZoteroIF[Zotero DOI Manager](https://githu…
阅读更多...
UI自动化测试：playwright工具（一）：python环境下安装、UI录制使用（需要些代码能力）

UI自动化测试：playwright工具（一）：python环境下安装、UI录制使用（需要些代码能力）

一、python环境下安装playwright工具 1. 安装playwright库 pip install playwright -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com#至于镜像源，可以选，也可不选：#阿里云 http://mirrors.aliyun.com/pypi/simple/ #中国科技大学 https://py…
阅读更多...
基于SSM的校园订餐系统（有报告）。Javaee项目。ssm项目。

基于SSM的校园订餐系统（有报告）。Javaee项目。ssm项目。

演示视频： 基于SSM的校园订餐系统（有报告）。Javaee项目。ssm项目。 项目介绍： 采用M（model）V（view）C（controller）三层体系结构，通过Spring Spri…
阅读更多...
了解docker与k8s

了解docker与k8s

随着 k8s 作为容器编排解决方案变得越来越流行，有些人开始拿 Docker 和 k8s 进行对比，不禁问道：Docker 不香吗？ k8s 是 kubernetes 的缩写，8 代表中间的八个字符。 其实 Docker 和 k8s 并非直接的竞争对手两者相互依存…
阅读更多...
05 动力云客之分页查询用户 + 查询用户详情 + 新增用户

05 动力云客之分页查询用户 + 查询用户详情 + 新增用户

1. 用户列表分页查询实现 核心 使用pageHelper实现分页 GetMapping(value "api/users")//分页的参数可以不传, 不传就默认设置为1public R userPage(RequestParam(value "current", required false) Integer current) {if (current null) {current …
阅读更多...
SORA 到底是什么？如何用bitget wallet购买？

SORA 到底是什么？如何用bitget wallet购买？

什么是SORA？ SORA 是一种模因币，灵感来自 OpenAI 最新的人工智能模型 Sora，它巧妙地根据文本输入生成视频。 SORA 诞生于加密社区内人工智能项目的热潮中，利用 OpenAI 的公告推出了一种独特且时尚的数字资产。正如 memecoin 网站…
阅读更多...
浅析ARMv8体系结构：原子操作

浅析ARMv8体系结构：原子操作

文章目录 概述LL/SC机制独占内存访问指令多字节独占内存访问指令 独占监视器经典自旋锁实现 LSE机制原子内存操作指令CAS指令交换指令 相关参考 概述 在编程中，当多个处理器或线程访问共享数据，并且至少有一个正在写入时，操作必须是原子的&a…
阅读更多...
react-组件基础

react-组件基础

1.目标 能够使用函数创建组件 能够使用class创建组件 能够给React元素绑定事件 能够使用state和setState() 能够处理事件中的this指向问题 能够使用受控组件方式处理表单 2.目录 React组件介绍 React组件的两种创建方式 React事件处理 有状态组件和无状态组件 组件中的state…
阅读更多...
Leetcoder Day26｜ 回溯part06：总结+三道hard题

Leetcoder Day26｜ 回溯part06：总结+三道hard题

332.重新安排行程 给定一个机票的字符串二维数组 [from, to]，子数组中的两个成员分别表示飞机出发和降落的机场地点，对该行程进行重新规划排序。所有这些机票都属于一个从 JFK（肯尼迪国际机场）出发的先生，所以该行程必…
阅读更多...
4.1.CVAT——目标检测的标注详细步骤

4.1.CVAT——目标检测的标注详细步骤

文章目录 1. 进入任务1. 创建任务2. 已创建的task3. 进入标注界面 2. 选择标注类型2.1 选择标注类型2.2 进行标注2.3 遮挡 2.快捷键3.导出标注结果 1. 进入任务 登录后会看到如下图界面，CVAT的标注最小单位是Task，每个Task为一个标注任务。点击Task按钮…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023