InternLM 2.5 书生浦语 开源大模型本地部署体验

老牛同学之前偶尔刷到过InternLM大模型相关的介绍文章,因为在老牛同学心中,Qwen2千问才是国内开源模型中最适合自己的大模型,原因是自己在本地部署和应用Qwen2都非常满意,所以没有在意InternLM大模型,也就没有动力去了解它。

今天老牛同学又刷到InternLM大模型发布1.8B新开源版本的文章,同时还知道了书生·浦语是它的中文名。因老牛同学在上海生活了十几年了,当看到字时有点敏感,猜测想是不是代表上海浦东的意思?所以特意去查了一下,官网介绍:书生·浦语(InternLM)大语言模型由上海人工智能实验室联合多家机构共同推出。官网并没有解释字的含义,因此老牛同学就算自己的猜测是对的了。

既然是自己生活的城市发布的大语音模型,那就没有理由不去了解一下了,顺便部署体验一翻:

  • InternLM 大模型的简单介绍,顺便介绍一下官网的评测数据,方便大家阅读
  • 通过 Ollama 本地部署 InternLM 大模型,同时通过不同方式进行推理调用,包括 API 调用、WebUI 等

书生·浦语(InternLM)介绍

书生·浦语系列大模型主页:https://internlm.intern-ai.org.cn

书生·浦语(InternLM) 由上海人工智能实验室(上海 AI 实验室)联合推出,上海 AI 实验室是我国人工智能领域的新型科研机构,它的研究方向包括:人工智能基础理论、人工智能开放平台、人工智能基础软件和基础硬件系统、人工智能应用、人工智能核心技术和人工智能伦理与政策。感觉就是个政府机构,老牛同学生活了这么多年竟然都不知道!

书生·浦语(InternLM) 自 2023 年 6 月 7 日发布第 1 个大模型,到本月 8 月 4 号,开源发布InternLM 2.5 1.8B小尺寸模型,目前InternLM 2.5有 3 个不同尺寸:1.8B7B20B

同时,针对20B参数量版本,官网提供了一些评测数据:https://github.com/InternLM/InternLM。InternLM-20B显著领先主流的 13B 量级开源模型,在语言、知识学科综合评测上都超越 Llama2-70B,在推理能力评测上和 Llama2-70B 持平,而知识方面则仍有一定差距。

InternLM能力评测

本地部署 InternLM 2.5 大模型

目前 Ollama 已经支持InternLM 2.5大模型了:https://ollama.com/internlm/internlm2.5:1.8b-chat

Ollama选择不同版本

关于 Ollama 详细介绍,老牛同学之前有专门的文章,本文不在累赘:Ollama 完整教程:本地 LLM 管理、WebUI 对话、Python/Java 客户端 API 应用

我们可以根据自己的需要选择不同的参数版本,老牛同学选择的最新发布的1.8B参数量版本。

下载模型权重文件ollama run internlm/internlm2.5:1.8b-chat

下载完成之后,其实我们已经有了个控制台的对话界面了:

Ollama对话界面

接下来,我们就可以通过多种方式使用推理服务了,包括:HTTP、Python 客户端、Java 客户端、WebUI 等,老牛同学简单介绍以下 WebUI 方式:

Ollama 自带控制台对话界面体验总归是不太好,接下来部署 Web 可视化聊天界面:

  1. 下载并安装 Node.js 工具:https://nodejs.org/zh-cn
  2. 下载ollama-webui工程代码:git clone https://github.com/ollama-webui/ollama-webui-lite ollama-webui
  3. 切换ollama-webui代码的目录:cd ollama-webui
  4. 设置 Node.js 工具包镜像源(下载提速):npm config set registry http://mirrors.cloud.tencent.com/npm/
  5. 安装 Node.js 依赖的工具包:npm install
  6. 最后,启动 Web 可视化界面:npm run dev
>npm run dev> ollama-webui-lite@0.0.1 dev
> vite dev --host --port 3000VITE v4.5.2  ready in 16023 ms➜  Local:   http://localhost:3000/➜  Network: http://192.168.101.35:3000/➜  Network: http://172.27.112.1:3000/➜  Network: http://172.25.64.1:3000/➜  press h to show help

如果看到以上输出,代表 Web 可视化界面已经成功了!

浏览器打开 Web 可视化界面:http://localhost:3000/

Ollam WebUI对话界面

总结:InternLM 其他能力

以上是老牛同学介绍如何部署和推理书生·浦语(InternLM) 大模型,并进行最简单的对话推理,InternLM的其他能力相关介绍,我们在官网都可以查到,包括:复杂的多步推理、多轮对话意图理解、对输出格式的控制和操作和复杂指令的理解。大家可以在本地进行体验。

vLLM CPU 和 GPU 模式署和推理 Qwen2 等大语言模型详细教程

MiniCPM-V 2.6 面壁“小钢炮”,多图、视频理解多模态模型,部署和推理实战教程

基于 Qwen2/Lllama3 等大模型,部署团队私有化 RAG 知识库系统的详细教程(Docker+AnythingLLM)

使用 Llama3/Qwen2 等开源大模型,部署团队私有化 Code Copilot 和使用教程

基于 Qwen2 大模型微调技术详细教程(LoRA 参数高效微调和 SwanLab 可视化监控)

微信公众号:老牛同学

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/786363.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全网最适合入门的面向对象编程教程:37 Python常用复合数据类型-列表和列表推导式

在Python中,列表是一个非常灵活且常用的复合数据类型。它允许存储多个项,这些项可以是任意的数据类型,包括其他列表。列表推导式是一种简洁的方式来创建和操作列表。全网最适合入门的面向对象编程教程:37 Python 常用复合数据类型-列表和列表推导式摘要: 在 Python 中,列…

CareUEyes(调节屏幕亮度和颜色) v2.4.3.0 多语便携版

概述 CareUEyes 是一款用于调节屏幕亮度和颜色的软件,旨在保护用户眼睛的健康。它提供了多种功能和特点,使用户在使用电脑时能够更加舒适和健康。软件功能 蓝光过滤:该软件可以调整屏幕的色温,减少蓝光的强度,有助于减少眼部疲劳和视觉压力。休息提醒:软件会定时提醒用户…

050、Vue3+TypeScript基础,页面通讯之使用mitt在任意组件中通讯

01、main.js代码如下:// 引入createApp用于创建Vue实例 import {createApp} from vue // 引入App.vue根组件 import App from ./App.vue// 引入emitter用于全局事件总线 // import emitter from @/utils/emitterconst app = createApp(App);// App.vue的根元素id为app app.mou…

ut.cpp 最大线段并减线段交 [线段树]

题意:给定n条线段的左右端点,求两条有公共点的线段的并的长度减去它们的交的长度最大(\(n<=2e5\) \(1<=L,R<=1e9\))分析:不妨设\(L_i<=L_j<=R_i\),线段异或和为\(ans\),两条线段的右端点有两种情况: 1.\(R_j>=R_i\)此时 \(ans=R_j-R_i+L_j-L_i=L_j+…

Datawhale X 李宏毅苹果书 AI夏令营 -《深度学习详解》Task1

深度学习基础 学习目标理解深度学习的常见概念。 掌握优化神经网络的方法。 找到优化神经网络失败的原因。 学习调整学习率(lr)的高级方法。1、局部极小值与鞍点 在局部极小值与鞍点之前,首先了解一个特殊的点-临界点。 1.1 临界点 通常将梯度为零的点统称为“临界点”。什…

第二周作业

登录页面示例body { font-family: Arial, sans-serif; display: flex; justify-content: center; align-items: center; height: 100vh; background-color: rgba(247, 247, 247, 1) } .login-container { background-color: rgba(255, 255, 255, 1); padding: 20px; border-rad…

「代码随想录算法训练营」第四十五天 | 图论 part3

目录101. 孤岛的总面积DFS思路BFS思路102. 沉没孤岛103. 水流问题104. 建造最大岛屿 101. 孤岛的总面积题目链接:https://kamacoder.com/problempage.php?pid=1173 文章讲解:https://programmercarl.com/kamacoder/0101.孤岛的总面积.html 题目状态:看题解DFS思路 思路: 代…

carlife

carlife是真的画中画。亿连客户端不是。没去除小房子效果如下:

【专题】2024数智医疗服务时代营销机遇洞察报告合集PDF分享(附原数据表)

原文链接: https://tecdat.cn/?p=37466 如今,人工智能、大数据、物联网等众多智能技术持续且深入地在医药产业中得到应用。这不仅极大地增强了医药产业的创新能力,显著提高了医疗服务的质量与效率,还有力地促进了从预防、诊断、治疗到康复的全链条数字化转型,使市场效率得…

049、Vue3+TypeScript基础,页面通讯之使用mitt在任意组件中通讯

01、main.js代码如下:// 引入createApp用于创建Vue实例 import {createApp} from vue // 引入App.vue根组件 import App from ./App.vue// 引入emitter用于全局事件总线 import emitter from @/utils/emitterconst app = createApp(App);// App.vue的根元素id为app app.mount(…

lua协程实现异步编程模式

异步编程模式只是一个代码结构,c#中的async/await的写法就是异步编程模式,这边就是通过协程来达到和async/await类似的效果。异步编程模式写法1:资源分帧加载 这边运行环境用的是:Unity+xLualua脚本:Assets/Lua/Test9.lua.txtlocal _Time = CS.UnityEngine.Timelocal func…

Echarts可视化大屏框架

效果图展示: 源码:<template><div><!-- Header 部分 --><div class="heads"><h3>大数据可视化分析</h3><span>2023-12-12 12:20:45</span></div><!-- 中间部分 --><div class="middle"&…