【书生大模型Demo-2】

书生大模型Demo

  • 1 大模型InternLM介绍
  • 2 Demo
    • 2.1 InternLM-Chat-7B智能对话Demo
      • 2.1.1 环境配置
      • 2.1.2 模型下载
      • 2.1.3 代码准备
      • 2.1.4 运行Demo
    • 2.2 Lagent智能体工具调用Demo
    • 2.3 浦语 灵笔图文创作理解Demo
  • 3 作业
    • 3.1 使用模型生成300字小故事
    • 3.2 Lagent工具调用Demo创作部署

实践是最好的老师;

1 大模型InternLM介绍

大模型:AI中参数数量巨大,消耗巨大计算资源的模型;
特点:1.利用大量数据训练;
2.拥有数十亿及以上的参数;
3.在较为通用任务重展示出良好性能;

在InternLM模型全链条开源中 概念介绍:

  • InternLM是一个开源的轻量级训练框架,旨在支持大模型训练而无需大量的依赖;基于InternLM训练框架,两个开源的预训练模型:InternLM-7B和InternLM-20B;
  • Lagent是一个轻量级、开源的基于大语言模型的智能体(agent)框架;通过Lagent可以更好的发挥InternLM模型的全部性能;
  • 浦语 灵笔是基于书生大语言模型开发的视觉语言大模型,有出色的图文理解和创作能力,可以创作一篇图文推文。

2 Demo

2.1 InternLM-Chat-7B智能对话Demo

模型介绍:InternLM支持在数千个GPU的大型集群上进行预训练,并在单个GPU上进行微调,实现性能优化。

2.1.1 环境配置

1.pip 更新和换国内源;–老生常谈;update and upgrade
2.clone pytorch env and activate internlm-demo
3.install the dependency needed by demo to run

2.1.2 模型下载

可以直接从github上clone,在这里已经事先准备好了,直接copy即可。

#激活环境
conda activate internlm-demo
#upgrade pip and install dependency

2.1.3 代码准备

clone code

cd /root/code
git clone https://xxx//xx/xx

2.1.4 运行Demo

1.终端运行
在上面git clone的InternLM目录下新建一个cli_demo.py文件,放入脚本;

python ./cli_demo.py

在这里插入图片描述
由于cli_demo的缺陷,导致input text只能特定支持逗号分隔符,否则就会报错。
在这里插入图片描述
不断交互去训练它,所以prompt很重要;
在这里插入图片描述

2.Web运行
本地映射服务器的端口,通过SSH隧道技术;
一定要SSH -L 连接远程,-L参数允许端口转发;

2.2 Lagent智能体工具调用Demo

Lagent是一个轻量级开源的大语言模型的智能体(agent)框架,快速地讲一个大语言模型转变为多种类型的智能体,提供典型工具进行模型赋能。
在这里插入图片描述

2.3 浦语 灵笔图文创作理解Demo

InternLM-XCcomposer

3 作业

3.1 使用模型生成300字小故事

在这里插入图片描述

3.2 Lagent工具调用Demo创作部署

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/339081.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

SD-WAN对企业网络升级的价值

在当今数字化飞速发展的时代,企业对网络的依赖越来越深,如何在确保IT正常运行的同时降低成本成为企业CIO和业务经理共同关注的焦点。SD-WAN的出现为企业组网带来了崭新的可能性,成为降低开支、提高效率和改善用户体验的重要工具。 企业在数字…

查准率与查全率在自然语言处理中的核心概念与联系、核心概念和实践应用,如何使用朴素贝叶斯、SVM 和深度学习实现查准率和查全率的计算?

查准率与查全率在自然语言处理中的核心概念与联系、核心概念和实践应用,如何使用朴素贝叶斯、SVM 和深度学习实现查准率和查全率的计算? 人工智能核心技术有:1. 深度学习;2.计算机视觉;3.自然语言处理;4.数据挖掘。其中,深度学习就是使用算法分析数据,从中学习并自动归…

Win10子系统Ubuntu实战(二)

在 Windows 10 中安装 Ubuntu 子系统(Windows Subsystem for Linux,简称 WSL)有几个主要的用途和好处:Linux 环境的支持、跨平台开发、命令行工具、测试和验证、教育用途。总体而言,WSL 提供了一种将 Windows 和 Linux…

使用PyTorch实现去噪扩散模型

在深入研究去噪扩散概率模型(DDPM)如何工作的细节之前,让我们先看看生成式人工智能的一些发展,也就是DDPM的一些基础研究。 VAE VAE 采用了编码器、概率潜在空间和解码器。在训练过程中,编码器预测每个图像的均值和方差。然后从高斯分布中对…

【Blog】记录一下如何让自己的自建网站让百度搜索收录

记录一下如何让自己的自建网站让百度搜索收录 目录 记录一下如何让自己的自建网站让百度搜索收录一、前言二、开始操作1、第一步:进入设置2、第二步:开始设置3、第三步:让百度收录我们自己的文章 三、知识点记录1、注意事项2、可能会出现的问…

Python文件自动化处理

os模块 Python标准库和操作系统有关的操作创建、移动、复制文件和文件夹文件路径和名称处理 路径的操作 获取当前Python程序运行路径不同操作系统之间路径的表示方式 windows中采用反斜杠(\)作为文件夹之间的分隔符 Mac和Linux中采用斜杠(/)作为文件夹之间的分隔符 把文件…

苹果应用上架是否需要软件著作权?

苹果应用上架是否需要软件著作权? 摘要 随着移动互联网的发展,苹果应用在市场上占据了很大份额。但是,很多开发者在上传苹果应用到App Store时,都会遇到一个问题,即是否需要进行软著申请?本文将深入探讨这…

什么牌子护眼灯好,防蓝光?安利防蓝光好用的护眼台灯

在我们小时候,并没有护眼灯这一概念,写作业的主要光源还是家中的白炽灯,有条件的会在桌上摆个台灯,但室内环境仍显得比较昏暗。如今的孩子学习环境相比我们小时候有了很大升级,家长对视力健康也更重视,护眼…

蓝桥杯练习题(三)

📑前言 本文主要是【算法】——蓝桥杯练习题(三)的文章,如果有什么需要改进的地方还请大佬指出⛺️ 🎬作者简介:大家好,我是听风与他🥇 ☁️博客首页:CSDN主页听风与他 …

Java高级工程师20道面试题、答案及案例

文章目录 Java高级工程师面试题、答案及案例: 问题: 在Java中,如何实现线程安全的单例模式?请写出双重检查锁定(Double-Checked Locking)的实现方式。 答案与案例: public class Singleton {pri…

python数据结构堆栈

堆 堆是一种树形结构:满足两个主要性质 堆是一种完全二叉树:堆中所有层级除了最后一层都是完全填满的,且最后一层的节点都是向左排列堆中的任意节点都不大于(或不小于)其子节点的值,这也是堆的属性 impo…

探索预训练模型的前沿与挑战

目录 前言1 Masked 语言模型2 跨语言模型3 跨模态模型4 GPT-3语言模型5 T5: Text-to-Text 统一框架6 Mixture of Experts (MoE)结语 前言 近年来,预训练语言模型(PLM)领域取得了巨大的进展,开创了多个家庭成员,每个成…