大模型第三节课程笔记

  1. 大模型开发范式
    优点:具有强大语言理解,指令跟随,和语言生成的能力,具有强大的知识储备和一定的逻辑推理能力,进而能作为基座模型,支持多元应用。
    不足:大模型的知识时效性受限,大模型于特定的时间点训练;专业能力有限,如何打造垂域大模型;定制化成本高
    两种核心的大模型开发范式
    在这里插入图片描述
    RAG:检索增强生成(核心思想:为大模型外挂知识库,用户的提问首先从知识库中匹配回答问题的相关文档,然后将提问和相关文档一起交给大模型,从而生成回答,进而提高大模型的知识储备),但缺点是受基座模型影响较大,基座模型的能力绝大部分限制了RAG模型的能力天花板;此外,将相关文档和问题一起传给大模型,占用了大量的模型上下文,也因此,对上下文跨度较大的综合性问题表现不佳。
    Finetune: 延续传统自然语言处理算法的模型微调(核心思想:在一个新的较小的数据集上,进行轻量级的训练微调,从而提高模型在新数据集上的能力)核心优势是可个性化微调,且知识覆盖面广,finetune范式的应用将在个性化数据上微调,因此可以充分拟合个性化数据,尤其对于非可见知识,如回答风格,回答效果非常好;同时,由于fintune范式的应用是一个新的个性化大模型,其仍然具有大模型的广阔知识域,因此可回答的知识覆盖面广,但是新的数据集上训练成本高昂且数据无法实时更新。

RAG范式的进一步深入

在这里插入图片描述
对于每一个用户输入,首先将基于向量模型sentence transformer,将输入文本转化为向量,并在向量数据库中匹配相似的文本段,在这里我们认为与问题相似的文本段,大概率包含了问题的答案,然后会将用户的输入和检索到的相似文本段一起嵌入到模型的prompt中,传递给interlm,然后得到输出。

  1. LangChain
    在这里插入图片描述
    在这里插入图片描述
    基于langchain搭建RAG应用:首先对于本地的文档形式存在的个人知识库,会使用UnstructedLoader组件加载本地文档,该组件将不同格式的本地文档,统一成纯文本格式;然后通过textsplittler组件,对提取出来的纯文本进行分割成chunks;再通过开源词向量模型Sentence Transformer将文本段转换为向量格式,存储到基于Chroma的向量数据库中;对于用户的每一个输入query,会首先通过Sentence Transformer将输入转换为同维度的向量,通过在向量数据库中进行相似度的匹配,找到和用户输入相关的文本段,将相关的文本段嵌入到已经写好的prompt template中,再交给interLM进行回答。

  2. 构建向量数据库
    在这里插入图片描述

  3. 搭建知识库助手

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
从检索方面的优化点:1)基于语义而不是基于字符长度进行chunk的切分,从而保证每一个chunk的语义完整性;2)…
从prompt的方面优化:不断优化从而不断激发模型的潜在能力

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/334739.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

在Ubuntu中检查内存的五个命令,总有一种适合你

序言 作为Ubuntu用户,尤其是管理员,我们需要检查系统使用了多少内存资源,以及有多少是可用的。我们还知道,大多数管理任务最好从Linux命令行完成,而不是从图形用户界面完成。例如,服务器通常在shell上工作,没有图形用户界面。由于控制服务器上的内存资源是最重要的,因…

人工智能图像生成的道德利弊

目录 一、我们应该关注人工智能图像吗?二、利用人工智能增强创造力的积极作用三、版权和剽窃问题四、对就业和劳动力动态的影响五、无意识的偏见和影响六、负责任地前行 人工智能(AI)发展迅速,尤其是近年来。据估计,超…

利用“与非”运算实现布尔代数中的与,或,非三种运算

什么是“与非”运算? 要想明白“与非”运算,首先要明白“与”运算和“非”运算。 “与”运算在离散数学中叫做合取式,也就是A和B相同时为1的时候结果才为1,其余情况都为0 下面是“与”运算的真值表 “非”运算在离散数学中叫做否…

对话北京菜百电子商务有限公司总经理张梦轩:品牌自播引领直播的时代即将来临

整理 | 飞族 编辑 | 渔舟 出品|极新&北京电子商务协会 作为一种新型又高效的场域,在直播电商场景下,品牌通过尝试运用AI、VR、数字人等新技术,制作专业内容,去更好地吸引和打动消费者,促进业…

【S32K 进阶之旅】 NXP S32K3 以太网 RMII 接口调试(2)

前言 前文介绍了 NXP S32K3 以太网 RMII 接口调试的开发环境搭建,下面开始详解软件调试步骤。没看过第一节的小伙伴请移步《【S32K 进阶之旅】 NXP S32K3 以太网 RMII 接口调试(1)》,话不多说我们直接进入正题。 lwip Stack 介绍 …

双指针(简化哈希)力扣15.三数之和

题目 给你一个整数数组 nums ,判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k ,同时还满足 nums[i] nums[j] nums[k] 0 。请 你返回所有和为 0 且不重复的三元组。 注意:答案中不可以包含重复的三元组。 …

Linux Capabilities 进阶实战

目录 1. 快速回顾 2. 为可执行文件分配 capabilities 3. 构建半特权环境 4. 容器与 capabilities Linux Capabilities 基础概念与基本使用 上一篇学习了LinuxCapabilities的基础知识和基本使用,因为后面需要学习Docker的逃逸,理解Linux Capabilitie…

网工内推 | 运维工程师,国企、上市公司,RHCE认证优先

01 广东机场白云信息科技股份有限公司 招聘岗位:基础架构运维工程师(中级) 职责描述: 1、参与公司业务系统的监控、巡检、维护、故障定位、原因分析; 2、负责业务系统的上线、升级割接工作; 3、负责服务器…

作业--day43

使用手动连接,将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中,在自定义的槽函数中调用关闭函数,将登录按钮使用qt5版本的连接到自定义的槽函数中,在槽函数中判断ui界面上输入的账号是否为"admin"&#xff0c…

python 基础笔记

基本数据类型 函数 lamda 匿名函数 成员方法 类 类与对象 构造方法 魔术方法 私有成员 私有方法 继承 注解 变量注解 函数注解 Union类型 多态 参考链接:黑马程序员python教程,8天python从入门到精通,学python看这套就够了_哔哩哔哩_bilib…

Java中的网络编程

文章目录 网络基础知识IP 地址端口协议 Java 中网络编程InetAddress(静态类)UDP 通信原理UDP 发送数据步骤UDP 接收数据步骤UDP 发送接收案例 TCP 通信原理TCP 发送数据步骤TCP 接收数据步骤TCP 发送接收案例 网络基础知识 概述:在网络通信协…

vue3 +TS 安装使用router路由模块

一.安装 1.下载安装依赖 npm install vue-routernextnpm install types/vue-router2.router目录创建 在src 目录下 创建 /src/router文件夹 包含两个文件 route.ts import { RouteRecordRaw } from vue-routerconst routes: Array<RouteRecordRaw> [{path: /,name:…