什么是 RAG,大模型微调,向量数据库的应用场景

原来向量数据库的应用场景是这样的!按照我的理解,大模型其实是没有学习能力的,它就相当于一个真值表或者矩阵,给它输入,它就输出,在使用它的过程中它不会自己训练自己,改变既有的参数,它也不会去网上查数据,自己训练自己,改变自己的参数。

通常大家会搞到一个已经训练好的大模型,但是这个大模型是用通用的大数据训练的,里面包含通用领域的信息,但是特定领域的信息是没有的,或者很浅,目前许多公司用大模型,是想利用大模型在特定领域实现专家系统或某种智能应用。

但大模型不会自己学习,让它学习其实就相当于重新训练大模型,成本高昂,而且大多数公司也不没有训练大模型的能力。

怎么办呢?办法就是在输入的问题或命令中,包含特定领域的背景知识,例如 “小明的妈妈有三个孩子,老大叫小军,老二叫小米,老三叫小明。小明是独生子吗?”。其中“小明是独生子吗?” 是我们想问大模型的问题,“小明的妈妈有三个孩子,老大叫小军,老二叫小米,老三叫小明。”是背景知识。

这一招被实践证明还挺好用,解决了不少问题,这就是所谓的提示词工程(prompt engineering),这个过程有个需求,就是要根据问题文本,查找出和这个问题相关的背景知识文本,很自然的想到,这个查询可以去搜索引擎上查,但是有的公司的数据是私有的,搜索引擎是差不到的,那么其实就要求公司内部建立这么个搜索引擎,这是一个思路,实际上使用和搜索引擎差不多的一个东西,就是向量数据库,把背景知识(小明的妈妈。。。)文本转成向量,把问题(小明是独生子吗)也转成向量,在查询大模型前,先查询向量数据库,得到相关性最强的背景知识,然后把背景知识文本和问题文本一起塞给大模型。

Retrieval Augmented Generation (RAG) | Prompt Engineering Guide (promptingguide.ai)

PostgreSQL as a Vector Database: Create, Store, and Query OpenAI Embeddings With pgvector (timescale.com)

这样实现让大模型“学习”的技术,除了提示词工程还有模型微调,这篇文章很大的介绍了这个概念:

通俗解读大模型微调(Fine Tuning) - 知乎 (zhihu.com) 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/695663.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【深度学习】实验3 特征处理

特征处理 python 版本 3.7 scikit-learn 版本 1.0.2 1.标准化 from sklearn.preprocessing import StandardScaler from sklearn.preprocessing import MinMaxScaler from matplotlib import gridspec import numpy as np import matplotlib.pyplot as plt cps np.random.…

开源免费的定时任务管理系统:Gocron

Gocron:精准调度未来,你的全能定时任务管理工具!- 精选真开源,释放新价值。 概览 Gocron是github上一个开源免费的定时任务管理系统。它使用Go语言开发,是一个轻量级定时任务集中调度和管理系统,用于替代L…

免费获取SSL证书的几种方法

免费获取SSL证书的方法有很多种,以下是一些常见的途径: 1、Lets Encrypt:Lets Encrypt是一个由非营利组织提供的免费SSL证书服务,其安装部署简单、方便,且已被Firefox、Chrome、IE等浏览器所支持。您可以通过其官方网…

C++入门——引用(2)

前言 上一节我们开始学习了C,并且对C有了初步的了解,这一节我们继续学习C的基础,那么废话不多说,我们正式进入今天的学习 C中的引用 1.1引用的概念 引用不是新定义一个变量,而是给已存在变量取了一个别名&#xff0…

【Ubuntu永久授权串口设备读取权限“/dev/ttyUSB0”】

Ubuntu永久授权串口设备读取权限 1 问题描述2 解决方案2.1 查看ttyUSB0权限,拥有者是root,所属用户组为dialout2.2 查看dialout用户组成员,如图所示,普通用户y不在dialout组中2.3 将普通用户y加入dialout组中2.4 再次查看dialout用…

pycharm虚拟环境

File->setting->project->Python interpreter 路径必须写全

视频剪辑批量转码技巧:如何将MP4视频快速转换为MP3音频的方法

在视频剪辑和音频处理的领域中,经常需要将视频文件转换为音频文件,特别是将MP4视频转换为MP3音频。这样的转换不仅可以减少文件大小,方便传输和存储,还可以在不损失音频质量的情况下,方便在各种设备上播放。下面&#…

从XML配置角度理解Spring AOP

1. Spring AOP与动态代理 1.1 Spring AOP和动态代理的关系 Spring AOP使用动态代理作为其主要机制来实现面向切面的编程。这种机制允许Spring在运行时动态地创建代理对象,这些代理对象包装了目标对象(即业务组件),以便在调用目标对…

使用gRPC基于Protobuf传输大文件或数据流

文章目录 使用gRPC基于Protobuf传输大文件或数据流1. 背景和技术选择1.1 gRPC的优势1.2 Protocol Buffers的优势 2. 项目配置与环境搭建2.1 安装gRPC和Protocol Buffers2.1.1 安装Cmake2.1.2 设置环境变量2.1.3 安装必要的依赖2.1.4 下载gRPC源码2.1.5 编译gRPC和 [Protocol Bu…

2024年淘宝天猫618超级红包领取口令活动时间是从什么时候开始到几月几号结束?

2024年淘宝天猫618活动,将于2024年5月19日开始,今年618淘宝天猫取消了预售环节。同时,618淘宝天猫也提供了多项优惠活动:超级红包、跨店满减、官方立减、全程价保及草柴APP领优惠券拿购物返利等多重优惠活动。 2024年淘宝天猫618…

2024年抖店什么类目赚钱?这八个类目最赚钱,想开店的快来瞅瞅!

哈喽~我是电商月月 做抖音小店的商家都知道,选品是非常重要的 那什么样的商品类型赚钱,哪些商品又适合新手操作呢? 今天我就给大家推荐几个热销类目,特别是最后两个,下半年说不定会小爆一把哦 一.日用百货 这个类…