增强常见问题解答搜索引擎：在 Elasticsearch 中利用 KNN 的力量

在快速准确的信息检索至关重要的时代，开发强大的搜索引擎至关重要。 随着大型语言模型和信息检索架构（如 RAG）的出现，在现代软件系统中利用文本表示（向量/嵌入）和向量数据库已变得越来越流行。 在本文中，我们深入研究了如何使用 Elasticsearch 的 K 最近邻 (KNN) 搜索和来自强大语言模型的文本嵌入，这是一个强大的组合，有望彻底改变我们访问常见问题 (FAQ) 的方式。 通过对 Elasticsearch 的 KNN 功能的全面探索，我们将揭示这种集成如何使我们能够创建尖端的常见问题解答搜索引擎，通过以闪电般的延迟理解查询的语义上下文，从而增强用户体验。

在开始设计解决方案之前，让我们了解信息检索系统中的一些基本概念。

文本表示（嵌入）

你可以通过阅读 “Elasticsearch：什么是向量和向量存储数据库，我们为什么关心？” 来了解更多的关于文本嵌入的知识。

嵌入是一条信息的数字表示，例如文本、文档、图像、音频等。 该表示捕获了所嵌入内容的语义，使其对于许多行业应用程序来说都是稳健的。

语义搜索

传统的搜索系统使用词法匹配来检索给定查询的文档。 语义搜索旨在使用文本表示（嵌入）来理解查询的上下文，以提高搜索准确性。

语义搜索的类型

  • 对称语义搜索：查询和搜索文本长度相似的搜索用例。 例如 在数据集中找到类似的问题。
  • 非对称语义搜索：查询和搜索文本长度不同的搜索用例。 例如 查找给定查询的相关段落。

向量搜索引擎（向量数据库）

向量搜索引擎是专用数据库，可用于将图像、文本、音频或视频等非结构化信息存储为嵌入或向量。 在本文中，我们将使用 Elasticsearch 的向量搜索功能。

现在我们了解了搜索系统的构建块，让我们深入了解解决方案架构和实现。

  1. 搜索解决方案的第一步是将问题-答案对索引到 Elasticsearch 中。 我们将创建一个索引并将问题和答案嵌入存储在同一索引中。 我们将根据检索的特征使用两个独立的模型来嵌入问题和答案。
  2. 我们将使用步骤 1 中使用的相同模型来嵌入查询，并形成搜索查询（3 个部分，即问题、答案、词汇搜索），将查询嵌入映射到相应的问题和答案嵌入。
  3. 我们还将为查询的每个部分提供一个提升值，以表示它们在组合中的重要性。 返回的最终结果根据分数总和乘以各自的提升值进行排名。

环境设置

要使用 docker 安装 Elasticsearch，请参阅这篇有关如何设置单节点集群的详细文章。 如果你已有集群，请跳过此步骤。如果你想详细了解如何安装 Elasticsearch，请参考文章 “如何在 Linux，MacOS 及 Windows 上进行安装 Elasticsearch”。在本演示中，我们将使用 Elastic Stack 8.10.4 来进行展示。

设置你的索引。 你可以使用以下映射作为起点。我们在 Kibana 的 Dev Tools 中打入如下的命令：

PUT faq-index
{"settings": {"number_of_shards": 1,"number_of_replicas": 0},"mappings": {"properties": {"Question": {"type": "text"},"Answer": {"type": "text"},"question_emb": {"type": "dense_vector","dims": 768,"index": true,"similarity": "dot_product"},"answer_emb": {"type": "dense_vector","dims": 1024,"index": true,"similarity": "dot_product"}}}
}

模型选择

由于我们使用相当通用的语言处理数据，因此为了进行本实验，我从 MTEB 排行榜的检索（用于答案）和 STS（用于问题）部分中选择了表现最好的模型。

选定型号：

  1. 答案：BAAI/bge-large-en-v1.5（您可以使用量化版本以加快推理速度）
  2. 如有问题：thenlper/gte-base

如果你有特定领域的常见问题解答并想要检查哪种模型表现最好，你可以使用 Beir。 查看本节，其中描述了如何加载自定义数据集以进行评估。

实现

出于本实验的目的，我将使用 Kaggle 的心理健康常见问题解答数据集。

安装所需要的模块

pips install sentence_transformers

1. 装载数据

import pandas as pd
data = pd.read_csv('Mental_Health_FAQ.csv')

2. 生成嵌入

Questions：

from sentence_transformers import SentenceTransformer
question_emb_model = SentenceTransformer('thenlper/gte-base')data['question_emb'] = data['Questions'].apply(lambda x: question_emb_model.encode(x, normalize_embeddings=True))

注意：我们对嵌入进行归一化，以使用点积作为相似性度量而不是余弦相似性。 该计算速度更快，并且在 Elasticsearch 密集向量场文档中得到推荐。

Answers:

answer_emb_model = SentenceTransformer('BAAI/bge-large-en-v1.5')
data['answer_emb'] = data['Answers'].apply(lambda x: answer_emb_model.encode(x, normalize_embeddings=True))

3. 索引文档

我们将使用 Elasticsearch  helper 函数。 具体来说，我们将使用 streaming_bulk API 来索引我们的文档。

首先，让我们实例化 elasticsearch python 客户端。

我们首先需要把安装好的 Elasticsearch 的证书拷贝到当前目录中：

$ pwd
/Users/liuxg/python/faq
$ cp ~/elastic/elasticsearch-8.10.4/config/certs/http_ca.crt .
$ ls
Mental Health FAQ.ipynb archive (13).zip
Mental_Health_FAQ.csv   http_ca.crt

然后我们打入如下的代码：

from elasticsearch import Elasticsearchfrom ssl import create_default_contextcontext = create_default_context(cafile=r"./http_ca.crt")
es = Elasticsearch('https://localhost:9200',basic_auth=('elastic', 'YlGXk9PCN7AUlc*VMtQj'),ssl_context=context,
)

接下来，我们需要创建一个可以输入到流式 bulk API 中的文档生成器。

index_name="faq-index"
def generate_docs():for index, row in data.iterrows():doc = {"_index": index_name,"_source": {"faq_id":row['Question_ID'],"question":row['Questions'],"answer":row['Answers'],"question_emb": row['question_emb'],"answer_emb": row['answer_emb']},}yield doc

最后，我们可以索引文档。

import tqdm
from elasticsearch.helpers import streaming_bulk
number_of_docs=len(data)
progress = tqdm.tqdm(unit="docs", total=number_of_docs)
successes = 0
for ok, action in streaming_bulk(client=es, index=index_name, actions=generate_docs()):progress.update(1)successes += okprint("Indexed %d/%d documents" % (successes, number_of_docs))

4. 查询文档

def faq_search(query="", k=10, num_candidates=10):if query is not None and len(query) == 0:print('Query cannot be empty')return Noneelse:query_question_emb = question_emb_model.encode(query, normalize_embeddings=True)instruction="Represent this sentence for searching relevant passages: "query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)payload = {"query": {"match": {"title": {"query": query,"boost": 0.2}}},"knn": [ {"field": "question_emb","query_vector": query_question_emb,"k": k,"num_candidates": num_candidates,"boost": 0.3},{"field": "answer_emb","query_vector": query_answer_emb,"k": k,"num_candidates": num_candidates,"boost": 0.5}],"size": 10,"_source":["faq_id","question", "answer"]}response = es.search(index=index_name, body=payload)['hits']['hits']return response

按照模型页面上的说明，我们需要在将查询转换为嵌入之前将指令附加到查询中。 此外，我们使用模型的 v1.5，因为它具有更好的相似度分布。 查看型号页面上的常见问题解答以了解更多详细信息。

评估

为了了解所提出的方法是否有效，根据传统的 KNN 搜索系统对其进行评估非常重要。 让我们尝试定义这两个系统并评估所提出的系统。

  • 系统 1：非对称 KNN 搜索（查询和答案向量）。
  • 系统2：查询（BM25）、非对称KNN搜索（查询和答案向量）和对称KNN搜索（查询和问题向量）的组合。

为了评估系统，我们必须模仿用户如何使用搜索。 简而言之，我们需要从源问题生成与问题复杂性相似的释义问题。 我们将使用 t5-small-finetuned-quora-for-paraphrasing 微调模型来解释问题。

让我们定义一个可以生成释义问题的函数。

from transformers import AutoModelWithLMHead, AutoTokenizertokenizer = AutoTokenizer.from_pretrained("mrm8488/t5-small-finetuned-quora-for-paraphrasing")
model = AutoModelWithLMHead.from_pretrained("mrm8488/t5-small-finetuned-quora-for-paraphrasing")def paraphrase(question, number_of_questions=3, max_length=128):input_ids = tokenizer.encode(question, return_tensors="pt", add_special_tokens=True)generated_ids = model.generate(input_ids=input_ids, num_return_sequences=number_of_questions, num_beams=5, max_length=max_length, no_repeat_ngram_size=2, repetition_penalty=3.5, length_penalty=1.0, early_stopping=True)preds = [tokenizer.decode(g, skip_special_tokens=True, clean_up_tokenization_spaces=True) for g in generated_ids]return preds

现在我们已经准备好了释义函数，让我们创建一个评估数据集，用于测量系统的准确性。

temp_data = data[['Question_ID','Questions']]eval_data = []for index, row in temp_data.iterrows():preds = paraphrase("paraphrase: {}".format(row['Questions']))for pred in preds:temp={}temp['Question'] = predtemp['FAQ_ID'] = row['Question_ID']eval_data.append(temp)eval_data = pd.DataFrame(eval_data)#shuffle the evaluation dataset
eval_data=eval_data.sample(frac=1).reset_index(drop=True)

上面的代码生成相应的测试 Question，它们的结果如下：

最后，我们将修改 “faq_search” 函数以返回各个系统的 faq_id。

对于系统 1：

def get_faq_id_s1(query="", k=5, num_candidates=10):if query is not None and len(query) == 0:print('Query cannot be empty')return Noneelse:instruction="Represent this sentence for searching relevant passages: "query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)payload = {"knn": [{"field": "answer_emb","query_vector": query_answer_emb,"k": k,"num_candidates": num_candidates,}],"size": 1,"_source":["faq_id"]}response = es.search(index=index_name, body=payload)['hits']['hits']return response[0]['_source']['faq_id']

对于系统 2：

def get_faq_id_s2(query="", k=5, num_candidates=10):if query is not None and len(query) == 0:print('Query cannot be empty')return Noneelse:query_question_emb = question_emb_model.encode(query, normalize_embeddings=True)instruction="Represent this sentence for searching relevant passages: "query_answer_emb = answer_emb_model.encode(instruction + query, normalize_embeddings=True)payload = {"query": {"match": {"title": {"query": query,"boost": 0.2}}},"knn": [ {"field": "question_emb","query_vector": query_question_emb,"k": k,"num_candidates": num_candidates,"boost": 0.3},{"field": "answer_emb","query_vector": query_answer_emb,"k": k,"num_candidates": num_candidates,"boost": 0.5}],"size": 1,"_source":["faq_id"]}response = es.search(index=index_name, body=payload)['hits']['hits']return response[0]['_source']['faq_id']

注意：boost 值是实验性的。 为了这个实验的目的，我根据组合中各个字段的重要性进行了划分。 搜索中每个字段的重要性完全是主观的，可能由业务本身定义，但如果不是，系统的一般经验法则是 Answer 向量 > Question 向量 > 查询。

好的！ 我们一切准备就绪，开始我们的评估。 我们将为两个系统生成一个预测列，并将其与原始 faq_id 进行比较。

eval_data['PRED_FAQ_ID_S1'] = eval_data['Question'].apply(get_faq_id_s1)from sklearn.metrics import accuracy_scoreground_truth = eval_data["FAQ_ID"].values
predictions_s1 = eval_data["PRED_FAQ_ID_S1"].valuess1_accuracy = accuracy_score(ground_truth, predictions_s1)print('System 1 Accuracy: {}'.format(s1_accuracy))

eval_data['PRED_FAQ_ID_S2'] = eval_data['Question'].apply(get_faq_id_s2)predictions_s2 = eval_data["PRED_FAQ_ID_S2"].valuess2_accuracy = accuracy_score(ground_truth, predictions_s2)print('System 2 Accuracy: {}'.format(s2_accuracy))

通过所提出的系统，我们可以看到与非对称 KNN 搜索相比，准确率提高了 7-11%。

我们还可以尝试 ramsrigouthamg/t5_paraphraser，但该模型生成的问题有点复杂和冗长（尽管在上下文中）。

你还可以使用 LLM 生成评估数据集并检查系统的性能。

准确性的提高是主观的，取决于查询的质量，即 查询的上下文有多丰富、嵌入的质量和/或使用搜索的用户类型。 为了更好地理解这一点，让我们考虑两种最终用户：

  1. 想要了解有关您的产品和服务的一些事实的一般用户：在这种情况下，上述系统会做得很好，因为问题简单、直观且上下文充分。
  2. 领域/产品特定用户，例如 想要了解产品的一些复杂细节以设置系统或解决某些问题的工程师：在这种情况下，查询在词汇组成方面更具特定于领域，因此开箱即用的模型嵌入将无法捕获所有上下文。 那么，我们该如何解决这个问题呢？ 系统的架构将保持不变，但可以通过使用特定领域数据（或预先训练的特定领域模型）微调这些模型来提高搜索系统的整体准确性。

结论

在本文中，我们提出并实现了结合搜索类型的常见问题解答搜索。 我们研究了 Elasticsearch 如何使我们能够结合对称和非对称语义搜索，从而将搜索系统的性能提高高达 11%。 我们还了解所提出的搜索架构的系统和资源要求，这将是考虑采用这种方法时的主要决定因素。

你可以在我的 Github 存储库中找到源笔记本。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/151401.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

2023MathorCup（妈妈杯） 数学建模挑战赛 解题思路

2023MathorCup（妈妈杯） 数学建模挑战赛 解题思路

云顶数模最新解题思路免费分享~~ 2023妈妈杯数学建模A题B题思路，供大家参考~~ A题 B题
阅读更多...
2.23每日一题（反常积分收敛性的判断）

2.23每日一题（反常积分收敛性的判断）

解法一：用定义（当被积函数的原函数比较好找时）： 积分结果为存在则收敛，不存在则发散。 解法二：通过p积分的比较法判断敛散性： 即被积函数与p积分相比较，使得两者同敛散；再…
阅读更多...
系列二十、循环依赖（二）

系列二十、循环依赖（二）

一、请解释下Spring的三级缓存 所谓Spring的三级缓存是Spring内部解决循环依赖的三个Map，即DefaultSingletonBeanRegistry中的三个Map。 二、A、B两对象在三级缓存中的迁移过程 第一步：A创建过程中需要B，于是A将自己放到三级缓存里面&#x…
阅读更多...
Node.js 的适用场景

Node.js 的适用场景

目录 ​编辑 前言 适用场景 1. 实时应用 用法 代码 理解 2. API 服务器 用法 代码示例 理解 3. 微服务架构 用法 代码示例 理解 总结 前言 Node.js 是一个基于 Chrome V8 引擎的 JavaScript 运行环境，它使得 JavaScript 可以脱离浏览器运行在服务器…
阅读更多...
Python 算法高级篇：桶排序与基数排序

Python 算法高级篇：桶排序与基数排序

Python 算法高级篇：桶排序与基数排序 引言什么是桶排序？桶排序的基本步骤桶排序的示例 什么是基数排序？基数排序的基本步骤基数排序的示例 桶排序与基数排序的应用桶排序的应用基数排序的应用 Python 示例代码总结 引言 在算法高级篇的课程中…
阅读更多...
(c语言进阶)字符串函数、字符分类函数和字符转换函数

(c语言进阶)字符串函数、字符分类函数和字符转换函数

一.求字符串长度 1.strlen() (1)基本概念 头文件&#xff1a;<string.h> (2)易错点&#xff1a;strlen()的返回值为无符号整形 #include<stdio.h> #include<string.h> int main() {const char* str1 "abcdef";const char* str2 "bbb&q…
阅读更多...
Pytorch整体工作流程代码详解（新手入门）

Pytorch整体工作流程代码详解（新手入门）

一、前言 本文详细介绍Pytorch的基本工作流程及代码&#xff0c;以及如何在GPU上训练模型&#xff08;如下图所示&#xff09;包括数据准备、模型搭建、模型训练、评估及模型的保存和载入。 适用读者&#xff1a;有一定的Python和机器学习基础的深度学习/Pytorch初学者。 本文…
阅读更多...
行业追踪，2023-10-27

行业追踪，2023-10-27

自动复盘 2023-10-27 凡所有相&#xff0c;皆是虚妄。若见诸相非相&#xff0c;即见如来。 k 线图是最好的老师&#xff0c;每天持续发布板块的rps排名&#xff0c;追踪板块&#xff0c;板块来开仓&#xff0c;板块去清仓&#xff0c;丢弃自以为是的想法&#xff0c;板块去留让…
阅读更多...
基于MFC的串口通信

基于MFC的串口通信

1、串口通信的概述&#xff1a; 串口是一种重要的通信资源&#xff0c;例如鼠标口、USB接口都是串口。串行端口是CPU和串行设备间的编码转换器。当数据从CPU经过端口发送出去的时候&#xff0c;字节数据会被转为串行的位&#xff0c;在接收数据时&#xff0c;串行的位被转换为…
阅读更多...
XJ+Nreal 高精度地图+Nreal眼镜SDK到发布APK至眼镜中

XJ+Nreal 高精度地图+Nreal眼镜SDK到发布APK至眼镜中

仅支持Anroid平台 Nreal套装自带的计算单元&#xff0c;其实也是⼀个没有显示器的Android设备 新建unity⼯程&#xff0c;将⼯程切换Android平台。 正在上传…重新上传取消正在上传…重新上传取消 Cloud XDK Unity User Manual for Nreal ARGlasses 该XDK是针对 NReal AR 眼镜…
阅读更多...
uview 1 uni-app表单 number digit 的输入框有初始化赋值后，但是校验失败

uview 1 uni-app表单 number digit 的输入框有初始化赋值后，但是校验失败

背景&#xff1a; 在onReady初始化规则 onReady() { this.$refs.uForm.setRules(this.rules); }, 同时&#xff1a;ref,model,rules,props都要配置好。 报错 当input框限定type为number&#xff0c;digit类型有初始值不做修改动作,直接提交会报错&#xff0c;验…
阅读更多...
HCIP笔记——数据链路层协议

HCIP笔记——数据链路层协议

网络类型 根据二层&#xff08;数据链路层&#xff09;所使用的协议来进行区分。 MA——多点接入网络 BMA——广播型多点接入网络——以太网 NBMA——非广播型多点接入网络 P2P——点到点的网络 以太网协议 MAC地址——区分和标识不同的设备 以太网中独有的一种地址——MAC地址…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023