Elasticsearch：向量数据库的真相-编程知识

通过工作示例了解什么是向量数据库、它们如何实现 “相似性” 搜索以及它们可以在明显的 LLM 空间之外的哪些地方使用。除非你一直生活在岩石下，否则你可能听说过诸如生成式人工智能和大型语言模型（LLM）之类的术语。除此之外，你很有可能听说过向量数据库，它为 LLMs 的查询提供上下文。有没有想过它们是什么以及它们在明显的 LLM 领域之外有何用处？好吧，请继续阅读以了解这项令人兴奋的新技术，构建您自己的向量数据库并思考如何在你的项目中利用它，包括但不限于 LLMs。

以值匹配为中心的搜索的局限性

首先，让我们看看到底缺少什么而引发了对不同类型数据库技术的需求。这是与搜索数据有关。当你在数据库中听到 “搜索” 这个词时，你可能会立即想到正常的以数值或关键字为中心的搜索，例如：

相等：其中 customer_id = 123
比较：年龄大于 25 岁
通配符：客户名称以 “Mc” 开头，例如 “McDonald”

有时，这些以价值为中心的搜索也相互依存，例如

其中年龄 (age) > 25 且邮政编码 (zipcode) = ‘12345’

现代数据库技术在过去几十年中不断发展，提高了此类搜索的效率，我将其称为 “以值为中心的搜索”，其中评估特定值以在查询中进行过滤。虽然它们在许多情况下都可以工作，可以说在几乎所有与业务相关的应用程序中，但请考虑如下：

给我找一个像丽莎 (Lisa) 一样的客户

请注意所使用的过滤器：它并没有询问姓名为 “Lisa” 的客户；只是像她这样的人，即与丽莎相似的人。相似是什么意思？这是一个很难回答的问题。这不是名字，因为类似的客户可能被命名为 Alice、Bob 或 Chris。难道是他们的年龄？可能吧。假设丽莎的年龄是 40 岁。40 岁的顾客最相似。 25 岁的客户相似度会降低，55 岁的客户也同样不相似。

让我们思考一下。考虑这三位顾客各自的年龄。

如果我们画一个图表，将 Lisa 的余额放在中间，然后绘制其他的图表，它将如下图所示。他们的年龄与 40 岁（丽莎的年龄）的距离显示了他们距离该目标有多远。在本例中，我们表明 Bob 最相似，Charlie 最不相似，而 Alice 更相似一些。

年龄只是客户的一方面。在寻找 “像丽莎” 这样的人时，我们可能会想到更多的属性；不只是一个。其中一个属性可以是客户的净资产，如下所示，添加到原始表中：

如果 Lisa 的净资产是10万，这些客户之间会有什么新的相似之处？我们可以创建一个以年龄和净资产为两个轴的二维图表，如下图所示。

然而，由于后者以千为单位，而前者以两位数为单位，因此图表将不成比例。为了获得相同的比例，我们需要将这些绝对值转换为一些相对值以进行比较。年龄从 20 岁到 80 岁不等，即相差 60 岁。因此，Alice 与 Lisa 的年龄距离为 (40–20)/60 = 0.33。同样，净资产的分布范围为 50 到 200，即 150。同样，Bob 的净资产距离为 (200–100)/150 = 0.67。

我们发现 Bon 的档案不再与丽莎 “相似”。为了找到复合距离，我们可以在二维图上计算它们之间的距离，例如：

Composite Distance = Square Root of (Square of (Age Distance) + Square of (Net Worth Distance))

使用该公式，我们计算与 Lisa 的复合距离。

我们可能会发现 Alice 距离 Lisa 的距离可能比 Bob 要近，而且和 Charlie 距离是最远。只需添加一个维度即可显着改变相似性。考虑添加另一个维度，例如 “孩子的数量”，使其成为 3 维图，这可能会进一步改变物体与丽莎的距离。实际上，对象有数百个属性可供比较。将所有这些都写在纸上是不可能的。但希望你能了解多维空间中两点之间的距离。距离越小，点越相似，0 表示在所有维度上完全相同。

点的属性被捕获为向量。在上面的例子中，向量的维度将是 [Age，Net Worth]；所以我们将按如下方式表示这些值。

代表 Lisa 的向量是 [40,100000]。点之间的距离通常表示为欧几里德距离，如下面二维空间的函数 d() 所示。资料来源：维基百科。

运用 Elasticsearch 作为向量数据并计算距离

在上面，我们通过一个详细的例子描述了如何把数据转换为向量，并计算向量直接的距离。事实上，如果我们通过手动的方式来计算，就显得非常麻烦。Elasticsearch 作为全球下载量最多的向量数据库，我们可以很方便地利用它来帮我们进行计算向量之间的相似性。下面，我们来通过 Elasticsearch 来实现向量之间的相似性。

首先，我们为向量的索引定义一个 mapping：

PUT my-index
{"mappings": {"properties": {"my_vector": {"type": "dense_vector","dims": 2,"similarity": "l2_norm"},"name" : {"type" : "keyword"}}}
}

请注意，在上面，我们定义了一个叫做 dense_vector 的数据类型。这个就是我们的向量数据类型。它的维度为 2。我们可以详细参考 Elastic 官方文档来了解这个数据类型。my_vector 的相似性，我们使用 l2_norm 来定义 similarity，它表明是欧几里得距离。请详细参阅文档。

我们通过如下的命令来写入数据到 Elasticsearch：

POST my-index/_bulk?refresh=true
{ "index" : { "_id" : "1" } }
{ "name" : "Alice", "my_vector": [20,100000] }
{ "index" : { "_id" : "2" } }
{ "name" : "Bob", "my_vector": [40,200000] }
{ "index" : {"_id" : "3" } }
{ "name" : "Charlie", "my_vector": [80,50000] }

我们可以通过如下的命令来查看写入的数据：

GET my_index/_search?filter_path=**.hits

上面的命令返回的响应为：

  "hits": {"hits": [{"_index": "my_index","_id": "1","_score": 1,"_source": {"name": "Alice","my_vector": [20,100000]}},{"_index": "my_index","_id": "2","_score": 1,"_source": {"name": "Bob","my_vector": [40,200000]}},{"_index": "my_index","_id": "3","_score": 1,"_source": {"name": "Charlie","my_vector": [80,50000]}}]}
}

我们可以通过 Elasticsearch 来计算我们搜索对象 Lisa 的距离。搜索的结果将返回在我们的向量数据库中最近的向量。它们是按照距离的大小进行排序的。在上面的向量中，我们想找到一个最相近的 Lisa，而它的向量为 [40, 100000]。我们可以通过如下的方法来搜索我们的向量：

接下来，我们使用 Elasticsearch 的 knn search 端点来进行搜索：

POST my-index/_search?filter_path=**.hits
{"knn": {"field": "my_vector","query_vector": [40, 100000],"k": 10,"num_candidates": 100}
}

上面的搜索结果是：

{"hits": {"hits": [{"_index": "my-index","_id": "1","_score": 0.0024937657,"_source": {"name": "Alice","my_vector": [20,100000]}},{"_index": "my-index","_id": "3","_score": 3.9999976e-10,"_source": {"name": "Charlie","my_vector": [80,50000]}},{"_index": "my-index","_id": "2","_score": 1e-10,"_source": {"name": "Bob","my_vector": [40,200000]}}]}

如上所示，我们看到的结果是 Alice 排名是第一的，而紧随其后的是 Charlie。而我们之前认为的 Bob 是排在最后的一个。Bob 的距离是最远的，这个和之前的推送方法有一定的误差，比如相对计算的方法不同。

更多有关 Elasticsearch 向量搜索的内容，请详细阅读文章 “AI”。