向量数据库的技术优势使其更适合在AI场景下应用,能够为AI的开发、增强内容生成的准确性提供重要的技术支撑。进一步来讲,向量数据库也被看作是大语言模型的记忆与灵魂,对于解决大模型的“幻觉”问题至关重要。
由于大模型是基于已有数据训练而得出的,其具有一些典型缺陷特征,例如知识更新不足、提示词工程复杂等。因此,在生成能力上,容易出现“幻觉效应”。
Zilliz 合伙人兼产品负责人郭人通表示,当下“AI 幻觉”是大模型的主要痛点之一,构建知识库是应对此问题的有效方式,向量数据库可以作为知识库的扩展插件为大模型进行知识增强,这也为 LLMs 时代构建数据应用提供了一种新的范式。
“ 业界有一个精准的比喻:‘大模型是容易失忆的大脑,向量数据库就是海马体’。这是因为大模型支持的token(指令牌)数总是有限的,其配合RLHF(从人类反馈中强化学习)可以拥有‘短暂记忆’,但是‘一本正经胡说八道’的情况普遍存在,如果大模型可以具有‘长期记忆’,应用范围会很快从通用走向垂直领域。”盖国强如此说道。
向量数据库的出现可以在一定程度上弥补这些不足,通过向量数据库和大模型结合,可以降低大模型训练的成本,提高信息输出的及时性和准确度。最终大模型和向量数据库的结合,会成为一种通用的呈现形态,推动数据库技术走向多样化。