2023年,大型语言模型(LLM)吸引了所有人的注意力,它可以通过提示来执行通用任务,例如翻译或编码。这自然导致人们将模型作为AI应用开发的主要成分而密切关注,所有人都在想新的LLM将带来什么能力。然而,随着越来越多的开发者开始使用LLM构建,我们认为这种关注正在迅速改变:最先进的AI结果越来越多地来自具有多个组件的复合系统,而不仅仅是单一的模型。

例如,谷歌的AlphaCode 2通过精心设计的系统设置了编程的最新状态,该系统使用LLM为一个任务生成多达100万个可能的解决方案,然后过滤和评分。同样,AlphaGeometry将LLM与传统的符号求解器相结合,以解决奥林匹克问题。在企业中,我们在Databricks的同事发现,60%的LLM应用使用某种形式的检索增强生成(RAG),30%使用多步链。即使研究传统语言模型任务的研究人员,以前只报告单个LLM调用的结果,现在也开始报告越来越复杂的推理策略的结果:微软写了一种链接策略,在医学考试中超过GPT-4的准确率9%,谷歌发布Gemini时使用新的CoT@32推理策略在MMLU基准测试中调用模型32次,这引发了与单次调用GPT-4进行比较的问题。向复合系统的转变开启了许多有趣的设计问题,但这也令人兴奋,因为这意味着领先的AI结果可以通过巧妙的工程实现,而不仅仅是训练规模的扩大。
在这篇文章中,我们分析了复合AI系统的趋势及其对AI开发者的意义。为什么开发人员要构建复合系统?随着模型的改进,这个范式是否会持续下去?又有哪些新兴的工具可以开发和优化这样的系统——这是一个比模型训练研究要少得多的领域?我们认为,复合AI系统在未来可能是最大化AI结果的最佳方式,并且可能是2024年AI中最重要的趋势之一。

查看原文：《从模型到复合AI系统的转变》