目录
- 背景和价值
- 优化提问质量
- 引入本地知识库
- 结果缓存与复用
- 微调本地小模型
- 参考资料
背景和价值
问题分析： 通常这类API是按调用次数或者按token数量计费的。
减少调用次数，或者token
优化提问质量
- 精准提问：对用户的原始问题进行预处理，去除冗余信息，提炼关键内容，使发送给通义千问的问题更加精准。例如，用户询问“我想了解一下你们公司最近推出的一款智能手机的价格、性能和售后服务情况，它好像叫 XYZ 型号”，可提炼为“XYZ 型号智能手机的价格、性能和售后服务情况”。这样可以避免因问题冗长导致通义千问处理时间增加和费用浪费。
- 批量提问：将多个相关问题合并成一个更综合的问题进行提问。比如，用户分别询问“产品 A 的功能有哪些”“产品 A 的使用方法是什么”“产品 A 的价格是多少”，可以合并为“请介绍产品 A 的功能、使用方法和价格”。通过批量提问，减少调用接口的次数，从而在相同费用下增加回答问题的数量。
引入本地知识库
构建一个包含常见问题及其答案的知识库，这个知识库可以是结构化的数据库，也可以是非结构化的文档集合。当用户提出问题时，通过自然语言处理技术（如关键词匹配、语义分析）在知识库中查找相似问题并返回对应的答案。例如，将公司产品的常见问题、使用说明、技术参数等信息整理成文档或数据库，存储在本地服务器中。
适用于问题类型相对固定、重复性较高的场景。例如，智能客服中常见的产品咨询、售后服务流程等问题，这些问题的答案通常是明确且固定的，可以提前整理到知识库中。
结果缓存与复用
建立一个缓存系统，用于存储通义千问返回的答案。可以使用内存缓存（如 Redis）或数据库缓存，将问题和对应的答案作为键值对存储起来。当有新的问题到来时，先检查缓存中是否存在相同或相似的问题及答案，如果存在则直接从缓存中获取并返回，无需再次调用通义千问接口。
适用于存在大量重复问题的场景。比如在一个面向大众的智能客服系统中，很多用户可能会提出相同或相似的问题，通过缓存答案可以快速响应这些问题，提高系统的处理效率。
微调本地小模型
选择一个适合的本地小语言模型，如基于开源的轻量级模型。然后使用公司的业务数据对这个小模型进行微调训练，使其能够更好地处理特定领域的问题。微调过程中，通过调整模型的参数，让模型学习到业务数据中的语言模式和知识。
适用于需要处理特定领域、专业性较强问题的场景。例如，金融行业的投资咨询、医疗行业的疾病诊断咨询等，本地小模型经过微调后可以更好地理解和处理这些领域的专业知识和语言表达。
