大模型：合成数据、安全挑战与知识注入-编程知识

大模型：合成数据、安全挑战与知识注入

在如今这个快速发展的AI时代，大语言模型（LLM）的研究论文数量呈指数级增长，几乎到了人力无法一一阅读和消化的地步。然而，对这些研究成果的归纳和总结至关重要，因为它们描绘了LLM领域的未来发展轮廓。在近期的LLM研究中，有三个趋势尤为引人注目：

合成训练数据：利用LLM生成它们自己的训练数据一直是一个热门话题。目前这个话题在AI研究界引发了极大的关注，一些重点研究如下：
1. 在"Improving text embeddings with large language models"的论文中，作者们展现了如何只通过合成数据和不到1000步的训练步骤，就能得到高品质的文本嵌入模型；
2. "Beyond human data: Scaling self-training for problem-solving with language models" - 数学和编程问题可以通过合成数据模式轻松生成并进行验证，进而用这些数据来提升大语言模型的表现；
LLM的安全性：自从 GPT-2 被提出后，安全部署就成为LLM开发中的首要任务（例如出于安全担忧，GPT-2 的模型权重并未公开发布）。虽然现在AI社区似乎更愿意在部署 LLM 时接受一定的风险，但安全问题依然是许多研究实验室的重中之重。最近的研究表明，确保 LLM 安全部署的难度极高：
1. 根据"Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training"这篇论文，即便LLM经过了广泛的安全调教，被提前训练进模型中的后门攻击仍然能留存下来，只是等待被特定的指令触发后就能做出恶意行为，例如生成一段黑客攻击代码。如果用间谍来做类比，就是一个所谓的“沉睡间谍”，普通情况看是一切正常的，直到被指令激活。可以参考下图：
2. "Scalable extraction of training data from (production) language models"这篇论文中，通过合适的引导提示词技巧，几乎可以从所有LLM中提取出原本应该是保密的训练数据集（例如个人私隐信息），即便这些模型已经进行了大量的对齐工作；
知识注入：几乎每家企业都对于在他们自有的内部数据上训练LLM表现出浓厚的兴趣（例如 BloombergGPT、EinsteinGPT、ShopAI 等）。但在我们如何能够最有效地将特定领域的知识库信息注入到一个预训练好的 LLM的问题上，依旧没有完美的答案：
1. 在"Fine-tuning or retrieval? comparing knowledge injection in LLMs"中，研究者们对微调和检索增强生成（RAG）两种方式进行了深入的比较，发现通过微调给LLM 灌输新知识极为困难，而RAG 在向LLM注入知识方面展现出了惊人的能力。"Retrieval-augmented generation for knowledge-intensive NLP tasks"的研究者们也提出了RAG在处理知识密集型任务时非常有效；
2. "Lima: Less is more for alignment"这篇论文的研究显示，LLM的知识几乎全部来源于预训练阶段，而在指令优化训练阶段只需要相对较少的数据就能够教会模型产生高质量的输出；
3. "Textbooks Are All You Need"的研究证实，知识丰富的LLM可以通过在更小、经过筛选的数据集上进行训练来实现，例如教科书。