伯克利研究院推出Ghostbuster用于检测由LLM代笔的文本-编程知识

Ghostbuster的架构，用于检测人工智能生成文本的最先进的新方法

像 ChatGPT 这样的大型语言模型写得非常好，但事实上，它们已经成为一个棘手的问题。学生们已经开始使用这些模型代写作业，导致一些学校禁止 ChatGPT。此外，这些模型也容易产生带有事实错误的文本，因此谨慎的读者可能想知道生成人工智能工具是否被用来代写新闻文章或其他来源，然后再相信它们。

教师和读者可以做些什么以应对？现有的检测人工智能生成文本的工具有时在处理与训练数据不同的数据时表现不佳。此外，如果这些模型错误地将真实的人类写作归类为人工智能生成的，它们可能会危及那些真实作品受到质疑的学生。

Ghostbuster，这是一种检测人工智能生成文本的最先进的方法。Ghostbuster 的工作原理是在几个较弱的语言模型下找到在文档中生成每个标记的概率，然后根据这些概率组合函数作为最终分类器的输入。Ghostbuster 不需要知道使用什么模型来生成文档，也不需要知道在该特定模型下生成文档的概率。这一特性使 Ghostbuster 对于检测可能由未知模型或黑盒模型生成的文本特别有用，例如流行的商业模型 ChatGPT 和 Claude，这些模型的概率不可用。我们特别感兴趣的是确保Ghostbuster 能够很好地概括，因此我们评估了文本生成的一系列方式，包括不同的领域（使用新收集的论文、新闻和故事数据集）、语言模型或提示。

人工创作和 AI 生成的文本示例

为什么采用这种方法

目前许多人工智能生成的文本检测系统很难对不同类型的文本进行分类（例如，不同的写作风格，或不同的文本生成模型或提示）。仅使用困惑的简单模型通常无法捕获更复杂的特征，并且在新的写作领域中表现尤其差。事实上，我们发现，在某些领域，包括非英语母语人士的数据，仅困惑的基线比随机基线更糟糕。同时，基于大型语言模型（如 RoBERTa）的分类器很容易捕获复杂的特征，但对训练数据拟合过度且泛化效果不佳：我们发现 RoBERTa 基线具有灾难性的最坏情况泛化性能，有时甚至比仅困惑的基线更差。零样本方法在不对标记数据进行训练的情况下，通过计算文本由特定模型生成的概率来对文本进行分类，当实际使用不同的模型生成文本时，也往往表现不佳。

Ghostbuster 的工作原理

Ghostbuster 使用三个阶段的训练过程：计算概率、选择特征、和分类器训练。

计算概率：我们通过计算在一系列较弱的语言模型（一个单元模型、一个三元模型和两个非指令调优的 GPT-3 模型，ada 和 davinci）下生成文档中每个单词的概率，将每个文档转换为一系列向量。

选择特征：我们使用结构化搜索程序来选择特征，其工作原理是（1）定义一组组合概率的向量和标量运算，以及（2）使用正向特征选择搜索这些操作的有用组合，重复添加最佳剩余特征。

分类器训练：我们根据基于概率的最佳特征和一些额外的手动选择特征训练线性分类器。

结果

当在同一领域进行训练和测试时，Ghostbuster 在所有三个数据集中都取得了 99.0 F1，比 GPTZero 高出 5.9 F1，比 DetectGPT 高出 41.6 F1。在域外，Ghostbuster 在所有条件下的平均 F1 为 97.0，比 DetectGPT 高出 39.6 F1，比 GPTZero 高出 7.5 F1。当在所有数据集上进行域内评估时，我们的 RoBERTa 基线达到了 98.1 F1，但其泛化性能不一致。Ghostbuster 在除创意写作领域外的所有领域都优于 RoBERTa 基线，并且平均而言，域外表现比 RoBERTa 好得多（13.8 F1 利润率）。

关于 Ghostbuster 域内和域外性能的结果

为了确保 Ghostbuster 对用户提示模型的一系列方式（例如请求不同的写作风格或阅读水平）具有鲁棒性，我们评估了 Ghostbuster 对几种提示变体的鲁棒性。Ghostbuster 以 99.5 F1 的成绩超越了这些提示变体的所有其他测试方法。为了测试跨模型的泛化性，我们评估了 Claude 生成的文本的性能，其中 Ghostbuster 的性能也优于所有其他测试方法的 92.2 F1。

AI 生成的文本检测器通过轻微编辑生成的文本而被愚弄。我们研究了 Ghostbuster 对编辑的鲁棒性，例如交换句子或段落、重新排序字符或用同义词替换单词。句子或段落级别的大多数更改不会显着影响性能，但如果通过重复释义、使用商业检测规避器（如 Undetectable AI）或进行大量单词或字符级别的更改来编辑文本，则性能会平稳下降。在较长的文档上，性能也最好。

由于人工智能生成的文本检测器可能会将非英语母语人士的文本错误地归类为人工智能生成的文本，因此我们评估了 Ghostbuster 在非英语母语人士写作方面的表现。所有测试的模型在三个测试数据集中的两个数据集上的准确率都超过95%，但在第三组较短的论文中表现更差。然而，文档长度可能是这里的主要因素，因为 Ghostbuster 在这些文档（74.7 F1）上的表现几乎与在类似长度的其他域外文档（75.6到93.1 F1）上的表现一样好。

希望将 Ghostbuster 应用于文本生成可能被禁止使用的真实案例（例如，ChatGPT 撰写的学生论文）的用户应注意，较短的文本、与 Ghostbuster 训练的领域相去甚远的领域（例如，不同种类的英语）、非英语母语人士的文本、人工编辑的模型生成或通过提示 AI 模型修改人类创作的输入生成的文本更有可能出现错误。为了避免算法上的危害，我们强烈反对在没有人工监督的情况下自动惩罚涉嫌使用文本生成的行为。相反，如果将某人的写作归类为 AI 生成可能会伤害他们，我们建议谨慎地、人机交互地使用 Ghostbuster 。Ghostbuster 还可以帮助处理各种低风险应用程序，包括从语言模型训练数据中过滤 AI 生成的文本，并检查在线信息源是否是 AI 生成的。