思维链COT原理探究

要进行因果分析，需要把思维链中的不同元素拆解开来，然后通过控制变量实验，来研究不同元素对COT效果的影响。以下两篇论文的核心差异就在于: COT的变量拆解，以及控制变量的实验方式。

结合两篇论文的实验结论，可能导致思维链比常规推理拥有更高准确率的因素有

  • 思维链的推理过程会重复问题中的核心实体，例如数字，人物，数字等
  • 思维链正确逻辑推理顺序的引入

友情提示：以下论文的实验依赖反事实因果推断，这种因果分析方式本身可能存在有偏性进而得到一些错误结论，读论文有风险，迷信论文需谨慎哈哈~

TEXT AND PATTERNS: FOR EFFECTIVE CHAIN OF THOUGHT IT TAKES TWO TO TANGO

  • 测试模型：PaLM-62B，GPT3，CODEX

google这篇论文比较早，按个人阅读舒适度来划分个人更推荐第二篇论文哟~

COT元素

论文把影响元素拆分成了Text，Symbol和Pattern三个部分, 如下

论文给出了symbol和pattern的定义，剩下的token全是Text

  • symbol:是数据集的核心主体，数学问题就是数字,SPORT数据集就是运动员和运动项目, DATE数据集就是时间，这里的symbol类似实体的概念
  • pattern: 可以是symbol的组合，连接符(公式)或者帮助模型理解任务的表述结构。这里允许pattern和symbol重合，也就是整个公式是pattern，但公式中的数字同样是symbol。但在非数学问题上我个人觉得pattern的定义有点迷幻...

实验

论文针对以上3个元素分别进行了实验，通过改变COT few-shot prompt中特定元素的取值，来分析该元素对COT效果的贡献

观点1.Symbol的形式和取值本身对COT影响不大

这里论文用了两种控制变量的方式：symbol随机采样和特殊符号替换

  • 特殊符号替换(symb_abs)

abstract symbol就是用特殊符号来替换symbol，这里作者同时替换了question，prompt和answer里面的symbol如下

  • 随机替换(symb_ood)

OOD类似随机替换，不过论文的替换方式有些迷幻。对于GSM8k数学问题，作者用一一对应的数学数字替换了文字数字;对于体育常识问题的替换比较常规作者用随机的人名和赛事进行替换;对于时间常识问题作者用未来时间替换了当前时间?? 注意这里的替换作者保证了推理逻辑的一致性，包括同一数字用同一symbol替换，替换实体也符合推理逻辑，以及对问题中的答案也进行了替换。所以这里纯纯只能论证symbol本身的取值和类型(例如数字1和一)是否对COT有影响

abstract symbol就是用特殊符号来替换symbol，这里作者同时替换了question，prompt和answer里面的symbol如下

这种替换方式下的实验结果如下，除了体育问题中的随机实体替换，其余symbol的替换对COT的效果影响都非常有限。这让我想到了一篇关于NER模型的泛化性主要来自模型学会了不同类型的实体会出现在哪些上下文中，而不仅是对实体本身的形式进行了记忆。他们的实验方式和作者替换symbol的操作其实很类似，这种替换并不大幅影响下文对上文的Attention。

观点2. pattern是COT生效的必要不充分条件

对于Pattern作者更换了实验方式，控制变量采用了只保留pattern，和只剔除pattern这两种实验类型。

以数学问题为例，只保留pattern就是推理过程只保留数学公式，只剔除pattern就是整个推理过程只把公式剔除。其余问题类型，考虑在前面的pattern定义阶段个人就感觉有些迷幻，... 所以我们直接跳到实验结论吧

  • 只有pattern的COT效果很差，和直接推理差不多，说明只有patten肯定是不够的，这和上一篇博客提到COT小王子尝试过的只有数学公式的COT效果不好的结论是一致的。
  • 剔除pattern的COT效果受到影响，因此pattern对COT有显著影响，但很显然还有别的因素

观点3. 推理出现问题中的关键实体且和问题保持格式一致很重要

最后针对Text部分，作者采用了实体替换和语法替换

  • 实体替换(text_diff_entities)：把推理中的实体随机替换成和问题中不一样的实体，包括数学问题中的数字，常识问题中的时间，地点和任务。个人感觉这应该是symbol的实验？？

- 语法替换(text_yoda_thought): 把常规的英文表达改成了Yoda的说法风格。Yoda是按照名词-形容词-动词顺序来说话的。例如常规是This is my home，Yoda会说My home this is。只对thought进行语法替换，question保持正常的英文表达。

效果上，随机实体替换对所有任务的COT效果影响非常大, 所以在推理阶段使用Question中的核心实体很重要。其次推理和question在语法上的不一致会影响COT在部分任务上的表现。

Towards Understanding Chain-of-Thought Prompting: An Empirical Study of What Matters

  • 测试模型：text-davinci-002， text-davinci-003

整体上第二篇论文的思路更简单清晰，在拆解元素的同时还定义了关系。

COT元素

论文首先定义了思维链中的两种核心元素

  • Bridge Object: 模型解决问题所需的核心和必须元素。例如数学问题中的数字和公式，QA问题中的实体，有点类似把论文1中pattern和symbol和在了一起，感觉定义更清晰了
  • Language Template：除去Bridge Object剩余的部分基本都是Language Template

其次定义了思维链的两种核心关系

  • 一致性（Coherence）： 推理步骤之间的逻辑顺序, 先说什么后说什么
  • 相关性（Relevance）： Question中核心元素是否在推理中出现

实验

论文的消融实验通过人工修改few-shot COT中的few-shot样本，来验证思维链中不同元素的贡献，这里我们以一个数学问题问题为例，看下实验的两个阶段

观点1. 完全正确的COT并非必要

第一步作者证明了完全正确的In-Context样本并不是必须的，用的什么方法嘞？

如下图所示，作者手工把正确的In-Context COT样本改写成错误的，改写方式是在保留部分推理顺序，和部分bridge object的前提下，随机的把推理改成错误的推理逻辑。作者发现魔改后错误的few-shot的样本，对比正确的few-shot-cot保留了80%+的水平，只有小幅的下降。

观点2.推理顺序和核心元素的出现更重要

既然完全正确的COT样本并非必须，那究竟思维链的哪些元素对效果的影响最大呢？针对以上两种元素和两种关系，作者用了数据增强的方式来对few-shot样本进行修改，得到破坏某一种元素/关系后的few-shot样本

  • 破坏相关性: 这里使用了Random Substitution; 针对Bridge Obejct，就是固定文字模板，把数学问题中出现的数字在COT里面(32/42/35)随机替换成其他数字，这里为了保持上下文一致性相同的数字会用相同的随机数字来替换; 针对template，就固定Bridge Object，从样本中随机采样其他的COT推理模板来进行替换。
  • 破坏一致性: 这里使用了Random Shuffle；针对Bridge Object，就是把COT中不同位置的Bridge Obejct随机打乱顺序；针对Template，就固定Bridge Object，把文字模板的句子随机改变位置。

整体效果如下图

论文正文用的是text-davinci-002，附录里也补充了text-davinci-003的效果，看起来003的结果单调性更好，二者结论是基本一致的，因此这里我们只看下003的消融实验效果，可以得到以下几个核心结论

  • 对比COT推理的正确性，相关性和一致性更加重要，尤其是相关性。也就是在推理过程中复述question中的关键信息可以有效提高模型推理准确率。个人猜测是核心元素的复述可以帮助模型更好理解指令识别指令中的关键信息，并提高该信息对应的知识召回【这一点我们在下游难度较高的多项选择SFT中也做过验证，我们在多项选择的推理模板的最后加入了题干的复述，效果会有一定提升，进一步把选项的结果完形填空放到题干中，效果会有更进一步的提升】
  • Language Template的一致性贡献度较高。也就是正确的逻辑推理顺序有助于模型推理效果的提升。这一点更好理解主要和decoder需要依赖上文的解码方式相关。【还是多项选择的指令微调，我们对比了把选项答案放在推理的最前面和放在复述题干之前的效果，都显著差于先推理分析，复述题干并填入选项答案，最后给出选项答案这个推理顺序】

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.hqwc.cn/news/313415.html

如若内容造成侵权/违法违规/事实不符，请联系编程知识网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

如何在Linux系统中安装Redis

如何在Linux系统中安装Redis

原本Redis官网提供了Windows和Linux两个版本，但从 2011-12-29 以后不再更新Windows版本（https://github.com/dmajkic/redis/downloads），加之企业生产环境通常使用Linux系统，所以这里在Linux系统中演示如何安装Redis。 …
阅读更多...
十八、任务通知

十八、任务通知

1、前言 (1)所谓“任务通知”，可以反过来读"通知任务"。我们使用队列、信号量、事件组等等方法时，并不知道对方是谁。使用任务通知时，可以明确指定：通知哪个任务。 (2)使用队列、信号量、事件组时，我们都需…
阅读更多...
Pycharm引用其他文件夹的py

Pycharm引用其他文件夹的py

Pycharm引用其他文件夹的py 方式1：包名设置为Sources ROOT 起包名的时候，需要在该文件夹上：右键 --> Mark Directory as --> Sources ROOT 标记目录为源码目录，就可以了。 再引用就可以了 import common from aoeweb impo…
阅读更多...
Select工作原理

Select工作原理

I/O多路复用是一种并发处理的机制，允许一个进程通过一种机制监视多个描述符，从而在有多个I/O操作需要处理时选择其中之一进行服务。select 函数是一种常见的实现 I/O 多路复用的系统调用，它允许一个进程同时监视多个文件描述符的可读性、可写…
阅读更多...
医院安全（不良）事件报告系统源码 支持二次开发、支持源码交付

医院安全（不良）事件报告系统源码 支持二次开发、支持源码交付

医疗不良事件报告系统源码旨在建立全面的、统一的医疗不良事件标准分类系统和患者安全术语，使不良事件上报管理更加标准化和科学化。通过借鉴国内外医疗不良事件报告系统的先进经验，根据医疗不良事件的事件类型、处理事件的不同部门，灵活设置…
阅读更多...
vu3-14

vu3-14

第一个需求是在用户登录成功之后，在主页显示用户的真实姓名和性别，这些信息要调用后端API获取数据库里面的信息，第二个需求是点击菜单1，在表单中修改用户信息之后，更新到后端数据库，然后在主页同步更新用户…
阅读更多...
27、web攻防——通用漏洞SQL注入Tamper脚本Base64Jsonmd5

27、web攻防——通用漏洞SQL注入Tamper脚本Base64Jsonmd5

文章目录 数字型：0-9。http;//localhost:8081/blog/news.php?id1 字符型：a-z、中文，需要闭合符号。http;//localhost:8081/blog/news.php?idsimple 搜索型：在字符型的基础上加入了通配符%。http;//localhost:8081/blog/news.…
阅读更多...
详解Vue3中的事件监听方式

详解Vue3中的事件监听方式

本文主要介绍Vue3中的事件监听方式。 目录 一、v-on指令二、使用符号简写三、事件修饰符四、动态事件名五、常见的监听事件六、自定义事件 在Vue3中，事件监听的方式与Vue2有一些不同。 下面是Vue3中事件监听方式的详细介绍： 一、v-on指令 Vue3中仍然使…
阅读更多...
Linux驱动学习—ioctl接口

Linux驱动学习—ioctl接口

1、unlock_ioctl和ioctl有什么区别？ kernel 2.6.36 中已经完全删除了struct file_operations 中的ioctl 函数指针，取而代之的是unlocked_ioctl 。ioctl是老的内核版本中的驱动API，unlock_ioctl是当下常用的驱动API。unlocked_ioctl 实际上取…
阅读更多...
Obsidian笔记软件无公网远程同步数据到群辉Webdav

Obsidian笔记软件无公网远程同步数据到群辉Webdav

文章目录 1. 群晖开启Webdav服务2. 群晖安装Cpolar3. 配置Webdav远程地址4. Obsidian 安装Remotely Save5. Obsidian远程连接Webdav6. 固定Cpolar公网地址7. PC和移动端笔记同步演示 Obsidian是一款笔记软件，它基于Markdown，支持Windows、macOS、iOS和An…
阅读更多...
机器学习三要素与拟合问题

机器学习三要素与拟合问题

1.如何构建机器学习模型？ 机器学习工作流程总结 1.获取数据 2.数据基本处理 3.特征工程 4.机器学习(模型训练) 5.模型评估 结果达到要求，上线服务，没有达到要求，重新上面步骤 我们使用机器学习监督学习分类预测模型的工作流…
阅读更多...
【大数据面试知识点】Spark中的累加器

【大数据面试知识点】Spark中的累加器

Spark累加器 累加器用来把Executor端变量信息聚合到Driver端，在driver程序中定义的变量，在Executor端的每个task都会得到这个变量的一份新的副本，每个task更新这些副本的值后，传回driver端进行merge。 累加器一般是放在行动算子…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023