不同AI分析错误代码的差异:谁更胜一筹?谁才是最强者?结果出乎意料!

先祝大家新春快乐,我已经提前三天上班了~~为了年后新框架能上线运行,这几天没人打扰,能安静地冲一下代码,嘎嘎嘎。

准备

错误代码:

...
foreach($arr_config['path'] as $value_path)
{if(file_exists($value_path)){require_once $value_path.'.php';}
}
...

现在是一目了然错在哪里,但开发的时候因为脑子绕在前一个错误的里面没出来,所以一直没看出来错哪里了。。。尤其一开始我的脑子有点混乱,感觉AI尽在说车轱辘话:我当然知道是路径的错,但我不相信是路径的错。。。

测试下来大多AI都找到出错方向了,只是没切中我的痛点。给出代码的解决方案都不尽如人意,只有讯飞星火碰巧第一次就答对。

想看结果的点击右侧目录跳到最后去,中间过程太长了,慢慢看。

如果是文字方面的趣味比较,可以看看这篇《不同的AI修改同一篇文章标题》

在这里插入图片描述

国外AI

Chatgpt3.5

chatgpt找到错误原因了

第一次对话

在这里插入图片描述

第二次对话

我说他回答错了是不对的。给出的方案挺全面,针对后缀特别写了方案。
在这里插入图片描述

第三次对话

并没有给出代码解决方案。
在这里插入图片描述

Gemini(谷歌)

写得真够多的,但回答错误,好处是它提示到我错哪里了。。。,就是那个 .

虽然谷歌的方案最扯淡,但是我隐隐觉得这货有智能,它似乎在找突破口,尤其当我再次问他的时候,它回答问题时又再次提到这个 .

第一次对话

看似错大谱了,但好像它在思考。
在这里插入图片描述
在这里插入图片描述

第二次对话

在这里插入图片描述
在这里插入图片描述

第三次对话

这家伙纠结于 . 让我感觉以外。
给了一次错误的代码解决方案,再给了三次正确的代码解决方案。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Claude

这个AI是我平时用的最多的~~

第一次对话

完全找错方向,有点胡说八道的味道了。
很大可能是因为之前我一直在问他一个循环内错误的情况,所以它结合了上下文来回答这次提问导致出错。
在这里插入图片描述

第二次对话

在这里插入图片描述

第三次对话

语句精炼,且给出的方案也正确。
在这里插入图片描述

在这里插入图片描述

国产AI

文心一言3.5

目前用下来,百度AI是国产顶流。我经常会拿百度和国外的三个AI联合使用。

它提到了 file_exists()require_once() 处理的路径可能不同,而其它AI并没有明显的将两者结合对比。

第一次对话

在这里插入图片描述

第二次对话

还给出了else的语句
在这里插入图片描述

第三次对话

再次询问后没有给出代码方面解决方案。

在这里插入图片描述

在这里插入图片描述

讯飞星火

和chatgpt一样,从 file_exists() 作为突破口,而且给出了正确的解决方案!

告诉它切入点后它竟然给了错误的答案。。。

再次询问时它又是从原来的切入点找了,给出的解决方案也是错的。

总结就是讯飞没有上下文概念。每次询问就是新的询问,并不会结合上文,所以你最好期盼它能一击命中。

第一次对话

一击命中,但之后的连续错误说明只是运气好~~
在这里插入图片描述

第二次对话

唯一一个提示了错误的位置,还是给出了错误的代码解决方案。

在这里插入图片描述

第三次对话

继续错

在这里插入图片描述

豆包

今天刚开始用,它有各种角色包,我用它查了一次历史相关的问题,回答还是蛮专业的。

第一次对话

跳开路径判断直接调用,这招坏坏的哦。
在这里插入图片描述

第二次对话

给出了正确的代码解决方案。
在这里插入图片描述

第三次对话

又回到最初~~还是用了第一次的方案,说明没有懂第二次对话的意思。
在这里插入图片描述

在这里插入图片描述

综合分析

列表

  • 分类规则
    R1 表示第一次询问后AI能否找到正确的出错原因(首次询问);
    S1 表示第一次询问后AI能否给出正确的解决方案;
    R2 表示第二次询问后AI能否分析正确的出错原因(告知要点);
    S2 表示第二次询问后AI能否给出正确的解决方案;
    R3 表示第三次询问后AI能否找到正确的出错原因(重新再问);
    S3 表示第三次询问后AI能否给出正确地解决方案;

  • 积分规则
    R系
    1 表示原因表述正确,切中要点;
    0 表示原因表述方向对了,但没切中要点;
    -1 表示原因表述错误。
    S系
    1 表示解决方案表述正确,并给出了正确代码;
    0 表示解决方案表述正确,但没有给出代码;
    -1 表示解决方案表述正确,但代码错误;
    -2 表示解决方案表述错误,代码也错误;

名称R1S1R2S2R3S3得分备注
Chatgpt 3.50011103中规中矩,没有惊喜
Gemini-1-21110.50.5S3给了4个方案,其中有1个错的
Claude-1-211111可能因前文误导,R1S1错误,有点可惜
文心一言 3.50011103国产顶流,还是可以的
讯飞星火111-10-11唯一S1就完全正确
豆包01110-12S1、S2的代码能解决问题,但并非我要

结论

得分只是根据这一次表现所做,平时都是联合着一起用的,并不代表在代码方面的平均水平,所以我在总结一下个人感受:

  • Chatgpt 3.5 中规中矩吧,我对它信任度较高,但最近的表现感觉变懒了;
  • Gemini 话最多,但在代码方面的感觉比较差,整体感觉和别的AI不太一样,不知道是智商高、个性强还是没调教好;
  • Claude 是我用最多的,感觉它在代码方面最强,第一次的丢分很大可能是它结合之前的问题在回答;
  • 文心一言 3.5 是国产顶流,没得说,可以和三个国外拼一拼;
  • 讯飞星火 因为没有上下文概念,用的最少;
  • 豆包 我今天才用,后面多测试了再说,但是它角色多,今天问了一个历史方面的,表现还是不错的。

尽管分数不尽如人意,但我个人目前代码分析首推的还是Claude,其次是Chatgpt文心一言豆包 有待观察。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/471895.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

分布式文件系统 SpringBoot+FastDFS+Vue.js【四】

分布式文件系统 SpringBootFastDFSVue.js【四】 八、文件的下载和删除功能8.1.FastDFSClient.java8.2.FileServerController.java8.3.Vue的fast.js8.4.fastdfsimg.vue8.5.效果 九、总结endl 八、文件的下载和删除功能 8.1.FastDFSClient.java Slf4j public class FastDFSClie…

【lesson56】生产者消费者模型

文章目录 学习生产者消费者模型过程中要回答的两个问题生产者消费者模型的概念基于阻塞队列的生产者消费者模型编码实现Common.hLockGuard.hppCondtion.hppBlockQueue.hppTask.hppConProd.cc 学习生产者消费者模型过程中要回答的两个问题 1.条件变量是在条件满足的时候&#x…

Python4Delphi: Delphi 程序使用 Python 抓取网页

想用程序去抓取一个网页的内容,Delphi 有自己的 HTTP 库。比如 Indy 的 TIdHTTP,或者 TNetHTTPClient。 这里测试一下使用 Python 的 HTTP 库抓取网页,然后把抓取的内容给 Delphi 的程序。 Delphi 程序,界面上拖控件如下&#x…

windows@命令行映射磁盘驱动器若干方法@开机自动映射网络磁盘

文章目录 windows映射网络磁盘驱动器资源管理器中GUI方式创建命令行方式创建命令行列出驱动器列表删除取消映射持久化配置映射👺记住凭证 FAQ开机自启登录系统后自动挂载👺[以alist webdav 挂载为例]分析对策延迟挂载👺Note 访问已经挂载网络…

最长连续手牌 - 华为OD统一考试

OD统一考试(C卷) 分值: 200分 题解: Java / Python / C 题目描述 有这么一款单人卡牌游戏,牌面由颜色和数字组成,颜色为红、黄、蓝、绿中的一种,数字为 0−9 中的一个。游戏开始时玩家从手牌中…

一篇文章彻底搞懂 TiDB 集群各种容量计算方式

作者丨hey-hoho 来自神州数码钛合金战队 神州数码钛合金战队是一支致力于为企业提供分布式数据库 TiDB 整体解决方案的专业技术团队。团队成员拥有丰富的数据库从业背景,全部拥有 TiDB 高级资格证书,并活跃于 TiDB 开源社区,是官方认证合作…

OpenCV Mat实例详解 四

OpenCV Mat实例详解三中详细介绍来了OpenCV Mat类的公有静态成员函数,下面介绍OpenCV Mat类的其他常用成员函数。 OpenCV Mat类常用成员函数 Mat & adjustROI (int dtop, int dbottom, int dleft, int dright); dtop ROI 上边界移动值,如…

结构体对齐规则及为什么会有结构体对齐

前言: 大家在学习结构体中,在计算结构体大小时想必会很疑惑,为什么结构体的大小不是按照常理像数组一样一个字节一个字节的挨在一起放?今天带大家一起深入探讨一下背后的规则和原因。 结构体对齐规则: 结构体对齐其实…

【防网盘在线解压】Peazip 豌豆压缩 v9.7.0

软件介绍 Peazip 是一个免费的文件归档应用程序, 支持跨平台,是和WinRar、WinZip类似软件的开源免费替代品;支持压缩/ 存档到 7Z, ARC、Brotli BR、BZip2、GZip、 PAQ、PEA、RAR、自解压档案、TAR、WIM、XZ、Zstandard ZST、打开…

最短路径(dijstra算法,链式前向星,堆优化)

【模板】单源最短路径(弱化版) 对于这题我们使用邻接矩阵的话会导致弓箭复杂度会大大提升,所以我们就需要学习一种新的数据结构,名叫链式前向星,在链式前向星中,我们需要定义一个结构体数组,其中…

【实战】二、Jest难点进阶(一) —— 前端要学的测试课 从Jest入门到TDD BDD双实战(五)

文章目录 一、Jest 前端自动化测试框架基础入门二、Jest难点进阶1.snapshot 快照测试 学习内容来源:Jest入门到TDD/BDD双实战_前端要学的测试课 相对原教程,我在学习开始时(2023.08)采用的是当前最新版本: 项版本babe…