文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告

本心、输入输出、结果

文章目录

  • 文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告
    • 前言
      • 相关跳转
        • 文心一言 4.0 ERNIE-Bot 4.0 接口简介
        • Bash 请求示例代码
        • Windows 模式
        • 使用 Python 请求
        • 如果直接使用官方提供的代码
        • 文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台
        • 前提条件:创建一个应用
        • 在线测试
      • 进行问题测试
        • 反应速度
        • 常识推理
        • 中文理解
        • 生蚝问题
        • 数学计算
        • 代码
      • ERNIE-Bot 4.0 大模型深度测试体验报告:总结
      • 其它内容
      • 弘扬爱国精神

文心一言 4.0 ERNIE-Bot 4.0 :ERNIE-Bot 4.0 大模型深度测试体验报告


编辑:简简单单 Online zuozuo
地址:https://blog.csdn.net/qq_15071263

在这里插入图片描述

前言

百度文心一言 4.0 :如何申请百度文心一言 4.0

昨天申请的 文心一言 4.0 ERNIE-Bot 4.0 测试资格,目前已经拿到,我们将开始对 文心一言 4.0 ERNIE-Bot 4.0 进行一些体验测试

在这里插入图片描述

在这里插入图片描述

相关跳转

文心一言 4.0 ERNIE-Bot 4.0 ,目前对于申请的人员,只提供了 API 测试通道,所以我们需要 API 文档

文心一言 4.0 ERNIE-Bot 4.0 API 对接文档

文心一言 4.0 ERNIE-Bot 4.0 接口简介

该接口调用 = 发起一次对话请求

本接口返回不支持图片内容

接口地址为:POST
https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro

在这里插入图片描述

接口文档 如何获取 Access_Token

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

Bash 请求示例代码

# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'# 步骤二,调用本文API,使用步骤一获取的access_token,替换下列示例中的”调用接口获取的access_token“
curl -X POST 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=[步骤一调用接口获取的access_token]' -d '{"messages": [{"role":"user","content":"介绍一下你自己"}]
}' | iconv -f utf-8 -t utf-8

这是最简单的调用 API 的方式

Windows 模式

日常我们使用 Windows 进行工作的时候,一般使用 PowerShell,那么 Bash 脚本就不适合我们,所以我写了一个 PowerShell 脚本给大家使用

Invoke-WebRequest -Uri 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[这里填写你的 API KEY]&client_secret=[这里填写你的 API Secret]'   | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

如图,我们就拿到了我们需要的内容

在这里插入图片描述

发起沟通请求的 Windows PowerShell 脚本

Invoke-WebRequest -Uri 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=【你的 TOKEN】' -Body '{"messages":[{"role":"user","content":"你好"}]}' -Method Post -ContentType 'application/json;charset=utf-8'  | Select-Object -ExpandProperty Content |  ConvertFrom-Json | ConvertTo-Json -Depth 100

以下为正常测试返回结果
在这里插入图片描述

使用 Python 请求

这里我再贴一下 Python 版本的代码,官方提供的 Python 代码参数上有点问题,我已经修复了

import requests
import jsonAPI_KEY = "你的AK"
SECRET_KEY = "你的SK"def main():url = "https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/chat/completions_pro?access_token=" + get_access_token()payload = json.dumps({"messages": [{"role": "user","content": "你好"}]})headers = {'Content-Type': 'application/json'}response = requests.request("POST", url, headers=headers, data=payload)print(json.dumps(json.loads(response.text), indent=4, ensure_ascii=False))def get_access_token():"""使用 AK,SK 生成鉴权签名(Access Token):return: access_token,或是None(如果错误)"""url = "https://aip.baidubce.com/oauth/2.0/token"params = {"grant_type": "client_credentials", "client_id": API_KEY, "client_secret": SECRET_KEY}return str(requests.post(url, params=params).json().get("access_token"))if __name__ == '__main__':main()

测试结果是正确的
在这里插入图片描述

如果直接使用官方提供的代码

如果直接使用官方提供的代码会报错,包括官方的调试口子也是会报错的

在这里插入图片描述

报错返回的 336006 the length of messages must be an odd number ,文档中也没有说明

代码调试结果

在这里插入图片描述

技术文档中,也没有对 336006 的解释

在这里插入图片描述

报错的主要原因是:这里的 message 只能携带奇数个参数

在这里插入图片描述
参考这个说明
在这里插入图片描述

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

虽然只提供了 API 模式,但是我们依然可以利用提供的 API 调试平台直接可视化的使用 文心一言 4.0 ERNIE-Bot 4.0

文心一言 4.0 ERNIE-Bot 4.0 API 在线调试平台

页面如下,我们可以直接进行对话

在这里插入图片描述

前提条件:创建一个应用

我们需要在控制台先新建一个应用

在这里插入图片描述

在线测试

计费管理中,文心一言 4.0 ERNIE-Bot 4.0 已经免费了,但是实际上,官方并没有完善好在线测试的通道

在这里插入图片描述

我们去在线调试里面,是找不到 文心一言 4.0 ERNIE-Bot 4.0 的资源的,其它的都需要付费

在这里插入图片描述

在这里插入图片描述

进行问题测试

测试思路

  • 反应速度
  • 常识推理
  • 中文理解
  • 生蚝问题
  • 数学计算
  • 代码
反应速度

实测反应速度还是比较慢的,平均需要 3-5 秒

常识推理

中国:三个字命名的城市

理解正确,没有把上海市之类的理解为三个字的

在这里插入图片描述

GPT-4

在这里插入图片描述

国内代理 GPT-4 的(高级账户)

在这里插入图片描述

中文理解

理解:上海自来水来自海上

结果并不理想

在这里插入图片描述

生蚝问题

生蚝煮熟了叫什么

他也觉得可以叫熟蚝,但是他知道还是生蚝

GPT-4 会直接认为煮熟了,就不叫生蚝了

在这里插入图片描述

数学计算

两个完全一样的梯形拼成一个平行四边形,这个平行四边形的面积是280cm,高是35cm,每个梯形的上底、下底之和是多少cm

在这里插入图片描述

代码

使用Python代码生成一个长度为10的随机字符串。

在这里插入图片描述

我们直接复制并运行一下这段代码,是可以直接运行的

在这里插入图片描述

在这里插入图片描述

ERNIE-Bot 4.0 大模型深度测试体验报告:总结

真的已经很惊艳了,比预期值是要高出很多的,唯一不足的地方就是目前响应速度实在是有点慢,不知道是不是测试阶段部署的算力资源不足的问题

在这里插入图片描述

其它内容

测试版本的内容里面,还没有提供图片、插件等能力,不知道到时候的结果如何

目前图片生成能力,还没有接入 文心一言 4.0 ERNIE-Bot 4.0

在这里插入图片描述

我们看看 文心一言 3.5 的表现

在这里插入图片描述

弘扬爱国精神

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/139884.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

首发AI原生应用开发平台——千帆AI原生应用开发工作台,加速企业AI应用落地

为了满足企业对于敏捷和高效地进行AI原生应用开发与运维的需求,并降低相关开发的门槛,百度智能云最新发布了“千帆AI原生应用开发工作台”。该工作台将开发大型模型应用程序的常见模式、工具和流程进行了整合,使得开发者可以聚焦于自身业务&a…

【excel】列转行

列转行 工作中有一些数据是列表,现在需要转行 选表格内容:在excel表格中选中表格数据区域。点击复制:在选中表格区域处右击点击复制。点击选择性粘贴:在表格中鼠标右击点击选择性粘贴。勾选转置:在选择性粘勾选转置选…

【TES720D-KIT】青翼自研基于复旦微FMQL20S400全国产化ARM开发套件(核心板+底板)

TES720D-KIT是专门针对我司TES720D(基于复旦微FMQL20S400的全国产化ARM核心板)的一套开发套件,它包含1个TES720D核心板,加上一个TES720D-EXT扩展底板。 FMQL20S400是复旦微电子研制的全可编程融合芯片,在单芯片内集成…

flutter app开发环境搭建

Flutter是一个跨终端、多设备的应用界面开发工具,其支持web端、移动端、桌面端以及嵌入式不同应用场景的应用开发,其使用dart语言作为开发语言,本文主要描述Flutter开发环境搭建。 如上所示,从Flutter官方网站下载最新版本的Flutt…

竞赛选题 深度学习YOLO安检管制物品识别与检测 - python opencv

文章目录 0 前言1 课题背景2 实现效果3 卷积神经网络4 Yolov55 模型训练6 实现效果7 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是 🚩 **基于深度学习YOLO安检管制误判识别与检测 ** 该项目较为新颖,适合作为竞赛课题方向&…

森海塞尔EW-DP SKP直插式发射机:真正的无失真录制

韦德马克,2023年9月15日 – 10月底,EW-DP系列将再添新品——EW-DP SKP直插式发射机,面向摄像师、广播电视公司和电影制作人。板载32位浮点录制,结合该系列领先的134 dB发射机动态范围,让音频失真不复存在。无论要在现场…

【temu】分析拼多多跨境电商Temu数据分析数据采集

Temu是拼多多旗下跨境电商平台,于2022年9月1日在美国、加拿大、新加坡、中国台湾、中国香港等市场上线。本文作者从销售额、销量、产品分布等方面,对Temu产品进行了分析,一起来看一下吧。 item_get获得商品详情item_review获得商品评论列表it…

泛微e-office json_common.php SQL注入漏洞

一、漏洞描述 泛微e-office为企业办公提供丰富应用,覆盖常见协作场景,开箱即用。满足人事、行政、财务、销售、运营、市场等不同部门协作需求,帮助组织高效管事理人。 系统 json_common.php 文件存在SQL注入漏洞 二、网络空间搜索引擎搜索 …

数据结构--B树

目录 回顾二叉查找树 如何保证查找效率 B树的定义 提炼 B树的插入和删除 概括B树的插入方法如下 B树的删除 导致删除时,结点不满足关键字的个数范围时(需要借) 如果兄弟不够借,需要合体 回顾B树的删除 B树 B树的查找 …

Ant Eclipse插件使用

Eclipse默认带了ant插件 编辑build.xml文件给出提示 编辑的时候,会给出提示,方便编辑: 将鼠标放在属性上方,会将属性的值显示出来: 在Eclipse中运行ant 运行默认的target build.xml文件的内容如下,…

Unity DOTS System与SystemGroup概述

最近DOTS终于发布了正式的版本, 我们来分享以下DOTS里面System关键概念,方便大家上手学习掌握Unity DOTS开发。 对惹,这里有一个游戏开发交流小组,希望大家可以点击进来一起交流一下开发经验呀! System是迭代计算与处理World中的…

【JVM】对象内存布局

对象内存布局 文章目录 对象内存布局1. 对象的内存布局2. 对象标记(Mark Word)3. 类元信息(类型指针)4. 实例数据和对象填充 1. 对象的内存布局 在Hotspot虚拟机里,对象在堆内存中的存储布局可以划分为三个部分:对象头(Header)、实例数据(Instance Data…