TEN 现已接入智谱 GLM-Realtime丨社区来稿

news/2025/2/21 18:07:09/文章来源:https://www.cnblogs.com/Agora/p/18729773

就在上周,三星 Galaxy S25 系列全球首发。基于最新 Galaxy AI 的三星 Galaxy S25 系列手机是三星在全球范围内首次推出具有视频通话功能的原生 AI 智能硬件产品。

 

三星 Galaxy S25 系列背后的智谱最新实时音视频通话 GLM-Realtime 模型,今天已经以插件形式接入 TEN。现在你可以用 TEN + GLM-Realtime 搭建自己的语音 AI Agent 了!

 

用 GLM-Realtime 在 TEN 上让 AI 送给自己一首生日快乐歌

 

智谱实时音视频通话:GLM-Realtime 模型介绍

GLM-Realtime API 能够提供实时的视频通话功能,具有跨文本、音频和视频进行实时推理的能力,AI 可以进行流畅的通话,人可以实时打断 AI。除了实时音频交互外,Realtime 还可通过手机或 AIPC 的摄像头与人互动,通过共享电脑屏幕阅读页面信息,通过视频流理解对话当前的环境。

 

体验中心:https://open.bigmodel.cn/trialcenter/audiovideocall/experience接口文档:https://open.bigmodel.cn/dev/api/rtav/GLM-Realtime

 

TEN Framework:主流对话式 Voice Agent 开源框架

基于 TEN,你可以搭建任何 Voice Agent,让你的 AI 能听能说!

 

TEN 的模块化设计和多模态数据传输优化,帮助开发者快速落地可生产使用的 voice agent。同时基于终端接入网络(lastmile)优化,以及音视频采集优化、3A、音视频编解码等技术,TEN 框架提供了内置 rtc 的解决方案,解决了音视频交互最后一公里的问题,确保 voice agent 的体验和交互质量。

 

Key Feature:

 

  • 支持多模态与端到端模型,满足语音、文本和图像的输入与输出

  • 内置优化后的实时通信能力,提供低延时、可打断的交互体验

  • 集成全球主流 STT、LLM 和 TTS 等插件,灵活编排、快速开发

  • 支持 C++, Go, Python, Node.JS 等主流语言,Agent 可跨平台无缝衔接

 

 

TEN+GLM 在线快速体验👇

 

打开体验链接:

 

1、https://ten.rtcdeveloper.cn/

 

2、 选择“Voice Agent GLM Realtime”

 

3、点击“connet”,开始你的 Voice Agent 体验😉

 

*GLM-Realtime 视频理解能力3月份上线,欢迎大家关注我们的github获取最新动态~https://github.com/TEN-framework/TEN-Agent

TEN 本地部署指南

将仓库 https://github.com/TEN-framework/TEN-Agent.git git clone 到本地后:

 

  1. 创建 .env 文件cp ./.env.example ./.env

  2. 在 .env 中设置 Agora 应用 ID 和应用证书AGORA_APP_ID=AGORA_APP_CERTIFICATE=

  3. 启动代理开发容器docker compose up -d

  4. 进入容器docker exec -it ten_agent_dev bash

  5. 构建代理task use

  6. 启动网络服务器task run

  7. 编辑开发环境设置在 localhost:3000 打开开发环境来配置你的代理。

 

正确启动后,你应该能看到如下界面:

 

 

选择 graph “voice_assistant_realtime”之后,点击Module Picker打开模块选择器

 

 

从下拉框选择“GLM Realtime”,然后点击“Save Change”保存。

 

保存成功后,点击Property Editor打开属性编辑器,选择配置 “v2v”模块,找到“api_key”属性,填入你的智谱API Key,保存即可。

 

 

点击连接按钮,开始你的 realtime 探索之旅!

智谱 X RTE 开发者社区 2000 万 Tokens 福利,开发无负担!

智谱开放平台为 RTE 开发者社区准备了 2000 万免费资源包福利,方便 RTE 社区和 TEN 社区开发者进行 AI Agent 的打造。0 元领取,限量 200 份,可适用于所有智谱开放平台的推理模型。

 

使用期限:领取后 3 个月有效

 

获取方式:访问访问如下链接/扫描二维码领取资源包后,可以在 bigmodel.cn【我的资源包列表】中查看https://bigmodel.cn/tokenspropay?productIds=product-086

 

直播预告:来和智谱和 TEN 交流!

同期我们会在 2 月 27 日(周四)晚举办一期直播交流会,欢迎对 GLM-Realtime 和 TEN Framework 感兴趣的开发者预约加入。

 

关于智谱开放平台

智谱 BigModel 开放平台 基于智谱大模型的模型能力,致力于为企业和开发者提供便利的大模型接入服务、丰富的大模型能力场景、专业的大模型解决方案,助力开发者与企业共同探索大模型落地应用的未来。官网地址:Bigmodel.cn

关于RTE 开放者社区介绍

RTE 开发者社区是聚焦实时互动领域的开发者社区。希望通过社区链接领域内的开发者和生态力量,萌芽更多新技术、新场景,探索实时互动领域的更多可能。这里你将遇见一群致力于改变人和人、人和世界,以及人和 AI 连接方式的开发者。官网:rtecommunity.dev

 

 

更多 Voice Agent 学习笔记:

 

多模态 AI 怎么玩?这里有 18 个脑洞

 

AI 重塑宗教体验,语音 Agent 能否成为突破点?

 

对话 TalktoApps 创始人:Voice AI 提高了我五倍的生产力,语音输入是人机交互的未来

 

2024,语音 AI 元年;2025,Voice Agent 即将爆发丨年度报告发布

 

对话谷歌 Project Astra 研究主管:打造通用 AI 助理,主动视频交互和全双工对话是未来重点

 

这家语音 AI 公司新融资 2700 万美元,并预测了 2025 年语音技术趋势

 

语音即入口:AI 语音交互如何重塑下一代智能应用

 

Gemini 2.0 来了,这些 Voice Agent 开发者早已开始探索……

 

写在最后:

 

我们欢迎更多的小伙伴参与 「RTE 开发者日报」 内容的共创,感兴趣的朋友请通过开发者社区或公众号留言联系,记得报暗号「共创」。

 

对于任何反馈(包括但不限于内容上、形式上)我们不胜感激、并有小惊喜回馈,例如你希望从日报中看到哪些内容;自己推荐的信源、项目、话题、活动等;或者列举几个你喜欢看、平时常看的内容渠道;内容排版或呈现形式上有哪些可以改进的地方等。

 

 

素材来源官方媒体/网络新闻

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/887701.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Canvas._left will be removed, DO NOT USE IT

问题:SignaturePad 手绘板,在电脑端可以绘制,在小程序端绘制以后不显示。开发者工具打印日志:Canvas._left will be removed, DO NOT USE IT.原因:真机使用时确实无法获取该canvas的实例属性_left.解决:通过微信小程序的wx.createSelectorQuery()方法得到query筛选器,通…

实战解析传统发电站智能化改造-第二期(带图带教程)

传统发电站的智能化改造,如同为老工匠配备高科技工具,提升效率与精准度。改造后的发电站兼具传统与智能,更高效、环保,适应现代能源需求。智慧系统搭建平台是连接感知层和应用层的桥梁,将原始数据转化为有价值的信息,为智能决策和应用提供支持。上期介绍了传统发电站改造…

PostgreSQL技术大讲堂 - 第80讲:duckdb数据库

PostgreSQL第80讲:主题:duckdb数据库 内容介绍: 1、duckdb身世之谜 2、duckdb性能为什么秒杀众多数据库 3、安装duckdb时如何跳过众多的坑 4、duckdb的使用和管理 5、duckdb、pg_duckdb、pg三个数据库性能大比拼 主讲老师:CUUG数据库老陈,PG中文社区委员、CCF数据库专委会…

LLM高效推理:KV缓存与分页注意力机制深度解析

随着大型语言模型(LLM)规模和复杂性的持续增长,高效推理的重要性日益凸显。KV(键值)缓存与分页注意力是两种优化LLM推理的关键技术。本文将深入剖析这些概念,阐述其重要性,并探讨它们在仅解码器(decoder-only)模型中的工作原理。https://avoid.overfit.cn/post/db8875…

Nuclei漏洞扫描器:快速、灵活的漏洞检测工具

免责声明 本文旨在介绍有关特定漏洞检测工具或安全风险的详细信息,以帮助安全研究人员、系统管理员和开发人员更好地理解和修复潜在的安全威胁,协助提高网络安全意识并推动技术进步,而非出于任何恶意目的。利用本文提到的漏洞信息或进行相关测试可能会违反法律法规或服务协议…

BUUCTF-Web方向16-20wp

[极客大挑战 2019]PHP 由内容提示应该存在源码备份,常见的如下,一个个尝试 后缀:tar tar.gz zip rar 名字:www web website backup back wwwroot temp访问www.zip,下载下来解压查看index.phpflag.phpclass.php <?php include flag.php;error_reporting(0);class Name{…

【Nginx开发】如何使用Nginx搭建旁路服务器获取客户端IP

一、前言 在实际业务开发过程中,很多时候有记录客户端真实IP的需求,但是从客户端发送的请求往往会经过很多代理服务器,导致后端服务获取的IP为代理以后的IP,不具有业务含义。为了解决这个问题,可以搭建一个旁路服务器,前端在发起请求的时候需要先请求旁路服务器,获取该客…

PyBy2:若依计划任务自动化上线+内存马自动生成v2.0

免责声明 本公众号文章以技术分享学习为目的。由于传播、利用本公众号发布文章而造成的任何直接或者间接的后果及损失,均由使用者本人负责,公众号及作者不为此承担任何责任。一旦造成后果请自行承担!如有侵权烦请告知,我们会立即删除并致歉。谢谢!前言 攻防中,遇到一个ruo…

当任务失败时,顶级调度系统如何实现分钟级数据补偿?

一、补数机制的定义与挑战 补数(Backfill) 指在数据管道因系统故障、数据延迟或逻辑错误导致历史任务缺失时,重新调度并执行指定时间范围内的工作流以修复数据缺口。在大数据场景中,补数机制需解决三大核心挑战:复杂依赖链重建:需精准识别历史时间段内任务上下游关系,避…

绿色建筑设计原则与案例分析 - 如何将环保理念融入建筑设计中

在这个追求可持续发展的时代,绿色建筑不仅是一种趋势,更是对地球未来的责任和承诺。它旨在通过最少的环境影响,提供健康、高效、舒适的生活与工作空间。本文将深入探讨绿色建筑设计的核心原则,并通过具体案例分析,揭示如何将环保理念巧妙融入建筑设计之中,为读者呈现一场…

Windows 程序隐藏启动黑窗口总结

免责声明: 该公众号分享的安全工具和项目均来源于网络,仅供安全研究与学习之用,如用于其他用途,由使用者承担全部法律及连带责任,与工具作者和本公众号无关。以下文章来源于锦鲤安全 ,作者四五qq 前言 Windows 控制台程序在启动时会出现一个黑(dos)窗口,一般我们想要隐…

docker部署.net core3.1

1.安装dockerapt install docker.io2.拉取.net core依赖镜像docker pull mcr.microsoft.com/dotnet/core/aspnet:latest3.创建.net core3.1项目 选择docker支持,会生成dockerFile配置文件如图:4.编写dockerfile文件,经删减后为:FROM mcr.microsoft.com/dotnet/core/aspnet:3…