音视频技术开发周刊 | 324

每周一期,纵览音视频技术领域的干货。

新闻投稿:contribute@livevideostack.com。

a65db3afb4e70bf4a2b3a8c4c74fd74f.png

467亿参数MoE追平GPT-3.5!爆火开源Mixtral模型细节首公开,中杯逼近GPT-4

今天,Mistral AI公布了Mixtral 8x7B的技术细节,不仅性能强劲,而且推理速度更快!还有更强型号的Mistral-medium也已开启内测,性能直追GPT-4。 

8x7B开源MoE击败Llama 2逼近GPT-4!欧版OpenAI震惊AI界,22人公司半年估值20亿

前几日,一条MoE的磁力链接引爆AI圈。刚刚出炉的基准测试中,8*7B的小模型直接碾压了Llama 2 70B!网友直呼这是初创公司版的超级英雄故事,要赶超GPT-4只是时间问题了。有趣的是,创始人姓氏的首字母恰好组成了「L.L.M.」。

深度学习大牛权威预测2024年AI行业热点,盘点开源AI趋势!

AI社区大佬Sebastian总结了2023年全年AI行业的热点和问题,针对开源社区和AI研究的热点问题给出了自己读到的解读和发展建议,精彩内容千万不能错过。

将Transformer用于扩散模型,AI 生成视频达到照片级真实感

在视频生成场景中,用 Transformer 做扩散模型的去噪骨干已经被李飞飞等研究者证明行得通。这可算得上是 Transformer 在视频生成领域取得的一项重大成功。

98e532266a9de78594ce07618b0a90a4.png

随意指定CLIP关注区域!上交复旦等发布Alpha-CLIP:同时保持全图+局部检测能力

本文介绍了一个名为Alph-CLIP的框架,它在原始的接受RGB三通道输入的CLIP模型的上额外增加了一个alpha通道。在千万量级的RGBA-region的图像文本对上进行训练后,Alpha-CLIP可以在保证CLIP原始感知能力的前提下,关注到任意指定区域。通过替换原始CLIP的应用场景,Alpha-CLIP在图像识别、视觉-语言大模型、2D乃至3D生成领域都展现出强大作用。

一套参数,狂揽160个SOTA!厦大等重磅开源「视觉感知基础模型」APE

由厦门大学等机构提出的全新视觉感知基础模型APE,只需一个模型外加一套参数,就能在160个测试集上取得当前SOTA或极具竞争力的结果。而且训练和推理代码以及模型权重全部开源,无需微调,开箱即用。

矩阵模拟!Transformer大模型3D可视化,GPT-3、Nano-GPT每一层清晰可见

Transformer大模型工作原理究竟是什么样的?一位软件工程师打开了大模型的矩阵世界。

全方位、无死角的开源,邢波团队LLM360让大模型实现真正的透明

开源模型正展现着它们蓬勃的生命力,不仅数量激增,性能更是愈发优秀。图灵奖获得者 Yann LeCun 也发出了这样的感叹:「开源人工智能模型正走在超越专有模型的路上。

AI新范式下,阿里云视频云大模型算法实践

在AI技术发展如火如荼的当下,大模型的运用与实践在各行各业以千姿百态的形式展开。音视频技术在多场景、多行业的应用中,对于智能化和效果性能的体验优化有较为极致的要求。如何运用好人工智能提升算法能力,解决多场景业务中的具体问题,需要创新地探索大模型技术及其应用方式。LiveVideoStackCon2023深圳站邀请到阿里云智能高级算法专家刘国栋,为我们介绍阿里云视频云的大模型算法实践。 

8eb978cc08b29a7c28dd1ef4aae4ef49.png

TUM、Snap开源! 基于扩散先验,生成高质量室内场景!

SceneTex,该方法使用深度到图像的扩散先验来有效地为室内场景生成高质量和风格一致的纹理。与以前的方法不同,SceneTex在没有精确的几何和风格线索的情况下,迭代地将2D视图变形到网格表面或蒸馏扩散潜在特征,将纹理合成任务描述为RGB空间中的优化问题,其中风格和几何一致性得到了适当的反映。

UIUC斯坦福等开源!解决因为各种遮挡导致的跟踪失败问题!

TrackDLO算法从一系列RGB-D图像中估计可变形线性物体(DLO)在遮挡情况下的形状。TrackDLO是仅依赖视觉信息的实时算法。它不需要来自物理建模、仿真、视觉标记或接触的外部状态信息作为输入。

详解|3D Gaussian Splatting:实时的神经场渲染

辐射场方法改变了多张照片或视频主导的场景新视角合成。Gaussian Splatting引入了三个关键元素,在保持有竞争力的训练时间的同时实现最先进的视觉质量,重要的是允许在1080p分辨率下实现高质量的实时(≥30 fps)的新视图合成。

f0502536b9a04740732da36e791d2402.png

FBEC2023 | ARknovv联合创始人阮郑福:AI助力AR创造性探索

FBEC2023未来商业生态链接大会暨第八届金陀螺奖于2023年12月8日在深圳福田大中华喜来登酒店6楼盛大召开,本次大会由广东省游戏产业协会、深圳市互联网文化市场协会指导,陀螺科技主办,中国光谷、游戏陀螺、VR陀螺、陀螺财经、陀螺电竞联合主办。

联想正式发布ThinkVision裸眼3D显示器;HTC VIVE与NuEyes为视障人群推出可穿戴XR解决方案

近日,在以“因思而变 智领未来”为主题的联想ThinkVision和ThinkCentre20周年纪念活动上,联想正式发布业内首款27英寸4K裸眼3D显示器——联想ThinkVision 27 3D。

利用Gaussian Splatting,Meta为Codec Avatar实现头部的高保真重照明

自出世以来便迅速吸引了业界的关注,3D Gaussian Splatting的主要优点是在保证高重建质量的同时支持传统光栅化,而且优化速度快速。自2019年正式公开介绍旨在创建图片真实感虚拟数字人的Codec Avatar项目以来,Meta就一直在积极探索各种优化方式。在日前公布的一项研究中,团队已经开始利用Gaussian Splatting来提升Avatar的逼真程度,主要涉及重照明。

c7cbc1514b177897d4b389423f72e147.png

ASML的困境:High NA太难了

近年来,光刻技术的“下一件大事”是高数值孔径极紫外(IE high-NA EUV),这是 ASML 光刻工具技术开发的下一个革命性步骤。High-NA 的宣传目标是降低工艺复杂性并能够扩展到 2nm 以上。在ASML看来,这将降低复杂性可以降低成本。

详解AWS Graviton4

在最近的亚马逊 AWS re:Invent 2023 上,该公司推出了第四代定制内部服务器处理器——Graviton4。该芯片由以色列 Annapurna Labs 开发,采用最新的 Arm Neoverse IP 以及主要旨在扩展和加速器连接改进的定制 IP。 

WLCSP晶圆级芯片封装技术

WLCSP(Wafer Level Chip Scale Packaging)即晶圆级芯片封装方式,不同于传统的芯片封装方式(先切割再封测,而封装后至少增加原芯片20%的体积),此种最新技术是先在整片晶圆上进行封装和测试,然后才切割成一个个的IC颗粒,因此封装后的体积即等同IC裸晶的原尺寸。WLCSP的封装方式,不仅明显地缩小内存模块尺寸,而符合行动装置对于机体空间的高密度需求;另一方面在效能的表现上,更提升了数据传输的速度与稳定性。

694fc4398cbc55d75d8c83844e01ffdd.png

I3C下一代接口技术

I2C与SPI历来是嵌入式设备领域的主流接口技术,特别是在成像传感器等设备的连接中。这些接口以其简易的实施和广泛的采用而闻名,但随着技术的深入发展和应用的专业化,它们在关键特性和性能上的局限性逐渐显现,这可能对高密度和精密度的系统设计构成挑战。

让3D编辑像PS一样简单!GaussianEditor:在几分钟内完成3D场景增删改!

3D 编辑在游戏和虚拟现实等领域中发挥着至关重要的作用,然而之前的 3D 编辑苦于耗时间长以及可控性差等问题,很难应用到实际场景。近日,南洋理工大学联合清华和商汤提出了一种全新的 3D 编辑算法 GaussianEditor,首次实现了在 2-7 分钟完成对 3D 场景可控的多样化的编辑,全面超越了之前的 3D 编辑工作。

c1940abdc34ce1fa1c67f099c695efb8.png

SHCST2023 音频生成主题分享

本期分享卢恒老师在第三届SpeechHome语音技术研讨会的音频生成主题报告的内容《语音AIGC技术进展--音频技术在喜马拉雅的研发和落地应用》。

用于语言和方言识别的多语言语音模型的自监督自适应预训练

经过预训练的基于transformer的语音模型在对自动语音识别和口语识别(SLID)等各种下游任务进行微调时表现出惊人的性能。然而,域不匹配的问题仍然是该领域的一个挑战,其中预训练数据的域可能与用于微调的下游标记数据的域不同。在SLID等多语言任务中,预先训练的语音模型可能不支持下游任务中的所有语言。为了应对这一挑战,我们提出了自监督自适应预训练(SAPT),以使预训练模型适应下游任务的目标领域和语言。我们将SAPT应用于XLSR-128模型,并研究这种方法对SLID任务的有效性。

https://arxiv.org/abs/2312.07338

仅需30秒完美复刻任何人的声音 - 最强AI音频11Labs

ElevenLabs 简称11Labs ,在TTS(文字转音频)这个领域,当之无愧的“最强”。

如何使用更少的投入在研发阶段进行高级噪声源识别?

如今,法规和指令已对制造产品产生的噪声进行了多年管制;室外机械有最大的噪声级,电动汽车有最小的噪声级。

8b196efac135067712506edd450bda85.png

音视频问题汇总--非零frame_num值导致的一个绿屏问题

本周收到这样一个反馈的问题:我们的测试小姐姐通过自研RTSP客户端拉流过程时发现了一个较为困扰的问题。她注意到,在操作一款特定型号的IPC设备时,每次拉流都会出现首帧绿屏的情况。这个异常状况出现的频率和持续性都让人无法忽视,它在很大程度上影响了使用者的体验。

RTC技术|弹幕互动玩法方案&低延时传输引擎的体验优化

随着互联网技术的不断发展,直播不再只是主播的独角戏,而是一个充满实时互动的娱乐生态系统,其中直播弹幕互动玩法作为一种创新的方式正风靡直播平台。火山引擎融合云游戏服务的强大算力和RTC的先进音视频能力,助力抖音快速增量并拓展直播创新玩法。LiveVideoStackCon 2023 深圳站邀请了火山引擎的郭健,为大家分享弹幕互动玩法背后的探索和实践历程。

1d575a8de787d945c3df2995a9b496ba.png

谷歌的自研芯片帝国

12月6日,谷歌官宣了了全新的多模态大模型 Gemini,包含了三个版本,根据谷歌的基准测试结果,其中的 Gemini Ultra 版本在许多测试中都表现出了“最先进的性能”,甚至在大部分测试中完全击败了 OpenAI 的 GPT-4。

据外媒报道,华为首家海外工厂已经确定落地法国!!!华为自研手机芯片的艰辛历程!!!

12月12日消息,据外媒报道,华为法国公司表示,华为首家海外工厂已经确定落地法国,预计2025年底投产! 

微软小模型击败大模型:27亿参数,手机就能跑

上个月,微软 CEO 纳德拉在 Ignite 大会上宣布自研小尺寸模型 Phi-2 将完全开源,在常识推理、语言理解和逻辑推理方面的性能显著改进。

39ba4c88080d4d866d063879f066e6cd.png

重磅首发|2024音视频技术发展报告(文末附下载)

11月24日,在LiveVideoStackCon 2023深圳站大会上,我们与腾讯云音视频联合首发《2024音视频技术发展报告》。报告通过300+音视频开发者调研,40+专家一线访谈,下沉8大细分技术领域进行全面解读,涵盖音视频编解码/AI编码/多媒体处理框架/媒体传输协议/超低延迟技术/虚拟现实/AIGC/出海等领域,深入洞察音视频技术现状和未来发展趋势。 

点击阅读原文

跳转报告下载链接

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.hqwc.cn/news/285456.html

如若内容造成侵权/违法违规/事实不符,请联系编程知识网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

4.1 媒资管理模块 - Nacos与Gateway搭建

文章目录 媒资管理模块 - 媒资项目搭建一、需求分析1.1 介绍1.2 数据模型1.3 分析网关 二、 搭建Nacos2.1 服务发现中心2.2.1 Maven2.2.2 配置Nacos 2.2 配置中心2.2.1 介绍2.2.2 Maven 坐标2.2.3 配置 content-api 工程2.2.4 配置 content-service 工程2.2.5 配置 system-api …

绝地求生:【PC】停止支持Windows 7、8、8.1的相关公告

各位玩家大家好。 自2024年1月1日起,PUBG将在所有PC平台(Steam、Epic Games Store、Kakao)上停止支持Windows 7、8和8.1操作系统。 随着Microsoft方面停止支持早期Windows版本,我们为维持这些操作系统的安全性投入了更多的包括反…

出国旅游需要注意些什么

出国旅游是一种令人兴奋、令人期待的经历。然而,在进行这种经历之前,有几件事情是需要注意的。本文将为您介绍出国旅游需要注意的一些重要事项。首先,为了确保您的出国旅行顺利进行,您应该提前办理好您的签证和护照。不同国家对于…

PostgreSQL的安装、配置与使用指南

文章目录 一、介绍二、安装1、下载安装2、验证 三、配置1、远程连接配置1)配置postgresql.conf2)配置pg_hba.conf3)重启 2、配置数据库的日志 四、图形化界面1、pgAdmin2、Navicat 一、介绍 PostgreSQL是一个功能强大的 开源 的关系型数据库…

半夜三更的,Proxmox VE集群的ceph OSD磁盘挂了

这几天centreon监控频频报警,提示ceph pg 错误,用 ceph health detail 确定不一致的pgs,然后用指令 ceph pg repair pg_num 进行修复,通过查看系统日志,有IO错误,修复一次,能管半天,…

为什么要用雪花算法?

目录 一、能解决什么问题? 二、详解雪花算法 三、如何实现雪花算法? 一、能解决什么问题? 其实就是用来解决分布式ID,随着业务的增长,你的某张表可能要占用很大的物理存储空间,为了解决该问题&#xff…

【05】GeoScene海图或者电子航道图批量出图

出单张000数据参考上一篇博客,如果想同时出多张海图000数据,也是可以实现的。思路如下: 1 批量创建产品 GeoScene海事模块通过ProductDefinitions表和ProductCoverage要素类定义产品和AOI覆盖区,可支持批量导入产品信息和AOI覆盖…

LeetCode 141. 环形链表

给你一个链表的头节点 head ,判断链表中是否有环。 如果链表中有某个节点,可以通过连续跟踪 next 指针再次到达,则链表中存在环。 为了表示给定链表中的环,评测系统内部使用整数 pos 来表示链表尾连接到链表中的位置(…

行为型设计模式-策略模式(Strategy Pattern)

策略模式 策略模式:百度百科中引述为:指对象有某个行为,但是在不同的场景中,该行为有不同的实现算法。 策略模式是对算法的包装,是把使用算法的责任和算法本身分割开来,委派给不同的对象管理。策略模式通…

AttributeError: ‘module‘ object has no attribute ‘RAW_OPT‘解决方案

大家好,我是爱编程的喵喵。双985硕士毕业,现担任全栈工程师一职,热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的…

定制美化ThingsBoard中的部件库中的Card,HTML,Markdwon部件

thingsbaord中的部件库,有些默认样式并不美观,这时候就需要我们编写一部分CSS进行美化。看一下默认的样式 简单美化后的样式 修改部件配置,在部件的css或者部件的style上 编写css。不光应用于属性卡片部件,其他部件同样适用。 .widget-type-sys-cards-attributes_car…

如何在Eclipse中安装WindowBuilder插件,详解过程

第一步:找到自己安装eclipse的版本,在Help-关于eclipse里面,即Version 第二步:去下面这个网站找到对应的 link(Update Site),这一步很重要,不然版本下载错了之后还得删除WindowBuil…