Stable Diffusion的结构要被淘汰了吗？详细解读谷歌最新大杀器VideoPoet-编程知识

Diffusion Models视频生成-博客汇总

前言：视频生成领域长期被Stable Diffusion统治，大部分的方式都是在预训练的图片Stable Diffusion的基础上加入时间层，学习动态信息。虽然有CoDi《【NeurIPS 2023】多模态联合视频生成大模型CoDi》等模型尝试过突破这一结构的局限，但是都没有对业界带来特别有影响力的工作。最近谷歌出手了，拿出了Decoder-Only结构视频生成模型，堪称王炸！华为曾经出过Decoder-Only的模型(还被群嘲过)，但是事实逐渐证明这种能够把文本、音频、视频等各种模态通过编码成tokens组合在一起是多么具有想象力的事情！明年的ChatGPT-5也会是这样的形态吗？

贡献概述

方法详解

整体结构

主要流程

tokenizer联合优化

图像和视频联合tokenizer优化方法

长视频生成

音频tokenizer

模型backbone

超分模块

下游任务实现

两阶段预训练策略

微调阶段

论文和代码

个人感悟

贡献概述

VideoPoet 采用仅解码器的转换器架构来处理多模态输入：包括图像、视频、文本和音频。训练方法遵循大型语言模型 (LLM)，包括两个阶段：预训练和微调。在预训练期间，VideoPoet 在自回归 Transformer 框架内结合了多模态生成目标的混合，预训练的LLM作为基础，可以适应一系列视频生成任务。

作者自己概括的三点贡献：

（1）一种专门针对视频生成任务训练大型语言模型 (LLM) 的简单方法，利用无缝结合文本配对和不配对视频数据的标记化视频和音频数据。

（2）一种超分辨率方法，它使用具有高效窗口局部注意的双向转换器来增加潜在token空间中的视频分辨率。

（3）展示 LLM 竞争性能的评估和演示，尤其是在产生现实和有趣的运动方面。

方法详解

整体结构

VideoPoet 采用仅解码器的 LLM 架构，将图像、视频和音频模态作为离散token，每个标记都由它们各自的tokenizer产生。

VideoPoet将所有模态编码到离散标记空间中，以便可以直接使用大型语言模型架构进行视频生成。
图中的表示方法：（1）特定的token用<>表示。（2）模态不可知标记用深红色表示。（3）文本相关组件用蓝色表示。（4）视觉相关组件用黄色表示。（5）音频相关组件用绿色表示。（6）浅黄色布局的左侧部分表示双向前缀输入。（7）较暗的红色的右侧部分表示具有因果注意力的自回归生成输出。

主要流程

模型由三个主要组件组成：（1）特定于模态的标记器（2）语言模型主干（3）超分辨率模块。

总体流程：分词器将输入数据（即图像像素、视频帧和音频波形）映射到统一词汇表中的离散token。使用光栅扫描顺序将视觉和音频标记展平为一系列整数。LLM接受图像、视频和音频标记作为输入以及文本嵌入，负责生成多任务和多模态建模。如图 3 所示，VideoPoet 在文本嵌入、视觉标记和音频标记方面的条件，并自回归预测视觉和音频标记。随后，超分辨率模块提高了视频输出的分辨率，同时改进了视觉质量的图像细节。

tokenizer联合优化

使用MAGVIT-v2 tokenizer进行联合图像和视频标记化，使用SoundStream音频tokenizer。这些视觉和音频标记以统一的词汇表示。
统一词汇表的构建：初始 256 个代码保留为特殊标记和任务提示。随后，将接下来的 262,144 个代码分配给图像和视频标记化。接下来是 4,096 个音频代码。与从头开始训练文本标记相比，文本模态由文本embedding表示，以获得更好的性能。

图像和视频联合tokenizer优化方法

视频剪辑被编码和量化成一系列整数，解码器将它们映射回像素空间。作为token空间和像素空间之间的桥梁，这种视觉标记器的性能设置了视频生成质量的上限。同时，压缩比决定了LLM的序列长度，以实现有效和高效的任务设置。
具体来说：将视频编码成17帧、8fps、2.125秒、128*128分辨率的视频，然后压平到1280tokens，2^8大小到词汇表。
对于手机端的短视频：将视频压缩为128×224分辨率的肖像纵横比，产生(5,28,16)或2240个令牌的潜在形状。当评估协议在 16 帧上时，丢弃生成的最后一帧来制作 16 帧视频。

长视频生成

MAGVIT-v2 tokenizer强制执行因果时间依赖性，其中帧在没有任何来自未来帧的信息的情况下进行编码。这种因果属性简化了帧预测任务的设置，并支持任意长视频的标记化和生成。

音频tokenizer

使用预训练的 SoundStream tokenizer对音频片段进行标记。将 2.1125 秒的音频以在四个级别的残差向量量化器 (RVQ) 处产生 106 个潜在帧。为了提高音频生成性能，在展平之前转置剪辑，以便模型在移动到更细粒度的级别之前在每个 RVQ 粒度级别预测完整的音频剪辑。最后，每个 RVQ 级别都有一个不相交的词汇表，每个级别包含 1,024 个代码。这导致组合的音频词汇量为 4,096 个代码。