这是一个从音频和蒙面手势生成全身人体手势的框架，包括面部、局部身体、手和整体动作。为了实现这一目标，我们首先引入 BEATX (BEAT-SMPLXFLAME)，一个新的网格级整体协同语音数据集。 BEATX 将 MoShed SMPLX 身体与 FLAME 头部参数相结合，进一步细化头部、颈部和手指运动的建模，提供社区标准化的高质量 3D 运动捕捉数据集。 EMAGE 在训练期间利用屏蔽的身体姿势先验来提高推理性能。它涉及一个屏蔽音频手势转换器，促进音频手势生成和屏蔽手势重建的联合训练，以有效地编码音频和身体手势提示。然后，将来自蒙面手势的编码身体提示分别用于生成面部和身体动作。此外，EMAGE 自适应地合并来自音频节奏和内容的语音特征，并利用四种组合 VQVAE 来增强结果的保真度和多样性。实验表明，EMAGE 可以生成具有最先进性能的整体手势，并且可以灵活地接受预定义的时空手势输入，生成完整的音频同步结果。

 

 代码地址：