AI视野·今日CS.Sound 声学论文速览
Wed, 17 Jan 2024
Totally 23 papers
👉上期速览✈更多精彩请移步主页

Daily Sound Papers

From Coarse to Fine: Efficient Training for Audio Spectrogram Transformers Authors Jiu Feng, Mehmet Hamza Erol, Joon Son Chung, Arda Senocak Transformer 已成为音频分类最新进展的核心。然而，训练音频频谱图转换器，例如从头开始 AST 可能会占用大量资源和时间。此外，变压器的复杂性在很大程度上取决于输入音频频谱图的大小。在这项工作中，我们的目标是通过链接时间轴上的分辨率来优化 AST 训练。我们通过将粗到细的开创性思想与变压器模型联系起来，引入了音频频谱图变压器的多阶段训练。为了实现这一目标，我们提出了一组时间压缩方法。通过采用这些方法之一，变压器模型在初始阶段从较低分辨率的粗略数据中学习，然后在课程学习策略中使用高分辨率数据进行微调。实验结果表明，所提出的 AST 训练机制可以提高或达到同等性能，并具有更快的收敛速度，即需要更少的计算资源和时间。

LiveScaler: Live control of the harmony of an electronic music track Authors Alice Rixte LaBRI, UB 在电子舞曲 EDM 中，许多艺术家使用 DJ 技术来现场表演自己的作品。因此，他们在演奏期间无法访问其轨道的内部结构，特别是相当于分区 MIDI 文件的内部结构。另一方面，如果艺术家尝试现场重新混音或诠释自己的作品，如果没有合适的软件，他们可以同时控制的曲目数量就会受到限制。本文介绍了 LiveScaler，这是一款可以实时控制电子音乐的和声和音高的软件。提出了一组音高变换，称为仿射变换。这些转换将应用于已准备轨道的所有 MIDI 流。提出了与 Ableton Live 结合的 MaxMSP 实现。

DIFFRENT: A Diffusion Model for Recording Environment Transfer of Speech Authors Jaekwon Im, Juhan Nam 正确设置录音条件（包括麦克风类型和放置、室内声学和环境噪声）对于获得所需的语音声学特性至关重要。在本文中，我们提出了 Diff R EN T，一种用于记录环境传输的扩散模型，它将输入语音转换为具有参考语音的记录条件，同时保留语音内容。我们的模型包括内容增强器、记录环境编码器和扩散解码器，扩散解码器利用增强器和编码器作为输入条件生成目标梅尔谱图。我们在语音增强和声学匹配场景中评估 DiffRENT。结果表明，DiffRENT 可以很好地推广到未见过的环境和新的扬声器。此外，所提出的模型在客观和主观评估方面都取得了优异的表现。

Learning Disentangled Speech Representations with Contrastive Learning and Time-Invariant Retrieval Authors Yimin Deng, Huaizhen Tang, Xulong Zhang, Ning Cheng, Jing Xiao, Jianzong Wang 语音转换是指以保存完好的内容传输说话者身份。更好地解开语音表示可以带来更好的语音转换。最近的研究发现，输入音频的语音信息具有很好地表示内容的潜在能力。此外，使用预先训练的模型进行说话人风格建模使得过程更加复杂。为了解决这些问题，我们引入了一种名为 CTVC 的新方法，该方法利用解纠缠的语音表示以及对比学习和时不变检索。具体来说，使用基于相似性的压缩模块来促进帧级隐藏特征和音素级语言信息之间更紧密的联系。此外，提出了一种基于多重分段和互信息的时不变检索用于音色提取。

DurFlex-EVC: Duration-Flexible Emotional Voice Conversion with Parallel Generation Authors Hyoung Seok Oh, Sang Hoon Lee, Deok Hyun Cho, Seong Whan Lee 情感语音转换 EVC 旨在修改说话者声音的情感语气，同时保留原始语言内容和说话者独特的声音特征。 EVC 的最新进展涉及音调和持续时间的同步建模，利用序列到序列 seq2seq 模型的潜力。为了提高转换的可靠性和效率，本研究将重点转向并行语音生成。我们推出了 Duration灵活 EVC DurFlex EVC，它集成了样式自动编码器和单位对齐器。传统模型虽然结合了包含语言和副语言信息的自监督学习 SSL 表示，但忽略了这种双重性，导致可控性降低。为了解决这个问题，我们实现了交叉关注，以将这些表示与各种情绪同步。此外，还开发了样式自动编码器来解开和操作样式元素。

MCMChaos: Improvising Rap Music with MCMC Methods and Chaos Theory Authors Robert G. Kimelman 提出了一种新颖的自由式说唱软件 MCMChaos 0.0.1，它基于先前研究中创建的说唱音乐转录。该软件有三个不同的版本，每个版本都利用不同的数学模拟方法折叠吉布斯采样器和洛伦兹吸引子模拟。据我们所知，这些模拟方法以前从未在说唱音乐生成中使用过。该软件实现了 Python Text to Speech 处理 pyttxs，将从 MCFlow 语料库中整理的文本转换为英语语音。在每个版本中，从每个数学模型模拟的值会逐行改变语速、音量，以及在多语音情况下文本到语音引擎的语音。软件的用户会看到一个实时图形用户界面 GUI，它会立即更改读入数学模拟方法的初始值。

On the Importance of Neural Wiener Filter for Resource Efficient Multichannel Speech Enhancement Authors Tsun An Hsieh, Jacob Donley, Daniel Wong, Buye Xu, Ashutosh Pandey 我们引入了一种用于高效多通道语音增强的时域框架，强调低延迟和计算效率。该框架包含两个围绕多通道神经维纳滤波器 NWF 的紧凑深度神经网络 DNN。第一个 DNN 增强语音信号以估计 NWF 系数，而第二个 DNN 则细化 NWF 的输出。 NWF 虽然在概念上类似于传统的频域维纳滤波器，但经历了针对低延迟语音增强而优化的训练过程，包括分析和合成变换的微调。我们的研究结果表明，NWF 输出具有最小的非线性失真，达到了与第一个 DNN 类似的性能水平，这与传统的维纳滤波器范例不同。尽管简单，但联合训练所有组件的效果优于顺序训练。

Decoupled Spatial and Temporal Processing for Resource Efficient Multichannel Speech Enhancement Authors Ashutosh Pandey, Buye Xu 我们提出了一种新颖的模型，专为时域中资源高效的多通道语音增强而设计，重点是低延迟、轻量级和低计算要求。所提出的模型在深度神经网络 DNN 层中结合了显式的空间和时间处理。受频率相关多通道滤波的启发，我们的空间滤波过程将多个可训练滤波器应用于空间维度上的每个隐藏单元，从而产生多通道输出。使用长短期记忆 LSTM 网络将时间处理应用于空间处理的单通道输出流。然后，时间处理阶段的输出通过元素乘法进一步整合到空间维度中。这种空间和时间处理的明确分离导致了资源高效的网络设计。

Multi-view MidiVAE: Fusing Track- and Bar-view Representations for Long Multi-track Symbolic Music Generation Authors Zhiwei Lin, Jun Chen, Boshi Tang, Binzhu Sha, Jing Yang, Yaolong Ju, Fan Fan, Shiyin Kang, Zhiyong Wu, Helen Meng 变分自动编码器 VAE 是神经符号音乐生成的重要组成部分，其中一些工作取得了突出的成果并引起了广泛的关注。然而，之前的 VAE 仍然遇到特征序列过长的问题，并且生成的结果缺乏上下文连贯性，因此建模长多轨符号音乐的挑战仍然没有得到解决。为此，我们提出了 Multi view MidiVAE，作为 VAE 方法的先驱之一，可以有效地建模和生成长的多轨符号音乐。 Multi view MidiVAE 利用二维 2D 表示 OctupleMIDI 来捕获音符之间的关系，同时减少特征序列长度。此外，我们通过采用混合变分编码解码策略来集成 Track 和 Bar 视图 MidiVAE 功能，重点关注乐器特征和和声以及有关音乐作品的全局和局部信息。

Microphone Conversion: Mitigating Device Variability in Sound Event Classification Authors Myeonghoon Ryu, Hongseok Oh, Suji Lee, Han Park 在本研究中，我们引入了一种新的增强技术，通过使用 CycleGAN 来增强声音事件分类 SEC 系统针对设备变异性的弹性。我们还提供了一个独特的数据集来评估该方法。随着 SEC 系统变得越来越普遍，它们能够与来自不同录音设备的音频良好配合至关重要。我们的方法通过启用不配对的训练来转换输入频谱图，就像它们记录在不同的设备上一样，解决了训练数据中有限的设备多样性问题。我们的实验表明，我们的方法在加权 f1 分数上的泛化能力优于现有方法 5.2 11.5。

An Explainable Proxy Model for Multiabel Audio Segmentation Authors Th o Mariotte, Antonio Almud var, Marie Tahon, Alsonfo Ortega 音频信号分割是自动音频索引的关键任务。它包括检测信号中类同质段的边界。在许多应用中，可解释的人工智能是机器学习决策透明度的重要过程。在本文中，我们提出了一种可解释的多标签分割模型，可同时解决语音活动 SAD 、音乐 MD 、噪声 ND 和重叠语音检测 OSD 。该代理使用非负矩阵分解 NMF 将用于分割的嵌入映射到频域。在两个数据集上进行的实验显示出与预训练黑盒模型相似的性能，同时显示出很强的可解释性特征。

ED-TTS: Multi-Scale Emotion Modeling using Cross-Domain Emotion Diarization for Emotional Speech Synthesis Authors Haobin Tang, Xulong Zhang, Ning Cheng, Jing Xiao, Jianzong Wang 现有的情感语音合成方法通常利用从参考音频中提取的话语级别样式嵌入，忽略了语音韵律固有的多尺度特性。我们引入了 ED TTS，这是一种多尺度情感语音合成模型，它利用语音情感分类 SED 和语音情感识别 SER 来模拟不同级别的情感。具体来说，我们提出的方法将 SER 提取的话语级情感嵌入与 SED 获得的细粒度帧级情感嵌入相结合。这些嵌入用于调节去噪扩散概率模型 DDPM 的逆过程。

EmoTalker: Emotionally Editable Talking Face Generation via Diffusion Model Authors Bingyuan Zhang, Xulong Zhang, Ning Cheng, Jun Yu, Jing Xiao, Jianzong Wang 近年来，说话面孔生成领域引起了相当大的关注，某些方法擅长生成令人信服地模仿人类表情的虚拟面孔。然而，现有方法面临着泛化能力有限的挑战，特别是在处理具有挑战性的身份时。此外，编辑表情的方法往往局限于单一的情感，无法适应复杂的情感。为了克服这些挑战，本文提出了 EmoTalker，一种基于扩散模型的情感可编辑肖像动画方法。 EmoTalker 修改了去噪过程​​，以确保在推理过程中保留原始肖像的身份。为了增强对文本输入的情感理解，引入了情感强度模块来分析来自提示的细粒度情感和强度。此外，还利用精心设计的数据集来增强提示中的情感理解。

Machine Perceptual Quality: Evaluating the Impact of Severe Lossy Compression on Audio and Image Models Authors Dan Jacobellis, Daniel Cummings, Neeraja J. Yadwadkar 在神经数据压缩领域，普遍关注的焦点是优化经典失真指标（例如 PSNR 或 SSIM）或人类感知质量的算法。随着机器而不是人类消耗的数据量不断增加，出现了一种面向机器的压缩 unicode x2013 的新范例，该范例优先保留机器感知的显着特征，而不是传统的以人为中心的标准 unicode x2013，这给开发、评估带来了一些新的挑战，以及利用有损压缩的系统的部署。特别是，目前尚不清楚不同的有损压缩方法将如何影响下游机器感知任务的性能。为了解决这个正在探索的领域，我们评估了各种感知模型 unicode x2013，包括严重有损压缩下的图像分类、图像分割、语音识别和音乐源分离 unicode x2013。我们使用多种流行的编解码器，涵盖传统、神经和生成压缩架构。我们的结果表明了三个关键发现 1 使用生成压缩，利用高度压缩的数据是可行的，同时对机器感知质量的影响可以忽略不计 2 机器感知质量与深度相似性度量密切相关，表明这些度量在开发面向机器的编解码器和 3 使用有损压缩数据集，例如用于预训练的 ImageNet 可能会导致与直觉相反的场景，即有损压缩会提高机器感知质量而不是降低机器感知质量。

Comparison of Frequency-Fusion Mechanisms for Binaural Direction-of-Arrival Estimation for Multiple Speakers Authors Daniel Fejgin, Elior Hadad, Sharon Gannot, Zbyn k Koldovsk , Simon Doclo 为了使用原型传递函数的方法估计多个说话者的到达方向 DOA，通常构建频率相关的空间谱 SPS。为了使 DOA 估计稳健，可以组合不同频率的 SPS。根据 SPS 的组合方式，频率融合机制分为窄带、宽带或扬声器分组，其中后一种机制需要对频率进行扬声器明智的分组。对于双耳助听器设置，在本文中，我们提出了一种基于扬声器分组频率融合机制的耳间时间差 ITD。通过利用 ITD 的 DOA 依赖性，可以根据公共 ITD 对频率进行分组，并用于各个说话者的 DOA 估计。我们将所提出的基于 ITD 的说话人分组频率融合机制应用于不同的 DOA 估计方法，即多信号分类、引导响应功率和最近发布的基于相对传递函数 RTF 向量的方法。在我们的实验中，我们比较了不同融合机制的 DOA 估计。

Cascaded Cross-Modal Transformer for Audio-Textual Classification Authors Nicolae Catalin Ristea, Andrei Anghel, Radu Tudor Ionescu 语音分类任务通常需要强大的语言理解模型来掌握有用的特征，当可用的训练数据有限时，这就会成为问题。为了获得卓越的分类性能，我们建议通过使用自动语音识别 ASR 模型转录语音并通过预训练的翻译模型将转录文本翻译成不同的语言，从而利用多模态表示的固有价值。因此，我们获得每个数据样本的音频文本多模态表示。随后，我们通过新颖的级联跨模态转换器 CCMT 将 Transformers BERT 的语言特定双向编码器表示与 Wav2Vec2.0 音频功能相结合。我们的模型基于两个级联变压器块。第一个结合了来自不同语言的文本特定特征，而第二个结合了声学特征和第一个转换器块先前学习的多语言特征。我们在 ACM 多媒体 2023 计算副语言学挑战赛的请求子挑战赛中使用了我们的系统。 CCMT 被宣布为获胜解决方案，投诉和请求检测的未加权平均召回 UAR 分别为 65.41 和 85.87。此外，我们将我们的框架应用于 Speech Commands v2 和 HarperValleyBank 对话数据集，超越了之前报告这些基准测试结果的研究。

SeMaScore : a new evaluation metric for automatic speech recognition tasks Authors Zitha Sasindran, Harsha Yelchuri, T. V. Prabhakar 在这项研究中，我们提出了 SeMaScore，它是使用分段映射和评分算法生成的，作为自动语音识别任务的评估指标。 SeMaScore 利用错误率和更稳健的相似度得分。我们表明，我们的算法的分数生成优于最先进的 BERTscore。我们的实验结果表明，SeMaScore 与专家的人类评估、信噪比水平和其他自然语言指标非常吻合。我们的度量计算速度比 BERTscore 高 41 倍。

Promptformer: Prompted Conformer Transducer for ASR Authors Sergio Duarte Torres, Arunasish Sen, Aman Rana, Lukas Drude, Alejandro Gomez Alanis, Andreas Schwarz, Leif R del, Volker Leutnant 上下文线索携带的信息可以改善自动语音识别 ASR 系统中的多轮交互。在本文中，我们介绍了一种受超级提示启发的新颖机制，将文本上下文与注意力机制中的声学表征融合在一起。多回合交互测试集的结果表明，我们的方法在强基线上实现了 5.9 的相对单词错误率 rWERR 降低。我们表明，即使模型在没有上下文的情况下进行训练，我们的方法在没有上下文的情况下也不会退化，并且会带来改进。

Construction and Evaluation of Mandarin Multimodal Emotional Speech Database Authors Zhu Ting, Li Liangqi, Duan Shufei, Zhang Xueying, Xiao Zhongzhe, Jia Hairng, Liang Huizhi 设计并建立了包括发音运动学、声学、声门和面部微表情在内的多模态情感语音普通话数据库，从语料库设计、主题选择、记录细节和数据处理等方面进行了详细描述。其中信号被标记为离散的情感标签：中性、快乐、愉快、冷漠、愤怒、悲伤、悲伤，维度情感标签为快乐、唤醒、支配。本文通过维度标注数据的统计分析来验证维度标注的有效性。对标注者的SCL 90量表数据进行验证，并结合PAD标注数据进行分析，探讨标注中的异常现象与标注者心理状态之间的内在联系。为了验证数据库的语音质量和情感辨别能力，本文使用SVM、CNN和DNN 3种基本模型来计算这7种情感的识别率。结果表明，仅使用声学数据时，七种情绪的平均识别率约为 82。当单独使用声门数据时，平均识别率约为 72 。仅使用运动学数据，平均识别率也达到了55.7。

ELLA-V: Stable Neural Codec Language Modeling with Alignment-guided Sequence Reordering Authors Yakun Song, Zhuo Chen, Xiaofei Wang, Ziyang Ma, Xie Chen 基于声学和语言提示的语言模型LM方法，例如VALL E，在零样本音频生成领域取得了显着的进展。然而，现有方法仍然存在一些局限性 1 由于音频和音素标记之间的对齐约束有限，输出合成语音中存在重复、换位和遗漏 2 使用自回归 AR 语言模型对合成语音进行细粒度控制的挑战 3 由于无限静音生成基于 AR 解码的本质，特别是在贪婪策略下。为了缓解这些问题，我们提出了 ELLA V，这是一种简单但高效的基于 LM 的零镜头文本到语音 TTS 框架，它可以在音素级别对合成音频进行细粒度控制。 ELLA V 的关键是声音标记和音素标记的交错序列，其中音素标记出现在相应的声音标记之前。实验结果表明，我们的模型在准确性方面优于 VALL E，并且使用贪婪和基于采样的解码策略提供更稳定的结果。 ELLA V的代码将在清理后开源。

ScripTONES: Sentiment-Conditioned Music Generation for Movie Scripts Authors Vishruth Veerendranath, Vibha Masti, Utkarsh Gupta, Hrishit Chaudhuri, Gowri Srinivasa 电影配乐被认为是电影观影体验的重要组成部分，但电影配乐的生成过程通常成本高昂且对于小规模创作者来说不可行。自动化电影配乐创作过程将为小型项目中的音乐提供有用的起点。在本文中，我们提出了一个从电影剧本生成音乐的两阶段管道。第一阶段是情感分析阶段，其中电影剧本中的场景情感被编码到价唤醒连续空间中。第二阶段是条件音乐生成阶段，它将价唤醒向量作为输入，并有条件地生成钢琴 MIDI 音乐以匹配情感。

XLS-R Deep Learning Model for Multilingual ASR on Low- Resource Languages: Indonesian, Javanese, and Sundanese Authors Panji Arisaputra, Alif Tri Handoyo, Amalia Zahra 本研究论文重点介绍使用 XLS R 300m 模型的自动语音识别 ASR 技术的开发和评估。该研究旨在提高 ASR 将口语转换为书面文本的性能，特别是印度尼西亚语、爪哇语和巽他语。本文讨论了测试程序、使用的数据集以及训练和评估 ASR 系统所采用的方法。结果表明，XLS R 300m 模型实现了具有竞争力的字错误率 WER 测量，但爪哇语和巽他语的性能略有下降。 5 gram KenLM 语言模型的集成显着降低了 WER 并提高了 ASR 准确性。该研究通过解决语言多样性和提高各种语言的性能，为 ASR 技术的进步做出了贡献。

The NPU-ASLP-LiAuto System Description for Visual Speech Recognition in CNVSRC 2023 Authors He Wang, Pengcheng Guo, Wei Chen, Pan Zhou, Lei Xie 本文阐述了NPU ASLP LiAuto Team 237在首届中文连续视觉语音识别挑战赛CNVSRC 2023中推出的视觉语音识别VSR系统，分别从事单人VSR任务的固定赛道和开放赛道以及多说话人VSR任务的开放赛道任务。在数据处理方面，我们利用基线1中的嘴唇运动提取器来生成多尺度视频数据。此外，在训练过程中还应用了各种增强技术，包括速度扰动、随机旋转、水平翻转和颜色变换。 VSR模型采用具有联合CTC注意力损失的端到端架构，包括ResNet3D视觉前端、E Branchformer编码器和Transformer解码器。

Chinese Abs From Machine Translation

Papers from arxiv.org

更多精彩请移步主页

---

pic from pexels.com