在这项工作中，我们提出了一个说话者的匿名管道，该管道利用高质量的自动语音识别和合成系统来生成以语音转录和匿名扬声器嵌入为条件的语音。使用电话作为中间表示，可确保从输入中完全消除说话者身份信息，同时尽可能保留原始的语音内容。我们在Librispeech和VCTK Corpora上的实验结果揭示了两个关键发现：1）尽管自动语音识别会产生不完美的转录，但我们的神经语音合成系统可以处理此类错误，使我们的系统可行且健壮，并且2）结合来自不同资源的扬声器嵌入，有益及其适当的归一化至关重要。总体而言，我们的最终最佳系统在2020年语音隐私挑战挑战中提供的基线在与懒惰的攻击者的稳健性方面相当大，同时保持了匿名语音的高度理解性和自然性。

本文介绍了第一个致力于2020挑战的结果和分析，重点是开发语音技术的匿名解决方案。我们提供了对提交的系统和评估结果的分析，提供了挑战设计的系统概述。特别是，我们描述了用于系统开发和评估的语音匿名任务和数据集。此外，我们呈现不同的攻击模型和相关目标和主观评估指标。我们介绍了两个匿名化的基线，并提供了由挑战参与者开发的匿名化系统的摘要描述。我们向基线和提交的系统报告客观和主观评估结果。此外，我们提出了作为评估后分析的一部分开发的替代隐私度量和攻击模型的实验结果。最后，我们总结了我们的见解和观察，这将影响下一个语音普遍挑战版的设计和未来语音匿名化研究的某些方向。

对于新参与者 - 执行摘要：（1）任务是为语音数据开发语音匿名系统，该系统隐藏了说话者的语音身份，同时保护语言内容，副语言属性，清晰度和自然性。 （2）除3种不同的基线匿名系统，评估脚本和指标外，还提供了培训，开发和评估数据集。参与者应用其开发的匿名系统，运行评估脚本并向组织者提交客观评估结果和匿名语音数据。 （3）结果将在与Interspeech 2022结合的研讨会上展示，邀请所有参与者介绍其挑战系统并提交其他研讨会论文。对于熟悉语音挑战的读者 - 更改W.R.T. 2020年：（1）以自动扬声器验证（ASV）系统的形式进行了更强的半信息攻击模型，该系统接受了匿名（每位）语音数据的训练。 （2）互补指标包括等于误差率（EER）作为隐私指标，单词错误率（WER）作为主要实用性度量，以及音调相关性和声音独特性作为辅助效用度量标准。 （3）基于一组最小目标隐私要求的新排名策略。

我们的声音编码了一种独特的可识别模式，该模式可用于推断私人属性（例如性别或身份），即个人可能希望在使用语音识别服务时不会透露。为了防止属性推理攻击与语音识别任务一起，我们提出了一个生成的对抗网络Gengan，该网络综合了掩盖说话者的性别或身份的声音。拟议的网络包括一个具有U-NET体系结构的生成器，该发生器学会了欺骗歧视者。我们仅根据性别信息来调节发电机，并在信号失真和隐私保护之间使用对抗性损失。我们表明，与将性别信息视为保护性别的敏感属性相比，Gengan改善了隐私和公用事业之间的权衡。

使用未转录的参考样本来克隆说话者的声音是现代神经文本到语音（TTS）方法的巨大进步之一。最近还提出了模仿转录参考音频的韵律的方法。在这项工作中，我们首次将这两项任务与话语级别的扬声器嵌入在一起，首次将这两个任务融合在一起。我们进一步引入了一个轻巧的对准器，用于提取细粒度的韵律特征，可以在几秒钟内对单个样品进行填充。我们表明，正如我们的客观评估和人类研究表明，我们可以独立地独立地独立语言参考的声音以及与原始声音和韵律高度相似的韵律的韵律，正如我们的客观评估和人类研究表明。我们的所有代码和训练有素的模型都可以以及静态和交互式演示。

语音信号包含许多敏感信息，例如说话者的身份，这些信息在收集语音数据时引起了隐私问题。演讲者的匿名化旨在转换语音信号以消除源说话者的身份，同时使口语内容不变。当前方法通过依靠内容/说话者的分离和语音转换来执行转换。通常，来自自动语音识别系统的声学模型会提取内容表示，而X-Vector系统则提取说话者表示。先前的工作表明，提取的功能并未完全脱离。本文解决了如何改善特征分离的特征，从而改善了转换的匿名语音。我们建议使用矢量量化从声学模型中删除扬声器信息来增强分离。使用Voice Privacy 2022 Toolkit进行的评估表明，向量量化有助于隐藏原始的说话者身份，同时保持语音识别的实用性。

在本文中，我们提出了一个神经端到端系统，用于保存视频的语音，唇部同步翻译。该系统旨在将多个组件模型结合在一起，并以目标语言的目标语言与目标语言的原始扬声器演讲的视频与目标语音相结合，但在语音，语音特征，面对原始扬声器的视频中保持着重点。管道从自动语音识别开始，包括重点检测，然后是翻译模型。然后，翻译后的文本由文本到语音模型合成，该模型重新创建了原始句子映射的原始重点。然后，使用语音转换模型将结果的合成语音映射到原始扬声器的声音。最后，为了将扬声器的嘴唇与翻译的音频同步，有条件的基于对抗网络的模型生成了相对于输入面图像以及语音转换模型的输出的适应性唇部运动的帧。最后，系统将生成的视频与转换后的音频结合在一起，以产生最终输出。结果是一个扬声器用另一种语言说话的视频而不真正知道。为了评估我们的设计，我们介绍了完整系统的用户研究以及对单个组件的单独评估。由于没有可用的数据集来评估我们的整个系统，因此我们收集了一个测试集并在此测试集上评估我们的系统。结果表明，我们的系统能够生成令人信服的原始演讲者的视频，同时保留原始说话者的特征。收集的数据集将共享。

基于语音的在线服务的广泛采用提出了有关使用和共享数据的安全性和隐私问题。如果数据受到损害，攻击者可以利用用户语音绕过扬声器验证系统甚至模仿用户。为了减轻这种情况，我们提出了DEID-VC，这是一种演讲者的识别系统，将真实的演讲者转换为伪扬声器，从而从口头声音中删除或使依赖说话者的属性混淆。 DEID-VC的关键组件包括基于变量的自动编码器（VAE）的伪扬声器生成器（PSG）和在零摄像机设置下的语音转换自动编码器（AE）。在PSG的帮助下，DeID-VC可以在扬声器级别甚至在话语层面上分配独特的伪扬声器。此外，还添加了两个新颖的学习目标，以弥合训练和零声音转换的推理之间的差距。我们以单词错误率（WER）和相等的错误率（EER）以及三个主观指标介绍了我们的实验结果，以评估DEID-VC的生成输出。结果表明，与我们的基线相比，我们的方法显着提高了清晰度（低10％）和去识别效果（EER高5％）。代码和听力演示：https：//github.com/a43992899/deid-vc

抖动和闪光测量已经显示出语音质量的载体和韵律信息，增强了扬声器识别，日记或自动语音识别（ASR）等任务的性能。然而，这种特征很少用于神经基ASR的背景下，其中频谱特征通常是普遍的。在这项工作中，我们研究了将语音质量和音高特征完全且分开地融合到基于变压器的ASR模型的效果，直觉是注意力机制可能会利用潜在的韵律特征。为此为此，我们提出了用于韵律和光谱特征的分离的卷积前端，表明该架构选择比将这种间距和语音质量特征的简单串联产生更好的结果，以及对MEL-谱图滤波器组。此外，我们找到了LibrisPeech基准测试的平均错误率高达5.6％。这种发现可以进一步研究韵律知识应用于增加基于变压器的ASR的鲁棒性的研究。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

将文本输入转换为视频内容的任务已成为合成媒体生成的重要主题。已经提出了几种方法，其中一些方法在受限的任务中达到了近距离表现。在本文中，我们通过将文本转换为唇部标记来解决文本到视频生成问题的次要发音。但是，我们使用模块化，可控的系统体系结构进行此操作，并评估其每个组件。我们的标题名为Flexlip的系统分为两个单独的模块：文本到语音和语音到唇，都具有基本可控的深神经网络体系结构。这种模块化可以轻松替换其每个组件，同时还可以通过解开或投影输入功能来快速适应新的扬声器身份。我们表明，通过仅将数据的数据用于音频生成组件，而对于语音到唇部分量的5分钟，生成的唇部标记的客观度量与使用较大较大的唇部标记相当一组训练样本。我们还通过考虑数据和系统配置的几个方面，对系统的完整流进行了一系列客观评估措施。这些方面与培训数据的质量和数量有关，使用预审计的模型以及其中包含的数据以及目标扬声器的身份；关于后者，我们表明我们可以通过简单地更新模型中的嘴唇形状来对看不见的身份进行零拍的唇部适应。

口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。

匿名化具有操纵语音信号的目标，以便降解扬声器识别的自动方法的可靠性，同时保留语音的其他方面，例如与可懂度和自然有关的那些。本文报告了一种对匿名化的方法，与其他电流方法不同，不需要培训数据，是基于众所周知的信号处理技术，并且既有效又有效。所提出的解决方案使用MCADAMS系数来转换语音信号的光谱包络。使用常见的ove voiceprivacy的结果2020数据库和协议显示随机，优化的转换可以在匿名方面优于竞争解决方案，同时只导致适度，额外的劣化，即使在半通知隐私对手的情况下也是如此。

在本文中，我们提出了GLOWVC：一种基于多语言的多语言流程模型，用于与语言无关的语音转换。我们建立在Glow-TTS上，该架构提供了一个架构，该体系结构可以在训练过程中使用语言特征，而无需将其用于VC推理。我们考虑了我们的模型的两个版本：glowVC条件和glowVC阐释。 GLOWVC条件模拟具有扬声器条件流的旋光图的分布，并将Mel-Spectrogragron空间置于内容和音高相关的尺寸中，而GlowVC-Plapic-Plapic-Plocific-Plocific opplicit over opplicit of the SughtliciT模型，无条件的流量和删除空间表示空间 - 内容 - 音调和与扬声器相关的维度。我们根据可见语言和看不见的语言的内部和跨语性转换来评估我们的模型，说话者的相似性和自然性。 GlowVC在清晰度方面的模型大大优于AutoVC基线，同时在语言内VC中获得了高扬声器的相似性，并且在跨语言环境中稍差。此外，我们证明了glowvc-suplicic在自然性方面超过了glowvc条件和自动vc。

非平行的多与众不同的语音转换仍然是一项有趣但具有挑战性的语音处理任务。最近，基于有条件的自动编码器的方法AutoVC通过使用信息限制的瓶颈来删除说话者身份和语音内容，从而实现了出色的转换结果。但是，由于纯粹的自动编码器训练方法，很难评估内容和说话者身份的分离效果。在本文中，一个新颖的语音转换框架，名为$ \ boldsymbol t $ ext $ \ boldsymbol g $ uided $ \ boldsymbol a $ utovc（tgavc），提议更有效地将内容和音色与语音分开，其中预期的内容嵌入其中根据文本转录生产的旨在指导语音内容的提取。此外，对对抗性训练将用于消除从语音中提取的估计内容中的说话者身份信息。在预期内容嵌入和对抗培训的指导下，对内容编码器进行了培训，以从语音中提取嵌入说话者的内容。 Aishell-3数据集的实验表明，所提出的模型在自然性和转换语音的相似性方面优于AUTOVC。

Faced with the threat of identity leakage during voice data publishing, users are engaged in a privacy-utility dilemma when enjoying convenient voice services. Existing studies employ direct modification or text-based re-synthesis to de-identify users' voices, but resulting in inconsistent audibility in the presence of human participants. In this paper, we propose a voice de-identification system, which uses adversarial examples to balance the privacy and utility of voice services. Instead of typical additive examples inducing perceivable distortions, we design a novel convolutional adversarial example that modulates perturbations into real-world room impulse responses. Benefit from this, our system could preserve user identity from exposure by Automatic Speaker Identification (ASI) while remaining the voice perceptual quality for non-intrusive de-identification. Moreover, our system learns a compact speaker distribution through a conditional variational auto-encoder to sample diverse target embeddings on demand. Combining diverse target generation and input-specific perturbation construction, our system enables any-to-any identify transformation for adaptive de-identification. Experimental results show that our system could achieve 98% and 79% successful de-identification on mainstream ASIs and commercial systems with an objective Mel cepstral distortion of 4.31dB and a subjective mean opinion score of 4.48.

自动语音识别（ASR）需要对说话者的差异很强。语音转换（VC）修改了输入语音的扬声器特征。这是ASR数据增强的吸引人功能。在本文中，我们证明了语音转换可以用作数据增强技术，即使在包含2,456位扬声器的LibrisPeech上，也可以用作提高ASR性能。对于ASR增强，有必要对广泛的输入语音稳健。这激发了使用非自动回旋，非并行VC模型的使用，并在VC模型中使用了预验证的ASR编码器。这项工作表明，尽管包括许多演讲者，但演讲者的多样性可能仍然是ASR质量的限制。最后，对我们的风险投资性能的审讯为客观评估VC质量提供了有用的指标。

只有单个目标扬声器的语音供参考的单发语音转换（VC）已成为一个热门研究主题。现有作品通常会散布音色，而有关音高，节奏和内容的信息仍然混合在一起。为了进一步删除这些语音组件，有效地执行一声VC，我们采用随机重新采样用于音高和内容编码器，并使用互信息的各种对比对数比率上限和基于梯度反向层的对抗性相互信息学习来确保不同部分在训练过程中仅包含所需的分离表示的潜在空间。 VCTK数据集的实验显示该模型就自然性和智能性方面实现了一声VC的最新性能。此外，我们可以通过语音表示分离分别传递音色，音调和节奏的单发VC的特征。我们的代码，预训练的模型和演示可在https://im1eon.github.io/is2022-Srdvc/上获得。

本文介绍了对F0的音素级韵律控制的方法和多销箱文本到语音设置的持续时间，基于韵律聚类。使用自回归关注的模型，并将多个箱子架构模块并联，与韵律编码器并联。提出了对基本单扬声器方法的几种改进，从而增加了韵律控制范围和覆盖范围。更具体地说，我们采用数据增强，F0​​标准化，持续时间的平衡集群，以及扬声器无关的韵律聚类。这些修改使培训集中包含的所有发言者能够进行细粒度的音素级韵律控制，同时保持扬声器标识。该模型也可以微调到具有限制数据量的看不见的扬声器，并显示其维持其韵律控制能力，验证说话者无关的韵律聚类是有效的。实验结果验证了该模型维持了高输出语音质量，并且该方法允许在每个扬声器范围内有效的韵律控制，尽管多种式箱子设置介绍的变化。

我们介绍了一种无线文字语音转换（S2ST）系统，可以将来自一种语言的语音转换为另一种语言，并且可以在不需要任何文本数据的情况下构建。与文献中的现有工作不同，我们解决了模拟多扬声器目标语音的挑战，并用现实世界的S2ST数据训练系统。我们方法的关键是一种自我监督的单位语音标准化技术，该标准化技术将预先训练的语音编码器具有来自多个扬声器的配对声音，以及单个参考扬声器，以减少由于复印件引起的变化，同时保留词汇内容。只有10分钟的语音标准化的配对数据，我们在培训\ vp〜s2st数据集上的S2ST模型时获得平均3.2 BLEU增益，而不是在未标准化的语音目标上培训的基线。我们还将自动开采的S2ST数据纳入并显示额外的2.0 BLEU增益。据我们所知，我们是第一个建立无线的S2ST技术，可以用真实世界的数据培训，并为多种语言配对工作。