匿名化具有操纵语音信号的目标，以便降解扬声器识别的自动方法的可靠性，同时保留语音的其他方面，例如与可懂度和自然有关的那些。本文报告了一种对匿名化的方法，与其他电流方法不同，不需要培训数据，是基于众所周知的信号处理技术，并且既有效又有效。所提出的解决方案使用MCADAMS系数来转换语音信号的光谱包络。使用常见的ove voiceprivacy的结果2020数据库和协议显示随机，优化的转换可以在匿名方面优于竞争解决方案，同时只导致适度，额外的劣化，即使在半通知隐私对手的情况下也是如此。

本文介绍了第一个致力于2020挑战的结果和分析，重点是开发语音技术的匿名解决方案。我们提供了对提交的系统和评估结果的分析，提供了挑战设计的系统概述。特别是，我们描述了用于系统开发和评估的语音匿名任务和数据集。此外，我们呈现不同的攻击模型和相关目标和主观评估指标。我们介绍了两个匿名化的基线，并提供了由挑战参与者开发的匿名化系统的摘要描述。我们向基线和提交的系统报告客观和主观评估结果。此外，我们提出了作为评估后分析的一部分开发的替代隐私度量和攻击模型的实验结果。最后，我们总结了我们的见解和观察，这将影响下一个语音普遍挑战版的设计和未来语音匿名化研究的某些方向。

对于新参与者 - 执行摘要：（1）任务是为语音数据开发语音匿名系统，该系统隐藏了说话者的语音身份，同时保护语言内容，副语言属性，清晰度和自然性。 （2）除3种不同的基线匿名系统，评估脚本和指标外，还提供了培训，开发和评估数据集。参与者应用其开发的匿名系统，运行评估脚本并向组织者提交客观评估结果和匿名语音数据。 （3）结果将在与Interspeech 2022结合的研讨会上展示，邀请所有参与者介绍其挑战系统并提交其他研讨会论文。对于熟悉语音挑战的读者 - 更改W.R.T. 2020年：（1）以自动扬声器验证（ASV）系统的形式进行了更强的半信息攻击模型，该系统接受了匿名（每位）语音数据的训练。 （2）互补指标包括等于误差率（EER）作为隐私指标，单词错误率（WER）作为主要实用性度量，以及音调相关性和声音独特性作为辅助效用度量标准。 （3）基于一组最小目标隐私要求的新排名策略。

在这项工作中，我们提出了一个说话者的匿名管道，该管道利用高质量的自动语音识别和合成系统来生成以语音转录和匿名扬声器嵌入为条件的语音。使用电话作为中间表示，可确保从输入中完全消除说话者身份信息，同时尽可能保留原始的语音内容。我们在Librispeech和VCTK Corpora上的实验结果揭示了两个关键发现：1）尽管自动语音识别会产生不完美的转录，但我们的神经语音合成系统可以处理此类错误，使我们的系统可行且健壮，并且2）结合来自不同资源的扬声器嵌入，有益及其适当的归一化至关重要。总体而言，我们的最终最佳系统在2020年语音隐私挑战挑战中提供的基线在与懒惰的攻击者的稳健性方面相当大，同时保持了匿名语音的高度理解性和自然性。

尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。

我们的声音编码了一种独特的可识别模式，该模式可用于推断私人属性（例如性别或身份），即个人可能希望在使用语音识别服务时不会透露。为了防止属性推理攻击与语音识别任务一起，我们提出了一个生成的对抗网络Gengan，该网络综合了掩盖说话者的性别或身份的声音。拟议的网络包括一个具有U-NET体系结构的生成器，该发生器学会了欺骗歧视者。我们仅根据性别信息来调节发电机，并在信号失真和隐私保护之间使用对抗性损失。我们表明，与将性别信息视为保护性别的敏感属性相比，Gengan改善了隐私和公用事业之间的权衡。

语音信号包含许多敏感信息，例如说话者的身份，这些信息在收集语音数据时引起了隐私问题。演讲者的匿名化旨在转换语音信号以消除源说话者的身份，同时使口语内容不变。当前方法通过依靠内容/说话者的分离和语音转换来执行转换。通常，来自自动语音识别系统的声学模型会提取内容表示，而X-Vector系统则提取说话者表示。先前的工作表明，提取的功能并未完全脱离。本文解决了如何改善特征分离的特征，从而改善了转换的匿名语音。我们建议使用矢量量化从声学模型中删除扬声器信息来增强分离。使用Voice Privacy 2022 Toolkit进行的评估表明，向量量化有助于隐藏原始的说话者身份，同时保持语音识别的实用性。

Faced with the threat of identity leakage during voice data publishing, users are engaged in a privacy-utility dilemma when enjoying convenient voice services. Existing studies employ direct modification or text-based re-synthesis to de-identify users' voices, but resulting in inconsistent audibility in the presence of human participants. In this paper, we propose a voice de-identification system, which uses adversarial examples to balance the privacy and utility of voice services. Instead of typical additive examples inducing perceivable distortions, we design a novel convolutional adversarial example that modulates perturbations into real-world room impulse responses. Benefit from this, our system could preserve user identity from exposure by Automatic Speaker Identification (ASI) while remaining the voice perceptual quality for non-intrusive de-identification. Moreover, our system learns a compact speaker distribution through a conditional variational auto-encoder to sample diverse target embeddings on demand. Combining diverse target generation and input-specific perturbation construction, our system enables any-to-any identify transformation for adaptive de-identification. Experimental results show that our system could achieve 98% and 79% successful de-identification on mainstream ASIs and commercial systems with an objective Mel cepstral distortion of 4.31dB and a subjective mean opinion score of 4.48.

端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

本文介绍了一种无监督的基于分段的稳健语音活动检测方法（RVAD）。该方法包括两个去噪之后的传递，然后是语音活动检测（VAD）阶段。在第一通道中，通过使用后验信噪比（SNR）加权能量差来检测语音信号中的高能段，并且如果在段内没有检测到间距，则该段被认为是高能量噪声段并设置为零。在第二种通过中，语音信号由语音增强方法进行去噪，探索了几种方法。接下来，具有间距的相邻帧被分组在一起以形成音调段，并且基于语音统计，俯仰段进一步从两端延伸，以便包括浊音和发声声音和可能的非语音部分。最后，将后验SNR加权能量差应用于用于检测语音活动的去噪语音信号的扩展桨距片段。我们使用两个数据库，大鼠和极光-2评估所提出的方法的VAD性能，该方法包含大量噪声条件。在扬声器验证性能方面进一步评估RVAD方法，在Reddots 2016挑战数据库及其噪声损坏版本方面。实验结果表明，RVAD与许多现有方法有利地比较。此外，我们介绍了一种修改版的RVAD，其中通过计算有效的光谱平坦度计算替换计算密集的俯仰提取。修改的版本显着降低了适度较低的VAD性能成本的计算复杂性，这是在处理大量数据并在低资源设备上运行时的优势。 RVAD的源代码被公开可用。

Self-supervised learning (SSL) methods such as WavLM have shown promising speech separation (SS) results in small-scale simulation-based experiments. In this work, we extend the exploration of the SSL-based SS by massively scaling up both the pre-training data (more than 300K hours) and fine-tuning data (10K hours). We also investigate various techniques to efficiently integrate the pre-trained model with the SS network under a limited computation budget, including a low frame rate SSL model training setup and a fine-tuning scheme using only the part of the pre-trained model. Compared with a supervised baseline and the WavLM-based SS model using feature embeddings obtained with the previously released 94K hours trained WavLM, our proposed model obtains 15.9% and 11.2% of relative word error rate (WER) reductions, respectively, for a simulated far-field speech mixture test set. For conversation transcription on real meeting recordings using continuous speech separation, the proposed model achieves 6.8% and 10.6% of relative WER reductions over the purely supervised baseline on AMI and ICSI evaluation sets, respectively, while reducing the computational cost by 38%.

Automatic Speech Recognition (ASR) for air traffic control is generally trained by pooling Air Traffic Controller (ATCO) and pilot data into one set. This is motivated by the fact that pilot's voice communications are more scarce than ATCOs. Due to this data imbalance and other reasons (e.g., varying acoustic conditions), the speech from ATCOs is usually recognized more accurately than from pilots. Automatically identifying the speaker roles is a challenging task, especially in the case of the noisy voice recordings collected using Very High Frequency (VHF) receivers or due to the unavailability of the push-to-talk (PTT) signal, i.e., both audio channels are mixed. In this work, we propose to (1) automatically segment the ATCO and pilot data based on an intuitive approach exploiting ASR transcripts and (2) subsequently consider an automatic recognition of ATCOs' and pilots' voice as two separate tasks. Our work is performed on VHF audio data with high noise levels, i.e., signal-to-noise (SNR) ratios below 15 dB, as this data is recognized to be helpful for various speech-based machine-learning tasks. Specifically, for the speaker role identification task, the module is represented by a simple yet efficient knowledge-based system exploiting a grammar defined by the International Civil Aviation Organization (ICAO). The system accepts text as the input, either manually verified annotations or automatically generated transcripts. The developed approach provides an average accuracy in speaker role identification of about 83%. Finally, we show that training an acoustic model for ASR tasks separately (i.e., separate models for ATCOs and pilots) or using a multitask approach is well suited for the noisy data and outperforms the traditional ASR system where all data is pooled together.

至于其他形式的AI，最近已经对不同用户同伙的性能差异进行了研究。在语音识别方面实现公平性的一种方法是（1）确定遭受低标准表现的说话者队列，以及（2）采取针对发现同类的公平性缓解措施。在本文中，我们使用产品规模的AI助手语音识别系统的数据报告了发现和缓解性能差异的初步发现。我们将基于地理和人口统计学信息的队列发现与一种更可扩展的方法进行比较，该方法将使用扬声器嵌入技术分组没有人类标签的说话者。为了缓解公平性，我们发现对代表性不足的队列的过度采样，以及通过其他输入变量对扬声器队列的建模，从而减少了表现和底部性能队列之间的差距，而不会降低整体识别精度。

口语理解（SLU）是大多数人机相互作用系统中的核心任务。随着智能家居，智能手机和智能扬声器的出现，SLU已成为该行业的关键技术。在经典的SLU方法中，自动语音识别（ASR）模块将语音信号转录为文本表示，自然语言理解（NLU）模块从中提取语义信息。最近，基于深神经网络的端到端SLU（E2E SLU）已经获得了动力，因为它受益于ASR和NLU部分的联合优化，因此限制了管道架构的误差效应的级联反应。但是，对于E2E模型用于预测语音输入的概念和意图的实际语言特性知之甚少。在本文中，我们提出了一项研究，以确定E2E模型执行SLU任务的信号特征和其他语言特性。该研究是在必须处理非英语（此处法语）语音命令的智能房屋的应用领域进行的。结果表明，良好的E2E SLU性能并不总是需要完美的ASR功能。此外，结果表明，与管道模型相比，E2E模型在处理背景噪声和句法变化方面具有出色的功能。最后，更细粒度的分析表明，E2E模型使用输入信号的音调信息来识别语音命令概念。本文概述的结果和方法提供了一个跳板，以进一步分析语音处理中的E2E模型。

由于人工智能的改进，扬声器识别（SI）技术带来了一个伟大的方向，现在广泛用于各种各样的领域。Si最重要的组件之一是特征提取，对Si过程和性能具有显着影响。结果，彻底研究，对比和分析了许多特征提取策略。本文利用了情绪环境下伪装声音中的发言者识别五个不同的特征提取方法。为了显着评估这项工作，使用了三种效果：高倾斜，低音和电子语音转换（EVC）。实验结果报道称，级联的熔融频率谱系数（MFCCs），MFCCS-DERTA和MFCCS-DELTA-DELTA是最佳特征提取方法。

语音可理解性评估在患有病理语音疾病的患者的治疗中起着重要作用。需要自动和客观的措施，以帮助治疗师进行传统的主观和劳动密集型评估。在这项工作中，我们研究了一种新的方法，该方法是使用从健康的参考和病理扬声器获得的平行话语对的分离潜在语音表示中的差异来获得这种度量的。使用每个扬声器的所有可用话语，在英语数据库上进行了英语数据库，显示出高和显着的相关值（r = -0.9），具有主观的可理解性指标，而在四个不同的参考扬声器对中仅具有最小的偏差（+-0.01） 。我们还通过考虑每个扬声器的话语少得多，在1000次迭代中偏离1000次迭代的 +-0.02偏离 +-0.02）也证明了稳健性。我们的结果之一是最早表明可以使用删除的语音表示形式用于自动病理语音可理解性评估，从而产生了参考扬声器对不变方法，适用于仅有几个话语的场景。

Voice Conversion (VC) is the task of making a spoken utterance by one speaker sound as if uttered by a different speaker, while keeping other aspects like content unchanged. Current VC methods, focus primarily on spectral features like timbre, while ignoring the unique speaking style of people which often impacts prosody. In this study, we introduce a method for converting not only the timbre, but also prosodic information (i.e., rhythm and pitch changes) to those of the target speaker. The proposed approach is based on a pretrained, self-supervised, model for encoding speech to discrete units, which make it simple, effective, and easy to optimise. We consider the many-to-many setting with no paired data. We introduce a suite of quantitative and qualitative evaluation metrics for this setup, and empirically demonstrate the proposed approach is significantly superior to the evaluated baselines. Code and samples can be found under https://pages.cs.huji.ac.il/adiyoss-lab/dissc/ .

已经提出了语音转换（VC）以通过使用它来增强有限培训数据来改进低资源语言的语音识别系统。但直到最近，计算速度等实际问题限制了VC为此目的的使用。此外，尚不清楚在一个资源良好的语言上培训的VC模型是否可以从其他低资源语言应用于数据增强的目的。在这项工作中，我们评估VC系统是否可以在凌乱上使用，以改善低资源语音识别。具体地，我们将最近的几种技术与英语一起设计和培训实用的VC系统，然后使用该系统以几种低资源语言培训语音识别模型的数据。我们发现，当使用合理量的增强数据时，所有四种低资源语言都有改进了语音识别性能。

视频到语音是从口语说话视频中重建音频演讲的过程。此任务的先前方法依赖于两个步骤的过程，该过程从视频中推断出中间表示，然后使用Vocoder或波形重建算法将中间表示形式解码为波形音频。在这项工作中，我们提出了一个基于生成对抗网络（GAN）的新的端到端视频到语音模型，该模型将口语视频转换为波形端到端，而无需使用任何中间表示或单独的波形合成算法。我们的模型由一个编码器架构组成，该体系结构接收原始视频作为输入并生成语音，然后将其馈送到波形评论家和权力评论家。基于这两个批评家的对抗损失的使用可以直接综合原始音频波形并确保其现实主义。此外，我们的三个比较损失的使用有助于建立生成的音频和输入视频之间的直接对应关系。我们表明，该模型能够用诸如网格之类的受约束数据集重建语音，并且是第一个为LRW（野外唇读）生成可理解的语音的端到端模型，以数百名扬声器为特色。完全记录在“野外”。我们使用四个客观指标来评估两种不同的情况下生成的样本，这些客观指标衡量了人工语音的质量和清晰度。我们证明，所提出的方法在Grid和LRW上的大多数指标上都优于以前的所有作品。