通过未计算的数据情况和缺乏本领域缺乏标准基准的动机，我们补充了我们以前的努力，并提出了一个专为培训和评估文本无关的多通道扬声器验证系统的全面语料库。还可以容易地用于DERE失去，去噪和语音增强的实验。我们通过利用VOXECEB数据集的清洁部分顶部的数据仿真来解决缺乏多通道训练数据的缺乏问题。开发和评估试验基于复杂的传统的声音，这些声音在复杂的环境环境（声音）语料库中，我们修改以提供多渠道试验。我们发布从公共来源创建数据集的完整食谱作为Multisv语料库，我们提供了两种多通道扬声器验证系统，其中两个多通道扬声器验证系统，基于神经网络的波束成形，基于预测理想二进制掩码或更新的CONV-TASNet更新。

在本文中，我们提出了一种解决方案，以允许扬声器条件语音模型，例如VoiceFilter-Lite，以支持单个通过中的任意数量的注册用户。这是通过使用多个扬声器嵌入的注意机制来实现，以计算单个细小嵌入，然后将其用作模型的侧面输入。我们实现了多用户VoiceFilter-Lite并为三个任务进行了评估：（1）流自动语音识别（ASR）任务; （2）独立于文本的扬声器验证任务; （3）个性化关键级检测任务，其中ASR必须在嘈杂的环境中检测来自多个注册用户的关键次数。我们的实验表明，在最多四个注册的用户中，多用户VoiceFilter-Lite能够在具有重叠语音时显着降低语音识别和扬声器验证错误，而不会影响其他声学条件下的性能。这种细心的扬声器嵌入方法也可以轻松应用于其他扬声器条件模型，如个人VAD和个性化ASR。

对于新参与者 - 执行摘要：（1）任务是为语音数据开发语音匿名系统，该系统隐藏了说话者的语音身份，同时保护语言内容，副语言属性，清晰度和自然性。 （2）除3种不同的基线匿名系统，评估脚本和指标外，还提供了培训，开发和评估数据集。参与者应用其开发的匿名系统，运行评估脚本并向组织者提交客观评估结果和匿名语音数据。 （3）结果将在与Interspeech 2022结合的研讨会上展示，邀请所有参与者介绍其挑战系统并提交其他研讨会论文。对于熟悉语音挑战的读者 - 更改W.R.T. 2020年：（1）以自动扬声器验证（ASV）系统的形式进行了更强的半信息攻击模型，该系统接受了匿名（每位）语音数据的训练。 （2）互补指标包括等于误差率（EER）作为隐私指标，单词错误率（WER）作为主要实用性度量，以及音调相关性和声音独特性作为辅助效用度量标准。 （3）基于一组最小目标隐私要求的新排名策略。

自我监督学习（SSL）在语音识别方面取得了巨大的成功，而有限的探索已尝试完成其他语音处理任务。由于语音信号包含多方面的信息，包括说话者身份，副语言学，口语内容等，学习所有语音任务的通用表示都具有挑战性。为了解决该问题，我们提出了一个新的预培训模型WAVLM，以解决全堆栈的下游语音任务。 Wavlm共同学习了蒙面的语音预测和预训练。通过这种方式，WAVLM不仅可以通过掩盖的语音预测来保持语音内容建模能力，而且还可以通过语音denoing来提高非ASR任务的潜力。此外，WAVLM还采用封闭式的变压器结构的封闭相对位置偏置，以更好地捕获输入语音的序列排序。我们还将培训数据集从60k小时扩展到94K小时。 WAVLM大型在精湛的基准上实现了最先进的性能，并在其代表性基准上为各种语音处理任务带来了重大改进。代码和预培训模型可在https://aka.ms/wavlm上找到。

由于语音分离的表现非常适合两个说话者完全重叠的语音，因此研究的注意力已转移到处理更现实的场景。然而，由于因素，例如说话者，内容，渠道和环境等因素引起的训练/测试情况之间的领域不匹配仍然是言语分离的严重问题。演讲者和环境不匹配已在现有文献中进行了研究。然而，关于语音内容和渠道不匹配的研究很少。此外，这些研究中语言和渠道的影响大多是纠结的。在这项研究中，我们为各种实验创建了几个数据集。结果表明，与不同渠道的影响相比，不同语言的影响足以忽略。在我们的实验中，Android手机记录的数据培训可提供最佳的概括性。此外，我们通过评估投影提供了一种新的解决方案，以测量通道相似性并用于有效选择其他训练数据以提高野外测试数据的性能。

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。

In this paper, we use data augmentation to improve performance of deep neural network (DNN) embeddings for speaker recognition. The DNN, which is trained to discriminate between speakers, maps variable-length utterances to fixed-dimensional embeddings that we call x-vectors. Prior studies have found that embeddings leverage large-scale training datasets better than i-vectors. However, it can be challenging to collect substantial quantities of labeled data for training. We use data augmentation, consisting of added noise and reverberation, as an inexpensive method to multiply the amount of training data and improve robustness. The x-vectors are compared with i-vector baselines on Speakers in the Wild and NIST SRE 2016 Cantonese. We find that while augmentation is beneficial in the PLDA classifier, it is not helpful in the i-vector extractor. However, the x-vector DNN effectively exploits data augmentation, due to its supervised training. As a result, the x-vectors achieve superior performance on the evaluation datasets.

Previous databases have been designed to further the development of fake audio detection. However, fake utterances are mostly generated by altering timbre, prosody, linguistic content or channel noise of original audios. They ignore a fake situation, in which the attacker manipulates an acoustic scene of the original audio with another forgery one. It will pose a major threat to our society if some people misuse the manipulated audio with malicious purpose. Therefore, this motivates us to fill in the gap. This paper designs such a dataset for scene fake audio detection (SceneFake). A manipulated audio in the SceneFake dataset involves only tampering the acoustic scene of an utterance by using speech enhancement technologies. We can not only detect fake utterances on a seen test set but also evaluate the generalization of fake detection models to unseen manipulation attacks. Some benchmark results are described on the SceneFake dataset. Besides, an analysis of fake attacks with different speech enhancement technologies and signal-to-noise ratios are presented on the dataset. The results show that scene manipulated utterances can not be detected reliably by the existing baseline models of ASVspoof 2019. Furthermore, the detection of unseen scene manipulation audio is still challenging.

在本文中，我们探索了一个改进的框架，以训练单腔神经增强模型，以识别强大的语音识别。设计的训练框架扩展了现有的混合训练标准，以利用未配对的干净语音和真实的嘈杂数据。发现未配对的干净言语对于提高实际嘈杂言论的分离语音质量至关重要。所提出的方法还对处理和未加工的信号进行混合，以减轻处理工件。单渠道Chime-3真实测试集上的实验表明，在语音识别性能方面，对在不匹配的模拟数据上训练的增强系统的语音识别性能以有监督的方式或以不受欢迎的方式对匹配的真实数据进行了显着改善。与未经处理的信号相比，使用端到端和混合声模型在未经扭曲的数据进行重新纠正的情况下，该系统已实现了16％至39％的相对减少。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

在本文中，我们描述了RTZR团队Voxceleb扬声器识别挑战2022（VOXSRC-22）的最高得分提交，在封闭的数据集中，扬声器验证轨道1.最高执行的系统是7型型号的融合，其中包含3种不同类型的类型模型体系结构。我们专注于培训模型以学习周期性信息。因此，所有型号均以4-6秒的镜头训练，每次发言。此外，我们采用了较大的保证金微调策略，该策略在我们的某些融合模型的先前挑战上表现出良好的表现。在评估过程中，我们应用了具有自适应对称归一化（AS-NORM）和矩阵得分平均值（MSA）的评分方法。最后，我们将模型与逻辑回归混合在一起，以融合所有受过训练的模型。最终提交在VOXSRC22测试集上实现了0.165 DCF和2.912％EER。

AI研究中的基石是创建和采用标准化培训和测试数据集，以指定最新模型的进度。一个特别成功的例子是用于培训和评估英语自然语言理解（NLU）模型的胶水数据集。围绕基于BERT的语言模型的大量研究围绕着胶水中NLU任务的性能改进。为了评估其他语言的语言模型，创建了几个特定语言的胶水数据集。语音语言理解（SLU）的领域遵循了类似的轨迹。大型自我监督模型（例如WAV2VEC2）的成功实现了具有相对易于访问的未标记数据的语音模型。然后可以在SLU任务（例如出色的基准测试）上评估这些模型。在这项工作中，我们将其扩展到通过释放Indicsuperb基准测试来指示语言。具体来说，我们做出以下三项贡献。 （i）我们收集了Kathbath，其中包含来自印度203个地区的1,218个贡献者的12个印度语言的1,684小时的标记语音数据。 （ii）使用Kathbath，我们在6个语音任务中创建基准：自动语音识别，扬声器验证，说话者识别（单声道/多），语言识别，逐个示例查询以及对12种语言的关键字发现。 （iii）在发布的基准测试中，我们与常用的基线Fbank一起训练和评估不同的自我监督模型。我们表明，在大多数任务上，特定于语言的微调模型比基线更准确，包括对于语言识别任务的76 \％差距。但是，对于说话者识别，在大型数据集上训练的自我监督模型证明了一个优势。我们希望Indicsuperb有助于发展印度语言的语音语言理解模型的进步。

最近在各种语音域应用中提出了卷积增强的变压器（构象异构体），例如自动语音识别（ASR）和语音分离，因为它们可以捕获本地和全球依赖性。在本文中，我们提出了一个基于构型的度量生成对抗网络（CMGAN），以在时间频率（TF）域中进行语音增强（SE）。发电机使用两阶段构象体块编码大小和复杂的频谱图信息，以模拟时间和频率依赖性。然后，解码器将估计分解为尺寸掩模的解码器分支，以滤除不需要的扭曲和复杂的细化分支，以进一步改善幅度估计并隐式增强相信息。此外，我们还包括一个度量歧视器来通过优化相应的评估评分来减轻度量不匹配。客观和主观评估表明，与三个语音增强任务（DeNoising，dereverberation和Super-Losity）中的最新方法相比，CMGAN能够表现出卓越的性能。例如，对语音库+需求数据集的定量降解分析表明，CMGAN的表现优于以前的差距，即PESQ为3.41，SSNR为11.10 dB。

在本文中，我们介绍了在单个神经网络中执行同时扬声器分离，DERE失眠和扬声器识别的盲言语分离和DERERATERATION（BSSD）网络。扬声器分离由一组预定义的空间线索引导。通过使用神经波束成形进行DERERATERATION，通过嵌入向量和三联挖掘来辅助扬声器识别。我们介绍了一种使用复值神经网络的频域模型，以及在潜伏空间中执行波束成形的时域变体。此外，我们提出了一个块在线模式来处理更长的录音，因为它们在会议场景中发生。我们在规模独立信号方面评估我们的系统，以失真率（SI-SI-SIS），字错误率（WER）和相等的错误率（eer）。

本文介绍了STC有限公司的描述，该系统提交给NIST 2021扬声器识别评估，用于固定和开放的培训条件。这些系统由许多不同的子系统组成，基于使用深神经网络作为特征提取器。在NIST 2021 SRE挑战期间，我们专注于培训最先进的深部扬声器嵌入式提取器，如Contive角度裕度的损耗功能。此外，通过自动语音识别中的Wav2Vec 2.0特征的最近成功的启发，我们探讨了这种方法对提交的扬声器验证的有效性。根据我们的观察，预先训练的大wave2vec 2.0模型的微调为开放式条件提供了最佳的开展系统。我们对固定条件的WAV2VEC 2.0提取器的实验表明，与对比预测编码损失的无监督自回归预测将打开从原始语音信号训练强大的变压器的提取器。对于视频模型，我们通过RetinaFace面部探测器和深签名脸部嵌入式提取器开发了我们的最佳解决方案，培训了大面孔图像数据集。主要系统的最终结果是通过在分数水平上的不同配置融合的不同配置而获得，然后进行评分校准。

我们介绍了扬声器本地化问题的变种，我们呼叫设备仲裁。在设备仲裁问题中，用户将由多个分布式麦克风阵列（智能家居设备）检测到的关键字，并且我们希望确定哪个设备最接近用户。我们提出了一个端到端机器学习系统而不是解决完整的本地化问题。该系统了解在每个设备上独立计算的功能嵌入。然后，每个设备的嵌入式聚合在一起以产生最终的仲裁决策。我们使用大规模的房间模拟来生成培训和评估数据，并将系统与信号处理基线进行比较。

尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。

使用未知数量的扬声器数量的单通道远场录制的自动语音识别（ASR）传统上由级联模块解决。最近的研究表明，与模块化系统相比，端到端（E2E）多扬声器ASR模型可以实现卓越的识别准确性。但是，这些模型不会确保由于其对完整音频上下文的依赖性而实时适用性。这项工作采用实时适用性，作为模型设计的第一优先级，并解决了以前的多扬声器经常性神经网络传感器（MS-RNN-T）的几个挑战。首先，我们在训练期间介绍一般的重叠言论模拟，在LibrisPeechMix测试集上产生14％的相对字错误率（WER）改进。其次，我们提出了一种新的多转RNN-T（MT-RNN-T）模型，其具有基于重叠的目标布置策略，其概括为任意数量的扬声器，而没有模型架构的变化。我们调查在Liblics测试集上培训训练期间看到的最大扬声器数量的影响，并在两位扬声器MS-RNN-T上报告28％的相对加速。第三，我们试验丰富的转录战略，共同承认和分割多方言论。通过深入分析，我们讨论所提出的系统的潜在陷阱以及未来的未来研究方向。

自动语音识别和文本到语音系统主要以监督方式培训，需要高质量，准确标记的语音数据集。在这项工作中，我们研究语音数据的常见问题，并为语音数据集的构建和交互式错误分析引入工具箱。施工工具基于K \“urzinger等。工作，并且，尽我们所知，数据集探索工具是世界上第一个这类开源工具。我们演示了如何应用这些工具来创建一个俄语语音数据集并分析现有语音数据集（多语种LibrisPeech，Mozilla Common语音）。该工具是开放的，作为Nemo框架的一部分。

Prior works on improving speech quality with visual input typically study each type of auditory distortion separately (e.g., separation, inpainting, video-to-speech) and present tailored algorithms. This paper proposes to unify these subjects and study Generalized Speech Enhancement, where the goal is not to reconstruct the exact reference clean signal, but to focus on improving certain aspects of speech. In particular, this paper concerns intelligibility, quality, and video synchronization. We cast the problem as audio-visual speech resynthesis, which is composed of two steps: pseudo audio-visual speech recognition (P-AVSR) and pseudo text-to-speech synthesis (P-TTS). P-AVSR and P-TTS are connected by discrete units derived from a self-supervised speech model. Moreover, we utilize self-supervised audio-visual speech model to initialize P-AVSR. The proposed model is coined ReVISE. ReVISE is the first high-quality model for in-the-wild video-to-speech synthesis and achieves superior performance on all LRS3 audio-visual enhancement tasks with a single model. To demonstrates its applicability in the real world, ReVISE is also evaluated on EasyCom, an audio-visual benchmark collected under challenging acoustic conditions with only 1.6 hours of training data. Similarly, ReVISE greatly suppresses noise and improves quality. Project page: https://wnhsu.github.io/ReVISE.