我们提出了一种提取说话者嵌入的方法，这些嵌入者对文本独立的说话者验证中的口语风格变化很强。通常，嵌入提取的扬声器包括训练DNN进行扬声器分类以及使用瓶颈功能作为扬声器表示。这样的网络具有一个合并层，可以通过在所有话语框架上计算统计数据，以相等的权重来转换框架级别为话语级特征。但是，自动锻炼的嵌入执行加权池，使其重量与在扬声器分类任务中框架的重要性相对应。熵可以捕获由于说话样式变化而导致的声学变化。因此，提出了一个基于熵的变量帧速率向量作为自我发项层的外部条件向量，以向网络提供可以解决样式效应的信息。这项工作探讨了五种不同的调理方法。最好的调理方法，与门控的串联，在12/23任务中为X-Vector基线提供了统计学上的显着改进，并且在使用UCLA扬声器可变性数据库时，与11/23任务中的基线相同。在9/23任务中，它也明显胜过自我注意力，而在1/23的任务中也更糟。该方法还显示了SITW的多扬声器方案的显着改善。

我们先前的实验表明，人类和机器似乎采用了不同的方法来歧视说话者歧视，尤其是在说话风格可变性的情况下。实验检查了阅读与对话演讲。听众专注于特定于说话者的特质，同时“一起告诉说话者”，以及“告诉说话者分开”时共享声学空间的相对距离。但是，无论目标或非目标试验如何，自动扬声器验证（ASV）系统使用相同的损失函数。为了在风格变异性的存在下提高ASV性能，从人类感知中学到的见解被用来设计一种新的训练损失功能，我们称为“ CLLRCE损失”。 CLLRCE损失既使用说话者特异性的特质，又使用扬声器之间的相对声学距离来训练ASV系统。当使用UCLA扬声器可变性数据库时，在X-Vector和条件设置中，CLLCE损失使EER显着相对改善1-66％，而MindCF分别与1-31％和1-56％相比，相比之下X矢量基线。使用涉及不同的对话语音任务的SITW评估任务，拟议的损失与自我发项式调节结合，导致EER的显着相对改善2-5％，而MindCF则比基线高6-12％。在SITW案例中，绩效的改善仅与调理保持一致。

Speaker embedding extractors significantly influence the performance of clustering-based speaker diarisation systems. Conventionally, only one embedding is extracted from each speech segment. However, because of the sliding window approach, a segment easily includes two or more speakers owing to speaker change points. This study proposes a novel embedding extractor architecture, referred to as a high-resolution embedding extractor (HEE), which extracts multiple high-resolution embeddings from each speech segment. Hee consists of a feature-map extractor and an enhancer, where the enhancer with the self-attention mechanism is the key to success. The enhancer of HEE replaces the aggregation process; instead of a global pooling layer, the enhancer combines relative information to each frame via attention leveraging the global context. Extracted dense frame-level embeddings can each represent a speaker. Thus, multiple speakers can be represented by different frame-level features in each segment. We also propose an artificially generating mixture data training framework to train the proposed HEE. Through experiments on five evaluation sets, including four public datasets, the proposed HEE demonstrates at least 10% improvement on each evaluation set, except for one dataset, which we analyse that rapid speaker changes less exist.

可以处理各种扬声器和声学条件的模型在语音情感识别（Ser）中至关重要。通常，这些模型往往会在培训期间呈现扬声器或声学条件时显示混合结果。本文调查了交叉组件数据互补和数据增强对Ser模型的影响（从相同的语料库中的测试设置）和不匹配（从不同的语料库测试）条件。介绍了使用六种情绪语音集团的调查，其中包括单一和多个扬声器以及情感风格的变化（作用，引发，自然）和记录条件。观察结果表明，正如预期的那样，在单一语料库上培训的模型在匹配条件下表现最佳，而性能在不匹配的条件下减少10-40％，具体取决于语料库特定功能。在混合语料库上培训的型号在不匹配的上下文中可以更稳定，与匹配条件中的单个语料库模型相比，性能减少的范围为1％至8％。数据增强产生额外的收益高达4％，似乎有利于比匹配的不匹配条件。

In this paper, we use data augmentation to improve performance of deep neural network (DNN) embeddings for speaker recognition. The DNN, which is trained to discriminate between speakers, maps variable-length utterances to fixed-dimensional embeddings that we call x-vectors. Prior studies have found that embeddings leverage large-scale training datasets better than i-vectors. However, it can be challenging to collect substantial quantities of labeled data for training. We use data augmentation, consisting of added noise and reverberation, as an inexpensive method to multiply the amount of training data and improve robustness. The x-vectors are compared with i-vector baselines on Speakers in the Wild and NIST SRE 2016 Cantonese. We find that while augmentation is beneficial in the PLDA classifier, it is not helpful in the i-vector extractor. However, the x-vector DNN effectively exploits data augmentation, due to its supervised training. As a result, the x-vectors achieve superior performance on the evaluation datasets.

在这项工作中，我们对情感和压力环境中的文本独立扬声器验证性能进行了实证对比研究。这项工作结合了浅架构的深层模型，导致新的混合分类器。利用了四种不同的混合模型：深神经网络隐藏式马尔可夫模型（DNN-HMM），深神经网络 - 高斯混合模型（DNN-GMM），高斯混合模型 - 深神经网络（GMM-DNN）和隐藏的马尔可夫模型-Deep神经网络（HMM-DNN）。所有模型都基于新颖的实施架构。比较研究使用了三个不同的语音数据集：私人阿拉伯数据集和两个公共英语数据库，即在模拟和实际压力下的演讲（Susas）和情感语音和歌曲（Ravdess）的ryerson视听数据库。上述混合模型的测试结果表明，所提出的HMM-DNN利用情绪和压力环境中的验证性能。结果还表明，HMM-DNN在曲线（AUC）评估度量下的相同错误率（eer）和面积方面优于所有其他混合模型。基于三个数据集的平均所产生的验证系统分别基于HMM-DNN，DNN-HMM，DNN-GMM和GMM-DNN产生7.19％，16.85％，11.51％和11.90％的eERs。此外，我们发现，与两个谈话环境中的所有其他混合模型相比，DNN-GMM模型展示了最少的计算复杂性。相反，HMM-DNN模型需要最多的培训时间。调查结果还证明了EER和AUC值在比较平均情绪和压力表演时依赖于数据库。

端到端模型在自动语音识别中快速更换传统的混合模型。变压器，基于机器翻译任务的自我关注的序列到序列模型，在用于自动语音识别时已经给出了有希望的结果。本文探讨了在培训基于变压器的模型的同时在编码器输入时结合扬声器信息的不同方式，以提高其语音识别性能。我们以每个扬声器的扬声器嵌入形式呈现扬声器信息。我们使用两种类型的扬声器嵌入进行实验：在我们以前的工作中提出的X-Vectors和新颖的S-Vectors。我们向两个数据集报告结果a）肉kel讲座数据库和b）librispeech 500小时分割。NPTEL是一个开源电子学习门户，提供来自印度顶级大学的讲座。通过我们将扬声器嵌入的方法集成到模型中，我们通过基线获得了基线的错误率的改进。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

对话场景是语音处理技术最重要，最具挑战性的场景之一，因为对话中的人们以随意的方式相互反应。在对话中检测每个人的语音活动对于下游任务，例如自然语言处理，机器翻译等。人们指的是“何时说话”作为说话者诊断（SD）的检测技术。传统上，诊断错误率（DER）长期以来一直用作SD系统的标准评估度量。但是，der没有给简短的对话短语提供足够的重视，这在语义层面上很重要。此外，在语音社区中，仍然无法使用精心准确的手动测试数据集，适合评估对话性SD技术。在本文中，我们设计和描述了对话式短语扬声器诊断（CSSD）任务，该任务包括培训和测试数据集，评估指标和基线。在数据集方面，尽管先前开源的180小时对话魔术Data-RAMC数据集，但我们还准备了一个20小时的对话演讲测试数据集，并精心验证了CSSD任务的时间戳注释。在度量方面，我们设计了新的对话der（CDER）评估度量，该评估度量计算出语音级别的SD准确性。在基线方面，我们采用了一种常用的方法：变异贝叶斯HMM X-vector系统，作为CSSD任务的基线。我们的评估指标可在https://github.com/speechclub/cder_metric上公开获得。

通过语音转换（VC）的数据增强已成功应用于仅可用于目标扬声器的中性数据时，已成功地应用于低资源表达文本到语音（TTS）。尽管VC的质量对于这种方法至关重要，但学习稳定的VC模型是一项挑战，因为在低资源场景中的数据量受到限制，并且高度表达的语音具有很大的声学变化。为了解决这个问题，我们提出了一种新型的数据增强方法，该方法结合了变化和VC技术。由于换挡数据的增强功能可以覆盖各种音高动态，因此即使只有目标扬声器中性数据的1000个话语，它也可以极大地稳定VC和TTS模型的训练。主观测试结果表明，与常规方法相比，具有拟议方法的基于快速2的情绪TTS系统改善了自然性和情绪相似性。

在法医语音比较中，扬声器的嵌入在过去十年中已广泛流行。大多数审计的扬声器嵌入式嵌入都经过英语语料库进行培训，因为它很容易访问。因此，语言依赖性可能是自动法医语音比较的重要因素，尤其是当目标语言在语言上非常不同时。有许多商业系统可用，但是它们的模型主要接受与目标语言不同的语言（主要是英语）的培训。在低资源语言的情况下，开发用于法医目的的语料库，其中包含足够的扬声器来训练深度学习模型是昂贵的。这项研究旨在调查是否可以在目标低资源语言（匈牙利语）上使用预先培训的英语语料库的模型，与模型不同。另外，通常没有犯罪者（未知的扬声器）获得多个样本。因此，在有或没有说话者入学率的嫌疑人（已知）扬声器的情况下对样品进行比较。应用了两个语料库，这些语料库是专门用于法医目的的，第三个是用于传统演讲者验证的第三个语料库。使用了两种基于深度学习的扬声器嵌入向量提取方法：X-Vector和Ecapa-TDNN。说话者验证在可能性比率框架中进行了评估。在语言组合（建模，LR校准，评估）之间进行了比较。通过MinCllr和EER指标评估了结果。发现该模型以不同的语言进行了预先训练，但是在具有大量扬声器的语料库上，在语言不匹配的样本上表现良好。还检查了样本持续时间和口语样式的影响。发现相关样本的持续时间越长，性能就越好。另外，如果采用各种口语样式，则没有真正的区别。

尽管针对正常语音的自动语音识别（ASR）技术取得了迅速的进展，但迄今为止，准确认识违反障碍和老年语音仍然是高度挑战的任务。由于这些用户中经常发现的移动性问题，很难为ASR系统开发收集大量此类数据。为此，数据增强技术起着至关重要的作用。与现有的数据增强技术相反，仅修改光谱轮廓的说话速率或整体形状，使用一组新颖的扬声器依赖（SD）生成对抗网络（Gan ）本文基于数据增强方法。这些既可以灵活地允许：a）在可用的语音数据可用时修改时间或速度的正常语音光谱，并更接近受损说话者的扬声器； b）对于非平行数据，SVD分解了正常语音频谱基础特征，要转换为目标老年人说话者的特征，然后再与时间基础重组以生成最先进的TDNN的增强数据和构象体ASR系统培训。实验是针对四个任务进行的：英语Uapseech和Torgo违反语音语音Corpora；英国痴呆症皮特和广东话JCCOCC MOCA老年语音数据集。所提出的基于GAN的数据增强方法始终优于基线速度扰动方法，最多可在Torgo和Dementiabank数据上降低4.91％和3.0％的绝对速度（相对相对9.61％和6.4％）。应用基于LHUC的扬声器适应后，保留了一致的性能改进。

In this paper, we present a novel method for phoneme-level prosody control of F0 and duration using intuitive discrete labels. We propose an unsupervised prosodic clustering process which is used to discretize phoneme-level F0 and duration features from a multispeaker speech dataset. These features are fed as an input sequence of prosodic labels to a prosody encoder module which augments an autoregressive attention-based text-to-speech model. We utilize various methods in order to improve prosodic control range and coverage, such as augmentation, F0 normalization, balanced clustering for duration and speaker-independent clustering. The final model enables fine-grained phoneme-level prosody control for all speakers contained in the training set, while maintaining the speaker identity. Instead of relying on reference utterances for inference, we introduce a prior prosody encoder which learns the style of each speaker and enables speech synthesis without the requirement of reference audio. We also fine-tune the multispeaker model to unseen speakers with limited amounts of data, as a realistic application scenario and show that the prosody control capabilities are maintained, verifying that the speaker-independent prosodic clustering is effective. Experimental results show that the model has high output speech quality and that the proposed method allows efficient prosody control within each speaker's range despite the variability that a multispeaker setting introduces.

State-of-the-art speaker verification frameworks have typically focused on speech enhancement techniques with increasingly deeper (more layers) and wider (number of channels) models to improve their verification performance. Instead, this paper proposes an approach to increase the model resolution capability using attention-based dynamic kernels in a convolutional neural network to adapt the model parameters to be feature-conditioned. The attention weights on the kernels are further distilled by channel attention and multi-layer feature aggregation to learn global features from speech. This approach provides an efficient solution to improving representation capacity with lower data resources. This is due to the self-adaptation to inputs of the structures of the model parameters. The proposed dynamic convolutional model achieved 1.62\% EER and 0.18 miniDCF on the VoxCeleb1 test set and has a 17\% relative improvement compared to the ECAPA-TDNN.

使用未转录的参考样本来克隆说话者的声音是现代神经文本到语音（TTS）方法的巨大进步之一。最近还提出了模仿转录参考音频的韵律的方法。在这项工作中，我们首次将这两项任务与话语级别的扬声器嵌入在一起，首次将这两个任务融合在一起。我们进一步引入了一个轻巧的对准器，用于提取细粒度的韵律特征，可以在几秒钟内对单个样品进行填充。我们表明，正如我们的客观评估和人类研究表明，我们可以独立地独立地独立语言参考的声音以及与原始声音和韵律高度相似的韵律的韵律，正如我们的客观评估和人类研究表明。我们的所有代码和训练有素的模型都可以以及静态和交互式演示。

在最近的研究中，自我监管的预训练模型倾向于在转移学习中优于监督的预训练模型。特别是，可以在语音应用中使用语音级语音表示的自我监督学习（SSL），这些语音应用需要歧视性表示话语中一致属性的表示：说话者，语言，情感和年龄。现有的框架级别的自我监督语音表示，例如WAV2VEC，可以用作带有汇总的话语级表示，但这些模型通常很大。也有SSL技术可以学习话语级的表示。最成功的方法之一是一种对比方法，它需要负采样：选择替代样品与当前样品（锚）对比。但是，这并不确保所有负面样本属于与没有标签的锚类别不同的​​类别。本文应用了一种非对抗性的自我监督方法来学习话语级的嵌入。我们对没有标签（Dino）从计算机视觉到语音进行了调整，没有标签（Dino）。与对比方法不同，Dino不需要负抽样。我们将Dino与受到监督方式训练的X-Vector进行了比较。当转移到下游任务（说话者验证，语音情绪识别（SER）和阿尔茨海默氏病检测）时，Dino的表现优于X-Vector。我们研究了转移学习过程中几个方面的影响，例如将微调过程分为步骤，块长度或增强。在微调过程中，首先调整最后一个仿射层，然后整个网络一次超过微调。使用较短的块长度，尽管它们产生了更多不同的输入，但并不一定会提高性能，这意味着至少需要具有特定长度的语音段才能为每个应用程序提高性能。增强对SER有帮助。

最近，盲目的语音分离（BSS）和目标语音提取（TSE）的表现已取得了长足的进步。但是，大多数作品都专注于相对控制的条件，例如阅读语音。在更现实的情况下，性能可能会降低。引起这种降解的因素之一可能是固有的说话者变异性，例如情绪，通常在现实的语音中发生。在本文中，我们研究了情绪对TSE和BSS的影响。我们创建了一个新的测试数据集，以评估TSE和BSS。该数据集结合了Librispeech和Ryerson Audio-Visual Visual Espections and Song（Ravdess）。通过受控的实验，我们可以分析不同情绪对BSS和TSE性能的影响。我们观察到BSS对情绪相对强大，而TSE需要识别和提取目标说话者的语音，对情绪更为敏感。在比较演讲者验证实验中，我们表明，在处理情感语音时，确定目标扬声器可能特别具有挑战性。使用我们的发现，我们概述了可能改善BSS和TSE系统对情感语音的鲁棒性的潜在方向。

这项工作旨在自动评估儿童的语言发展是否适合年龄。经过验证的语音和语言测试用于此目的测试听觉记忆。在这项工作中，任务是确定是否正确说出了口语非单词。我们比较有动机来建模特定语言结构的不同方法：低水平特征（FFT），扬声器嵌入（ECAPA-TDNN），素化 - 动机的嵌入（WAV2VEC 2.0）和语音嵌入Senones（ASR ASR ACOSTIC模型）形式。每种方法都提供了类似VGG的5层CNN分类器的输入。我们还检查了每个非单词的适应性。使用来自口头非单词的不同幼儿园的录音进行了对拟议系统的评估。 ECAPA-TDNN和低级FFT特征不会明确模型语音信息； WAV2VEC2.0经过素数标签训练，我们的ASR声学模型包含（子）语音信息。我们发现，语音建模越颗粒状，达到的识别率就越高。在ASR声学模型特征上训练的最佳系统的精度为89.4％，在ROC（接收器操作特征）曲线（AUC）下的面积为0.923。与FFT-BASELINE相比，这对应于20.2％和AUC相对0.309的改善。

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。