在现实世界中，扬声器身份系统的任务是在一组注册的扬声器中识别出一个只有几个注册扬声器的示例中的扬声器。本文展示了该用例的元学习和关系网络的有效性。我们提出了改进的关系网络，用于说话者验证和很少的射击者（看不见）的说话者识别。关系网络的使用促进了前端扬声器编码器和后端模型的联合培训。受到使用典型网络在扬声器验证中使用原型网络并增加说话者嵌入的可区分性的启发，我们训练该模型以在训练集中存在的所有扬声器中对当前情节进行分类。此外，我们通过从给定的元学习插曲中提取更多信息，并提出一种新的培训方式，以使用可忽略不计的额外计算，从而提出了更快的模型收敛性。我们在Voxceleb，SITW和VCTK数据集上评估了有关说话者验证的任务和看不见的说话者识别的提议技术。所提出的方法在这两个任务上始终如一地优于现有方法。

最近，注意机制已成功应用于基于神经网络的说话者验证系统。将挤压和兴奋的块纳入卷积神经网络中的表现出色。但是，它使用全球平均池（GAP）简单地沿时间和频率维度平均功能，这无法在功能地图中保留足够的扬声器信息。在这项研究中，我们表明GAP是时间频域在数学上仅使用频率分解中最低频率分量的特殊情况。为了增强扬声器信息提取能力，我们建议利用多频信息，并设计两个新颖的有效注意模块，称为单频率单通道（SFSC）注意模块和多频单通道（MFSC）注意模块。提出的注意模块可以根据DCT有效地从多个频率组件中捕获更多扬声器信息。我们在Voxceleb数据集上进行了全面的实验，并对第148个UTD法医语料库进行了探测评估。实验结果表明，我们提出的SFSC和MFSC注意模块可以有效地产生更具歧视性的扬声器表示，并且优于RESNET34-SE和ECAPA-TDNN系统，而EER降低了20.9％和20.2％，而无需添加额外的网络参数。

State-of-the-art speaker verification frameworks have typically focused on speech enhancement techniques with increasingly deeper (more layers) and wider (number of channels) models to improve their verification performance. Instead, this paper proposes an approach to increase the model resolution capability using attention-based dynamic kernels in a convolutional neural network to adapt the model parameters to be feature-conditioned. The attention weights on the kernels are further distilled by channel attention and multi-layer feature aggregation to learn global features from speech. This approach provides an efficient solution to improving representation capacity with lower data resources. This is due to the self-adaptation to inputs of the structures of the model parameters. The proposed dynamic convolutional model achieved 1.62\% EER and 0.18 miniDCF on the VoxCeleb1 test set and has a 17\% relative improvement compared to the ECAPA-TDNN.

验证系统的深度学习模型通常无法推广到新用户和新环境，即使他们学习了高度歧视的功能。为了解决这个问题，我们提出了一些射击域的概括框架，该框架学会了解决新用户和新域的分销转移。我们的框架由特定领域和域聚集网络组成，分别是特定和组合域的专家。通过使用这些网络，我们生成的发作是模仿新颖用户和新型域在训练阶段的存在，以最终产生更好的概括。为了节省内存，我们通过将相似域聚集在一起来减少特定于域特异性网络的数量。经过对人为生成的噪声域的广泛评估，我们可以明确显示我们框架的概括能力。此外，我们将提出的方法应用于标准基准的现有竞争体系结构，这显示了进一步的性能改进。

个性化语音合成系统是一个非常期望的应用程序，其中系统可以使用罕见的登记录制与用户的语音产生语音。最近有两种主要方法可以在近期建立这样的系统：扬声器适配和扬声器编码。一方面，扬声器适配方法微调训练有素的多扬声器文本到语音（TTS）模型，只有少数注册样本。然而，它们需要至少有数千个微调步骤以进行高质量适应，使其难以在设备上施加。另一方面，扬声器编码方法将注册话语编码为扬声器嵌入。训练的TTS模型可以在相应的扬声器嵌入上综合用户的语音。然而，扬声器编码器遭受了所看到和看不见的扬声器之间的泛化差距。在本文中，我们建议将元学习算法应用于扬声器适应方法。更具体地说，我们使用模型不可知的元学习（MAML）作为多扬声器TTS模型的训练算法，其旨在找到一个很好的元初始化，以便快速地将模型调整到任何几次扬声器适应任务。因此，我们还可以将元训练的TTS模型调整为有效地解除扬声器。我们的实验比较了两个基线的提出方法（Meta-TTS）：扬声器适配方法基线和扬声器编码方法基线。评估结果表明，Meta-TTS可以从扬声器适应基线的少量适应步骤中综合高扬声器相似性语音，而不是扬声器适配基线，并且在相同的训练方案下优于扬声器编码基线。当基线的扬声器编码器用额外的8371个扬声器进行预先培训时，Meta-TTS仍然可以越优于库特布特数据集的基线，并在VCTK数据集上实现可比结果。

在本文中，我们提出了自我监督的发言者表示学习策略，该策略包括在前端的引导平衡扬声器表示学习和在后端的不确定性意识的概率扬声器嵌入训练。在前端阶段，我们通过具有均匀性正则化术语的引导训练方案来学习扬声器表示。在后端阶段，通过最大化属于同一扬声器的语音样本之间的相互似然分数来估计概率扬声器嵌入，这不仅提供扬声器表示，而且提供数据不确定性。实验结果表明，拟议的举止均衡训练策略可以有效地帮助了解扬声器表示，并以基于对比学习的传统方法优越。此外，我们展示了集成的两级框架在eer和mindcf方面进一步改善了VoxceleB1测试中的扬声器验证性能。

近年来见证了自动扬声器验证（ASV）的非凡发展。但是，先前的作品表明，最新的ASV模型非常容易受到语音欺骗的攻击，而最近提出的高性能欺骗对策（CM）模型仅专注于独立的反欺骗任务，而忽略了该模型随后的发言人验证过程。如何将CM和ASV集成在一起仍然是一个悬而未决的问题。最近发生了欺骗意识的说话者验证（SASV）挑战，即当共同优化CM和ASV子系统时，可以提供更好的性能。在挑战的情况下，参与者提出的集成系统必须同时拒绝冒名顶替者和欺骗目标扬声器的攻击，这些攻击者直觉有效地与可靠，欺骗的ASV系统的期望相匹配。这项工作着重于基于融合的SASV解决方案，并提出了一个多模型融合框架，以利用多个最先进的ASV和CM模型的功能。拟议的框架将SASV-EER从8.75％提高到1.17 \％，与SASV挑战中最佳基线系统相比，相对改善为86％。

The objective of this paper is speaker recognition under noisy and unconstrained conditions.We make two key contributions. First, we introduce a very large-scale audio-visual speaker recognition dataset collected from open-source media. Using a fully automated pipeline, we curate VoxCeleb2 which contains over a million utterances from over 6,000 speakers. This is several times larger than any publicly available speaker recognition dataset.Second, we develop and compare Convolutional Neural Network (CNN) models and training strategies that can effectively recognise identities from voice under various conditions. The models trained on the VoxCeleb2 dataset surpass the performance of previous works on a benchmark dataset by a significant margin.

在商业应用程序中使用基于扬声器验证（SV）的系统时，重要的是客户与他们的性别，年龄或种族有关。在本文中，我们分析了性别和年龄对SV的影响，并在不同性别和年龄组中发现，对于不同性别和年龄组的期望的常见验证率（FRR），不同的性别和年龄组不同。为了优化所有用户的FRR，我们提出了一种关于SV的上下文（例如性别，年龄）自适应阈值框架。这些上下文可以作为许多实际应用程序的先前信息。我们还提出了一个连接的性别/年龄检测模型，以在没有这样的事先信息的情况下进行算法导出的背景。我们通过实验表明我们的上下文 - 自适应阈值化方法在建立更有效的包容性SV系统方面是有效的。具体而言，我们表明我们可以通过使用特定于性别特定阈值对VoxceB1测试设置的所需性别来减少特定性别的FRR。对OGI Kids的语音语料库类似的分析表明，通过使用年龄特定的阈值，我们可以显着减少某些年龄段的FRR，以便远远。

在文本到语音（TTS）综合中的语音克隆几次拍摄样式转移的任务旨在使用非常有限的中性数据将任意源扬声器的讲话方式转移到目标扬声器的语音。这是一个非常具有挑战性的任务，因为学习算法需要同时处理几次拍摄的语音克隆和扬声器洛喻解除术。加速新的目标扬声器的适应过程在现实世界应用中具有重要性，但更具挑战性。在本文中，我们使用元学习方法探讨语音克隆任务的艰难少量拍摄方式。我们调查模型 - 不可知的元学习（MAML）算法和Meta-Transfer将预先训练的多扬声器和多韵律基础TTS模型进行高度敏感，适应少量样品。域反对派培训机制和正交约束被采用解散扬声器和韵律思想，以实现有效的跨州式转移。实验结果表明，该方法能够使用来自目标扬声器的5个样本（大约12个语音数据）进行快速的语音克隆，只有100个适配步骤。音频样本可在线获取。

We present a conceptually simple, flexible, and general framework for few-shot learning, where a classifier must learn to recognise new classes given only few examples from each. Our method, called the Relation Network (RN), is trained end-to-end from scratch. During meta-learning, it learns to learn a deep distance metric to compare a small number of images within episodes, each of which is designed to simulate the few-shot setting. Once trained, a RN is able to classify images of new classes by computing relation scores between query images and the few examples of each new class without further updating the network. Besides providing improved performance on few-shot learning, our framework is easily extended to zero-shot learning. Extensive experiments on five benchmarks demonstrate that our simple approach provides a unified and effective approach for both of these two tasks.

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

Few-shot classification aims to recognize unlabeled samples from unseen classes given only few labeled samples. The unseen classes and low-data problem make few-shot classification very challenging. Many existing approaches extracted features from labeled and unlabeled samples independently, as a result, the features are not discriminative enough. In this work, we propose a novel Cross Attention Network to address the challenging problems in few-shot classification. Firstly, Cross Attention Module is introduced to deal with the problem of unseen classes. The module generates cross attention maps for each pair of class feature and query sample feature so as to highlight the target object regions, making the extracted feature more discriminative. Secondly, a transductive inference algorithm is proposed to alleviate the low-data problem, which iteratively utilizes the unlabeled query set to augment the support set, thereby making the class features more representative. Extensive experiments on two benchmarks show our method is a simple, effective and computationally efficient framework and outperforms the state-of-the-arts.

在本文中，我们描述了RTZR团队Voxceleb扬声器识别挑战2022（VOXSRC-22）的最高得分提交，在封闭的数据集中，扬声器验证轨道1.最高执行的系统是7型型号的融合，其中包含3种不同类型的类型模型体系结构。我们专注于培训模型以学习周期性信息。因此，所有型号均以4-6秒的镜头训练，每次发言。此外，我们采用了较大的保证金微调策略，该策略在我们的某些融合模型的先前挑战上表现出良好的表现。在评估过程中，我们应用了具有自适应对称归一化（AS-NORM）和矩阵得分平均值（MSA）的评分方法。最后，我们将模型与逻辑回归混合在一起，以融合所有受过训练的模型。最终提交在VOXSRC22测试集上实现了0.165 DCF和2.912％EER。

语音触发检测是一项重要的任务，它可以在目标用户说关键字短语时激活语音助手。通常对探测器进行语音数据培训，独立于说话者信息，并用于语音触发检测任务。但是，这样的说话者独立语音触发探测器通常会遭受绩效降低，因为代表性不足的群体，例如重音说话者。在这项工作中，我们提出了一个新颖的语音触发探测器，该触发探测器可以使用目标扬声器中的少量话语来提高检测准确性。我们提出的模型采用编码器架构。尽管编码器执行扬声器独立语音触发检测，但类似于传统检测器，解码器预测了每种话语的个性化嵌入。然后，获得个性化的语音触发分数作为在注册话语的嵌入与测试话语之间的相似性得分。个性化的嵌入允许在计算语音触发评分时适应目标扬声器的语音，从而提高语音触发检测精度。实验结果表明，与基线扬声器独立语音触发模型相比，所提出的方法相对降低（FRR）的相对降低38％。

少量学习是一个基本和挑战性的问题，因为它需要识别只有几个例子的新型类别。识别对象具有多个变体，可以定位图像中的任何位置。直接将查询图像与示例图像进行比较无法处理内容未对准。比较的表示和度量是至关重要的，但由于在几次拍摄学习中的样本的稀缺和广泛变化而挑战。在本文中，我们提出了一种新颖的语义对齐模型来比较关系，这是对内容未对准的强大。我们建议为现有的几次射门学习框架添加两个关键成分，以获得更好的特征和度量学习能力。首先，我们介绍了语义对齐损失，以对准属于同一类别的样本的功能的关系统计。其次，引入了本地和全局互动信息，允许在图像中的结构位置包含本地一致和类别共享信息的表示。第三，我们通过考虑每个流的同性恋的不确定性来介绍一个原则的方法来称量多重损失功能。我们对几个几次拍摄的学习数据集进行了广泛的实验。实验结果表明，该方法能够比较与语义对准策略的关系，实现最先进的性能。

自动扬声器识别算法通常使用预定义的过滤库，例如MEL频率和伽马酮滤波器，以表征语音音频。但是，已经观察到使用这些滤纸提取的功能对各种音频降解没有弹性。在这项工作中，我们提出了一种基于学习的技术，以从大量的语音音频中推断出滤纸设计。这种过滤库的目的是提取特征在非理想的音频条件下（例如退化，持续时间短和多语言语音）的功能。为此，1D卷积神经网络旨在直接从原始的语音音频中学习一个名为deepvox的时间域滤纸。其次，开发了一种自适应三重态挖掘技术，以有效地挖掘最适合训练过滤器的数据样本。第三，对DeepVox FilterBanks进行的详细消融研究揭示了提取特征中的声源和声带特征的存在。 Voxceleb2，NIST SRE 2008、2010和2018和Fisher Speech数据集的实验结果证明了DeepVox特征在各种退化，短期和多语言语音中的功效。 DeepVox的功能还显示出可提高现有说话者识别算法的性能，例如XVECTOR-PLDA和IVECTOR-PLDA。

大多数最新的说话者验证架构都采用了多尺度处理和频道注意机制。这些模型的卷积层通常具有固定的内核大小，例如3或5。在本研究中，我们进一步为这一研究采用了选择性核心注意（SKA）机制。SKA机制允许每个卷积层以数据驱动的方式自适应地选择内核大小。它基于利用频率和通道域的注意机制。我们首先将现有的SKA模块应用于我们的基线。然后，我们提出了两个SKA变体，其中第一个变体在ECAPA-TDNN模型的前面应用，另一个变体与RES2NET骨干块结合使用。通过广泛的实验，我们证明了我们提出的两个SKA变体始终提高性能，并在三个不同的评估方案上进行测试时是互补的。

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。

Speaker embedding extractors significantly influence the performance of clustering-based speaker diarisation systems. Conventionally, only one embedding is extracted from each speech segment. However, because of the sliding window approach, a segment easily includes two or more speakers owing to speaker change points. This study proposes a novel embedding extractor architecture, referred to as a high-resolution embedding extractor (HEE), which extracts multiple high-resolution embeddings from each speech segment. Hee consists of a feature-map extractor and an enhancer, where the enhancer with the self-attention mechanism is the key to success. The enhancer of HEE replaces the aggregation process; instead of a global pooling layer, the enhancer combines relative information to each frame via attention leveraging the global context. Extracted dense frame-level embeddings can each represent a speaker. Thus, multiple speakers can be represented by different frame-level features in each segment. We also propose an artificially generating mixture data training framework to train the proposed HEE. Through experiments on five evaluation sets, including four public datasets, the proposed HEE demonstrates at least 10% improvement on each evaluation set, except for one dataset, which we analyse that rapid speaker changes less exist.