大多数最新的说话者验证架构都采用了多尺度处理和频道注意机制。这些模型的卷积层通常具有固定的内核大小，例如3或5。在本研究中，我们进一步为这一研究采用了选择性核心注意（SKA）机制。SKA机制允许每个卷积层以数据驱动的方式自适应地选择内核大小。它基于利用频率和通道域的注意机制。我们首先将现有的SKA模块应用于我们的基线。然后，我们提出了两个SKA变体，其中第一个变体在ECAPA-TDNN模型的前面应用，另一个变体与RES2NET骨干块结合使用。通过广泛的实验，我们证明了我们提出的两个SKA变体始终提高性能，并在三个不同的评估方案上进行测试时是互补的。

最近，注意机制已成功应用于基于神经网络的说话者验证系统。将挤压和兴奋的块纳入卷积神经网络中的表现出色。但是，它使用全球平均池（GAP）简单地沿时间和频率维度平均功能，这无法在功能地图中保留足够的扬声器信息。在这项研究中，我们表明GAP是时间频域在数学上仅使用频率分解中最低频率分量的特殊情况。为了增强扬声器信息提取能力，我们建议利用多频信息，并设计两个新颖的有效注意模块，称为单频率单通道（SFSC）注意模块和多频单通道（MFSC）注意模块。提出的注意模块可以根据DCT有效地从多个频率组件中捕获更多扬声器信息。我们在Voxceleb数据集上进行了全面的实验，并对第148个UTD法医语料库进行了探测评估。实验结果表明，我们提出的SFSC和MFSC注意模块可以有效地产生更具歧视性的扬声器表示，并且优于RESNET34-SE和ECAPA-TDNN系统，而EER降低了20.9％和20.2％，而无需添加额外的网络参数。

Speaker embedding extractors significantly influence the performance of clustering-based speaker diarisation systems. Conventionally, only one embedding is extracted from each speech segment. However, because of the sliding window approach, a segment easily includes two or more speakers owing to speaker change points. This study proposes a novel embedding extractor architecture, referred to as a high-resolution embedding extractor (HEE), which extracts multiple high-resolution embeddings from each speech segment. Hee consists of a feature-map extractor and an enhancer, where the enhancer with the self-attention mechanism is the key to success. The enhancer of HEE replaces the aggregation process; instead of a global pooling layer, the enhancer combines relative information to each frame via attention leveraging the global context. Extracted dense frame-level embeddings can each represent a speaker. Thus, multiple speakers can be represented by different frame-level features in each segment. We also propose an artificially generating mixture data training framework to train the proposed HEE. Through experiments on five evaluation sets, including four public datasets, the proposed HEE demonstrates at least 10% improvement on each evaluation set, except for one dataset, which we analyse that rapid speaker changes less exist.

现有的多尺度解决方案会导致仅增加接受场大小的风险，同时忽略小型接受场。因此，有效构建自适应神经网络以识别各种空间尺度对象是一个具有挑战性的问题。为了解决这个问题，我们首先引入一个新的注意力维度，即除了现有的注意力维度（例如渠道，空间和分支）之外，并提出了一个新颖的选择性深度注意网络，以对称地处理各种视觉中的多尺度对象任务。具体而言，在给定神经网络的每个阶段内的块，即重新连接，输出层次功能映射共享相同的分辨率但具有不同的接收场大小。基于此结构属性，我们设计了一个舞台建筑模块，即SDA，其中包括树干分支和类似SE的注意力分支。躯干分支的块输出融合在一起，以通过注意力分支指导其深度注意力分配。根据提出的注意机制，我们可以动态选择不同的深度特征，这有助于自适应调整可变大小输入对象的接收场大小。这样，跨块信息相互作用会导致沿深度方向的远距离依赖关系。与其他多尺度方法相比，我们的SDA方法结合了从以前的块到舞台输出的多个接受场，从而提供了更广泛，更丰富的有效接收场。此外，我们的方法可以用作其他多尺度网络以及注意力网络的可插入模块，并创造为SDA- $ x $ net。它们的组合进一步扩展了有效的接受场的范围，可以实现可解释的神经网络。我们的源代码可在\ url {https://github.com/qingbeiguo/sda-xnet.git}中获得。

In standard Convolutional Neural Networks (CNNs), the receptive fields of artificial neurons in each layer are designed to share the same size. It is well-known in the neuroscience community that the receptive field size of visual cortical neurons are modulated by the stimulus, which has been rarely considered in constructing CNNs. We propose a dynamic selection mechanism in CNNs that allows each neuron to adaptively adjust its receptive field size based on multiple scales of input information. A building block called Selective Kernel (SK) unit is designed, in which multiple branches with different kernel sizes are fused using softmax attention that is guided by the information in these branches. Different attentions on these branches yield different sizes of the effective receptive fields of neurons in the fusion layer. Multiple SK units are stacked to a deep network termed Selective Kernel Networks (SKNets). On the ImageNet and CIFAR benchmarks, we empirically show that SKNet outperforms the existing state-of-the-art architectures with lower model complexity. Detailed analyses show that the neurons in SKNet can capture target objects with different scales, which verifies the capability of neurons for adaptively adjusting their receptive field sizes according to the input. The code and models are available at https://github.com/implus/SKNet.

State-of-the-art speaker verification frameworks have typically focused on speech enhancement techniques with increasingly deeper (more layers) and wider (number of channels) models to improve their verification performance. Instead, this paper proposes an approach to increase the model resolution capability using attention-based dynamic kernels in a convolutional neural network to adapt the model parameters to be feature-conditioned. The attention weights on the kernels are further distilled by channel attention and multi-layer feature aggregation to learn global features from speech. This approach provides an efficient solution to improving representation capacity with lower data resources. This is due to the self-adaptation to inputs of the structures of the model parameters. The proposed dynamic convolutional model achieved 1.62\% EER and 0.18 miniDCF on the VoxCeleb1 test set and has a 17\% relative improvement compared to the ECAPA-TDNN.

We propose Convolutional Block Attention Module (CBAM), a simple yet effective attention module for feed-forward convolutional neural networks. Given an intermediate feature map, our module sequentially infers attention maps along two separate dimensions, channel and spatial, then the attention maps are multiplied to the input feature map for adaptive feature refinement. Because CBAM is a lightweight and general module, it can be integrated into any CNN architectures seamlessly with negligible overheads and is end-to-end trainable along with base CNNs. We validate our CBAM through extensive experiments on ImageNet-1K, MS COCO detection, and VOC 2007 detection datasets. Our experiments show consistent improvements in classification and detection performances with various models, demonstrating the wide applicability of CBAM. The code and models will be publicly available.

在本文中，我们描述了RTZR团队Voxceleb扬声器识别挑战2022（VOXSRC-22）的最高得分提交，在封闭的数据集中，扬声器验证轨道1.最高执行的系统是7型型号的融合，其中包含3种不同类型的类型模型体系结构。我们专注于培训模型以学习周期性信息。因此，所有型号均以4-6秒的镜头训练，每次发言。此外，我们采用了较大的保证金微调策略，该策略在我们的某些融合模型的先前挑战上表现出良好的表现。在评估过程中，我们应用了具有自适应对称归一化（AS-NORM）和矩阵得分平均值（MSA）的评分方法。最后，我们将模型与逻辑回归混合在一起，以融合所有受过训练的模型。最终提交在VOXSRC22测试集上实现了0.165 DCF和2.912％EER。

在本文中，我们提出了自我监督的发言者表示学习策略，该策略包括在前端的引导平衡扬声器表示学习和在后端的不确定性意识的概率扬声器嵌入训练。在前端阶段，我们通过具有均匀性正则化术语的引导训练方案来学习扬声器表示。在后端阶段，通过最大化属于同一扬声器的语音样本之间的相互似然分数来估计概率扬声器嵌入，这不仅提供扬声器表示，而且提供数据不确定性。实验结果表明，拟议的举止均衡训练策略可以有效地帮助了解扬声器表示，并以基于对比学习的传统方法优越。此外，我们展示了集成的两级框架在eer和mindcf方面进一步改善了VoxceleB1测试中的扬声器验证性能。

在许多语音技术应用中，语音覆盖是一个重要阶段。该领域的最新工作已由深度神经网络模型主导。时间卷积网络（TCN）是深度学习模型，已在消除语音的任务中为序列建模而提出。在这项工作中，提出了加权多污染深度分离的卷积，以替代TCN模型中标准的深度可分离卷积。该提出的卷积使TCN能够在网络中每个卷积块的接收场中动态关注或多或少的本地信息。结果表明，这种加权的多污染时间卷积网络（WD-TCN）始终优于各种模型配置和使用WD-TCN模型的TCN，这是一种更有效的方法，可以提高模型的性能，而不是增加增加模型的性能。卷积块。基线TCN的最佳性能改进是0.55 dB标准不变的信噪比（SISDR），并且最佳性能WD-TCN模型在WHAMR数据集上达到12.26 dB SISDR。

锥体网络是多尺度对象检测的标准方法。当前对特征金字塔网络的研究通常采用层连接来从特征层次结构的某些级别收集特征，并且不考虑它们之间的显着差异。我们提出了一个更好的特征金字塔网络的体系结构，称为选择性多尺度学习（SMSL），以解决此问题。SMSL高效且泛滥，可以将其集成到单阶段和两阶段检测器中以提高检测性能，几乎没有额外的推理成本。视网膜与SMSL的结合获得了可可数据集的AP（从39.1 \％到40.9 \％）的1.8 \％改进。与SMSL集成时，两阶段探测器的AP可以提高1.0 \％。

在现实世界中，扬声器身份系统的任务是在一组注册的扬声器中识别出一个只有几个注册扬声器的示例中的扬声器。本文展示了该用例的元学习和关系网络的有效性。我们提出了改进的关系网络，用于说话者验证和很少的射击者（看不见）的说话者识别。关系网络的使用促进了前端扬声器编码器和后端模型的联合培训。受到使用典型网络在扬声器验证中使用原型网络并增加说话者嵌入的可区分性的启发，我们训练该模型以在训练集中存在的所有扬声器中对当前情节进行分类。此外，我们通过从给定的元学习插曲中提取更多信息，并提出一种新的培训方式，以使用可忽略不计的额外计算，从而提出了更快的模型收敛性。我们在Voxceleb，SITW和VCTK数据集上评估了有关说话者验证的任务和看不见的说话者识别的提议技术。所提出的方法在这两个任务上始终如一地优于现有方法。

Convolutional neural networks are built upon the convolution operation, which extracts informative features by fusing spatial and channel-wise information together within local receptive fields. In order to boost the representational power of a network, several recent approaches have shown the benefit of enhancing spatial encoding. In this work, we focus on the channel relationship and propose a novel architectural unit, which we term the "Squeezeand-Excitation" (SE) block, that adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels. We demonstrate that by stacking these blocks together, we can construct SENet architectures that generalise extremely well across challenging datasets. Crucially, we find that SE blocks produce significant performance improvements for existing state-ofthe-art deep architectures at minimal additional computational cost. SENets formed the foundation of our ILSVRC 2017 classification submission which won first place and significantly reduced the top-5 error to 2.251%, achieving a ∼25% relative improvement over the winning entry of 2016.

注意机制在视力识别方面取得了巨大成功。许多作品致力于提高注意力机制的有效性，该机制精心设计了注意操作员的结构。这些作品需要大量实验才能在场景变化时挑选最佳设置，这会消耗大量时间和计算资源。此外，神经网络通常包含许多网络层，并且大多数研究通常使用相同的注意模块来增强不同的网络层，从而阻碍了自我发挥机制的性能的进一步改善。为了解决上述问题，我们提出了一个自我发挥的模块SEM。基于注意模块和替代注意操作员的输入信息，SEM可以自动决定选择和集成注意操作员以计算注意力图。 SEM的有效性通过广泛使用的基准数据集和流行的自我发挥网络的广泛实验来证明。

在这份技术报告中，我们描述了Voxceleb演讲者识别挑战2022（VOXSRC-22）的Royalflush提交。我们的提交内容包含曲目1，该曲目1用于监督的说话者验证和曲目3，该曲目适用于半监督者验证。对于轨道1，我们开发了具有对称体系结构的功能强大的基于U-NET的扬声器嵌入提取器。拟议的系统在验证集上获得了EER的2.06％，在MindCF中获得了0.1293。与最先进的ECAPA-TDNN相比，它在EER中获得了20.7％的相对提高，而MindCF的相对提高了22.70％。对于轨道3，我们采用了源域监督和目标域自学的联合培训，以获取扬声器嵌入提取器。随后的聚类过程可以获得目标域伪扬声器标签。我们使用所有源和目标域数据以有监督的方式适应说话者嵌入提取器，从而可以充分利用这两个域信息。此外，可以重复聚类和监督域的适应性，直到验证集对性能收敛为止。我们的最终提交是融合了10种型号，并在验证集上实现了7.75％EER和0.3517 MindCF。

人类自然有效地在复杂的场景中找到突出区域。通过这种观察的动机，引入了计算机视觉中的注意力机制，目的是模仿人类视觉系统的这一方面。这种注意机制可以基于输入图像的特征被视为动态权重调整过程。注意机制在许多视觉任务中取得了巨大的成功，包括图像分类，对象检测，语义分割，视频理解，图像生成，3D视觉，多模态任务和自我监督的学习。在本调查中，我们对计算机愿景中的各种关注机制进行了全面的审查，并根据渠道注意，空间关注，暂时关注和分支注意力进行分类。相关的存储库https：//github.com/menghaoguo/awesome-vision-tions致力于收集相关的工作。我们还建议了未来的注意机制研究方向。

学习和概括与少数样本（少量学习）的新概念仍然是对现实世界应用的重要挑战。实现少量学习的原则方法是实现一种可以快速适应给定任务的上下文的模型。已经显示动态网络能够有效地学习内容自适应参数，使其适用于几次学习。在本文中，我们建议将卷积网络的动态内核作为手掌的任务的函数学习，从而实现更快的泛化。为此，我们基于整个任务和每个样本获得我们的动态内核，并在每个单独的频道和位置进行进一步调节机制。这导致动态内核，同时考虑可用的微型信息。我们经验证明，我们的模型在几次拍摄分类和检测任务上提高了性能，实现了几种基线模型的切实改进。这包括最先进的结果，以4次拍摄分类基准：迷你想象，分层 - 想象成，幼崽和FC100以及少量检测数据集的竞争结果：Coco-Pascal-VOC。

最近的基于学习的图像分类和语音识别方法使得广泛利用注意力机制来实现最先进的识别力，这表明了注意力机制的有效性。由于调制无线电信号的频率和时间信息对调制模式识别至关重要的事实，本文提出了一种卷积神经网络（CNN）的调制识别框架的频率时间注意机制。所提出的频率 - 时间注意模块旨在了解哪些频道，频率和时间信息在CNN中更有意义，以进行调制识别。我们分析了所提出的频率时期注意机制的有效性，并比较了两个现有的基于学习的方法的提出方法。在开源调制识别数据集上的实验表明，所提出的框架的识别性能优于框架的识别性能，而无需朝向基于学习的方法。

Recently, channel attention mechanism has demonstrated to offer great potential in improving the performance of deep convolutional neural networks (CNNs). However, most existing methods dedicate to developing more sophisticated attention modules for achieving better performance, which inevitably increase model complexity.To overcome the paradox of performance and complexity trade-off, this paper proposes an Efficient Channel Attention (ECA) module, which only involves a handful of parameters while bringing clear performance gain. By dissecting the channel attention module in SENet, we empirically show avoiding dimensionality reduction is important for learning channel attention, and appropriate cross-channel interaction can preserve performance while significantly decreasing model complexity. Therefore, we propose a local crosschannel interaction strategy without dimensionality reduction, which can be efficiently implemented via 1D convolution. Furthermore, we develop a method to adaptively select kernel size of 1D convolution, determining coverage of local cross-channel interaction. The proposed ECA module is efficient yet effective, e.g., the parameters and computations of our modules against backbone of ResNet50 are 80 vs. 24.37M and 4.7e-4 GFLOPs vs. 3.86 GFLOPs, respectively, and the performance boost is more than 2% in terms of Top-1 accuracy. We extensively evaluate our ECA module on image classification, object detection and instance segmentation with backbones of ResNets and MobileNetV2. The experimental results show our module is more efficient while performing favorably against its counterparts.

现代物体检测网络追求一般物体检测数据集的更高精度，同时计算负担也随着精度的提高而越来越多。然而，推理时间和精度对于需要是实时的对象检测系统至关重要。没有额外的计算成本，有必要研究精度改进。在这项工作中，提出了两种模块以提高零成本的检测精度，这是一般对象检测网络的FPN和检测头改进。我们采用规模注意机制，以有效地保险熔断多级功能映射，参数较少，称为SA-FPN模块。考虑到分类头和回归头的相关性，我们使用顺序头取代广泛使用的并联头部，称为SEQ-Head模块。为了评估有效性，我们将这两个模块应用于一些现代最先进的对象检测网络，包括基于锚和无锚。 Coco DataSet上的实验结果表明，具有两个模块的网络可以将原始网络超越1.1 AP和0.8 AP，分别为锚的锚和无锚网络的零成本。代码将在https://git.io/jtfgl提供。