我们研究了脸部和声音之间学习协会的问题，这是最近对计算机视觉界的兴趣。现有作品采用成对或三重态损耗配方，以学习适用于相关匹配和验证任务的嵌入空间。尽管展示了一些进展，但这种损失配方由于依赖差距利润率参数，运行时训练复杂性差，以及依赖于仔细制作的负挖掘程序而受到限制。在这项工作中，我们假设具有有效且有效的监督耦合的富集的特征表示是实现改进的面部语音关联的鉴别性关节嵌入空间。为此，我们提出了一种轻量级，即插即用机制，可利用两种方式的互补线程来形成丰富的融合嵌入并通过正交限制基于其身份标签进行群集。我们将我们提出的机制硬币作为融合和正交投影（FOP），并在两条流管道中实例化。在具有多种任务的大规模VOXECEB数据集上评估总体产生的框架，包括跨模型验证和匹配。结果表明，我们的方法对目前的最先进的方法进行了有利，我们拟议的监督制定比当代方法所采用的制定更有效和效率。

近年来，人们对建立面孔和名人声音之间的关联的兴趣越来越大，从而利用YouTube的视听信息。先前的工作采用公制学习方法来学习适合关联匹配和验证任务的嵌入式空间。尽管显示出一些进展，但由于依赖距离依赖的边缘参数，运行时训练的复杂性差以及对精心制作的负面采矿程序的依赖，这种制剂是限制性的。在这项工作中，我们假设一个丰富的表示形式以及有效但有效的监督对于实现面部voice关联任务的歧视性关节嵌入空间很重要。为此，我们提出了一种轻巧的插件机制，该机制利用这两种方式中的互补线索以通过正交性约束来根据其身份标签形成丰富的融合杂物并将其簇形成。我们将我们提出的机制作为融合和正交投影（FOP）创造，并在两个流网络中实例化。在Voxceleb1和Mav-Celeb数据集上评估了总体结果框架，其中包括许多任务，包括跨模式验证和匹配。结果表明，我们的方法对当前的最新方法有利，而我们提出的监督表述比当代方法所采用的方法更有效。此外，我们还利用跨模式验证和匹配任务来分析多种语言对面部声音协会的影响。代码可用：\ url {https://github.com/msaadsaeed/fop}

视听扬声器日复速度旨在检测使用听觉和视觉信号时的``谁说话。现有的视听深度数据集主要专注于会议室或新闻工作室等室内环境，这些工作室与电影，纪录片和观众情景喜剧等许多情景中的野外视频完全不同。要创建一个能够有效地比较野外视频的日复速度方法的测试平台，我们向AVA电影数据集注释说话者深度标签，并创建一个名为AVA-AVD的新基准。由于不同的场景，复杂的声学条件和完全偏离屏幕扬声器，该基准是挑战。然而，如何处理偏离屏幕和屏幕上的扬声器仍然是一个关键挑战。为了克服它，我们提出了一种新的视听关系网络（AVR-Net），它引入了有效的模态掩模，以基于可见性捕获辨别信息。实验表明，我们的方法不仅可以优于最先进的方法，而且可以更加强大，因为改变屏幕扬声器的比率。消融研究证明了拟议的AVR-NET和尤其是日复一化的模态掩模的优点。我们的数据和代码将公开可用。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。

The heterogeneity gap problem is the main challenge in cross-modal retrieval. Because cross-modal data (e.g. audiovisual) have different distributions and representations that cannot be directly compared. To bridge the gap between audiovisual modalities, we learn a common subspace for them by utilizing the intrinsic correlation in the natural synchronization of audio-visual data with the aid of annotated labels. TNN-CCCA is the best audio-visual cross-modal retrieval (AV-CMR) model so far, but the model training is sensitive to hard negative samples when learning common subspace by applying triplet loss to predict the relative distance between inputs. In this paper, to reduce the interference of hard negative samples in representation learning, we propose a new AV-CMR model to optimize semantic features by directly predicting labels and then measuring the intrinsic correlation between audio-visual data using complete cross-triple loss. In particular, our model projects audio-visual features into label space by minimizing the distance between predicted label features after feature projection and ground label representations. Moreover, we adopt complete cross-triplet loss to optimize the predicted label features by leveraging the relationship between all possible similarity and dissimilarity semantic information across modalities. The extensive experimental results on two audio-visual double-checked datasets have shown an improvement of approximately 2.1% in terms of average MAP over the current state-of-the-art method TNN-CCCA for the AV-CMR task, which indicates the effectiveness of our proposed model.

Person re-identification is a challenging task because of the high intra-class variance induced by the unrestricted nuisance factors of variations such as pose, illumination, viewpoint, background, and sensor noise. Recent approaches postulate that powerful architectures have the capacity to learn feature representations invariant to nuisance factors, by training them with losses that minimize intra-class variance and maximize inter-class separation, without modeling nuisance factors explicitly. The dominant approaches use either a discriminative loss with margin, like the softmax loss with the additive angular margin, or a metric learning loss, like the triplet loss with batch hard mining of triplets. Since the softmax imposes feature normalization, it limits the gradient flow supervising the feature embedding. We address this by joining the losses and leveraging the triplet loss as a proxy for the missing gradients. We further improve invariance to nuisance factors by adding the discriminative task of predicting attributes. Our extensive evaluation highlights that when only a holistic representation is learned, we consistently outperform the state-of-the-art on the three most challenging datasets. Such representations are easier to deploy in practical systems. Finally, we found that joining the losses removes the requirement for having a margin in the softmax loss while increasing performance.

由于滥用了深层，检测伪造视频是非常可取的。现有的检测方法有助于探索DeepFake视频中的特定工件，并且非常适合某些数据。但是，这些人工制品的不断增长的技术一直在挑战传统的深泡探测器的鲁棒性。结果，这些方法的普遍性的发展已达到阻塞。为了解决这个问题，鉴于经验结果是，深层视频中经常在声音和面部背后的身份不匹配，并且声音和面孔在某种程度上具有同质性，在本文中，我们建议从未开发的语音中执行深层检测 - 面对匹配视图。为此，设计了一种语音匹配方法来测量这两个方法的匹配度。然而，对特定的深泡数据集进行培训使模型过于拟合深层算法的某些特征。相反，我们提倡一种迅速适应未开发的伪造方法的方法，然后进行预训练，然后进行微调范式。具体而言，我们首先在通用音频视频数据集上预先培训该模型，然后在下游深板数据上进行微调。我们对三个广泛利用的DeepFake数据集进行了广泛的实验-DFDC，Fakeavceleb和DeepFaketimit。与其他最先进的竞争对手相比，我们的方法获得了显着的性能增长。还值得注意的是，我们的方法在有限的DeepFake数据上进行了微调时已经取得了竞争性结果。

已经观察到，可以从这两种方式中提取视听嵌入，以获得人验证的稳健性。但是，似乎从每个帧中生成单个话语表示的聚合器似乎并未得到很好的探索。在本文中，我们提出了一个视听网络，该网络从融合的角度考虑聚合器。我们首次在面对面验证中引入了改进的细心统计数据。然后，我们发现合并过程中的模式之间存在很强的相关性，因此提出了关节关注的合并，其中包含循环一致性以学习隐式框架间的重量。最后，将这种方式与封闭的注意机制融合在一起。所有提出的型号均在Voxceleb2开发数据集上进行培训，最佳系统分别在Voxceleb1的三个正式步道列表中获得0.18 \％，0.27 \％和0.49 \％EER，据我们所知，这是个人发布的最佳成绩确认。作为分析，生成可视化图来解释该系统如何在模态之间相互作用。

来自视频数据的多模态学习最近看过，因为它允许在没有人为注释的情况下培训语义有意义的嵌入，从而使得零射击检索和分类等任务。在这项工作中，我们提出了一种多模态，模态无政府主义融合变压器方法，它学会在多个模态之间交换信息，例如视频，音频和文本，并将它们集成到加入的多模态表示中，以获取聚合的嵌入多模态时间信息。我们建议培训系统的组合丢失，单个模态以及成对的方式，明确地留出任何附加组件，如位置或模态编码。在测试时间时，产生的模型可以处理和融合任意数量的输入模态。此外，变压器的隐式属性允许处理不同长度的输入。为了评估所提出的方法，我们在大规模HOWASET上培训模型，并评估四个具有挑战性的基准数据集上产生的嵌入空间获得最先进的视频检索和零射击视频动作定位。

作为人类已知的最直观的界面之一，自然语言有可能调解许多涉及人类计算机互动的任务，尤其是在音乐信息检索等以应用程序为中心的领域。在这项工作中，我们探索了跨模式学习，以试图在音乐领域弥合音频和语言。为此，我们提出了Muscall，这是音乐对比的音频学习框架。我们的方法由双重编码架构组成，该体系结构了解音乐音频和描述性句子对之间的对齐方式，生成可用于文本到原告和音频到文本检索的多模式嵌入。多亏了这个属性，肌肉几乎可以转移到任何可以作为基于文本检索的任务转移到任何任务。我们的实验表明，我们的方法在检索音频时的性能要比基线要好得多，该音频与文本描述匹配，相反，与音频查询匹配的文本。我们还证明，我们的模型的多模式对齐能力可以成功扩展到零摄像转移方案，用于流派分类和在两个公共数据集上自动标记。

视觉和听力是两种在人类交流和场景理解中起着至关重要的作用的感觉。为了模仿人类的感知能力，旨在开发从音频和视觉方式学习的计算方法的视听学习一直是一个蓬勃发展的领域。预计可以系统地组织和分析视听领域的研究的全面调查。从对视听认知基础的分析开始，我们介绍了几个关键发现，这些发现激发了我们的计算研究。然后，我们系统地回顾了最近的视听学习研究，并将其分为三类：视听，跨模式感知和视听合作。通过我们的分析，我们发现，跨语义，空间和时间支持上述研究的视听数据的一致性。为了重新审视视听学习领域的当前发展，我们进一步提出了关于视听场景理解的新观点，然后讨论和分析视听学习领域的可行未来方向。总体而言，这项调查从不同方面审查并展示了当前视听学习领域。我们希望它可以为研究人员提供对这一领域的更好理解。发布了包括不断更新的调查在内的网站：\ url {https://gewu-lab.github.io/audio-visual-learning/}。

从文档数据中进行的多模式学习最近取得了巨大的成功，因为它允许将语义有意义的特征预先作为先验的特征，成为可学习的下游方法。在本文中，我们通过使用语言和视觉线索来学习跨模式的表示，考虑了内模式和模式间关系，我们解决了文档分类问题。该方法没有将不同模态的特征合并为一个共同表示空间，而是利用高级相互作用，并从跨模态内外的有效注意流中学习相关的语义信息。提出的学习目标是在内部和模式间比对任务之间设计的，其中每个任务的相似性分布是通过收缩阳性样品对计算的，同时在共同特征表示空间中同时对比}。公共文档分类数据集的广泛实验证明了我们模型对低规模和大规模数据集的有效性和概括能力。

弱监督的视听暴力检测旨在区分包含带有视频级标签的多模式暴力事件的片段。许多先前的作品以早期或中间的方式执行视听整合和互动，但在弱监督的设置上忽略了模态异质性。在本文中，我们分析了多种实例学习（MIL）程序的模式异步和未分化的实例现象，并进一步研究了其对弱监督视听学习的负面影响。为了解决这些问题，我们提出了一种以自我验证（MACIL-SD）策略学习的方式感知的对比实例。具体而言，我们利用轻量级的两流网络来生成音频和视觉袋，其中单峰背景，暴力和普通实例以一种无监督的方式聚集到半袋中。然后，将音频和视觉剧烈的半袋表示作为正对组装，将暴力半袋与背景和正常实例相结合，以对比性负对。此外，将自我验证模块应用于将单峰视觉知识传输到视听模型，该模型减轻了噪音并缩小单峰和多模式特征之间的语义差距。实验表明，我们的框架在大规模XD-Violence数据集上的复杂性较低的方法优于先前的方法。结果还表明，我们提出的方法可以用作增强其他网络的插件模块。代码可在https://github.com/justinyuu/macil_sd上找到。

基于音频视频的多模式情绪识别由于其强大的性能引起了很多人。大多数现有方法都侧重于提出不同的跨模态融合策略。然而，这些策略在不同模式的特征中引入了冗余，而无需完全考虑模态信息之间的互补特性，并且这些方法不保证在跨跨和间间交互期间的原始语义信息的非损失。在本文中，我们提出了一种基于自我关注和残余结构（CFN-SR）的新型跨模型融合网络，用于多式联情绪识别。首先，我们对音频和视频模型执行表示学习，以通过有效的ResNext和1D CNN获得两个模态的语义特征。其次，我们将两个模态的特征分别馈送到跨模块块中，以确保通过自我关注机制和残余结构来确保信息的有效互补性和完整性。最后，我们通过用原始表示拼接获得的融合表示来获得情绪的产出。为了验证所提出的方法的有效性，我们对Ravdess数据集进行实验。实验结果表明，拟议的CFN-SR实现了最先进的，并以26.30M参数获得75.76％的精度。我们的代码可在https://github.com/skeletonnn/cfn-sr获得。

视频分类的视听广义零拍学习需要了解音频和视觉信息之间的关系，以便能够在测试时识别出新颖的，以前看不见的类别的样本。可以利用视频数据中音频和视觉数据之间的自然语义和时间对齐，以学习在测试时概括以概括为看不见类的强大表示。我们为音频概括的零拍学习提供了一个多模式和时间跨注意框架（\ modelname）。它的输入是从预先训练的网络获得的时间对齐音频和视觉功能。鼓励该框架专注于跨时间的跨模式对应关系，而不是在模式中的自我注意力，从而显着提高了表现。我们表明，我们提出的框架摄入时间功能会在\ ucf，\ vgg和\ \ \ \ \ \ \ \ \ vistion基准测试基准上获得最新的性能。复制所有结果的代码可在\ url {https://github.com/explainableml/tcaf-gzsl}上获得。

主动扬声器检测（ASD）问题的最新进展基于两个阶段的过程：特征提取和时空上下文集合。在本文中，我们提出了一个端到端的ASD工作流程，在其中共同学习特征学习和上下文预测。我们的端到端可训练网络同时学习了多模式的嵌入和汇总时空上下文。这会导致更合适的功能表示，并改善了ASD任务的性能。我们还介绍了交织的图神经网络（IGNN）块，该块根据ASD问题中的上下文主要来源分割消息。实验表明，IGNN块的汇总特征更适合ASD，从而导致最先进的性能。最后，我们设计了一种弱监督的策略，该策略表明也可以通过使用视听数据来解决ASD问题，但仅依赖于音频注释。我们通过对音频信号与可能的声源（扬声器）之间的直接关系进行建模以及引入对比度损失来实现这一目标。该项目的所有资源将在以下网址提供：https：//github.com/fuankarion/end-to-end-end-asd。

The objective of this paper is speaker recognition under noisy and unconstrained conditions.We make two key contributions. First, we introduce a very large-scale audio-visual speaker recognition dataset collected from open-source media. Using a fully automated pipeline, we curate VoxCeleb2 which contains over a million utterances from over 6,000 speakers. This is several times larger than any publicly available speaker recognition dataset.Second, we develop and compare Convolutional Neural Network (CNN) models and training strategies that can effectively recognise identities from voice under various conditions. The models trained on the VoxCeleb2 dataset surpass the performance of previous works on a benchmark dataset by a significant margin.

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点