已经观察到，可以从这两种方式中提取视听嵌入，以获得人验证的稳健性。但是，似乎从每个帧中生成单个话语表示的聚合器似乎并未得到很好的探索。在本文中，我们提出了一个视听网络，该网络从融合的角度考虑聚合器。我们首次在面对面验证中引入了改进的细心统计数据。然后，我们发现合并过程中的模式之间存在很强的相关性，因此提出了关节关注的合并，其中包含循环一致性以学习隐式框架间的重量。最后，将这种方式与封闭的注意机制融合在一起。所有提出的型号均在Voxceleb2开发数据集上进行培训，最佳系统分别在Voxceleb1的三个正式步道列表中获得0.18 \％，0.27 \％和0.49 \％EER，据我们所知，这是个人发布的最佳成绩确认。作为分析，生成可视化图来解释该系统如何在模态之间相互作用。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

视听扬声器日复速度旨在检测使用听觉和视觉信号时的``谁说话。现有的视听深度数据集主要专注于会议室或新闻工作室等室内环境，这些工作室与电影，纪录片和观众情景喜剧等许多情景中的野外视频完全不同。要创建一个能够有效地比较野外视频的日复速度方法的测试平台，我们向AVA电影数据集注释说话者深度标签，并创建一个名为AVA-AVD的新基准。由于不同的场景，复杂的声学条件和完全偏离屏幕扬声器，该基准是挑战。然而，如何处理偏离屏幕和屏幕上的扬声器仍然是一个关键挑战。为了克服它，我们提出了一种新的视听关系网络（AVR-Net），它引入了有效的模态掩模，以基于可见性捕获辨别信息。实验表明，我们的方法不仅可以优于最先进的方法，而且可以更加强大，因为改变屏幕扬声器的比率。消融研究证明了拟议的AVR-NET和尤其是日复一化的模态掩模的优点。我们的数据和代码将公开可用。

本文介绍了STC有限公司的描述，该系统提交给NIST 2021扬声器识别评估，用于固定和开放的培训条件。这些系统由许多不同的子系统组成，基于使用深神经网络作为特征提取器。在NIST 2021 SRE挑战期间，我们专注于培训最先进的深部扬声器嵌入式提取器，如Contive角度裕度的损耗功能。此外，通过自动语音识别中的Wav2Vec 2.0特征的最近成功的启发，我们探讨了这种方法对提交的扬声器验证的有效性。根据我们的观察，预先训练的大wave2vec 2.0模型的微调为开放式条件提供了最佳的开展系统。我们对固定条件的WAV2VEC 2.0提取器的实验表明，与对比预测编码损失的无监督自回归预测将打开从原始语音信号训练强大的变压器的提取器。对于视频模型，我们通过RetinaFace面部探测器和深签名脸部嵌入式提取器开发了我们的最佳解决方案，培训了大面孔图像数据集。主要系统的最终结果是通过在分数水平上的不同配置融合的不同配置而获得，然后进行评分校准。

Face manipulation technology is advancing very rapidly, and new methods are being proposed day by day. The aim of this work is to propose a deepfake detector that can cope with the wide variety of manipulation methods and scenarios encountered in the real world. Our key insight is that each person has specific biometric characteristics that a synthetic generator cannot likely reproduce. Accordingly, we extract high-level audio-visual biometric features which characterize the identity of a person, and use them to create a person-of-interest (POI) deepfake detector. We leverage a contrastive learning paradigm to learn the moving-face and audio segment embeddings that are most discriminative for each identity. As a result, when the video and/or audio of a person is manipulated, its representation in the embedding space becomes inconsistent with the real identity, allowing reliable detection. Training is carried out exclusively on real talking-face videos, thus the detector does not depend on any specific manipulation method and yields the highest generalization ability. In addition, our method can detect both single-modality (audio-only, video-only) and multi-modality (audio-video) attacks, and is robust to low-quality or corrupted videos by building only on high-level semantic features. Experiments on a wide variety of datasets confirm that our method ensures a SOTA performance, with an average improvement in terms of AUC of around 3%, 10%, and 4% for high-quality, low quality, and attacked videos, respectively. https://github.com/grip-unina/poi-forensics

本文调查了视听扬声器表示的自我监督的预训练，其中显示了视觉流，显示说话者的口腔区域与语音一起用作输入。我们的研究重点是视听隐藏单元BERT（AV-HUBERT）方法，该方法是最近开发的通用音频语音训练前训练框架。我们进行了广泛的实验，以探测预训练和视觉方式的有效性。实验结果表明，AV-Hubert可以很好地概括与说话者相关的下游任务，从而使标签效率提高了大约10倍的仅10倍，仅音频和视听扬声器验证。我们还表明，结合视觉信息，甚至仅仅是唇部区域，都大大提高了性能和噪声稳健性，在清洁条件下将EER降低了38％，在嘈杂的条件下将EER降低了75％。

视觉和听力是两种在人类交流和场景理解中起着至关重要的作用的感觉。为了模仿人类的感知能力，旨在开发从音频和视觉方式学习的计算方法的视听学习一直是一个蓬勃发展的领域。预计可以系统地组织和分析视听领域的研究的全面调查。从对视听认知基础的分析开始，我们介绍了几个关键发现，这些发现激发了我们的计算研究。然后，我们系统地回顾了最近的视听学习研究，并将其分为三类：视听，跨模式感知和视听合作。通过我们的分析，我们发现，跨语义，空间和时间支持上述研究的视听数据的一致性。为了重新审视视听学习领域的当前发展，我们进一步提出了关于视听场景理解的新观点，然后讨论和分析视听学习领域的可行未来方向。总体而言，这项调查从不同方面审查并展示了当前视听学习领域。我们希望它可以为研究人员提供对这一领域的更好理解。发布了包括不断更新的调查在内的网站：\ url {https://gewu-lab.github.io/audio-visual-learning/}。

我们研究了脸部和声音之间学习协会的问题，这是最近对计算机视觉界的兴趣。现有作品采用成对或三重态损耗配方，以学习适用于相关匹配和验证任务的嵌入空间。尽管展示了一些进展，但这种损失配方由于依赖差距利润率参数，运行时训练复杂性差，以及依赖于仔细制作的负挖掘程序而受到限制。在这项工作中，我们假设具有有效且有效的监督耦合的富集的特征表示是实现改进的面部语音关联的鉴别性关节嵌入空间。为此，我们提出了一种轻量级，即插即用机制，可利用两种方式的互补线程来形成丰富的融合嵌入并通过正交限制基于其身份标签进行群集。我们将我们提出的机制硬币作为融合和正交投影（FOP），并在两条流管道中实例化。在具有多种任务的大规模VOXECEB数据集上评估总体产生的框架，包括跨模型验证和匹配。结果表明，我们的方法对目前的最先进的方法进行了有利，我们拟议的监督制定比当代方法所采用的制定更有效和效率。

本文介绍了Speakin团队提交的SPEAKER验证（SV）系统，该系统针对2022年远场演讲者验证挑战（FFSVC2022）的任务2和任务2。挑战的SV任务集中在完全监督的远场演讲者验证（任务1）和半监督远场扬声器验证（任务2）的问题上。在任务1中，我们将Voxceleb和FFSVC2020数据集用作火车数据集。对于任务2，我们仅将Voxceleb数据集用作火车集。为此挑战开发了基于重新连接和基于REPVGG的架构。全局统计池结构和MQMHA池结构用于跨时间汇总框架级特征，以获得语音级别的表示。我们采用了Am-Softmax和Aam-Softmax来对产生的嵌入进行分类。我们创新提出了一种分阶段的转移学习方法。在训练阶段，我们保留扬声器的权重，并且在此阶段没有积极的样本来训练它们。然后，我们在第二阶段用正面和负样品微调这些权重。与传统的转移学习策略相比，该策略可以更好地改善模型性能。亚均值和标志的后端方法用于解决域不匹配的问题。在融合阶段，任务1中融合了三个模型，并在任务2中融合了两个模型。在FFSVC2022排行榜上，我们提交的EER为3.0049％，在Task1中，相应的MindCF为0.2938。在任务2中，EER和MindCF分别为6.2060％和0.5232。我们的方法可以提高表现出色，并在两项挑战任务中排名第一。

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

近年来，人们对建立面孔和名人声音之间的关联的兴趣越来越大，从而利用YouTube的视听信息。先前的工作采用公制学习方法来学习适合关联匹配和验证任务的嵌入式空间。尽管显示出一些进展，但由于依赖距离依赖的边缘参数，运行时训练的复杂性差以及对精心制作的负面采矿程序的依赖，这种制剂是限制性的。在这项工作中，我们假设一个丰富的表示形式以及有效但有效的监督对于实现面部voice关联任务的歧视性关节嵌入空间很重要。为此，我们提出了一种轻巧的插件机制，该机制利用这两种方式中的互补线索以通过正交性约束来根据其身份标签形成丰富的融合杂物并将其簇形成。我们将我们提出的机制作为融合和正交投影（FOP）创造，并在两个流网络中实例化。在Voxceleb1和Mav-Celeb数据集上评估了总体结果框架，其中包括许多任务，包括跨模式验证和匹配。结果表明，我们的方法对当前的最新方法有利，而我们提出的监督表述比当代方法所采用的方法更有效。此外，我们还利用跨模式验证和匹配任务来分析多种语言对面部声音协会的影响。代码可用：\ url {https://github.com/msaadsaeed/fop}

这项工作的目的是通过利用视频中的音频和视觉流的自然共同发生来研究语音重建（视频到音频）对语音重建（视频到音频）的影响。我们提出了Lipsound2，其包括编码器 - 解码器架构和位置感知注意机制，可直接将面部图像序列映射到熔化谱图，而无需任何人类注释。提出的Lipsound2模型首先在$ 2400H的$ 2400h多语言（例如英语和德语）视听数据（VoxceleB2）上进行预先培训。为了验证所提出的方法的概括性，我们将在与以前的方法相比，微调在域特定数据集（网格，TCD-Timit）上进行预先训练的模型，以实现对语音质量和可懂度的显着提高扬声器依赖和依赖的设置。除了英语外，我们还在CMLR数据集上进行中文语音重建，以验证对转移性的影响。最后，我们通过微调在预先训练的语音识别系统上产生生成的音频并在英语和中文基准数据集中实现最先进的性能来培训级联唇读（视频到文本）系统。

在本文中，我们提出了一个多模式的多关系学习框架，针对视听语音分离的任务。尽管以前的努力已经在结合音频和视觉方式方面进行了广泛的努力，但其中大多数仅采用音频和视觉功能的直接串联。为了利用这两种方式背后的实际有用信息，我们定义了两个关键相关性，即：（1）身份相关性（在音色和面部属性之间）； （2）语音相关性（音素和唇部运动之间）。这两种相关性共同包含完整的信息，这表明将目标扬声器的声音分开，尤其是在某些困难的情况下，例如相同的性别或类似内容。为了实施，采用对比度学习或对抗性训练方法来最大化这两个相关性。他们俩都表现良好，而对抗性训练则通过避免对比度学习的某些局限性显示出其优势。与先前的研究相比，我们的解决方案证明了对实验指标的明显改进而没有额外的复杂性。进一步的分析揭示了拟议的体系结构的有效性及其未来扩展的良好潜力。

视听目标语音提取旨在通过查看唇部运动来从嘈杂的混合物中提取某个说话者的语音，这取得了重大进展，结合了时间域的语音分离模型和视觉特征提取器（CNN）。融合音频和视频信息的一个问题是它们具有不同的时间分辨率。当前的大多数研究都会沿时间维度进行视觉特征，以便音频和视频功能能够随时间对齐。但是，我们认为唇部运动主要包含长期或电话级信息。基于这个假设，我们提出了一种融合视听功能的新方法。我们观察到，对于dprnn \ cite {dprnn}，互联维度的时间分辨率可能非常接近视频帧的时间分辨率。像\ cite {sepformer}一样，dprnn中的LSTM被内部内部和牙间的自我注意力所取代，但是在提出的算法中，界界的注意力将视觉特征作为附加特征流。这样可以防止视觉提示的提高采样，从而导致更有效的视听融合。结果表明，与其他基于时间域的视听融合模型相比，我们获得了优越的结果。

在本文中，我们考虑了视听同步的问题应用于视频`in-wild'（即，超越语音的一般类）。作为一项新任务，我们识别并策划具有高视听相关性的测试集，即VGG-SOCK SYNC。我们比较了一些专门设计的基于变压器的架构变体，用于模拟任意长度的音频和视觉信号，同时显着降低训练期间的内存要求。我们进一步对策划数据集进行了深入的分析，并定义了开放域视听同步的评估度量。我们在标准唇读语音基准测试中应用我们的方法，LRS2和LRS3，在各个方面的消融。最后，我们在新的VGG-SOCKC SYNC视频数据集中设置了与超过160个不同类别的通用视听同步的第一个基准。在所有情况下，我们所提出的模型通过显着的保证金优于以前的最先进。

主动扬声器检测（ASD）问题的最新进展基于两个阶段的过程：特征提取和时空上下文集合。在本文中，我们提出了一个端到端的ASD工作流程，在其中共同学习特征学习和上下文预测。我们的端到端可训练网络同时学习了多模式的嵌入和汇总时空上下文。这会导致更合适的功能表示，并改善了ASD任务的性能。我们还介绍了交织的图神经网络（IGNN）块，该块根据ASD问题中的上下文主要来源分割消息。实验表明，IGNN块的汇总特征更适合ASD，从而导致最先进的性能。最后，我们设计了一种弱监督的策略，该策略表明也可以通过使用视听数据来解决ASD问题，但仅依赖于音频注释。我们通过对音频信号与可能的声源（扬声器）之间的直接关系进行建模以及引入对比度损失来实现这一目标。该项目的所有资源将在以下网址提供：https：//github.com/fuankarion/end-to-end-end-asd。

自动情绪识别（ER）最近由于其在许多实际应用中的潜力而引起了很多兴趣。在这种情况下，已经证明多模式方法可以通过结合多样化和互补的信息来源，从而提高性能（超过单峰方法），从而为嘈杂和缺失的方式提供了一些鲁棒性。在本文中，我们根据从视频中提取的面部和声音方式融合的尺寸ER专注于尺寸，其中探索了互补的视听（A-V）关系，以预测个人在价值空间中的情绪状态。大多数最先进的融合技术都依赖于反复的网络或常规的注意机制，这些机制无法有效利用A-V模式的互补性。为了解决这个问题，我们引入了A-V融合的联合跨注意模型，该模型在A-V模态上提取显着特征，从而可以有效利用模式间关系，同时保留模式内关系。特别是，它根据联合特征表示与单个模式的相关性计算交叉意义权重。通过将联合A-V特征表示形式部署到交叉意见模块中，它有助于同时利用内模式和模态关系，从而显着改善系统的性能，而不是香草交叉意见模块。我们提出的方法的有效性是在Recola和AffWild2数据集的挑战性视频中通过实验验证的。结果表明，我们的跨注意A-V融合模型提供了一种具有成本效益的解决方案，即使模式是嘈杂或不存在的，也可以超越最先进的方法。

在对抗环境中识别有说服力的扬声器是一项关键任务。在全国选举中，政客们希望代表他们有说服力的发言人。当一家公司面临不利的宣传时，他们希望在对他们批评的对手存在的对手存在中，他们希望有说服力的倡导者。辩论代表了这些形式的对抗性劝说的共同平台。本文解决了两个问题：辩论结果预测（DOP）问题预测谁赢得了辩论的争论，而劝说预测强度（IPP）问题预测发言者发言前后投票数量的变化。虽然DOP先前已经研究过，但我们是第一个研究IPP的研究。关于DOP的过去的研究未能利用多模式数据的两个重要方面：1）多种方式通常是语义对齐，而2）不同的方式可以提供用于预测的不同信息。我们的M2P2（多模式说服预测）框架是第一个使用多模式（声学，视觉，语言）数据来解决IPP问题的框架。为了利用不同方式的对准，同时保持所提供的提示的多样性，M2P2设计了一种新的自适应融合学习框架，其保留了从两个模块获得的嵌入式的嵌入式 - 一种对准模块，其提取模态和学习的异构性模块之间的共享信息。具有三种单独培训的单峰参考模型的指导的不同方式的重量。我们在为DOP设计的流行IQ2US数据集中测试M2P2。我们还介绍了一个名为QPS的新数据集（来自QIPASHUO，一个受欢迎的中国辩论电视节目）为IPP。 M2P2显着优于两个数据集上的4个最近基线。

智能手机已经使用基于生物识别的验证系统，以在高度敏感的应用中提供安全性。视听生物识别技术因其可用性而受欢迎，并且由于其多式化性质，欺骗性将具有挑战性。在这项工作中，我们介绍了一个在五个不同最近智能手机中捕获的视听智能手机数据集。考虑到不同的现实情景，这个新数据集包含在三个不同的会话中捕获的103个科目。在该数据集中获取三种不同的语言，以包括扬声器识别系统的语言依赖性问题。这些数据集的这些独特的特征将为实施新的艺术技术的单向或视听扬声器识别系统提供途径。我们还报告了DataSet上的基准标记的生物识别系统的性能。生物识别算法的鲁棒性朝向具有广泛实验的重播和合成信号等信号噪声，设备，语言和呈现攻击等多种依赖性。获得的结果提出了许多关于智能手机中最先进的生物识别方法的泛化特性的担忧。

Recognizing a word shortly after it is spoken is an important requirement for automatic speech recognition (ASR) systems in real-world scenarios. As a result, a large body of work on streaming audio-only ASR models has been presented in the literature. However, streaming audio-visual automatic speech recognition (AV-ASR) has received little attention in earlier works. In this work, we propose a streaming AV-ASR system based on a hybrid connectionist temporal classification (CTC)/attention neural network architecture. The audio and the visual encoder neural networks are both based on the conformer architecture, which is made streamable using chunk-wise self-attention (CSA) and causal convolution. Streaming recognition with a decoder neural network is realized by using the triggered attention technique, which performs time-synchronous decoding with joint CTC/attention scoring. For frame-level ASR criteria, such as CTC, a synchronized response from the audio and visual encoders is critical for a joint AV decision making process. In this work, we propose a novel alignment regularization technique that promotes synchronization of the audio and visual encoder, which in turn results in better word error rates (WERs) at all SNR levels for streaming and offline AV-ASR models. The proposed AV-ASR model achieves WERs of 2.0% and 2.6% on the Lip Reading Sentences 3 (LRS3) dataset in an offline and online setup, respectively, which both present state-of-the-art results when no external training data are used.