在充满挑战的现实生活条件下，例如极端的头置，遮挡和低分辨率图像，视觉信息无法估算视觉注意力/凝视方向，音频信号可以提供重要和互补的信息。在本文中，我们探讨了音频引导的粗置姿势是否可以进一步提高非独立面孔的视觉注意力估计性能。由于很难注释音频信号来估计说话者的头置姿势，因此我们使用现成的最先进的模型来促进跨模式的弱点。在训练阶段，该框架从同步的视听方式中学习了互补的信息。我们的模型可以利用任何可用的模式，即用于特定于任务的推断的音频，视觉或视听。有趣的是，当以这些特定方式在基准数据集上测试AV凝视时，它会在多个数据集上实现竞争成果，同时非常适应充满挑战的情况。

由于大规模标记数据的非可用性，强大的凝视估计是一个具有挑战性的任务，即使是深度的CNN。此外，凝视注释是一种耗时的过程，需要专门的硬件设置。我们提出MTGLS：具有有限监督的多任务凝视估计框架，其利用大量可用的非注释的面部图像数据。 MTGLS从架子的面部图像分析模型中蒸馏出知识，并学习人眼的强大特征表示，由三个互补辅助信号引导：（a）由本地化定义的瞳孔（即伪凝视）的视线面部地标，（b）欧拉角给出的头部姿势，（c）眼贴片的取向（左/右眼）。为了克服监控信号中的内在噪声，MTGL还包括噪声分布建模方法。我们的实验结果表明，MTGLS学习高度广泛的表示，这在一系列数据集中一直表现良好。我们所提出的框架优于无监督的洞穴（6.43％）甚至监督凝席360（按6.59％）数据集的最新方法。

眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey

在过去的几年中，在有限的监督下，在不受限制的环境中解释凝视方向一直引起人们的兴趣。由于数据策展和注释问题，将目光估计方法复制到其他平台（例如不受限制的户外或AR/VR）可能会导致性能大幅下降，因为对于模型培训的准确注释数据的可用性不足。在本文中，我们探讨了一个有趣但具有挑战性的凝视估计方法的问题，其标记数据有限。所提出的方法将知识从标记的子集中提炼出具有视觉特征。包括特定身份的外观，凝视轨迹的一致性和运动特征。给定凝视轨迹，该方法仅利用凝视序列的开始和终点的标签信息。提出的方法的扩展进一步减少了标记框架的需求，仅在生成标签的质量下略有下降的起始框架。我们评估了四个基准数据集（Cave，Tabletgaze，MPII和Gaze360）的建议方法以及Web craw的YouTube视频。我们提出的方法将注释工作降低到低至2.67％，对性能的影响很小。表明我们的模型的潜力实现了凝视估计的“野外”设置。

在基于视觉的辅助技术中，具有不同新兴主题的用例，例如增强现实，虚拟现实和人类计算机互动等不同的主题中的用例中，自动眼目光估计是一个重要问题。在过去的几年中，由于它克服了大规模注释的数据的要求，因此人们对无监督和自我监督的学习范式的兴趣越来越大。在本文中，我们提出了Raze，Raze是一个带有自我监督的注视表示框架的区域，该框架从非宣传的面部图像数据中发挥作用。 Raze通过辅助监督（即伪凝视区域分类）学习目光的表示，其中目的是通过利用瞳孔中心的相对位置将视野分类为不同的凝视区域（即左，右和中心）。因此，我们会自动注释154K Web爬行图像的伪凝视区标签，并通过“ IZE-NET”框架学习特征表示。 “ IZE-NET”是基于胶囊层的CNN体​​系结构，可以有效地捕获丰富的眼睛表示。在四个基准数据集上评估了特征表示的判别性能：洞穴，桌面，MPII和RT-GENE。此外，我们评估了所提出的网络在其他两个下游任务（即驱动器凝视估计和视觉注意估计）上的普遍性，这证明了学习的眼睛注视表示的有效性。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

增强现实设备具有增强人类感知的潜力，并使复杂的会话环境中的其他辅助功能能够实现。有效地捕获理解这些社交交互所必需的视听上下文首先需要检测和定位设备佩戴者和周围人的语音活动。这些任务由于它们的高电平性质而挑战：佩戴者的头部运动可能导致运动模糊，周围的人可能出现在困难的观察中，并且可能有遮挡，视觉杂乱，音频噪声和畸形。在这些条件下，以前的最先进的主动扬声器检测方法不会给出令人满意的结果。相反，我们使用视频和多通道麦克风阵列音频从新设置中解决问题。我们提出了一种新的端到端深度学习方法，可以提供强大的语音活动检测和本地化结果。与以前的方法相比，我们的方法将主动扬声器从球体上的所有可能方向定位，即使在相机的视野之外，同时检测设备佩戴者自己的语音活动。我们的实验表明，该方法提供了卓越的结果，可以实时运行，并且对抗噪音和杂乱是强大的。

We focus on the audio-visual video parsing (AVVP) problem that involves detecting audio and visual event labels with temporal boundaries. The task is especially challenging since it is weakly supervised with only event labels available as a bag of labels for each video. An existing state-of-the-art model for AVVP uses a hybrid attention network (HAN) to generate cross-modal features for both audio and visual modalities, and an attentive pooling module that aggregates predicted audio and visual segment-level event probabilities to yield video-level event probabilities. We provide a detailed analysis of modality bias in the existing HAN architecture, where a modality is completely ignored during prediction. We also propose a variant of feature aggregation in HAN that leads to an absolute gain in F-scores of about 2% and 1.6% for visual and audio-visual events at both segment-level and event-level, in comparison to the existing HAN model.

自动识别面部和声音的明显情绪很难，部分原因是各种不确定性来源，包括输入数据和机器学习框架中使用的标签。本文介绍了一种不确定性感知的视听融合方法，该方法量化了对情绪预测的模态不确定性。为此，我们提出了一个新颖的融合框架，在该框架中，我们首先通过视听时间上下文向量学习潜在分布，然后限制单峰潜在分布的方差向量，以便它们表示每种模式的信息量，以提供W.R.T.情绪识别。特别是，我们对视听潜在分布的方差向量施加了校准和序数排名约束。当经过良好校准时，将模态不确定性得分表明它们的相应预测可能与地面真实标签有多大不同。排名良好的不确定性得分允许在模式中对不同框架进行顺序排名。为了共同施加这两种约束，我们提出了软马克斯分布匹配损失。在分类和回归设置中，我们将不确定性感知的融合模型与标准模型 - 静态融合基线进行了比较。我们对两个情绪识别语料库（AVEC 2019 CES和IEMOCAP）的评估表明，视听情绪识别可以从良好的和良好的潜在不确定性度量中受益匪浅。

在视觉和声音内利用时间同步和关联是朝向探测物体的强大定位的重要一步。为此，我们提出了一个节省空间内存网络，用于探测视频中的对象本地化。它可以同时通过音频和视觉方式的单模和跨模型表示来同时学习时空关注。我们在定量和定性地展示和分析了在本地化视听物体中结合时空学习的有效性。我们展示了我们的方法通过各种复杂的视听场景概括，最近最先进的方法概括。

主动扬声器检测在人机相互作用中起着至关重要的作用。最近，出现了一些端到端的视听框架。但是，这些模型的推理时间没有被探索，并且由于其复杂性和较大的输入大小而不适用于实时应用。此外，他们探索了类似的功能提取策略，该策略在音频和视觉输入中采用了Convnet。这项工作提出了一种新型的两流端到端框架融合，通过VGG-M从图像中提取的特征与原始MEL频率Cepstrum系数从音频波形提取。该网络在每个流上附有两个BigRu层，以处理融合之前每个流的时间动态。融合后，将一个BigRU层附着在建模联合时间动力学上。 AVA-ACTIVESPEAKER数据集的实验结果表明，我们的新功能提取策略对嘈杂信号的鲁棒性和推理时间比在这两种模式上使用Convnet的模型更好。提出的模型预测44.41 ms之内，足够快地用于实时应用程序。我们表现​​最佳的模型获得了88.929％的精度，与最先进的工作相同。

本文重点介绍了弱监督的视频视频解析任务，该任务旨在识别属于每种模式的所有事件并定位其时间界。此任务是具有挑战性的，因为只有表示视频事件的整体标签用于培训。但是，事件可能被标记，但不会出现在其中一种方式中，这导致了特定于模态的嘈杂标签问题。在这项工作中，我们提出了一种培训策略，以动态识别和删除特定于模式的嘈杂标签。它是由两个关键观察的动机：1）网络倾向于首先学习干净的样本； 2）标记的事件至少以一种方式出现。具体而言，我们将每个实例在每种模式中单独分别对所有实例的损失进行排序，然后根据模式内和模式间损耗之间的关系选择嘈杂的样本。此外，我们还通过计算置信度低于预设阈值的实例的比例来提出一种简单但有效的噪声比率估计方法。我们的方法对先前的艺术状态进行了大量改进（\ eg，从60.0 \％到63.8 \％\％在细分级视觉度量中），这证明了我们方法的有效性。代码和训练有素的模型可在\ url {https://github.com/mcg-nju/jomold}上公开获得。

本文提出了一种语音分离的视听方法，在两种情况下以低潜伏期产生最先进的结果：语音和唱歌声音。该模型基于两个阶段网络。运动提示是通过轻巧的图形卷积网络获得的，该网络处理面对地标。然后，将音频和运动功能馈送到视听变压器中，该变压器对隔离目标源产生相当好的估计。在第二阶段，仅使用音频网络增强了主导语音。我们提出了不同的消融研究和与最新方法的比较。最后，我们探讨了在演唱语音分离的任务中训练训练语音分离的模型的可传递性。https://ipcv.github.io/vovit/可用演示，代码和权重

This paper proposes a self-supervised approach to learn universal facial representations from videos, that can transfer across a variety of facial analysis tasks such as Facial Attribute Recognition (FAR), Facial Expression Recognition (FER), DeepFake Detection (DFD), and Lip Synchronization (LS). Our proposed framework, named MARLIN, is a facial video masked autoencoder, that learns highly robust and generic facial embeddings from abundantly available non-annotated web crawled facial videos. As a challenging auxiliary task, MARLIN reconstructs the spatio-temporal details of the face from the densely masked facial regions which mainly include eyes, nose, mouth, lips, and skin to capture local and global aspects that in turn help in encoding generic and transferable features. Through a variety of experiments on diverse downstream tasks, we demonstrate MARLIN to be an excellent facial video encoder as well as feature extractor, that performs consistently well across a variety of downstream tasks including FAR (1.13% gain over supervised benchmark), FER (2.64% gain over unsupervised benchmark), DFD (1.86% gain over unsupervised benchmark), LS (29.36% gain for Frechet Inception Distance), and even in low data regime. Our codes and pre-trained models will be made public.

视听扬声器日复速度旨在检测使用听觉和视觉信号时的``谁说话。现有的视听深度数据集主要专注于会议室或新闻工作室等室内环境，这些工作室与电影，纪录片和观众情景喜剧等许多情景中的野外视频完全不同。要创建一个能够有效地比较野外视频的日复速度方法的测试平台，我们向AVA电影数据集注释说话者深度标签，并创建一个名为AVA-AVD的新基准。由于不同的场景，复杂的声学条件和完全偏离屏幕扬声器，该基准是挑战。然而，如何处理偏离屏幕和屏幕上的扬声器仍然是一个关键挑战。为了克服它，我们提出了一种新的视听关系网络（AVR-Net），它引入了有效的模态掩模，以基于可见性捕获辨别信息。实验表明，我们的方法不仅可以优于最先进的方法，而且可以更加强大，因为改变屏幕扬声器的比率。消融研究证明了拟议的AVR-NET和尤其是日复一化的模态掩模的优点。我们的数据和代码将公开可用。

自动情绪识别（ER）最近由于其在许多实际应用中的潜力而引起了很多兴趣。在这种情况下，已经证明多模式方法可以通过结合多样化和互补的信息来源，从而提高性能（超过单峰方法），从而为嘈杂和缺失的方式提供了一些鲁棒性。在本文中，我们根据从视频中提取的面部和声音方式融合的尺寸ER专注于尺寸，其中探索了互补的视听（A-V）关系，以预测个人在价值空间中的情绪状态。大多数最先进的融合技术都依赖于反复的网络或常规的注意机制，这些机制无法有效利用A-V模式的互补性。为了解决这个问题，我们引入了A-V融合的联合跨注意模型，该模型在A-V模态上提取显着特征，从而可以有效利用模式间关系，同时保留模式内关系。特别是，它根据联合特征表示与单个模式的相关性计算交叉意义权重。通过将联合A-V特征表示形式部署到交叉意见模块中，它有助于同时利用内模式和模态关系，从而显着改善系统的性能，而不是香草交叉意见模块。我们提出的方法的有效性是在Recola和AffWild2数据集的挑战性视频中通过实验验证的。结果表明，我们的跨注意A-V融合模型提供了一种具有成本效益的解决方案，即使模式是嘈杂或不存在的，也可以超越最先进的方法。

检测欺骗社会行为的自动化系统可以增强人类跨越医疗，社会工作和法律域名。标记为培训的数据集可以为现实世界，高赌注的背景感染培训监督欺骗检测模型。为了解决这一挑战，我们提出了第一种无监督的方法来检测现实世界，高赌注欺骗的视频，而无需标签。本文提出了我们对感知无监督无监督的深度信仰网络（DBN）的新方法，以学习欺骗性和真实行为的歧视。绘制心理学理论，链接影响和欺骗，我们试验在面部价，面部震荡，音频和视觉特征上培训的单峰和基于多峰的DBN方法。除了使用面部影响作为培训DBN模型的功能之外，我们还介绍了使用面部影响作为视听表示的对齐器的DBN培训过程。我们对无监督高斯混合模型聚类进行了分类实验，以评估我们的方法。我们最好的无人监督方法（对面部价和视觉特征培训）实现了80％，表现优于80％，表现相当于完全监督的模型。我们的成绩激发了未来的无监督，影响野外欺骗和其他社会行为的计算方法。

经过验证的多模态融合是提高扬声器跟踪的准确性和稳健性的有效方法，尤其是在复杂的情景中。但是，如何结合异构信息并利用多模态信号的互补性仍然是一个具有挑战性的问题。在本文中，我们提出了一种使用音频和视觉方式的扬声器跟踪的新型多模态感知跟踪器（MPT）。具体地，首先构建基于空间全局相干字段（STGCF）的新型声学图以用于异构信号融合，其采用相机模型将音频线索映射到与视觉提示一致的定位空间。然后，引入了多模态感知关注网络以导出测量受噪声干扰的间歇音频和视频流的可靠性和有效性的感知权重。此外，提出了一种独特的跨模式自我监督学习方法，以通过利用不同方式之间的互补性和一致性来模拟音频和视觉观测的置信度。实验结果表明，该拟议的MPT分别在标准和封闭数据集上实现了98.6％和78.3％的跟踪准确性，其在不利条件下展示了其鲁棒性，并且优于目前最先进的方法。

从旋转天花板粉丝到滴答时钟，我们听到巧妙地变化的声音随着我们通过场景。我们询问这些环境声音是否传达有关3D场景结构的信息，如果是，它们是否提供了用于多模式模型的有用的学习信号。为学习这一点，我们从各种安静的室内场景中收集配对音频和RGB-D录音的数据集。然后，我们培训估计到附近墙壁的距离的模型，只有一个音频作为输入。我们还使用这些录音来通过自我监督来学习多式式表现，通过培训网络以将图像与其相应的声音相关联。这些结果表明环境声音传达了关于场景结构的令人惊讶的信息，并且它是学习多模峰特征的有用信号。

识别和本地化视频中的事件是视频理解的基本任务。由于事件可能发生在听觉和视觉方式中，因此多式联合的详细感知对于完全的场景理解至关重要。最先前的作品试图从整体角度分析视频。但是，它们不考虑多个尺度的语义信息，这使得模型难以定位各种长度的事件。在本文中，我们提供了一个多模式金字塔注意网络（MM-PYRAMID），用于捕获和集成多级时间特征，用于视听事件定位和视听视频解析。具体而言，我们首先提出了专注特征金字塔模块。该模块通过多个堆叠金字塔单元捕获时间金字塔特征，每个单元都由固定尺寸的注意力块和扩张的卷积块组成。我们还设计了一种自适应语义融合模块，它利用单位级注意块和选择性融合块以交互地集成金字塔特征。对视听事件定位的广泛实验和虚线监督的视听视频解析任务验证了我们方法的有效性。