视觉和听觉信息对于确定视频中的显着区域都是有价值的。深度卷积神经网络（CNN）展示了应对视听显着性预测任务的强大能力。由于各种因素，例如拍摄场景和天气，源训练数据和目标测试数据之间通常存在适度的分布差异。域差异导致CNN模型目标测试数据的性能降解。本文提前尝试解决视听显着性预测的无监督域适应问题。我们提出了一种双重域交流学习算法，以减轻源数据和目标数据之间的域差异。首先，建立了一个特定的域歧视分支，以对齐听觉功能分布。然后，这些听觉功能通过跨模式自我发项模块融合到视觉特征中。设计了其他域歧视分支，以减少视觉特征的域差异和融合视听特征所隐含的视听相关性的差异。公共基准测试的实验表明，我们的方法可以减轻域差异引起的性能降解。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

我们建议探索一个称为视听分割（AVS）的新问题，其中的目标是输出在图像帧时产生声音的对象的像素级映射。为了促进这项研究，我们构建了第一个视频分割基准（AVSBENCH），为声音视频中的声音对象提供像素的注释。使用此基准测试了两个设置：1）具有单个声源的半监督音频分割和2）完全监督的音频段段，并带有多个声源。为了解决AVS问题，我们提出了一种新颖的方法，该方法使用时间像素的视听相互作用模块注入音频语义作为视觉分割过程的指导。我们还设计正规化损失，以鼓励训练期间的视听映射。 AVSBench上的定量和定性实验将我们的方法与相关任务中的几种现有方法进行了比较，这表明所提出的方法有望在音频和像素视觉语义之间建立桥梁。代码可从https://github.com/opennlplab/avsbench获得。

在视觉和声音内利用时间同步和关联是朝向探测物体的强大定位的重要一步。为此，我们提出了一个节省空间内存网络，用于探测视频中的对象本地化。它可以同时通过音频和视觉方式的单模和跨模型表示来同时学习时空关注。我们在定量和定性地展示和分析了在本地化视听物体中结合时空学习的有效性。我们展示了我们的方法通过各种复杂的视听场景概括，最近最先进的方法概括。

识别和本地化视频中的事件是视频理解的基本任务。由于事件可能发生在听觉和视觉方式中，因此多式联合的详细感知对于完全的场景理解至关重要。最先前的作品试图从整体角度分析视频。但是，它们不考虑多个尺度的语义信息，这使得模型难以定位各种长度的事件。在本文中，我们提供了一个多模式金字塔注意网络（MM-PYRAMID），用于捕获和集成多级时间特征，用于视听事件定位和视听视频解析。具体而言，我们首先提出了专注特征金字塔模块。该模块通过多个堆叠金字塔单元捕获时间金字塔特征，每个单元都由固定尺寸的注意力块和扩张的卷积块组成。我们还设计了一种自适应语义融合模块，它利用单位级注意块和选择性融合块以交互地集成金字塔特征。对视听事件定位的广泛实验和虚线监督的视听视频解析任务验证了我们方法的有效性。

State-of-the-art 3D semantic segmentation models are trained on the off-the-shelf public benchmarks, but they often face the major challenge when these well-trained models are deployed to a new domain. In this paper, we propose an Active-and-Adaptive Segmentation (ADAS) baseline to enhance the weak cross-domain generalization ability of a well-trained 3D segmentation model, and bridge the point distribution gap between domains. Specifically, before the cross-domain adaptation stage begins, ADAS performs an active sampling operation to select a maximally-informative subset from both source and target domains for effective adaptation, reducing the adaptation difficulty under 3D scenarios. Benefiting from the rise of multi-modal 2D-3D datasets, ADAS utilizes a cross-modal attention-based feature fusion module that can extract a representative pair of image features and point features to achieve a bi-directional image-point feature interaction for better safe adaptation. Experimentally, ADAS is verified to be effective in many cross-domain settings including: 1) Unsupervised Domain Adaptation (UDA), which means that all samples from target domain are unlabeled; 2) Unsupervised Few-shot Domain Adaptation (UFDA) which means that only a few unlabeled samples are available in the unlabeled target domain; 3) Active Domain Adaptation (ADA) which means that the selected target samples by ADAS are manually annotated. Their results demonstrate that ADAS achieves a significant accuracy gain by easily coupling ADAS with self-training methods or off-the-shelf UDA works.

State-of-the-art activity recognizers are effective during the day, but not trustworthy in the dark. The main causes are the distribution shift from the lower color contrast as well as the limited availability of labeled dark videos. Our goal is to recognize activities in the dark as well as in the day. To compensate for the lack of labeled dark videos, we introduce a pseudo-supervised learning scheme, which utilizes task-irrelevant unlabeled dark videos to train an activity recognizer. Our proposed activity recognizer makes use of audio which is invariant to illumination. However, the usefulness of audio and visual features differs according to the illumination. Thus we propose to make our audio-visual recognizer `darkness-aware'. Experiments on EPIC-Kitchens, Kinetics-Sound, and Charades demonstrate that our proposals enable effective activity recognition in the dark and can even improve robustness to occlusions.

视觉和听力是两种在人类交流和场景理解中起着至关重要的作用的感觉。为了模仿人类的感知能力，旨在开发从音频和视觉方式学习的计算方法的视听学习一直是一个蓬勃发展的领域。预计可以系统地组织和分析视听领域的研究的全面调查。从对视听认知基础的分析开始，我们介绍了几个关键发现，这些发现激发了我们的计算研究。然后，我们系统地回顾了最近的视听学习研究，并将其分为三类：视听，跨模式感知和视听合作。通过我们的分析，我们发现，跨语义，空间和时间支持上述研究的视听数据的一致性。为了重新审视视听学习领域的当前发展，我们进一步提出了关于视听场景理解的新观点，然后讨论和分析视听学习领域的可行未来方向。总体而言，这项调查从不同方面审查并展示了当前视听学习领域。我们希望它可以为研究人员提供对这一领域的更好理解。发布了包括不断更新的调查在内的网站：\ url {https://gewu-lab.github.io/audio-visual-learning/}。

RGB和深度图像上的突出物体检测（SOD）引起了越来越多的研究兴趣，因为它的有效性和现在可以方便地捕获深度线索的事实。现有的RGB-D SOD模型通常采用不同的融合策略来学习来自两个模态（\即RGB和深度）的共享表示，而几个方法明确考虑如何保留特定模态特征。在这项研究中，我们提出了一种新的框架，被称为SPNET}（特异性保存网络），这通过探索共享信息和模态特定属性（例如，特异性）来利益SOD性能。具体地，我们建议采用两个模态特定的网络和共享学习网络来分别生成个体和共享显着性预测映射。为了有效地融合共享学习网络中的跨模型特征，我们提出了一个交叉增强的集成模块（CIM），然后将融合特征传播到下一个层以集成交叉级信息。此外，为了捕获丰富的互补多模态信息，用于提高SOD性能，我们提出了一个多模态特征聚合（MFA）模块，将每个单独解码器的模态特定功能集成到共享解码器中。通过使用跳过连接，可以完全组合编码器和解码器层之间的分层功能。广泛的实验表明我们的〜\我们的〜优于六种流行的RGB-D SOD和三个伪装对象检测基准测试的前沿方法。该项目可在公开提供：https://github.com/taozh2017/spnet。

显着对象检测是预测给定场景中人类参加区域的任务。融合深度信息已被证明在此任务中有效。该问题的主要挑战是如何从RGB模式和深度模式中汇总互补信息。但是，传统的深层模型在很大程度上依赖CNN特征提取器，并且通常会忽略远距离的依赖性。在这项工作中，我们提出了基于双Swin-Transformer的相互交互式网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，以模拟视觉输入中的远程依赖性。在将两个特征分支融合到一个分支之前，将应用基于注意力的模块来增强每​​种模式的特征。我们设计了一个基于自我注意力的跨模式交互模块和一个封闭式的模态注意模块，以利用两种方式之间的互补信息。对于显着解码，我们创建了通过密集的连接增强的不同阶段，并保持解码的内存，而多级编码功能则被同时考虑。考虑到不准确的深度图问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以提供从RGB模式到最终显着性预测的更多指导。此外，我们添加了边缘监督以使功能学习过程正常。对四个评估指标的五个标准RGB-D SOD基准数据集进行了全面的实验，证明了所提出的DTMINET方法的优势。

视频突出显示检测是一个至关重要但充满挑战的问题，旨在识别未修剪视频中有趣的时刻。该任务的关键在于有效的视频表示形式共同追求两个目标，即\ textit {i.e。}，跨模式表示学习和精细元素特征歧视。在本文中，这两个挑战不仅通过丰富表示建模的模式内部和跨模式关系来应对，而且还以歧视性的方式塑造了这些特征。我们提出的方法主要利用模式内编码和交叉模式共发生编码来完全表示建模。具体而言，编码的模式内模式可以增强模态特征，并通过音频和视觉信号中的模式关系学习来抑制无关的模态。同时，跨模式的共同发生编码着重于同时模式间关系，并选择性地捕获了多模式之间的有效信息。从本地上下文中抽象的全局信息进一步增强了多模式表示。此外，我们使用硬对对比度学习（HPCL）方案扩大了特征嵌入的判别能力。进一步采用了硬对采样策略来开采硬样品，以改善HPCL中的特征歧视。与其他最新方法相比，在两个基准上进行的广泛实验证明了我们提出的方法的有效性和优势。

现有的视频域改编（DA）方法需要存储视频帧的所有时间组合或配对源和目标视频，这些视频和目标视频成本昂贵，无法扩展到长时间的视频。为了解决这些局限性，我们建议采用以下记忆高效的基于图形的视频DA方法。首先，我们的方法模型每个源或目标视频通过图：节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图形注意力网络来了解单个帧的重量，并同时将源和目标视频对齐到域不变的图形特征空间中。我们的方法没有存储大量的子视频，而是仅构建一个图形，其中一个视频的图形注意机制，从而大大降低了内存成本。广泛的实验表明，与最先进的方法相比，我们在降低内存成本的同时取得了卓越的性能。

经过验证的多模态融合是提高扬声器跟踪的准确性和稳健性的有效方法，尤其是在复杂的情景中。但是，如何结合异构信息并利用多模态信号的互补性仍然是一个具有挑战性的问题。在本文中，我们提出了一种使用音频和视觉方式的扬声器跟踪的新型多模态感知跟踪器（MPT）。具体地，首先构建基于空间全局相干字段（STGCF）的新型声学图以用于异构信号融合，其采用相机模型将音频线索映射到与视觉提示一致的定位空间。然后，引入了多模态感知关注网络以导出测量受噪声干扰的间歇音频和视频流的可靠性和有效性的感知权重。此外，提出了一种独特的跨模式自我监督学习方法，以通过利用不同方式之间的互补性和一致性来模拟音频和视觉观测的置信度。实验结果表明，该拟议的MPT分别在标准和封闭数据集上实现了98.6％和78.3％的跟踪准确性，其在不利条件下展示了其鲁棒性，并且优于目前最先进的方法。

在本报告中，我们描述了我们提交给Epic-Kitchens-100无监督的域适应（UDA）挑战的技术细节。为了应对UDA设置下存在的域移位，我们首先利用了最近的域概括（DG）技术，称为相对规范对准（RNA）。其次，我们将这种方法扩展到无标记的目标数据工作，从而使模型更简单地以无监督的方式适应目标分布。为此，我们将UDA算法包括在内，例如多级对抗对准和专心熵。通过分析挑战设置，我们注意到数据中存在二次并发转移，通常称为环境偏见。它是由存在不同环境（即厨房）引起的。为了处理这两个班次（环境和时间段），我们扩展了系统以执行多源多目标域的适应性。最后，我们在最终提案中采用了不同的模型来利用流行视频体系结构的潜力，并为合奏改编介绍了两次损失。我们的提交（条目“ PLNET”）在排行榜上可见，并在“动词”中排名第二，并且在“名词”和“ Action”中都处于第三位。

文化遗产的理解和保存对于社会来说是一个重要的问题，因为它代表了其身份的基本方面。绘画代表了文化遗产的重要组成部分，并且是不断研究的主题。但是，观众认为绘画与所谓的HVS（人类视觉系统）行为严格相关。本文重点介绍了一定数量绘画的视觉体验期间观众的眼动分析。在进一步的详细信息中，我们引入了一种新的方法来预测人类的视觉关注，这影响了人类的几种认知功能，包括对场景的基本理解，然后将其扩展到绘画图像。拟议的新建筑摄入图像并返回扫描路径，这是一系列积分，具有引起观众注意力的很有可能性。我们使用FCNN（完全卷积的神经网络），其中利用了可区分的渠道选择和软弧度模块。我们还将可学习的高斯分布纳入网络瓶颈上，以模拟自然场景图像中的视觉注意力过程偏见。此外，为了减少不同域之间的变化影响（即自然图像，绘画），我们敦促模型使用梯度反转分类器从其他域中学习无监督的一般特征。在准确性和效率方面，我们的模型获得的结果优于现有的最先进的结果。

自动情绪识别（ER）最近由于其在许多实际应用中的潜力而引起了很多兴趣。在这种情况下，已经证明多模式方法可以通过结合多样化和互补的信息来源，从而提高性能（超过单峰方法），从而为嘈杂和缺失的方式提供了一些鲁棒性。在本文中，我们根据从视频中提取的面部和声音方式融合的尺寸ER专注于尺寸，其中探索了互补的视听（A-V）关系，以预测个人在价值空间中的情绪状态。大多数最先进的融合技术都依赖于反复的网络或常规的注意机制，这些机制无法有效利用A-V模式的互补性。为了解决这个问题，我们引入了A-V融合的联合跨注意模型，该模型在A-V模态上提取显着特征，从而可以有效利用模式间关系，同时保留模式内关系。特别是，它根据联合特征表示与单个模式的相关性计算交叉意义权重。通过将联合A-V特征表示形式部署到交叉意见模块中，它有助于同时利用内模式和模态关系，从而显着改善系统的性能，而不是香草交叉意见模块。我们提出的方法的有效性是在Recola和AffWild2数据集的挑战性视频中通过实验验证的。结果表明，我们的跨注意A-V融合模型提供了一种具有成本效益的解决方案，即使模式是嘈杂或不存在的，也可以超越最先进的方法。

Video summarization attracts attention for efficient video representation, retrieval, and browsing to ease volume and traffic surge problems. Although video summarization mostly uses the visual channel for compaction, the benefits of audio-visual modeling appeared in recent literature. The information coming from the audio channel can be a result of audio-visual correlation in the video content. In this study, we propose a new audio-visual video summarization framework integrating four ways of audio-visual information fusion with GRU-based and attention-based networks. Furthermore, we investigate a new explainability methodology using audio-visual canonical correlation analysis (CCA) to better understand and explain the role of audio in the video summarization task. Experimental evaluations on the TVSum dataset attain F1 score and Kendall-tau score improvements for the audio-visual video summarization. Furthermore, splitting video content on TVSum and COGNIMUSE datasets based on audio-visual CCA as positively and negatively correlated videos yields a strong performance improvement over the positively correlated videos for audio-only and audio-visual video summarization.

作为多媒体信息检索中越来越流行的任务，视频瞬间检索（VMR）旨在根据给定的语言查询从未修剪视频中定位目标时刻。以前的大多数方法都在很大程度上取决于众多手动注释（即瞬间边界），在实践中获取非常昂贵。此外，由于不同数据集之间的域间隙，直接将这些预训练的模型应用于看不见的域，这会导致显着的性能下降。在本文中，我们专注于一项新任务：跨域VMR，其中一个域中完全注重数据集（````源域'''），但是感兴趣的域（``目标域''）仅包含未通知的数据集。据我们所知，我们介绍了有关跨域VMR的第一项研究。为了解决这一新任务，我们提出了一个新型的多模式跨域比对（MMCDA）网络，以将注释知识从源域转移到目标域。但是，由于源和目标域之间的域差异以及视频和查询之间的语义差距，直接将经过训练的模型应用于目标域通常会导致性能下降。为了解决这个问题，我们开发了三个新型模块：（i）域对齐模块旨在使每种模式的不同域之间的特征分布对齐； （ii）跨模式对齐模块旨在将视频和查询特征映射到关节嵌入空间中，并将目标域不同模态之间的特征分布对齐； （iii）特定的比对模块试图获得特定帧与给定查询之间的细粒度相似性以进行最佳定位。通过共同训练这三个模块，我们的MMCDA可以学习域不变和语义一致的跨模式表示。

Current audio-visual separation methods share a standard architecture design where an audio encoder-decoder network is fused with visual encoding features at the encoder bottleneck. This design confounds the learning of multi-modal feature encoding with robust sound decoding for audio separation. To generalize to a new instrument: one must finetune the entire visual and audio network for all musical instruments. We re-formulate visual-sound separation task and propose Instrument as Query (iQuery) with a flexible query expansion mechanism. Our approach ensures cross-modal consistency and cross-instrument disentanglement. We utilize "visually named" queries to initiate the learning of audio queries and use cross-modal attention to remove potential sound source interference at the estimated waveforms. To generalize to a new instrument or event class, drawing inspiration from the text-prompt design, we insert an additional query as an audio prompt while freezing the attention mechanism. Experimental results on three benchmarks demonstrate that our iQuery improves audio-visual sound source separation performance.

在本文中，我们提出了一个围绕一个名为事件分解重新编译网络（EDRNET）的新架构围绕着围绕的框架，以在监督和弱监管的设置中解决视听事件（AVE）定位问题。现实世界中的Aves展示了共同的解开模式（被称为事件进度检查点（EPC）），人类可以通过听觉和视觉感官的合作来察觉。与尝试识别整个事件序列的早期方法不同，使用堆叠的时间卷积来识别整个事件序列，EDRNET模型EPC和EPC间关系。基于EPC表示属于事件类别的秘密，我们介绍了基于国家机器的视频融合，这是一种使用不同的EPC模板序列混合源视频的新型增强技术。此外，我们设计了一个名为陆地海洋损失的新损失功能，以缩小连续前景和背景表示。最后，为了减轻在弱监管期间令人困惑的事件的问题，我们提出了一种称为袋子的预测稳定方法，以实例标签校正。 AVE DataSet上的实验表明，我们的集体框架通过相当大的余量优于最先进的。