在本报告中，我们描述了我们提交给Epic-Kitchens-100无监督的域适应（UDA）挑战的技术细节。为了应对UDA设置下存在的域移位，我们首先利用了最近的域概括（DG）技术，称为相对规范对准（RNA）。其次，我们将这种方法扩展到无标记的目标数据工作，从而使模型更简单地以无监督的方式适应目标分布。为此，我们将UDA算法包括在内，例如多级对抗对准和专心熵。通过分析挑战设置，我们注意到数据中存在二次并发转移，通常称为环境偏见。它是由存在不同环境（即厨房）引起的。为了处理这两个班次（环境和时间段），我们扩展了系统以执行多源多目标域的适应性。最后，我们在最终提案中采用了不同的模型来利用流行视频体系结构的潜力，并为合奏改编介绍了两次损失。我们的提交（条目“ PLNET”）在排行榜上可见，并在“动词”中排名第二，并且在“名词”和“ Action”中都处于第三位。

在本报告中，我们将提交的技术细节介绍给2022年Epic-Kitchens无监督的域适应性（UDA）挑战。现有的UDA方法使从源和目标域中的整个视频片段中提取的全局功能对齐，但在视频识别中遇到了功能匹配的空间冗余。通过观察到，在大多数情况下，每个视频框架中的一个小图像区域可以足以满足动作识别任务的信息，我们建议利用信息图像区域以执行有效的域名。具体而言，我们首先使用轻型CNN来提取输入两流视频帧的全局信息，并通过基于可区分的插值选择策略选择信息性的图像补丁。然后，来自视频框架的全局信息和来自图像补丁的本地信息将通过现有的视频适应方法（即TA3N）处理，以便为源域和目标域执行功能对齐。我们的方法（无模型合奏）在今年的Epic-Kitchens-100测试集中排名第四。

事件摄像机是新型生物启发传感器，其异步捕获“事件”形式的像素级强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，这是一个非常高的时间分辨率，并且需要比传统的基于帧的相机更小的电力和存储器。这些特性使它们成为一个完美的拟合若干现实世界应用，如在可穿戴设备上的专门动作识别，其中快速相机运动和有限的电力挑战传统视觉传感器。然而，迄今为止，基于事件的愿景的不断增长的愿景领域已经忽略了在此类应用中的活动摄像机的潜力。在本文中，我们表明事件数据是自我监测行动识别的非常有价值的模态。为此，我们介绍了N-EPIC-Kitchens，这是大型史诗厨房数据集的第一个基于事件的相机扩展。在此背景下，我们提出了两种策略：（i）使用传统的视频处理架构（E $ ^ 2 $（GO））和（ii）使用事件数据直接处理事件相机数据（E $ ^ 2 $（GO））和蒸馏光流信息（E $ ^ 2 $（go）mo）。在我们提出的基准测试中，我们表明事件数据为RGB和光流提供了可比性的性能，但在部署时没有任何额外的流量计算，以及相对于RGB的信息高达4％的性能。

视觉和听觉信息对于确定视频中的显着区域都是有价值的。深度卷积神经网络（CNN）展示了应对视听显着性预测任务的强大能力。由于各种因素，例如拍摄场景和天气，源训练数据和目标测试数据之间通常存在适度的分布差异。域差异导致CNN模型目标测试数据的性能降解。本文提前尝试解决视听显着性预测的无监督域适应问题。我们提出了一种双重域交流学习算法，以减轻源数据和目标数据之间的域差异。首先，建立了一个特定的域歧视分支，以对齐听觉功能分布。然后，这些听觉功能通过跨模式自我发项模块融合到视觉特征中。设计了其他域歧视分支，以减少视觉特征的域差异和融合视听特征所隐含的视听相关性的差异。公共基准测试的实验表明，我们的方法可以减轻域差异引起的性能降解。

在过去的几年中，无监督的域适应性（UDA）技术在计算机视觉中具有显着的重要性和流行。但是，与可用于图像的广泛文献相比，视频领域仍然相对尚未探索。另一方面，动作识别模型的性能受到域转移的严重影响。在本文中，我们提出了一种简单新颖的UDA方法，以供视频动作识别。我们的方法利用了时空变压器的最新进展来构建一个强大的源模型，从而更好地概括了目标域。此外，由于引入了来自信息瓶颈原则的新颖对齐损失术语，我们的架构将学习域不变功能。我们报告了UDA的两个视频动作识别基准的结果，显示了HMDB $ \ leftrightArrow $ ucf的最新性能，以及动力学$ \ rightarrow $ nec-Drone，这更具挑战性。这证明了我们方法在处理不同级别的域转移方面的有效性。源代码可在https://github.com/vturrisi/udavt上获得。

当前，根据CNN处理的视频数据，主要执行动作识别。我们研究CNN的表示过程是否也可以通过将基于图像的动作音频表示为任务中的多模式动作识别。为此，我们提出了多模式的音频图像和视频动作识别器（MAIVAR），这是一个基于CNN的音频图像到视频融合模型，以视频和音频方式来实现卓越的动作识别性能。Maivar提取音频的有意义的图像表示，并将其与视频表示形式融合在一起，以获得更好的性能，与大规模动作识别数据集中的两种模式相比。

假设源标签空间集成了目标一个，部分视频域适应（PVDA）是跨域视频分类问题的更一般和实际的场景。 PVDA的主要挑战是减轻由仅源离群类别类别引起的负转移。为了应对这一挑战，一个关键的步骤是通过提高目标类别和下降的异常值类来汇总目标预测，以分配类权重。但是，班级权重的错误预测会误导网络并导致负转移。以前的工作通过使用时间特征和注意力机制来提高类重量的准确性，但是当试图在域移动显着时，尝试产生准确的类重量时，这些方法可能会缺乏，就像在大多数真实世界中一样。为了应对这些挑战，我们提出了多模式集群校准的部分对抗网络（MCAN）。 MCAN通过多个时间尺度的多模式特征增强了视频功能提取，以形成更强大的整体特征。它利用一种新型的类重量校准方法来减轻由不正确的类重量引起的负转移。校准方法试图使用无监督聚类所隐含的分布信息来识别和权衡正确和错误的预测。与最先进的PVDA方法相比，对盛行的PVDA基准进行了广泛的实验，而拟议的MCAN取得了重大改进。

在Enocentric视频中，行动在快速连续中发生。我们利用了行动的时间背景，并提出了一种学习参加周围行动的方法，以提高识别性能。为了纳入时间上下文，我们提出了一种基于变换器的多模式模型，可将视频和音频作为输入模式摄取，具有显式语言模型，提供动作序列上下文来增强预测。我们在史诗厨房和EGTEA数据集上测试我们的方法，报告最先进的性能。我们的消融展示了利用时间上下文的优势以及将音频输入模态和语言模型结合到Rescore预测。代码和模型在：https://github.com/ekazakos/mtcn。

尽管近年来行动认可取得了令人印象深刻的结果，但视频培训数据的收集和注释仍然很耗时和成本密集。因此，已经提出了图像到视频改编，以利用无标签的Web图像源来适应未标记的目标视频。这提出了两个主要挑战：（1）Web图像和视频帧之间的空间域移动； （2）图像和视频数据之间的模态差距。为了应对这些挑战，我们提出了自行车域的适应（CYCDA），这是一种基于周期的方法，用于通过在图像和视频中利用图像和视频中的联合空间信息来适应无监督的图像到视频域，另一方面，训练一个独立的时空模型，用于弥合模式差距。我们在每个周期中的两者之间的知识转移之间在空间和时空学习之间交替。我们在基准数据集上评估了图像到视频的方法，以及用于实现最新结果的混合源域的适应性，并证明了我们的循环适应性的好处。

我们提出了一种自制算法，以从以自我为中心的视频数据中学习表示形式。最近，已经做出了重大努力，以捕捉人类在日常活动中与自己的环境进行互动。结果，已经出现了几个大型的以相互作用的多模式数据的自我为中心的数据集。但是，来自视频的学习表征可能具有挑战性。首先，鉴于长期连续视频的未经保育性质，学习有效表示需要专注于互动的时间。其次，日常活动的视觉表示应对环境状态的变化敏感。但是，当前成功的多模式学习框架鼓励随着时间的推移表示代表。为了应对这些挑战，我们利用音频信号来确定有利于更好学习的可能相互作用的时刻。我们还提出了一个新颖的自我监督目标，该目标从相互作用引起的听觉状态变化中学习。我们在两个大规模的中心数据集（Epic-Kitchens-100和最近发布的EGO4D）上广泛验证了这些贡献，并显示了几个下游任务的改进，包括行动识别，长期行动预期和对象状态变化分类。

现有的视频域改编（DA）方法需要存储视频帧的所有时间组合或配对源和目标视频，这些视频和目标视频成本昂贵，无法扩展到长时间的视频。为了解决这些局限性，我们建议采用以下记忆高效的基于图形的视频DA方法。首先，我们的方法模型每个源或目标视频通过图：节点表示视频帧和边缘表示帧之间的时间或视觉相似性关系。我们使用图形注意力网络来了解单个帧的重量，并同时将源和目标视频对齐到域不变的图形特征空间中。我们的方法没有存储大量的子视频，而是仅构建一个图形，其中一个视频的图形注意机制，从而大大降低了内存成本。广泛的实验表明，与最先进的方法相比，我们在降低内存成本的同时取得了卓越的性能。

在活动识别模型的现实应用应用中，域移动（例如外观变化）是一个关键挑战，范围从辅助机器人和智能家居到智能车辆的驾驶员观察。例如，虽然模拟是一种经济数据收集的绝佳方式，但合成到现实的域转移导致识别日常生活活动（ADL）的精度下降> 60％。我们应对这一挑战，并引入了一个活动域生成框架，该框架从视频培训数据推断出的不同现有活动方式（源域）中创建了新颖的ADL外观（新域）。我们的框架计算人体姿势，人体关节的热图和光流图，并将它们与原始RGB视频一起使用，以了解源域的本质，以生成全新的ADL域。通过最大化现有源外观和生成的新颖外观之间的距离，同时确保通过额外的分类损失保留活动的语义，可以优化该模型。虽然源数据多模态在此设计中是一个重要的概念，但我们的设置不依赖于多传感器设置（即，仅从单个视频中推断出所有源模式。）然后将新创建的活动域集成到训练中。 ADL分类网络，导致模型不太容易受到数据分布的变化的影响。对合成基准的SIMS4Action进行的广泛实验证明了域产生范式对跨域ADL识别的潜力，从而设定了新的最新结果。我们的代码可在https://github.com/zrrrrr1997/syn2real_dg上公开获得

当标签稀缺时，域的适应性是使学习能够学习的重要任务。尽管大多数作品仅着眼于图像模式，但有许多重要的多模式数据集。为了利用多模式的域适应性，我们提出了跨模式学习，在这种学习中，我们通过相互模仿在两种模式的预测之间执行一致性。我们限制了我们的网络，以对未标记的目标域数据进行正确预测，并在标记的数据和跨模式的一致预测中进行预测。在无监督和半监督的域适应设置中进行的实验证明了这种新型域适应策略的有效性。具体而言，我们评估了从2D图像，3D点云或两者都从3D语义分割的任务进行评估。我们利用最近的驾驶数据集生产各种域名适应场景，包括场景布局，照明，传感器设置和天气以及合成到现实的设置的变化。我们的方法在所有适应方案上都显着改善了以前的单模式适应基线。我们的代码可在https://github.com/valeoai/xmuda_journal上公开获取

Domain adaptation (DA) approaches address domain shift and enable networks to be applied to different scenarios. Although various image DA approaches have been proposed in recent years, there is limited research towards video DA. This is partly due to the complexity in adapting the different modalities of features in videos, which includes the correlation features extracted as long-term dependencies of pixels across spatiotemporal dimensions. The correlation features are highly associated with action classes and proven their effectiveness in accurate video feature extraction through the supervised action recognition task. Yet correlation features of the same action would differ across domains due to domain shift. Therefore we propose a novel Adversarial Correlation Adaptation Network (ACAN) to align action videos by aligning pixel correlations. ACAN aims to minimize the distribution of correlation information, termed as Pixel Correlation Discrepancy (PCD). Additionally, video DA research is also limited by the lack of cross-domain video datasets with larger domain shifts. We, therefore, introduce a novel HMDB-ARID dataset with a larger domain shift caused by a larger statistical difference between domains. This dataset is built in an effort to leverage current datasets for dark video classification. Empirical results demonstrate the state-of-the-art performance of our proposed ACAN for both existing and the new video DA datasets.

State-of-the-art activity recognizers are effective during the day, but not trustworthy in the dark. The main causes are the distribution shift from the lower color contrast as well as the limited availability of labeled dark videos. Our goal is to recognize activities in the dark as well as in the day. To compensate for the lack of labeled dark videos, we introduce a pseudo-supervised learning scheme, which utilizes task-irrelevant unlabeled dark videos to train an activity recognizer. Our proposed activity recognizer makes use of audio which is invariant to illumination. However, the usefulness of audio and visual features differs according to the illumination. Thus we propose to make our audio-visual recognizer `darkness-aware'. Experiments on EPIC-Kitchens, Kinetics-Sound, and Charades demonstrate that our proposals enable effective activity recognition in the dark and can even improve robustness to occlusions.

物联网中的智能汽车，智能手机和其他设备（物联网）通常具有多个传感器，会产生多模式数据。联合学习支持从不同设备收集大量多模式数据，而无需共享原始数据。转移学习方法有助于将知识从某些设备传输到其他设备。联合转移学习方法受益于联合学习和转移学习。这个新提出的联合转移学习框架旨在将数据岛与隐私保护联系起来。我们的构建基于联合学习和转移学习。与以前的联合转移学习相比，每个用户应具有相同模式的数据（所有单峰或全模式），我们的新框架更为通用，它允许使用用户数据的混合分布。核心策略是为我们的两种用户使用两种不同但固有连接的培训方法。仅对单峰数据（类型1）的用户采用监督学习，而自我监督的学习则用于使用多模式数据（类型2）的用户，以适用于每种模式的功能及其之间的连接。类型2的这种联系知识将在培训的后期阶段有助于1键入1。新框架中的培训可以分为三个步骤。在第一步中，将具有相同模式的数据的用户分组在一起。例如，仅具有声音信号的用户在第一组中，只有图像的用户在第二组中，并且具有多模式数据的用户在第三组中，依此类推。在第二步中，在小组内执行联合学习，在该小组中，根据小组的性质，使用监督的学习和自学学习。大多数转移学习发生在第三步中，从前步骤获得的网络中的相关部分是汇总的（联合）。

Human adaptability relies crucially on the ability to learn and merge knowledge both from supervised and unsupervised learning: the parents point out few important concepts, but then the children fill in the gaps on their own. This is particularly effective, because supervised learning can never be exhaustive and thus learning autonomously allows to discover invariances and regularities that help to generalize. In this paper we propose to apply a similar approach to the task of object recognition across domains: our model learns the semantic labels in a supervised fashion, and broadens its understanding of the data by learning from self-supervised signals how to solve a jigsaw puzzle on the same images. This secondary task helps the network to learn the concepts of spatial correlation while acting as a regularizer for the classification task. Multiple experiments on the PACS, VLCS, Office-Home and digits datasets confirm our intuition and show that this simple method outperforms previous domain generalization and adaptation solutions. An ablation study further illustrates the inner workings of our approach.

Systems for person re-identification (ReID) can achieve a high accuracy when trained on large fully-labeled image datasets. However, the domain shift typically associated with diverse operational capture conditions (e.g., camera viewpoints and lighting) may translate to a significant decline in performance. This paper focuses on unsupervised domain adaptation (UDA) for video-based ReID - a relevant scenario that is less explored in the literature. In this scenario, the ReID model must adapt to a complex target domain defined by a network of diverse video cameras based on tracklet information. State-of-art methods cluster unlabeled target data, yet domain shifts across target cameras (sub-domains) can lead to poor initialization of clustering methods that propagates noise across epochs, thus preventing the ReID model to accurately associate samples of same identity. In this paper, an UDA method is introduced for video person ReID that leverages knowledge on video tracklets, and on the distribution of frames captured over target cameras to improve the performance of CNN backbones trained using pseudo-labels. Our method relies on an adversarial approach, where a camera-discriminator network is introduced to extract discriminant camera-independent representations, facilitating the subsequent clustering. In addition, a weighted contrastive loss is proposed to leverage the confidence of clusters, and mitigate the risk of incorrect identity associations. Experimental results obtained on three challenging video-based person ReID datasets - PRID2011, iLIDS-VID, and MARS - indicate that our proposed method can outperform related state-of-the-art methods. Our code is available at: \url{https://github.com/dmekhazni/CAWCL-ReID}

在设计多模式系统时，模态选择是一个重要的步骤，尤其是在跨域活动识别的情况下，因为某些模态比其他模式更适合域移动。但是，仅选择具有积极贡献的方式需要系统的方法。我们通过提出一种无监督的模态选择方法（ModSelect）来解决此问题，该方法不需要任何地面真相标签。我们确定多个单峰分类器的预测与它们的嵌入之间的域差异之间的相关性。然后，我们系统地计算模态选择阈值，该阈值仅选择具有较高相关性和低域差异的模态。我们在实验中表明，我们的方法ModSelect仅选择具有积极贡献的模态，并始终提高合成到现实域的适应基准的性能，从而缩小域间隙。

现在，具有成本效益的深度和红外传感器作为常规RGB传感器的替代方案已成为现实，并且在自主导航和遥控传感等域中具有比RGB的优势。因此，建立计算机视觉和深度学习系统以进行深度和红外数据至关重要。但是，仍然缺乏针对这些模式的大型标签数据集。在这种情况下，将知识从源模式（RGB）的良好标记的大型数据集训练的神经网络转移到在目标模式（深度，红外等）上工作的神经网络具有很大价值。出于内存和隐私等原因，可能无法访问源数据，并且知识转移需要仅与源模型一起使用。我们描述了一个有效的解决方案，插座：无源的跨模式知识转移，用于将知识从一个源模式转移到不同目标模式的具有挑战性的任务，而无需访问与任务相关的源数据。该框架使用配对的任务 - IRRELELERVANT数据以及将目标特征的平均值和方差与源模型中存在的批处理统计信息匹配，从而减少了模态差距。我们通过广泛的实验表明，我们的方法明显优于无法解释模式差距的分类任务的现有无源方法。