在活动识别模型的现实应用应用中，域移动（例如外观变化）是一个关键挑战，范围从辅助机器人和智能家居到智能车辆的驾驶员观察。例如，虽然模拟是一种经济数据收集的绝佳方式，但合成到现实的域转移导致识别日常生活活动（ADL）的精度下降> 60％。我们应对这一挑战，并引入了一个活动域生成框架，该框架从视频培训数据推断出的不同现有活动方式（源域）中创建了新颖的ADL外观（新域）。我们的框架计算人体姿势，人体关节的热图和光流图，并将它们与原始RGB视频一起使用，以了解源域的本质，以生成全新的ADL域。通过最大化现有源外观和生成的新颖外观之间的距离，同时确保通过额外的分类损失保留活动的语义，可以优化该模型。虽然源数据多模态在此设计中是一个重要的概念，但我们的设置不依赖于多传感器设置（即，仅从单个视频中推断出所有源模式。）然后将新创建的活动域集成到训练中。 ADL分类网络，导致模型不太容易受到数据分布的变化的影响。对合成基准的SIMS4Action进行的广泛实验证明了域产生范式对跨域ADL识别的潜力，从而设定了新的最新结果。我们的代码可在https://github.com/zrrrrr1997/syn2real_dg上公开获得

在设计多模式系统时，模态选择是一个重要的步骤，尤其是在跨域活动识别的情况下，因为某些模态比其他模式更适合域移动。但是，仅选择具有积极贡献的方式需要系统的方法。我们通过提出一种无监督的模态选择方法（ModSelect）来解决此问题，该方法不需要任何地面真相标签。我们确定多个单峰分类器的预测与它们的嵌入之间的域差异之间的相关性。然后，我们系统地计算模态选择阈值，该阈值仅选择具有较高相关性和低域差异的模态。我们在实验中表明，我们的方法ModSelect仅选择具有积极贡献的模态，并始终提高合成到现实域的适应基准的性能，从而缩小域间隙。

事件摄像机是新型生物启发传感器，其异步捕获“事件”形式的像素级强度变化。由于它们的传感机制，事件相机几乎没有运动模糊，这是一个非常高的时间分辨率，并且需要比传统的基于帧的相机更小的电力和存储器。这些特性使它们成为一个完美的拟合若干现实世界应用，如在可穿戴设备上的专门动作识别，其中快速相机运动和有限的电力挑战传统视觉传感器。然而，迄今为止，基于事件的愿景的不断增长的愿景领域已经忽略了在此类应用中的活动摄像机的潜力。在本文中，我们表明事件数据是自我监测行动识别的非常有价值的模态。为此，我们介绍了N-EPIC-Kitchens，这是大型史诗厨房数据集的第一个基于事件的相机扩展。在此背景下，我们提出了两种策略：（i）使用传统的视频处理架构（E $ ^ 2 $（GO））和（ii）使用事件数据直接处理事件相机数据（E $ ^ 2 $（GO））和蒸馏光流信息（E $ ^ 2 $（go）mo）。在我们提出的基准测试中，我们表明事件数据为RGB和光流提供了可比性的性能，但在部署时没有任何额外的流量计算，以及相对于RGB的信息高达4％的性能。

设计可以成功部署在日常生活环境中的活动检测系统需要构成现实情况典型挑战的数据集。在本文中，我们介绍了一个新的未修剪日常生存数据集，该数据集具有几个现实世界中的挑战：Toyota Smarthome Untrimmed（TSU）。 TSU包含以自发方式进行的各种活动。数据集包含密集的注释，包括基本的，复合活动和涉及与对象相互作用的活动。我们提供了对数据集所需的现实世界挑战的分析，突出了检测算法的开放问题。我们表明，当前的最新方法无法在TSU数据集上实现令人满意的性能。因此，我们提出了一种新的基线方法，以应对数据集提供的新挑战。此方法利用一种模态（即视线流）生成注意力权重，以指导另一种模态（即RGB）以更好地检测活动边界。这对于检测以高时间差异为特征的活动特别有益。我们表明，我们建议在TSU和另一个受欢迎的挑战数据集Charades上优于最先进方法的方法。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

我们为环境辅助生活（AAL）提出了一种新型的多模式传感器融合方法，该方法利用了使用特权信息（LUPI）学习的优势。我们解决了标准多模式方法的两个主要缺点，有限的面积覆盖率和降低的可靠性。我们的新框架将模幻幻觉的概念与三胞胎学习融合在一起，以训练具有不同模态的模型，以在推理时处理缺失的传感器。我们使用RGB视频和骨骼作为特权模式评估了来自可穿戴加速度计设备的惯性数据的拟议模型，并在UTD-MHAD数据集中表现出平均6.6％的准确性，平均为5.5％，伯克利MHAD MHAD DATASET的准确性为5.5％，在这些数据集上达到新的最新唯一分类精度。我们通过几项消融研究来验证我们的框架。

Human activity recognition (HAR) using drone-mounted cameras has attracted considerable interest from the computer vision research community in recent years. A robust and efficient HAR system has a pivotal role in fields like video surveillance, crowd behavior analysis, sports analysis, and human-computer interaction. What makes it challenging are the complex poses, understanding different viewpoints, and the environmental scenarios where the action is taking place. To address such complexities, in this paper, we propose a novel Sparse Weighted Temporal Attention (SWTA) module to utilize sparsely sampled video frames for obtaining global weighted temporal attention. The proposed SWTA is comprised of two parts. First, temporal segment network that sparsely samples a given set of frames. Second, weighted temporal attention, which incorporates a fusion of attention maps derived from optical flow, with raw RGB images. This is followed by a basenet network, which comprises a convolutional neural network (CNN) module along with fully connected layers that provide us with activity recognition. The SWTA network can be used as a plug-in module to the existing deep CNN architectures, for optimizing them to learn temporal information by eliminating the need for a separate temporal stream. It has been evaluated on three publicly available benchmark datasets, namely Okutama, MOD20, and Drone-Action. The proposed model has received an accuracy of 72.76%, 92.56%, and 78.86% on the respective datasets thereby surpassing the previous state-of-the-art performances by a margin of 25.26%, 18.56%, and 2.94%, respectively.

由于其在保护面部识别系统免于演示攻击（PAS）中的至关重要的作用，因此面部抗散热器（FAS）最近引起了人们的关注。随着越来越现实的PA随着新颖类型的发展，由于其表示能力有限，基于手工特征的传统FAS方法变得不可靠。随着近十年来大规模学术数据集的出现，基于深度学习的FA实现了卓越的性能并占据了这一领域。但是，该领域的现有评论主要集中在手工制作的功能上，这些功能过时，对FAS社区的进步没有任何启发。在本文中，为了刺激未来的研究，我们对基于深度学习的FAS的最新进展进行了首次全面综述。它涵盖了几个新颖且有见地的组成部分：1）除了使用二进制标签的监督（例如，``0'''for pas vs.'1'），我们还通过像素智能监督（例如，伪深度图）调查了最新方法； 2）除了传统的数据内评估外，我们还收集和分析专门为域概括和开放式FAS设计的最新方法； 3）除了商用RGB摄像机外，我们还总结了多模式（例如，深度和红外线）或专门（例如，光场和闪存）传感器下的深度学习应用程序。我们通过强调当前的开放问题并突出潜在的前景来结束这项调查。

将动物行为与大脑活动相关是神经科学的基本目标，具有建立强大的脑机接口的实际应用。但是，个人之间的域间差距是一种重大问题，可以防止对未标记科目工作的一般模型的培训。由于现在可以从无手动干预的多视图视频序列可以可靠地提取3D构成数据，我们建议使用它来指导神经动作表示的编码以及利用显微镜成像的性质的一组神经和行为增强。为了减少域间差距，在培训期间，我们跨越似乎正在执行类似行动的动物交换神经和行为数据。为了证明这一点，我们在三个非常不同的多模式数据集上测试我们的方法;特征是苍蝇和神经活动的一种，其中一个包含人类神经电压（ECOG）数据，最后是来自不同观点的人类活动的RGB视频数据。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

在本报告中，我们描述了我们提交给Epic-Kitchens-100无监督的域适应（UDA）挑战的技术细节。为了应对UDA设置下存在的域移位，我们首先利用了最近的域概括（DG）技术，称为相对规范对准（RNA）。其次，我们将这种方法扩展到无标记的目标数据工作，从而使模型更简单地以无监督的方式适应目标分布。为此，我们将UDA算法包括在内，例如多级对抗对准和专心熵。通过分析挑战设置，我们注意到数据中存在二次并发转移，通常称为环境偏见。它是由存在不同环境（即厨房）引起的。为了处理这两个班次（环境和时间段），我们扩展了系统以执行多源多目标域的适应性。最后，我们在最终提案中采用了不同的模型来利用流行视频体系结构的潜力，并为合奏改编介绍了两次损失。我们的提交（条目“ PLNET”）在排行榜上可见，并在“动词”中排名第二，并且在“名词”和“ Action”中都处于第三位。

学习自我监督的视频表示主要集中在简单数据增强方案中产生的判别实例。然而，学习的表示通常无法通过看不见的相机观点来概括。为此，我们提出了ViewClr，它将自我监督的视频表示不变到相机视点变化。我们介绍了一个视图生成器，可以被视为任何自我监督的预先文本任务的学习增强，以生成视频的潜在视点表示。ViewClr最大化潜像观点表示与原始视点表示的相似性，使学习的视频编码器能够概括未见的相机视点。在跨视图基准数据集的实验，包括NTU RGB + D数据集，显示ViewClr代表了一种最先进的ViewPoint不变自我监控方法。

当前的骨架动作表示方法学习的方法通常集中在受约束的场景上，其中在实验室环境中记录了视频和骨骼数据。在处理现实世界视频中估计的骨骼数据时，由于受试者和摄像机观点之间的差异很大，因此此类方法的性能差。为了解决这个问题，我们通过一种新颖的视图自动编码器介绍了自我监视的骨架动作表示学习。通过Leverage在不同的人类表演者之间进行运动重新定位作为借口任务，以便在2D或3D骨架序列的视觉表示之上删除潜在的动作特异性“运动”特征。这种“运动”功能对于骨架几何和相机视图是不变的，并允许通过辅助，跨视图和跨视图动作分类任务。我们进行了一项研究，重点是针对基于骨架的动作识别的转移学习，并在现实世界数据（例如Posetics）上进行自我监督的预训练。我们的结果表明，从VIA中学到的骨架表示足以提高最新动作分类精度，不仅在3D实验室数据集（例如NTU-RGB+D 60和NTU-RGB+D 120）上，而且还在在仅准确估计2D数据的现实数据集中，例如Toyota Smarthome，UAV-Human和Penn Action。

Deep convolutional networks have achieved great success for visual recognition in still images. However, for action recognition in videos, the advantage over traditional methods is not so evident. This paper aims to discover the principles to design effective ConvNet architectures for action recognition in videos and learn these models given limited training samples. Our first contribution is temporal segment network (TSN), a novel framework for video-based action recognition. which is based on the idea of long-range temporal structure modeling. It combines a sparse temporal sampling strategy and video-level supervision to enable efficient and effective learning using the whole action video. The other contribution is our study on a series of good practices in learning ConvNets on video data with the help of temporal segment network. Our approach obtains the state-the-of-art performance on the datasets of HMDB51 (69.4%) and UCF101 (94.2%). We also visualize the learned ConvNet models, which qualitatively demonstrates the effectiveness of temporal segment network and the proposed good practices. 1

人类相互作用的分析是人类运动分析的一个重要研究主题。它已经使用第一人称视觉（FPV）或第三人称视觉（TPV）进行了研究。但是，到目前为止，两种视野的联合学习几乎没有引起关注。原因之一是缺乏涵盖FPV和TPV的合适数据集。此外，FPV或TPV的现有基准数据集具有多个限制，包括样本数量有限，参与者，交互类别和模态。在这项工作中，我们贡献了一个大规模的人类交互数据集，即FT-HID数据集。 FT-HID包含第一人称和第三人称愿景的成对对齐的样本。该数据集是从109个不同受试者中收集的，并具有三种模式的90K样品。该数据集已通过使用几种现有的动作识别方法验证。此外，我们还引入了一种新型的骨骼序列的多视图交互机制，以及针对第一人称和第三人称视野的联合学习多流框架。两种方法都在FT-HID数据集上产生有希望的结果。可以预期，这一视力一致的大规模数据集的引入将促进FPV和TPV的发展，以及他们用于人类行动分析的联合学习技术。该数据集和代码可在\ href {https://github.com/endlichere/ft-hid} {here} {herefichub.com/endlichere.com/endlichere}中获得。

这项工作侧重于老年人活动认可的任务，这是一个充满挑战的任务，因为在老年活动中的个人行为和人体对象互动存在。因此，我们试图通过专注地融合多模态特征来有效地聚合来自RGB视频和骨架序列的判别信息和与RGB视频和骨架序列的交互。最近，通过利用从挤压和激励网络（Senet）延伸的非线性关注机制来提出一些非线性多模态融合方法。灵感来自于此，我们提出了一种新颖的扩张 - 挤压激励融合网络（ESE-FN），有效地解决了老年活动识别问题，从而了解模态和渠道 - 明智的膨胀 - 挤压（ESE）注意到术语融合模态和通道方面的多模态特征。此外，我们设计了一种新的多模态损耗（ML），以通过在单个模态的最小预测损失与预测损失之间添加差异之间的差异来保持单模特征和融合多模态特征之间的一致性。融合的方式。最后，我们对最大的老年活动数据集进行实验，即ETRI-Activity3D（包括110,000多个视频和50个类别），以证明建议的ESE-FN与状态相比实现了最佳准确性 - 最新方法。此外，更广泛的实验结果表明，所提出的ESE-FN在正常动作识别任务方面也与其他方法相媲美。

Action recognition models have achieved impressive results by incorporating scene-level annotations, such as objects, their relations, 3D structure, and more. However, obtaining annotations of scene structure for videos requires a significant amount of effort to gather and annotate, making these methods expensive to train. In contrast, synthetic datasets generated by graphics engines provide powerful alternatives for generating scene-level annotations across multiple tasks. In this work, we propose an approach to leverage synthetic scene data for improving video understanding. We present a multi-task prompt learning approach for video transformers, where a shared video transformer backbone is enhanced by a small set of specialized parameters for each task. Specifically, we add a set of ``task prompts'', each corresponding to a different task, and let each prompt predict task-related annotations. This design allows the model to capture information shared among synthetic scene tasks as well as information shared between synthetic scene tasks and a real video downstream task throughout the entire network. We refer to this approach as ``Promptonomy'', since the prompts model a task-related structure. We propose the PromptonomyViT model (PViT), a video transformer that incorporates various types of scene-level information from synthetic data using the ``Promptonomy'' approach. PViT shows strong performance improvements on multiple video understanding tasks and datasets.

使用文本，图像，音频，视频等多种方式的多模式深度学习系统，与单独的方式（即单向）系统相比，显示出更好的性能。多式联机学习涉及多个方面：表示，翻译，对齐，融合和共同学习。在当前多式联机学习状态下，假设是在训练和测试时间期间存在，对齐和无噪声。然而，在现实世界的任务中，通常，观察到一个或多个模式丢失，嘈杂，缺乏注释数据，具有不可靠的标签，并且在训练或测试中稀缺，或两者都稀缺。这种挑战是由称为多式联合学习的学习范例解决的。通过使用模态之间的知识传输，包括其表示和预测模型，通过从另一个（资源丰富的）方式利用来自另一（资源丰富的）模型的知识来帮助实现（资源差）模型的建模。共同学习是一个新兴地区，没有专注的评论，明确地关注共同学习所解决的所有挑战。为此，在这项工作中，我们对新兴的多式联合学习领域提供了全面的调查，尚未完整探讨。我们审查实施的实施，以克服一个或多个共同学习挑战，而不明确地将它们视为共同学习挑战。我们基于共同学习和相关实施解决的挑战，展示了多式联合学习的综合分类。用于包括最新的技术与一些应用程序和数据集一起审查。我们的最终目标是讨论挑战和观点以及未来工作的重要思想和方向，我们希望对整个研究界的有益，重点关注这一令人兴奋的领域。

最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点

无监督的视频域适应是一项实用但具有挑战性的任务。在这项工作中，我们第一次从脱离视图中解决了它。我们的关键想法是在适应过程中将与域相关的信息从数据中删除。具体而言，我们考虑从两组潜在因素中生成跨域视频，一个编码静态域相关信息，另一个编码时间和语义相关的信息。然后开发转移顺序的VAE（Transvae）框架以建模这种产生。为了更好地适应适应，我们进一步提出了几个目标，以限制Transvae中的潜在因素。与几种最先进的方法相比，对UCF-HMDB，小丑和Epic-Kitchens数据集进行了广泛的实验验证了Transvae的有效性和优势。代码可在https://github.com/ldkong1205/transvae上公开获取。