微小的行动挑战的重点是理解现实监视中的人类活动。基本上，在这种情况下，活动识别有两个主要困难。首先，人类活动通常在远处记录，并以小分辨率出现，没有太多歧视线索。其次，这些活动是自然而然地以一种长尾分发的。很难减轻这种沉重类别失衡的数据偏见。为了解决这些问题，我们在本文中提出了一种全面的识别解决方案。首先，我们训练具有数据平衡的视频骨干，以减轻挑战基准中的过度拟合。其次，我们设计了双分辨率蒸馏框架，可以通过超分辨率知识有效地指导低分辨率的动作识别。最后，我们将模型融合到后处理中，这可以进一步增强长尾类别的每种形式。我们的解决方案在排行榜上排名第一。
translated by 谷歌翻译
在本文中，我们从经验上研究了如何充分利用低分辨率框架以进行有效的视频识别。现有方法主要集中于开发紧凑的网络或减轻视频输入的时间冗余以提高效率，而压缩框架分辨率很少被认为是有希望的解决方案。一个主要问题是低分辨率帧的识别准确性不佳。因此，我们首先分析低分辨率帧上性能降解的根本原因。我们的主要发现是，降级的主要原因不是在下采样过程中的信息丢失，而是网络体系结构和输入量表之间的不匹配。通过知识蒸馏（KD）的成功，我们建议通过跨分辨率KD（RESKD）弥合网络和输入大小之间的差距。我们的工作表明，RESKD是一种简单但有效的方法，可以提高低分辨率帧的识别精度。没有铃铛和哨子，RESKD在四个大规模基准数据集（即ActivityNet，FCVID，Mini-Kinetics，sopeings soseings ossings v2）上，就效率和准确性上的所有竞争方法都大大超过了所有竞争方法。此外，我们广泛地展示了其对最先进的体系结构（即3D-CNN和视频变压器）的有效性，以及对超低分辨率帧的可扩展性。结果表明，RESKD可以作为最先进视频识别的一般推理加速方法。我们的代码将在https://github.com/cvmi-lab/reskd上找到。
translated by 谷歌翻译
分散注意力的驾驶每年会导致数千人死亡，以及如何应用深度学习的方法来防止这些悲剧已成为一个关键问题。在第六AI城市挑战赛的Track3中，研究人员提供了一个具有密集动作注释的高质量视频数据集。由于数据量表和不清楚的动作边界，数据集提出了一个独特的挑战，可以精确地本地化所有不同的动作并对其类别进行分类。在本文中，我们充分利用了视频之间的多视图同步，并进行了强大的多视图实践（MVP）来驱动动作本地化。为了避免过度拟合，我们将Slowfast用动力学-700预训练作为特征提取器进行微调。然后，不同视图的功能将传递给ActionFormer，以生成候选行动建议。为了精确地本地化所有动作，我们设计了精心设计的后处理，包括模型投票，阈值过滤和删除重复。结果表明，我们的MVP对于驱动动作定位是可靠的，在Track3测试集中达到28.49％的F1分数。
translated by 谷歌翻译
随着移动设备的普及，例如智能手机和可穿戴设备，更轻，更快的型号对于应用视频超级分辨率至关重要。但是，大多数以前的轻型模型倾向于集中于减少台式GPU模型推断的范围，这在当前的移动设备中可能不会节能。在本文中，我们提出了极端低功率超级分辨率（ELSR）网络，该网络仅在移动设备中消耗少量的能量。采用预训练和填充方法来提高极小模型的性能。广泛的实验表明，我们的方法在恢复质量和功耗之间取得了良好的平衡。最后，我们在目标总经理Dimenty 9000 PlantForm上，PSNR 27.34 dB和功率为0.09 w/30fps的竞争分数为90.9，在移动AI＆AIM 2022实时视频超级分辨率挑战中排名第一。
translated by 谷歌翻译
本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。
translated by 谷歌翻译
该技术报告介绍了我们在ICCV DeeperAction研讨会上进行零件级动作解析的动力学-TPS轨道的第二名解决方案。2021年。我们的条目主要基于yolof，例如，零件检测，HRNET用于人体姿势估计，以及用于视频级别的CSN行动识别和框架级别的部分状态解析。我们描述了动力学-TPS数据集的技术细节，以及一些实验结果。在比赛中，我们在动力学TPS的测试集上获得了61.37％的地图。
translated by 谷歌翻译
现代神经网络是强大的预测模型。但是，当认识到他们的预测可能是错误的时，他们的表现不佳。例如，对于最常见的激活函数之一，relu及其变体，即使是经过良好校准的模型也会产生不正确但置信度高的预测。在相关的动作识别任务中，大多数当前的分类方法基于剪辑级分类器，这些分类器密集地对给定的视频进行了非重叠，相同尺寸的剪辑并使用聚合函数（通常为平均值）来汇总结果，以达到视频级别预测。尽管这种方法已证明是有效的，但它在识别精度上是最佳的，并且具有较高的计算开销。为了减轻这两个问题，我们提出了信心蒸馏框架，以教导老师对学生抽样的不确定性表示，并将学生和教师模型之间的完整视频预测任务分开。我们对三个动作识别数据集进行了广泛的实验，并证明我们的框架在动作识别精度（最高20％）和计算效率（超过40％）方面取得了重大提高。
translated by 谷歌翻译
在实际应用中，识别网络的性能通常在应用于超分辨率图像时减少。在本文中，我们提出了一种基于特征的识别网络与GaN（FGAN）相结合。我们的网络通过提取从SR图像中识别的更多功能来提高识别准确性。在实验中，我们使用三种不同的超分辨率算法构建三个数据集，我们的网络将识别精度增加超过6％，与Reanet50和DenSenet121相比比较。
translated by 谷歌翻译
知识蒸馏是从重型网络（教师）到小型网络（学生）的有效转移，以提高学生的表现。自我知识蒸馏是知识蒸馏的一种特殊情况，已提出在保持学生表现的同时删除大型教师网络培训过程。本文通过暹罗代表学习介绍了一种新型的自我知识蒸馏方法，该方法最大程度地减少了给定样本的两个不同观点的两个表示矢量之间的差异。我们提出的方法SKD-SRL使用了软标签蒸馏和表示向量的相似性。因此，SKD-SRL可以在同一数据点的各种视图中生成更一致的预测和表示。我们的基准已在各种标准数据集上进行了评估。实验结果表明，与现有的监督学习和知识蒸馏方法相比，SKD-SRL显着提高了准确性。
translated by 谷歌翻译
尽管深度学习已被广泛用于视频分析，例如视频分类和动作检测，但与体育视频的快速移动主题进行密集的动作检测仍然具有挑战性。在这项工作中，我们发布了另一个体育视频数据集$ \ textbf {p $^2 $ a} $ for $ \ usewessline {p} $ \ in $ \ usepline {p} $ ong- $ \ $ \ usepline {a} $ ction ction ction检测，由2,721个视频片段组成，这些视频片段从世界乒乓球锦标赛和奥林匹克运动会的专业乒乓球比赛的广播视频中收集。我们与一批乒乓球专业人士和裁判员合作，以获取出现在数据集中的每个乒乓球动作，并提出两组动作检测问题 - 行动定位和行动识别。我们使用$ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ fextbf {p $^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $ a^2 $^$^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $ a^2 $^2 $ a^2 $^2 $^2 $^2 $^2 $^2 $^2 $ a在各种设置下，这两个问题的$} $。这些模型只能在AR-AN曲线下实现48％的面积，以进行本地化，而识别次数为82％，因为Ping-Pong的动作密集具有快速移动的主题，但广播视频仅为25 fps。结果证实，$ \ textbf {p $^2 $ a} $仍然是一项具有挑战性的任务，可以用作视频中动作检测的基准。
translated by 谷歌翻译
由于其前所未有的优势，在规模，移动，部署和隐蔽观察能力方面，空中平台和成像传感器的快速出现是实现新的空中监测形式。本文从计算机视觉和模式识别的角度来看，全面概述了以人为本的空中监控任务。它旨在为读者提供使用无人机，无人机和其他空中平台的空中监测任务当前状态的深入系统审查和技术分析。感兴趣的主要对象是人类，其中要检测单个或多个受试者，识别，跟踪，重新识别并进行其行为。更具体地，对于这四项任务中的每一个，我们首先讨论与基于地面的设置相比在空中环境中执行这些任务的独特挑战。然后，我们审查和分析公共可用于每项任务的航空数据集，并深入了解航空文学中的方法，并调查他们目前如何应对鸟瞰挑战。我们在讨论缺失差距和开放研究问题的讨论中得出结论，告知未来的研究途径。
translated by 谷歌翻译
我们为视频中的人类活动识别提供了一种学习算法。我们的方法是为无人机视频而设计的，这些视频主要是从包含人类演员以及背景运动的倾斜放置动态摄像机中获得的。通常，人类参与者占据空间分辨率的十分之一。我们的方法同时利用频域表示的好处，信号处理中的经典分析工具以及数据驱动的神经网络。在对视频中的显着静态和动态像素建模之前，我们构建了一个可区分的静态频率掩码，对于动作识别的基本任务至关重要。在启用神经网络之前，我们可以使用这种可区分的掩码，以通过身份损失函数本质地学习分离的特征表示。我们的公式使网络能够固有地计算其层中的分离显着特征。此外，我们提出了一个封装时间相关性和空间内容的成本功能，以对均匀间隔的视频片段中最重要的框架进行采样。我们在UAV人类数据集和NEC无人机数据集上进行了广泛的实验，并证明比最先进的相对改善为5.72％-13.00％，比相应的基线模型进行了14.28％-38.05％。
translated by 谷歌翻译
深度学习的巨大成功主要是由于大规模的网络架构和高质量的培训数据。但是，在具有有限的内存和成像能力的便携式设备上部署最近的深层模型仍然挑战。一些现有的作品通过知识蒸馏进行了压缩模型。不幸的是，这些方法不能处理具有缩小图像质量的图像，例如低分辨率（LR）图像。为此，我们采取了开创性的努力，从高分辨率（HR）图像到达将处理LR图像的紧凑型网络模型中学习的繁重网络模型中蒸馏有用的知识，从而推动了新颖的像素蒸馏的当前知识蒸馏技术。为实现这一目标，我们提出了一名教师助理 - 学生（TAS）框架，将知识蒸馏分解为模型压缩阶段和高分辨率表示转移阶段。通过装备新颖的特点超分辨率（FSR）模块，我们的方法可以学习轻量级网络模型，可以实现与重型教师模型相似的准确性，但参数更少，推理速度和较低分辨率的输入。在三个广泛使用的基准，\即，幼崽200-2011，Pascal VOC 2007和ImageNetsub上的综合实验证明了我们方法的有效性。
translated by 谷歌翻译
建模空间关系对于识别人类行为，尤其是当人类与物体相互作用时，而多个物体随着时间的推移会随着时间的推移而出现多个物体。大多数现有的行动识别模型专注于学习场景的整体视觉线索，而是无视内容的内容细粒度，可以通过学习人对象关系和互动来捕获。在本文中，我们通过利用当地和全球背景的互动来学习人对象关系。因此，我们提出了全球局部相互作用蒸馏网（GLIDN），通过空间和时间通过知识蒸馏来学习人和对象相互作用，以进行细粒度的现场理解。 Glidn将人和对象编码为Graph节点，并通过图注意网络了解本地和全球关系。本地上下文图通过在特定时间步骤中捕获它们的共同发生来了解帧级别的人类和对象之间的关系。全局关系图是基于人类和对象交互的视频级构建的，识别它们在视频序列中的长期关系。更重要的是，我们研究了如何将这些图表的知识如何蒸馏到它们的对应部分，以改善人对象相互作用（Hoi）识别。通过在两个数据集上进行全面的实验，我们评估我们的模型，包括Charades和CAD-120数据集。我们已经实现了比基线和对应方法更好的结果。
translated by 谷歌翻译
To obtain a more comprehensive activity understanding for a crowded scene, in this paper, we propose a new problem of panoramic human activity recognition (PAR), which aims to simultaneous achieve the individual action, social group activity, and global activity recognition. This is a challenging yet practical problem in real-world applications. For this problem, we develop a novel hierarchical graph neural network to progressively represent and model the multi-granularity human activities and mutual social relations for a crowd of people. We further build a benchmark to evaluate the proposed method and other existing related methods. Experimental results verify the rationality of the proposed PAR problem, the effectiveness of our method and the usefulness of the benchmark. We will release the source code and benchmark to the public for promoting the study on this problem.
translated by 谷歌翻译
视频通常将流和连续的视觉数据记录为离散的连续帧。由于存储成本对于高保真度的视频来说是昂贵的，因此大多数存储以相对较低的分辨率和帧速率存储。最新的时空视频超分辨率（STVSR）的工作是开发出来的，以将时间插值和空间超分辨率纳入统一框架。但是，其中大多数仅支持固定的上采样量表，这限制了其灵活性和应用。在这项工作中，我们没有遵循离散表示，我们提出了视频隐式神经表示（videoinr），并显示了其对STVSR的应用。学到的隐式神经表示可以解码为任意空间分辨率和帧速率的视频。我们表明，Videoinr在常见的上采样量表上使用最先进的STVSR方法实现了竞争性能，并且在连续和训练的分布量表上显着优于先前的作品。我们的项目页面位于http://zeyuan-chen.com/videoinr/。
translated by 谷歌翻译
视频自我监督的学习是一项挑战的任务，这需要模型的显着表达力量来利用丰富的空间时间知识，并从大量未标记的视频产生有效的监督信号。但是，现有方法未能提高未标记视频的时间多样性，并以明确的方式忽略精心建模的多尺度时间依赖性。为了克服这些限制，我们利用视频中的多尺度时间依赖性，并提出了一个名为时间对比图学习（TCGL）的新型视频自我监督学习框架，该框架共同模拟了片段间和片段间的时间依赖性用混合图对比学习策略学习的时间表示学习。具体地，首先引入空间 - 时间知识发现（STKD）模块以基于离散余弦变换的频域分析从视频中提取运动增强的空间时间表。为了显式模拟未标记视频的多尺度时间依赖性，我们的TCGL将关于帧和片段命令的先前知识集成到图形结构中，即片段/间隙间时间对比图（TCG）。然后，特定的对比学习模块旨在最大化不同图形视图中节点之间的协议。为了为未标记的视频生成监控信号，我们介绍了一种自适应片段订购预测（ASOP）模块，它利用视频片段之间的关系知识来学习全局上下文表示并自适应地重新校准通道明智的功能。实验结果表明我们的TCGL在大规模行动识别和视频检索基准上的最先进方法中的优势。
translated by 谷歌翻译
Image Super-Resolution (SR) is essential for a wide range of computer vision and image processing tasks. Investigating infrared (IR) image (or thermal images) super-resolution is a continuing concern within the development of deep learning. This survey aims to provide a comprehensive perspective of IR image super-resolution, including its applications, hardware imaging system dilemmas, and taxonomy of image processing methodologies. In addition, the datasets and evaluation metrics in IR image super-resolution tasks are also discussed. Furthermore, the deficiencies in current technologies and possible promising directions for the community to explore are highlighted. To cope with the rapid development in this field, we intend to regularly update the relevant excellent work at \url{https://github.com/yongsongH/Infrared_Image_SR_Survey
translated by 谷歌翻译
最新的深度神经网络模型已在受控的高分辨率面部图像上达到了几乎完美的面部识别精度。但是，当他们使用非常低分辨率的面部图像测试时，它们的性能会大大降低。这在监视系统中尤其重要，在监视系统中，低分辨率探测图像应与高分辨率图库图像匹配。超分辨率技术旨在从低分辨率对应物中产生高分辨率的面部图像。尽管它们能够重建视觉上吸引人的图像，但与身份相关的信息尚未保留。在这里，我们提出了一个具有身份的端到端图像到图像翻译的深度神经网络，该网络能够使其高分辨率的高分辨率面孔超级解决方案，同时保留与身份相关的信息。我们通过训练一个非常深的卷积编码器网络来实现这一目标，并在相应层之间具有对称收缩路径。该网络在多尺度的低分辨率条件下训练了重建和具有身份损失的结合。对我们提出的模型的广泛定量评估表明，它在自然和人工低分辨率的面部数据集甚至看不见的身份方面优于竞争超分辨率和低分辨率的面部识别方法。
translated by 谷歌翻译
In spite of many dataset efforts for human action recognition, current computer vision algorithms are still severely limited in terms of the variability and complexity of the actions that they can recognize. This is in part due to the simplicity of current benchmarks, which mostly focus on simple actions and movements occurring on manually trimmed videos. In this paper we introduce ActivityNet, a new largescale video benchmark for human activity understanding. Our benchmark aims at covering a wide range of complex human activities that are of interest to people in their daily living. In its current version, ActivityNet provides samples from 203 activity classes with an average of 137 untrimmed videos per class and 1.41 activity instances per video, for a total of 849 video hours. We illustrate three scenarios in which ActivityNet can be used to compare algorithms for human activity understanding: untrimmed video classification, trimmed activity classification and activity detection.
translated by 谷歌翻译