计算机视觉上的最新进展已经提高了使用神经网络来理解人类姿势的应用的突出性。但是，尽管在最新数据集上的准确性一直在稳步提高，但这些数据集通常无法解决现实世界应用程序中所面临的挑战。这些挑战是与远离镜头的人们，人群中的人们和被遮挡的人打交道。结果，许多现实世界的应用程序已经对没有反映部署中存在的数据的数据进行了培训，从而导致表现不佳。本文介绍了ADG-POSE，这是一种自动生成用于现实世界姿势估计的数据集的方法。可以定制这些数据集以确定人的距离，拥挤和遮挡分布。接受我们方法培训的模型能够在存在这些挑战的情况下执行，而这些挑战在其他数据集中训练的挑战失败。使用ADG置端，基于现实世界骨架的动作识别的端到端精度可在中等距离和遮挡水平的场景上增加20％，并且在其他型号的表现胜过比随机性更好的场景中增加了4倍。

In recent years, we have seen a significant interest in data-driven deep learning approaches for video anomaly detection, where an algorithm must determine if specific frames of a video contain abnormal behaviors. However, video anomaly detection is particularly context-specific, and the availability of representative datasets heavily limits real-world accuracy. Additionally, the metrics currently reported by most state-of-the-art methods often do not reflect how well the model will perform in real-world scenarios. In this article, we present the Charlotte Anomaly Dataset (CHAD). CHAD is a high-resolution, multi-camera anomaly dataset in a commercial parking lot setting. In addition to frame-level anomaly labels, CHAD is the first anomaly dataset to include bounding box, identity, and pose annotations for each actor. This is especially beneficial for skeleton-based anomaly detection, which is useful for its lower computational demand in real-world settings. CHAD is also the first anomaly dataset to contain multiple views of the same scene. With four camera views and over 1.15 million frames, CHAD is the largest fully annotated anomaly detection dataset including person annotations, collected from continuous video streams from stationary cameras for smart video surveillance applications. To demonstrate the efficacy of CHAD for training and evaluation, we benchmark two state-of-the-art skeleton-based anomaly detection algorithms on CHAD and provide comprehensive analysis, including both quantitative results and qualitative examination.

瑜伽是全球广受好评的，广泛推荐的健康生活实践。在执行瑜伽时保持正确的姿势至关重要。在这项工作中，我们采用了从人类姿势估计模型中的转移学习来提取整个人体的136个关键点，以训练一个随机的森林分类器，该分类器用于估算瑜伽室。在内部收集的内部收集的瑜伽视频数据库中评估了结果，该数据库是从4个不同的相机角度记录的51个主题。我们提出了一个三步方案，用于通过对1）看不见的帧，2）看不见的受试者进行测试来评估瑜伽分类器的普遍性。我们认为，对于大多数应用程序，对看不见的主题的验证精度和看不见的摄像头是最重要的。我们经验分析了三个公共数据集，转移学习的优势以及目标泄漏的可能性。我们进一步证明，分类精度在很大程度上取决于所采用的交叉验证方法，并且通常会产生误导。为了促进进一步的研究，我们已公开提供关键点数据集和代码。

Its numerous applications make multi-human 3D pose estimation a remarkably impactful area of research. Nevertheless, assuming a multiple-view system composed of several regular RGB cameras, 3D multi-pose estimation presents several challenges. First of all, each person must be uniquely identified in the different views to separate the 2D information provided by the cameras. Secondly, the 3D pose estimation process from the multi-view 2D information of each person must be robust against noise and potential occlusions in the scenario. In this work, we address these two challenges with the help of deep learning. Specifically, we present a model based on Graph Neural Networks capable of predicting the cross-view correspondence of the people in the scenario along with a Multilayer Perceptron that takes the 2D points to yield the 3D poses of each person. These two models are trained in a self-supervised manner, thus avoiding the need for large datasets with 3D annotations.

Realtime multi-person 2D pose estimation is a key component in enabling machines to have an understanding of people in images and videos. In this work, we present a realtime approach to detect the 2D pose of multiple people in an image. The proposed method uses a nonparametric representation, which we refer to as Part Affinity Fields (PAFs), to learn to associate body parts with individuals in the image. This bottom-up system achieves high accuracy and realtime performance, regardless of the number of people in the image. In previous work, PAFs and body part location estimation were refined simultaneously across training stages. We demonstrate that a PAF-only refinement rather than both PAF and body part location refinement results in a substantial increase in both runtime performance and accuracy. We also present the first combined body and foot keypoint detector, based on an internal annotated foot dataset that we have publicly released. We show that the combined detector not only reduces the inference time compared to running them sequentially, but also maintains the accuracy of each component individually. This work has culminated in the release of OpenPose, the first open-source realtime system for multi-person 2D pose detection, including body, foot, hand, and facial keypoints.

在多人2D姿势估计中，自下而上的方法同时预测了所有人的姿势，与自上而下的方法不同，不依赖于人类的检测。但是，与现有的自上而下方法相比，SOTA自下而上的方法的精度仍然不如较低。这是由于预测的人类姿势是根据不一致的人类边界箱中心进行回归的，并且缺乏人类规范的正常化，从而导致预测的人类姿势被遗漏了不准确和小规模的人。为了推动自下而上的姿势估计的信封，我们首先提出了多尺度训练，以增强网络以通过单尺度测试来处理规模变化，尤其是对于小规模的人。其次，我们介绍了双解剖中心（即头部和身体），在这里我们可以更准确，可靠地预测人类的姿势，尤其是对于小规模的人。此外，现有的自下而上方法采用多尺度测试来以多个额外的前向通行证的价格提高姿势估计的准确性，这削弱了自下而上方法的效率，与自上而下的方法相比，核心强度。相比之下，我们的多尺度训练使该模型能够预测单个前向通行证（即单尺度测试）中的高质量姿势。我们的方法在边界框的精度方面取得了38.4 \％的改进，在边界框上进行了39.1 \％的改进，以对可可的具有挑战性的小规模人群进行对现状（SOTA）的回忆（SOTA）。对于人类姿势AP评估，我们在带有单尺度测试的可可测试-DEV集中实现了新的SOTA（71.0 AP）。我们还在跨数据库评估中在Ochuman数据集上实现了最高的性能（40.3 AP）。

由于其前所未有的优势，在规模，移动，部署和隐蔽观察能力方面，空中平台和成像传感器的快速出现是实现新的空中监测形式。本文从计算机视觉和模式识别的角度来看，全面概述了以人为本的空中监控任务。它旨在为读者提供使用无人机，无人机和其他空中平台的空中监测任务当前状态的深入系统审查和技术分析。感兴趣的主要对象是人类，其中要检测单个或多个受试者，识别，跟踪，重新识别并进行其行为。更具体地，对于这四项任务中的每一个，我们首先讨论与基于地面的设置相比在空中环境中执行这些任务的独特挑战。然后，我们审查和分析公共可用于每项任务的航空数据集，并深入了解航空文学中的方法，并调查他们目前如何应对鸟瞰挑战。我们在讨论缺失差距和开放研究问题的讨论中得出结论，告知未来的研究途径。

我们研究了在紧邻人类机器人相互作用的背景下，最先进的人关键点探测器的性能。在这种情况下的检测是具体的，因为只有手和躯干等身体部位的子集在视野中。特别是（i）我们从近距离图像的角度调查了具有人类姿势注释的现有数据集，并准备并使公开可用的新人（HICP）数据集； （ii）我们在此数据集上进行定量和定性比较人类全身2D关键点检测方法（openpose，mmpose，onphapose，detectron2）； （iii）由于对手指的准确检测对于使用交接的应用至关重要，因此我们评估了介质手工检测器的性能； （iv）我们在头部上带有RGB-D摄像头的人形机器人上部署算法，并在3D Human KeyPoint检测中评估性能。运动捕获系统用作参考。在紧邻近端的最佳性能全身关键点探测器是mmpose和字母，但两者都难以检测手指。因此，我们提出了在单个框架中为人体和手介载体的mmpose或字母组合的组合，提供了最准确，最强大的检测。我们还分析了单个探测器的故障模式 - 例如，图像中人的头部缺失在多大程度上降低了性能。最后，我们在一个场景中演示了框架，其中类人类机器人与人相互作用的人类机器人使用检测到的3D关键点进行全身避免动作。

我们提出Bapose，一种新颖的自下而上的方法，实现了多人姿态估计的最先进结果。我们的最终培训框架利用了解开的多尺度瀑布架构，并将自适应卷曲融合在拥挤的场景中更准确地推断出闭塞的关键点。由BAPOSE中的解开瀑布模块获得的多尺度表示，利用级联架构中进行逐行滤波的效率，同时保持与空间金字塔配置的多尺度视图相当。我们对挑战性的Coco和Crowdose数据集的结果表明，Bapose是多人姿态估计的高效且稳健的框架，实现了最先进的准确性的显着改善。

未来的机场变得越来越复杂，并且随着旅行者数量的增加而拥挤。尽管机场更有可能成为潜在冲突的热点，这可能会导致航班和几个安全问题的严重延误。一种使安全监视更有效地检测冲突的智能算法将在其安全，财务和旅行效率方面为乘客带来许多好处。本文详细介绍了机器学习模型的开发，以对人群中的冲突行为进行分类。 HRNET用于分割图像，然后采用两种方法通过多个分类器对框架中的人的姿势进行分类。其中，发现支持向量机（SVM）达到了最出色的精度为94.37％。该模型不足的地方是反对模棱两可的行为，例如拥抱或失去框架中主题的轨道。如果进行改进以应对大量潜在的乘客，以及针对在机场环境中会出现的进一步歧义行为的培训，则最终的模型具有在机场内部署的潜力。反过来，将提供提高安全监视并提高机场安全的能力。

近年来，人员检测和人类姿势估计已经取得了很大的进步，通过大规模标记的数据集帮助。但是，这些数据集没有保证或分析人类活动，姿势或情境多样性。此外，隐私，法律，安全和道德问题可能会限制收集更多人类数据的能力。一个新兴的替代方案，用于减轻这些问题的一些问题是合成数据。然而，综合数据生成器的创建令人难以置信的具有挑战性，并防止研究人员探索他们的实用性。因此，我们释放了一个以人为本的合成数据发生器PeoplesAnspeople，它包含模拟就绪3D人类资产，参数化照明和相机系统，并生成2D和3D边界框，实例和语义分段，以及Coco姿态标签。使用PeoplesAnspeople，我们使用Detectron2 KeyPoint R-CNN变体进行基准合成数据训练[1]。我们发现，使用合成数据进行预培训网络和对目标现实世界数据的微调（几次传输到Coco-Person Rain的有限子集[2]）导致了60.37 $ 60.37 $的关键点AP（ Coco Test-Dev2017）使用相同的实际数据培训的型号优于同一实际数据（35.80美元的Keypoint AP），并使用Imagenet预先培训（Keypoint AP为57.50美元）。这种自由可用的数据发生器应使其在人用于人工以人为主的计算机视野中的临界领域进行实际转移学习的新兴仿真领域。

自从17世纪以来，理论上就建立了非语言交流的\ Esquote*{Language}的手势。但是，它与视觉艺术的相关性仅偶尔表达。这可能主要是由于传统上必须手工处理的大量数据。但是，随着数字化的稳定进展，越来越多的历史文物被索引并提供给公众，从而需要自动检索具有类似身体星座或姿势的艺术历史图案。由于艺术领域因其风格差异而与现有的人类姿势估计的现实世界数据集有很大不同，因此提出了新的挑战。在本文中，我们提出了一种新颖的方法来估计艺术历史图像中的人类姿势。与以前试图用预训练模型或通过样式转移弥合域间隙的工作相反，我们建议对对象和关键点检测进行半监督学习。此外，我们引入了一个新颖的特定领域艺术数据集，其中包括人物的边界框和关键点注释。与使用预训练模型或样式转移的方法相比，我们的方法取得了明显更好的结果。

在诸如人类姿态估计的关键点估计任务中，尽管具有显着缺点，但基于热线的回归是主要的方法：Heatmaps本质上遭受量化误差，并且需要过多的计算来产生和后处理。有动力寻找更有效的解决方案，我们提出了一种新的热映射无关声点估计方法，其中各个关键点和空间相关的关键点（即，姿势）被建模为基于密集的单级锚的检测框架内的对象。因此，我们将我们的方法Kapao（发音为“KA-Pow！”）对于关键点并作为对象构成。我们通过同时检测人姿势对象和关键点对象并融合检测来利用两个对象表示的强度来将Kapao应用于单阶段多人人类姿势估算问题。在实验中，我们观察到Kapao明显比以前的方法更快，更准确，这极大地来自热爱处理后处理。此外，在不使用测试时间增强时，精度速度折衷特别有利。我们的大型型号Kapao-L在Microsoft Coco Keypoints验证集上实现了70.6的AP，而无需测试时增强，其比下一个最佳单级模型更准确，4.0 AP更准确。此外，Kapao在重闭塞的存在下擅长。在繁荣试验套上，Kapao-L为一个单级方法实现新的最先进的准确性，AP为68.9。

通过流行和通用的计算机视觉挑战来判断，如想象成或帕斯卡VOC，神经网络已经证明是在识别任务中特别准确。然而，最先进的准确性通常以高计算价格出现，需要硬件加速来实现实时性能，而使用案例（例如智能城市）需要实时分析固定摄像机的图像。由于网络带宽的数量，这些流将生成，我们不能依赖于卸载计算到集中云。因此，预期分布式边缘云将在本地处理图像。但是，边缘是由性质资源约束的，这给了可以执行的计算复杂性限制。然而，需要边缘与准确的实时视频分析之间的会面点。专用轻量级型号在每相机基础上可能有所帮助，但由于相机的数量增长，除非该过程是自动的，否则它很快就会变得不可行。在本文中，我们展示并评估COVA（上下文优化的视频分析），这是一个框架，可以帮助在边缘相机中自动专用模型专业化。 COVA通过专业化自动提高轻质模型的准确性。此外，我们讨论和审查过程中涉及的每个步骤，以了解每个人所带来的不同权衡。此外，我们展示了静态相机的唯一假设如何使我们能够制定一系列考虑因素，这大大简化了问题的范围。最后，实验表明，最先进的模型，即能够概括到看不见的环境，可以有效地用作教师以以恒定的计算成本提高较小网络的教师，提高精度。结果表明，我们的COVA可以平均提高预先训练的型号的准确性，平均为21％。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

闭塞对单眼多人3D人体姿势估计构成了极大的威胁，这是由于封闭器的形状，外观和位置方面的差异很大。尽管现有的方法试图用姿势先验/约束，数据增强或隐性推理处理遮挡，但它们仍然无法概括地看不见姿势或遮挡案例，并且在出现多人时可能会犯大错误。受到人类从可见线索推断关节的显着能力的启发，我们开发了一种方法来显式建模该过程，该过程可以显着改善有或没有遮挡的情况下，可以显着改善自下而上的多人姿势估计。首先，我们将任务分为两个子任务：可见的关键点检测和遮挡的关键点推理，并提出了深入监督的编码器蒸馏（DSED）网络以求解第二个网络。为了训练我们的模型，我们提出了一种骨骼引导的人形拟合（SSF）方法，以在现有数据集上生成伪遮挡标签，从而实现明确的遮挡推理。实验表明，从遮挡中明确学习可以改善人类姿势估计。此外，利用可见关节的特征级信息使我们可以更准确地推理遮挡关节。我们的方法的表现优于几个基准的最新自上而下和自下而上的方法。

3D models provide a common ground for different representations of human bodies. In turn, robust 2D estimation has proven to be a powerful tool to obtain 3D fits "in-thewild". However, depending on the level of detail, it can be hard to impossible to acquire labeled data for training 2D estimators on large scale. We propose a hybrid approach to this problem: with an extended version of the recently introduced SMPLify method, we obtain high quality 3D body model fits for multiple human pose datasets. Human annotators solely sort good and bad fits. This procedure leads to an initial dataset, UP-3D, with rich annotations. With a comprehensive set of experiments, we show how this data can be used to train discriminative models that produce results with an unprecedented level of detail: our models predict 31 segments and 91 landmark locations on the body. Using the 91 landmark pose estimator, we present state-ofthe art results for 3D human pose and shape estimation using an order of magnitude less training data and without assumptions about gender or pose in the fitting procedure. We show that UP-3D can be enhanced with these improved fits to grow in quantity and quality, which makes the system deployable on large scale. The data, code and models are available for research purposes.* This work was performed while J. Romero and F. Bogo were with the MPI-IS 2 ; P. V. Gehler with the BCCN 1 and MPI-IS 2 .

我们提出了一条多阶段管道，用于简单的手势识别。我们方法的新颖性是不同技术的关联，截至目前，第一个实时系统可以共同提取骨骼并在胡椒机器人上识别手势。为此，Pepper用嵌入式GPU进行了增强，用于运行Deep CNN和鱼眼相机，以捕捉整个场景的互动。我们在本文中表明，实际场景具有挑战性，而最先进的方法几乎不涉及未知的人类手势。我们在这里提出一种处理此类案件的方法。

动物姿势估计和跟踪（APT）是从一系列视频帧中检测和跟踪动物关键的基本任务。以前与动物有关的数据集专注于动物跟踪或单帧动物姿势估计，而从未在这两个方面上进行。缺乏APT数据集​​阻碍了基于视频的动物姿势估计和跟踪方法的开发和评估，限制了现实世界中的应用，例如了解野生动物保护中的动物行为。为了填补这一空白，我们迈出了第一步，并提出了APT-36K，即第一个用于动物姿势估计和跟踪的大规模基准。具体而言，APT-36K由2,400个视频剪辑组成，并从30种动物物种中收集并过滤，每个视频为15帧，总共产生36,000帧。在手动注释和仔细的双重检查之后，为所有动物实例提供了高质量的关键点和跟踪注释。基于APT-36K，我们在以下三个曲目上基准了几个代表性模型：（1）在内部和域间传输学习设置下，在单个框架上进行监督的动物姿势估计，（2）未见的种间域域内概括测试动物，（3）动物跟踪的动物姿势估计。根据实验结果，我们获得了一些经验见解，并表明APT-36K提供了有价值的动物姿势估计和跟踪基准，为未来的研究提供了新的挑战和机会。该代码和数据集将在https://github.com/pandorgan/apt-36k上公​​开提供。

本文提出了一个统一的框架到（i）找到球，（ii）预测姿势，（iii）在团队体育场景中分段播放器的实例掩码。这些问题对自动体育分析，生产和广播有高兴趣。常见做法是通过利用通用最先进的模型，例如Panoptic-Deeblab来单独解决每个问题，用于玩家分割。除了从单任务模型的乘法乘以增加的复杂性之外，由于团队体育场景的复杂性和特异性，使用现成的架子模型也会阻碍性能，如强大的遮挡和运动模糊。为了规避这些限制，我们的论文提出培训一种单一的模型，它通过组合零件强度场和空间嵌入原理来预测球和玩家掩模和姿势。部件强度场提供球和播放器位置，以及播放器接头位置。然后利用空间嵌入来将播放器实例像素联系到其各自的播放器中心，而且还将播放器接头分组成骷髅。我们展示了拟议模型在DeepSport篮球数据集上的有效性，为单独解决每个单独任务的SOA模型实现了可比性的性能。