随着牛奶厂的畜群大小继续增加，奶牛的自动健康监测是兴趣的。通过分析奶牛的步态，通常检测到乳制品奶牛中普遍存在的健康障碍。可以使用姿势估计模型在视频中追踪牛的步态，因为模型学会自动本地化图像和视频的解剖标志。大多数动物姿势估计模型是静态的，也就是说，视频是通过帧进行处理的帧，并且不使用任何时间信息。在这项工作中，用于动物姿态估计的静态深度学习模型扩展到包括来自过去框架的信息的时间模型。我们比较了静态和时间姿势估计模型的性能。这些数据由来自通过室外通道的30个不同乳制品牛的视频（30 fps）提取的459个三个连续帧。随着农场环境易于闭塞，我们通过向视频添加人工闭塞来测试静态和时间模型的稳健性。实验表明，在非闭塞数据中，静态和时间方法都达到了正确关键点的百分比（PCKH @ 0.2）99％。在遮挡数据上，我们的时间方法优于静态，高达32.9％，表明使用时间数据有利于易于闭塞的环境中的姿势估计，例如乳制品农场。通过在包含未知奶牛的数据（培训集中不存在的奶牛）上测试了时间模型的泛化能力。结果表明，普通PCKH@0.2在已知的奶牛上为93.8％，在未知的奶牛上为87.6％，表明该模型能够概括为新奶牛，并且它们可以很容易地微调到新牛群。最后，我们展示了更难的任务，例如遮挡和未知的奶牛，更深层次的建筑更有益。

狗主人通常能够识别出揭示其狗的主观状态的行为线索，例如疼痛。但是自动识别疼痛状态非常具有挑战性。本文提出了一种基于视频的新型，两流深的神经网络方法，以解决此问题。我们提取和预处理身体关键点，并在视频中计算关键点和RGB表示的功能。我们提出了一种处理自我十分和缺少关键点的方法。我们还提出了一个由兽医专业人员收集的独特基于视频的狗行为数据集，并注释以进行疼痛，并通过建议的方法报告良好的分类结果。这项研究是基于机器学习的狗疼痛状态估计的第一批作品之一。

瑜伽是全球广受好评的，广泛推荐的健康生活实践。在执行瑜伽时保持正确的姿势至关重要。在这项工作中，我们采用了从人类姿势估计模型中的转移学习来提取整个人体的136个关键点，以训练一个随机的森林分类器，该分类器用于估算瑜伽室。在内部收集的内部收集的瑜伽视频数据库中评估了结果，该数据库是从4个不同的相机角度记录的51个主题。我们提出了一个三步方案，用于通过对1）看不见的帧，2）看不见的受试者进行测试来评估瑜伽分类器的普遍性。我们认为，对于大多数应用程序，对看不见的主题的验证精度和看不见的摄像头是最重要的。我们经验分析了三个公共数据集，转移学习的优势以及目标泄漏的可能性。我们进一步证明，分类精度在很大程度上取决于所采用的交叉验证方法，并且通常会产生误导。为了促进进一步的研究，我们已公开提供关键点数据集和代码。

我们提出了一种学习来自未标识的行为视频的代理的姿势和结构的方法。从观察开始，表现代理通常是行为视频中的主要运动来源，我们的方法使用具有几何瓶颈的编码器 - 解码器架构来重建视频帧之间的差异。只要仅关注运动区域，我们的方法直接在输入视频上工作，而无需手动注释，例如关键点或边界框。关于各种代理类型（鼠标，飞，人，水母和树木）的实验展示了我们的方法的一般性，并揭示了我们发现的关键点代表着语义有意义的身体部位，这在关键点回归上实现了最先进的性能在自我监督的方法中。此外，我们发现的关键点可实现可比的性能，以对下游任务的监督关键点，例如行为分类，表明我们的方法可以大大降低模型培训VIS-VIS监督方法的成本。

事件摄像头是一种新兴的生物启发的视觉传感器，每像素亮度不同步地变化。它具有高动态范围，高速响应和低功率预算的明显优势，使其能够在不受控制的环境中最好地捕获本地动作。这激发了我们释放事件摄像机进行人姿势估计的潜力，因为很少探索人类姿势估计。但是，由于新型范式从传统的基于框架的摄像机转变，时间间隔中的事件信号包含非常有限的信息，因为事件摄像机只能捕获移动的身体部位并忽略那些静态的身体部位，从而导致某些部位不完整甚至在时间间隔中消失。本文提出了一种新型的密集连接的复发架构，以解决不完整信息的问题。通过这种经常性的体系结构，我们可以明确地对跨时间步骤的顺序几何一致性进行明确模拟，从而从以前的帧中积累信息以恢复整个人体，从而从事件数据中获得稳定且准确的人类姿势估计。此外，为了更好地评估我们的模型，我们收集了一个基于人类姿势注释的大型多模式事件数据集，该数据集是迄今为止我们所知的最具挑战性的数据集。两个公共数据集和我们自己的数据集的实验结果证明了我们方法的有效性和强度。代码可以在线提供，以促进未来的研究。

In this work, we demonstrate that 3D poses in video can be effectively estimated with a fully convolutional model based on dilated temporal convolutions over 2D keypoints. We also introduce back-projection, a simple and effective semi-supervised training method that leverages unlabeled video data. We start with predicted 2D keypoints for unlabeled video, then estimate 3D poses and finally back-project to the input 2D keypoints. In the supervised setting, our fully-convolutional model outperforms the previous best result from the literature by 6 mm mean per-joint position error on Human3.6M, corresponding to an error reduction of 11%, and the model also shows significant improvements on HumanEva-I. Moreover, experiments with back-projection show that it comfortably outperforms previous state-of-the-art results in semisupervised settings where labeled data is scarce. Code and models are available at https://github.com/ facebookresearch/VideoPose3D

自发运动评估可以预测高风险婴儿的长期发育障碍。为了开发用于后续疾病的自动预测的算法，需要通过婴儿姿势估计的段和关节的高精度定位。训练了四种类型的卷积神经网络，并在新颖的婴儿姿势数据集上进行培训，并从临床国际社会中涵盖了1224个视频的大变化。将网络的本地化性能评估为估计的关键点位置和人类专家注释之间的偏差。还评估了计算效率，以确定神经网络在临床实践中的可行性。表现最佳的神经网络对人类专家注释的帧间扩散具有类似的本地化误差，同时仍然有效地运行。总体而言，我们的研究结果表明，婴儿自发运动的姿势估计有巨大的潜力，支持研究潜冲在早期检测儿童发育疾病的潜在脑损伤的发育障碍，这些脑卒中与人为水平绩效的录像量。

人的步态被认为是一种独特的生物识别标识符，其可以在距离处以覆盖方式获取。但是，在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面，视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性，衣物提示对于人们的认可不可靠。因此，实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中，我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集，该挑战包括1,404人以不受约束的方式行走。基于该数据集，可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明，目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景，我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明，在实际监视情景中识别人的步态是可行的，并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。

内部的姿势估计显示出在医院患者监测，睡眠研究和智能家居等领域的价值。在本文中，我们探讨了借助现有的姿势估计器，从高度模棱两可的压力数据中检测身体姿势的不同策略。我们通过直接使用或通过在两个压力数据集上对其进行重新训练来检查预训练的姿势估计器的性能。我们还利用可学习的预处理域适应步骤探索了其他策略，该步骤将模糊的压力图转换为更接近共同目的姿势估计模块的预期输入空间的表示。因此，我们使用了具有多个尺度的完全卷积网络，以向预训练的姿势估计模块提供压力图的姿势特异性特征。我们对不同方法的完整分析表明，在压力数据上，可学习的预处理模块的组合以及重新训练基于图像的姿势估计器能够克服诸如高度模糊的压力点之类的问题，以实现很高的姿势估计准确性。

Previous video-based human pose estimation methods have shown promising results by leveraging aggregated features of consecutive frames. However, most approaches compromise accuracy to mitigate jitter or do not sufficiently comprehend the temporal aspects of human motion. Furthermore, occlusion increases uncertainty between consecutive frames, which results in unsmooth results. To address these issues, we design an architecture that exploits the keypoint kinematic features with the following components. First, we effectively capture the temporal features by leveraging individual keypoint's velocity and acceleration. Second, the proposed hierarchical transformer encoder aggregates spatio-temporal dependencies and refines the 2D or 3D input pose estimated from existing estimators. Finally, we provide an online cross-supervision between the refined input pose generated from the encoder and the final pose from our decoder to enable joint optimization. We demonstrate comprehensive results and validate the effectiveness of our model in various tasks: 2D pose estimation, 3D pose estimation, body mesh recovery, and sparsely annotated multi-human pose estimation. Our code is available at https://github.com/KyungMinJin/HANet.

Recently developed methods for video analysis, especially models for pose estimation and behavior classification, are transforming behavioral quantification to be more precise, scalable, and reproducible in fields such as neuroscience and ethology. These tools overcome long-standing limitations of manual scoring of video frames and traditional "center of mass" tracking algorithms to enable video analysis at scale. The expansion of open-source tools for video acquisition and analysis has led to new experimental approaches to understand behavior. Here, we review currently available open-source tools for video analysis and discuss how to set up these methods for labs new to video recording. We also discuss best practices for developing and using video analysis methods, including community-wide standards and critical needs for the open sharing of datasets and code, more widespread comparisons of video analysis methods, and better documentation for these methods especially for new users. We encourage broader adoption and continued development of these tools, which have tremendous potential for accelerating scientific progress in understanding the brain and behavior.

本文认为共同解决估计3D人体的高度相关任务，并从RGB图像序列预测未来的3D运动。基于Lie代数姿势表示，提出了一种新的自投影机制，自然保留了人类运动运动学。通过基于编码器 - 解码器拓扑的序列到序列的多任务架构进一步促进了这一点，这使我们能够利用两个任务共享的公共场所。最后，提出了一个全球细化模块来提高框架的性能。我们的方法称为PoMomemet的效力是通过消融测试和人文3.6M和Humaneva-I基准的实证评估，从而获得与最先进的竞争性能。

对人类姿势和行动的认可对于自治系统与人们顺利互动。然而，相机通常在2D中捕获人类的姿势，作为图像和视频，这在跨越识别任务具有挑战性的观点来具有显着的外观变化。为了解决这个问题，我们探讨了来自2D信息的3D人体姿势中的识别相似性，在现有工作中没有得到很好地研究。在这里，我们提出了一种从2D主体关节键盘学习紧凑型视图 - 不变的嵌入空间的方法，而不明确地预测3D姿势。通过确定性映射难以代表预测和遮挡的2D姿势的输入模糊，因此我们采用了嵌入空间的概率制定。实验结果表明，与3D姿态估计模型相比，我们的嵌入模型在不同相机视图中检索类似的姿势时达到更高的准确性。我们还表明，通过培训简单的时间嵌入模型，我们在姿势序列检索方面取得了卓越的性能，并大大减少了基于堆叠帧的嵌入式的嵌入维度，以实现高效的大规模检索。此外，为了使我们的嵌入能够使用部分可见的输入，我们进一步调查培训期间的不同关键点遮挡增强策略。我们证明这些遮挡增强显着提高了部分2D输入姿势的检索性能。行动识别和视频对齐的结果表明，使用我们的嵌入没有任何额外培训，可以实现相对于每个任务专门培训的其他模型的竞争性能。

大多数实时人类姿势估计方法都基于检测接头位置。使用检测到的关节位置，可以计算偏差和肢体的俯仰。然而，由于这种旋转轴仍然不观察，因此不能计算沿着肢体沿着肢体至关重要的曲折，这对于诸如体育分析和计算机动画至关重要。在本文中，我们引入了方向关键点，一种用于估计骨骼关节的全位置和旋转的新方法，仅使用单帧RGB图像。灵感来自Motion-Capture Systems如何使用一组点标记来估计全骨骼旋转，我们的方法使用虚拟标记来生成足够的信息，以便准确地推断使用简单的后处理。旋转预测改善了接头角度最佳报告的平均误差48％，并且在15个骨骼旋转中实现了93％的精度。该方法还通过MPJPE在原理数据集上测量，通过MPJPE测量，该方法还改善了当前的最新结果14％，并概括为野外数据集。

本文提出了一个简单的基线框架，用于基于视频的2D/3D人姿势估计，该估计可以比现有作品实现10倍提高效率，而无需任何性能降级，名为Deciwatch。与当前在视频中估算每个帧的解决方案不同，Deciwatch引入了一个简单而有效的样品探测框架框架，该框架只能通过人类动作的连续性和轻巧的姿势表示，仅观看稀疏采样的框架。具体而言，DeciWatch均匀地示例少于10％的视频帧以进行详细估计，以有效的变压器体系结构来确定估计的2D/3D姿势，然后使用另一个基于变压器的网络准确地恢复其余帧。通过四个数据集的三个基于视频的人姿势估计和身体网格恢复任务的全面实验结果验证了Deciwatch的效率和有效性。代码可在https://github.com/cure-lab/deciwatch上找到。

老年人在日常生活中面临的可能危险之一就是下降。闭塞是基于视觉的秋季检测系统的最大挑战之一，并大大降低了其检测性能。为了解决这个问题，我们合成了专门设计的遮挡视频，用于使用现有数据集训练秋季检测系统。然后，通过定义新的成本功能，我们引入了一个使用遮挡和未封闭式视频的秋季检测模型加权训练的框架，该视频可应用于任何可学习的秋季检测系统。最后，我们同时使用非深度和深层模型来评估所提出的加权训练方法的效果。实验表明，在遮挡条件下，提出的方法可以将分类精度提高36％，而对于深层模型，则可以将分类精度提高36％。此外，结果表明，所提出的训练框架还可以显着提高正常未封闭样品的深网的检测性能。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

We propose a CNN-based approach for 3D human body pose estimation from single RGB images that addresses the issue of limited generalizability of models trained solely on the starkly limited publicly available 3D pose data. Using only the existing 3D pose data and 2D pose data, we show state-of-the-art performance on established benchmarks through transfer of learned features, while also generalizing to in-the-wild scenes. We further introduce a new training set for human body pose estimation from monocular images of real humans that has the ground truth captured with a multi-camera marker-less motion capture system. It complements existing corpora with greater diversity in pose, human appearance, clothing, occlusion, and viewpoints, and enables an increased scope of augmentation. We also contribute a new benchmark that covers outdoor and indoor scenes, and demonstrate that our 3D pose dataset shows better in-the-wild performance than existing annotated data, which is further improved in conjunction with transfer learning from 2D pose data. All in all, we argue that the use of transfer learning of representations in tandem with algorithmic and data contributions is crucial for general 3D body pose estimation.

多代理行为建模旨在了解代理之间发生的交互。我们从行为神经科学，Caltech鼠标社交交互（CALMS21）数据集中提供了一个多代理数据集。我们的数据集由社交交互的轨迹数据组成，从标准居民入侵者测定中自由行为小鼠的视频记录。为了帮助加速行为研究，CALMS21数据集提供基准，以评估三种设置中自动行为分类方法的性能：（1）用于培训由单个注释器的所有注释，（2）用于风格转移以进行学习互动在特定有限培训数据的新行为学习的行为定义和（3）的注释差异。 DataSet由600万个未标记的追踪姿势的交互小鼠组成，以及超过100万帧，具有跟踪的姿势和相应的帧级行为注释。我们的数据集的挑战是能够使用标记和未标记的跟踪数据准确地对行为进行分类，以及能够概括新设置。

在分析人类运动视频时，来自现有姿势估计器的输出抖动是高度不平衡的。大多数帧只遭受轻微的傻瓜，而在那些具有遮挡或图像质量差的框架中发生了重要的困难。这种复杂的姿势通常持续存在于视频中，导致估计结果差和大型抖动的连续帧。现有的基于时间卷积网络，经常性神经网络或低通滤波器的现有姿态平滑解决方案不能处理这种长期抖动问题，而不考虑抖动视频段内的显着和持久的错误。通过上述观察，我们提出了一种新颖的即插即用细化网络，即光滑网络，可以附加到任何现有的姿势估计，以提高其时间平滑度，同时提高其每个帧精度。特别是，SmoothNet是一个简单而有效的数据驱动的全连接网络，具有大的接收领域，有效地减轻了长期抖动与不可靠的估计结果的影响。我们在十二个骨干网络上进行广泛的实验，跨越2D和3D姿势估算，身体恢复和下游任务。我们的结果表明，所提出的光滑网络始终如一地优于现有的解决方案，尤其是具有高误差和长期抖动的夹子。