当前的非刚性对象键点检测器在所选种类和身体部位上表现良好，需要大量标记的关键点进行培训。此外，它们针对特定身体部位定制的热手容不能识别在看不见的物种上识别新型关键点（未标记的关键点）。我们提出了一个有趣但具有挑战性的问题：如何检测基地（注释为培训）和未经看法的小型关键点给出一些注释样品？因此，我们提出了一个多功能的少量关键点检测（FSKD）管道，其可以检测不同种类的不同数量的关键点。我们的FSKD提供了预测关键点的不确定性估算。具体而言，FSKD涉及主要和辅助关键点表示学习，相似性学习和具有不确定性建模的关键点本地化以解决本地化噪声。此外，我们通过多变量高斯分布通过多变量高斯分布模拟关键点组的不确定性，以利用相邻关键点之间的隐式相关性。我们展示了我们的FSKD对（i）外文物种的新型关键点检测的有效性，（ii）少量拍摄的细粒度视觉识别（FGVR）和（III）语义对准（SA）下游任务。对于FGVR，检测到的关键点提高了分类准确性。对于SA，我们展示了一种新颖的薄板样条翘曲，它在不完美的关键点反应情况下使用估计的关键点不确定性。

2D姿势估计的现有作品主要集中在某个类别上，例如人，动物和车辆。但是，有许多应用程序方案需要检测看不见的对象类的姿势/关键点。在本文中，我们介绍了类别不稳定姿势估计（CAPE）的任务，该任务旨在创建一个姿势估计模型，能够检测仅给出一些具有关键点定义的样本的任何类别对象的姿势。为了实现这一目标，我们将姿势估计问题作为关键点匹配问题制定，并设计一个新颖的Cape框架，称为姿势匹配网络（POMNET）。提出了基于变压器的关键点交互模块（KIM），以捕获不同关键点之间的交互以及支持图像和查询图像之间的关系。我们还介绍了多类姿势（MP-100）数据集，该数据集是包含20K实例的100个对象类别的2D姿势数据集，并且经过精心设计用于开发CAPE算法。实验表明，我们的方法的表现优于其他基线方法。代码和数据可在https://github.com/luminxu/pose-for-venthing上找到。

少量学习是一个基本和挑战性的问题，因为它需要识别只有几个例子的新型类别。识别对象具有多个变体，可以定位图像中的任何位置。直接将查询图像与示例图像进行比较无法处理内容未对准。比较的表示和度量是至关重要的，但由于在几次拍摄学习中的样本的稀缺和广泛变化而挑战。在本文中，我们提出了一种新颖的语义对齐模型来比较关系，这是对内容未对准的强大。我们建议为现有的几次射门学习框架添加两个关键成分，以获得更好的特征和度量学习能力。首先，我们介绍了语义对齐损失，以对准属于同一类别的样本的功能的关系统计。其次，引入了本地和全局互动信息，允许在图像中的结构位置包含本地一致和类别共享信息的表示。第三，我们通过考虑每个流的同性恋的不确定性来介绍一个原则的方法来称量多重损失功能。我们对几个几次拍摄的学习数据集进行了广泛的实验。实验结果表明，该方法能够比较与语义对准策略的关系，实现最先进的性能。

我们通过无监督学习的角度探索语义对应估计。我们使用标准化的评估协议彻底评估了最近提出的几种跨多个挑战数据集的无监督方法，在该协议中，我们会改变诸如骨干架构，预训练策略以及预训练和填充数据集等因素。为了更好地了解这些方法的故障模式，并为了提供更清晰的改进途径，我们提供了一个新的诊断框架以及一个新的性能指标，该指标更适合于语义匹配任务。最后，我们引入了一种新的无监督的对应方法，该方法利用了预训练的功能的强度，同时鼓励在训练过程中进行更好的比赛。与当前的最新方法相比，这会导致匹配性能明显更好。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.

传统的细颗粒图像分类通常依赖于带注释的地面真相的大规模训练样本。但是，某些子类别在实际应用中可能几乎没有可用的样本。在本文中，我们建议使用多频邻域（MFN）和双交叉调制（DCM）提出一个新颖的几弹性细颗粒图像分类网络（FICNET）。采用模块MFN来捕获空间域和频域中的信息。然后，提取自相似性和多频成分以产生多频结构表示。 DCM使用分别考虑全球环境信息和类别之间的微妙关系来调节嵌入过程。针对两个少量任务的三个细粒基准数据集进行的综合实验验证了FICNET与最先进的方法相比具有出色的性能。特别是，在两个数据集“ Caltech-UCSD鸟”和“ Stanford Cars”上进行的实验分别可以获得分类精度93.17 \％和95.36 \％。它们甚至高于一般的细粒图像分类方法可以实现的。

尽管提取了通过手工制作和基于学习的描述符实现的本地特征的进步，但它们仍然受到不符合非刚性转换的不变性的限制。在本文中，我们提出了一种计算来自静止图像的特征的新方法，该特征对于非刚性变形稳健，以避免匹配可变形表面和物体的问题。我们的变形感知当地描述符，命名优惠，利用极性采样和空间变压器翘曲，以提供旋转，尺度和图像变形的不变性。我们通过将等距非刚性变形应用于模拟环境中的对象作为指导来提供高度辨别的本地特征来培训模型架构端到端。该实验表明，我们的方法优于静止图像中的实际和现实合成可变形对象的不同数据集中的最先进的手工制作，基于学习的图像和RGB-D描述符。描述符的源代码和培训模型在https://www.verlab.dcc.ufmg.br/descriptors/neUrips2021上公开可用。

最近，动物姿势估计引起了关注动物行为理解的学术界（例如野生动植物和保护生物学）的兴趣。但是，目前的动物姿势估计遭受了小数据集和较大的数据差异，因此很难获得稳健的性能。为了解决这个问题，我们建议可以利用语言模型学到的与姿势相关语义之间的关系的丰富知识来改善动物姿势估计。因此，在这项研究中，我们介绍了一个新颖的促进框架，以有效地采用语言模型，以更好地根据及时训练来理解动物姿势。在Promptpose中，我们建议将语言知识适应视觉动物的姿势是实现有效动物姿势估计的关键。为此，我们首先介绍文本提示，以在文本语义描述和支持动物关键点功能之间建立连接。此外，我们进一步设计了一个像素级的对比损失，以在文本描述和本地图像特征之间建立密集的联系，以及语义级别的对比损失，以弥合语言图像跨模式预训练的全球对比度之间的差距密集预测中的局部对比。在实践中，Pickerpose在改善动物姿势估计方面显示出巨大的好处。通过进行广泛的实验，我们表明，我们的及时疾病在监督和少量设置下取得了卓越的性能，超过了代表性的方法。源代码和模型将公开可用。

我们的目标是从单个图像中恢复3D形状和姿势。这是一项艰巨的任务，因为狗表现出各种形状和外表，并且高度阐明。最近的工作提出了直接从图像中直接带有其他肢体规模参数的Smal动物模型。我们的方法称为BARC（使用分类的品种调查回归），以几种重要方式超越了先前的工作。首先，我们修改SMAL形状空间，以更适合表示狗形。但是，即使具有更好的形状模型，从图像中回归狗形状的问题仍然具有挑战性，因为我们缺少具有3D地面真相的配对图像。为了弥补缺乏配对数据的缺乏，我们制定了利用有关狗品种信息的新损失。特别是，我们利用了同一品种的狗具有相似的身体形状的事实。我们制定了一个新型的品种相似性损失，包括两个部分：一个术语鼓励同一品种的狗形状比不同品种的狗更相似。第二个是品种分类损失，有助于产生可识别的品种特异性形状。通过消融研究，我们发现我们的品种损失显着提高了没有它们的基线的形状精度。我们还通过知觉研究将BARC与WLDO进行定性比较，并发现我们的方法产生的狗更现实。这项工作表明，有关遗传相似性的A-Priori信息可以帮助弥补缺乏3D培训数据。这个概念可能适用于其他动物物种或种类。我们的代码可在https://barc.is.tue.mpg.de/上公开提供。

很少有图像分类是一个具有挑战性的问题，旨在仅基于少量培训图像来达到人类的识别水平。少数图像分类的一种主要解决方案是深度度量学习。这些方法是，通过将看不见的样本根据距离的距离进行分类，可在强大的深神经网络中学到的嵌入空间中看到的样品，可以避免以少数图像分类的少数训练图像过度拟合，并实现了最新的图像表现。在本文中，我们提供了对深度度量学习方法的最新审查，以进行2018年至2022年的少量图像分类，并根据度量学习的三个阶段将它们分为三组，即学习功能嵌入，学习课堂表示和学习距离措施。通过这种分类法，我们确定了他们面临的不同方法和问题的新颖性。我们通过讨论当前的挑战和未来趋势进行了少量图像分类的讨论。

细粒度的图像分析（FGIA）是计算机视觉和模式识别中的长期和基本问题，并为一组多种现实世界应用提供了基础。 FGIA的任务是从属类别分析视觉物体，例如汽车或汽车型号的种类。细粒度分析中固有的小阶级和阶级阶级内变异使其成为一个具有挑战性的问题。利用深度学习的进步，近年来，我们在深入学习动力的FGIA中见证了显着进展。在本文中，我们对这些进展的系统进行了系统的调查，我们试图通过巩固两个基本的细粒度研究领域 - 细粒度的图像识别和细粒度的图像检索来重新定义和扩大FGIA领域。此外，我们还审查了FGIA的其他关键问题，例如公开可用的基准数据集和相关域的特定于应用程序。我们通过突出几个研究方向和开放问题，从社区中突出了几个研究方向和开放问题。

在诸如人类姿态估计的关键点估计任务中，尽管具有显着缺点，但基于热线的回归是主要的方法：Heatmaps本质上遭受量化误差，并且需要过多的计算来产生和后处理。有动力寻找更有效的解决方案，我们提出了一种新的热映射无关声点估计方法，其中各个关键点和空间相关的关键点（即，姿势）被建模为基于密集的单级锚的检测框架内的对象。因此，我们将我们的方法Kapao（发音为“KA-Pow！”）对于关键点并作为对象构成。我们通过同时检测人姿势对象和关键点对象并融合检测来利用两个对象表示的强度来将Kapao应用于单阶段多人人类姿势估算问题。在实验中，我们观察到Kapao明显比以前的方法更快，更准确，这极大地来自热爱处理后处理。此外，在不使用测试时间增强时，精度速度折衷特别有利。我们的大型型号Kapao-L在Microsoft Coco Keypoints验证集上实现了70.6的AP，而无需测试时增强，其比下一个最佳单级模型更准确，4.0 AP更准确。此外，Kapao在重闭塞的存在下擅长。在繁荣试验套上，Kapao-L为一个单级方法实现新的最先进的准确性，AP为68.9。

物体检测通常需要在现代深度学习方法中基于传统或锚盒的滑动窗口分类器。但是，这些方法中的任何一个都需要框中的繁琐配置。在本文中，我们提供了一种新的透视图，其中检测对象被激励为高电平语义特征检测任务。与边缘，角落，斑点和其他特征探测器一样，所提出的探测器扫描到全部图像的特征点，卷积自然适合该特征点。但是，与这些传统的低级功能不同，所提出的探测器用于更高级别的抽象，即我们正在寻找有物体的中心点，而现代深层模型已经能够具有如此高级别的语义抽象。除了Blob检测之外，我们还预测了中心点的尺度，这也是直接的卷积。因此，在本文中，通过卷积简化了行人和面部检测作为直接的中心和规模预测任务。这样，所提出的方法享有一个无盒设置。虽然结构简单，但它对几个具有挑战性的基准呈现竞争准确性，包括行人检测和面部检测。此外，执行交叉数据集评估，证明所提出的方法的卓越泛化能力。可以访问代码和模型（https://github.com/liuwei16/csp和https://github.com/hasanirtiza/pedestron）。

很少有细粒度的分类和人搜索作为独特的任务和文学作品，已经分别对待了它们。但是，仔细观察揭示了重要的相似之处：这两个任务的目标类别只能由特定的对象细节歧视；相关模型应概括为新类别，而在培训期间看不到。我们提出了一个适用于这两个任务的新型统一查询引导网络（QGN）。QGN由一个查询引导的暹罗引文和兴奋子网组成，该子网还重新进行了所有网络层的查询和画廊功能，一个查询实习的区域建议特定于特定于特定的本地化以及查询指导的相似性子网络子网本网络用于公制学习。QGN在最近的一些少数细颗粒数据集上有所改善，在幼崽上的其他技术优于大幅度。QGN还对人搜索Cuhk-Sysu和PRW数据集进行了竞争性执行，我们在其中进行了深入的分析。

对人类姿势和行动的认可对于自治系统与人们顺利互动。然而，相机通常在2D中捕获人类的姿势，作为图像和视频，这在跨越识别任务具有挑战性的观点来具有显着的外观变化。为了解决这个问题，我们探讨了来自2D信息的3D人体姿势中的识别相似性，在现有工作中没有得到很好地研究。在这里，我们提出了一种从2D主体关节键盘学习紧凑型视图 - 不变的嵌入空间的方法，而不明确地预测3D姿势。通过确定性映射难以代表预测和遮挡的2D姿势的输入模糊，因此我们采用了嵌入空间的概率制定。实验结果表明，与3D姿态估计模型相比，我们的嵌入模型在不同相机视图中检索类似的姿势时达到更高的准确性。我们还表明，通过培训简单的时间嵌入模型，我们在姿势序列检索方面取得了卓越的性能，并大大减少了基于堆叠帧的嵌入式的嵌入维度，以实现高效的大规模检索。此外，为了使我们的嵌入能够使用部分可见的输入，我们进一步调查培训期间的不同关键点遮挡增强策略。我们证明这些遮挡增强显着提高了部分2D输入姿势的检索性能。行动识别和视频对齐的结果表明，使用我们的嵌入没有任何额外培训，可以实现相对于每个任务专门培训的其他模型的竞争性能。

在我们的框架中，一个对象由k个不同的零件或单位组成，我们通过推断k零件来解析测试实例，其中每个零件在特征空间中占据着不同的位置，并且该实例在此位置，表现为零件模板的主动子集在所有实例中共享。我们通过比较其活性模板及其零件位置的相对几何形状与所呈现的几个实例的相对几何形状来识别测试实例。我们提出了一种端到端训练方法，以在卷积主链上学习零件模板。为了打击视觉失真，例如方向，姿势和大小，我们学习多尺度模板，以及在测试时间分析和匹配这些量表的实例。我们表明，我们的方法与最先进的方法具有竞争力，并且由于解析也具有解释性。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

我们提出了一种以弱监督方式培训的人类和四足动物的端到端统一3D网格恢复。与最近的工作仅关注单个目标类别，我们的目标是通过单个多任务模型恢复更广泛类的3D网格。然而，没有存在可以直接启用多任务学习的数据集，因为没有人类对象的人类和动物注释，例如，人类图像没有动物姿势注释;因此，我们必须设计一种利用异构数据集的新方法。为了使不稳定的不相交的多任务学习联合培训，我们建议利用人类和动物之间的形态相似性，通过动物锻炼的动机，人类模仿动物的姿势。我们通过语义对应的形态相似性，称为子关键点，其能够联合训练人和动物网格回归分支。此外，我们提出了类敏感的正则化方法，以避免平均形状的偏差，并提高多级别的独特性。我们的方法在各种人类和动物数据集上对最近的Uni-Modal模型进行了有利的，同时更紧凑。

Realtime multi-person 2D pose estimation is a key component in enabling machines to have an understanding of people in images and videos. In this work, we present a realtime approach to detect the 2D pose of multiple people in an image. The proposed method uses a nonparametric representation, which we refer to as Part Affinity Fields (PAFs), to learn to associate body parts with individuals in the image. This bottom-up system achieves high accuracy and realtime performance, regardless of the number of people in the image. In previous work, PAFs and body part location estimation were refined simultaneously across training stages. We demonstrate that a PAF-only refinement rather than both PAF and body part location refinement results in a substantial increase in both runtime performance and accuracy. We also present the first combined body and foot keypoint detector, based on an internal annotated foot dataset that we have publicly released. We show that the combined detector not only reduces the inference time compared to running them sequentially, but also maintains the accuracy of each component individually. This work has culminated in the release of OpenPose, the first open-source realtime system for multi-person 2D pose detection, including body, foot, hand, and facial keypoints.

准确的动物姿势估计是了解动物行为的重要步骤，并且可能有利于许多下游应用，例如野生动物保护。以前的作用仅关注特定动物，同时忽略动物物种的多样性，限制泛化能力。在本文中，我们提出了哺乳动物动物姿势估计的第一个大规模基准的AP-10K，以促进动物姿势估计的研究。 AP-10K由10,015张图像组成，并在分类规模和54种物种之后从23个动物家庭和54种物种，标有标记和检查的高质量Keypoint注释。基于AP-10K，我们在以下三个轨道上基准代表姿态估计模型：（1）监督动物姿势估计的学习，（2）从人类姿势估计到动物姿势估计的跨域转移，和（3） - 看不见的动物的家庭间域概括。实验结果为学习的优越性从精度和泛化能力方面提供了关于从不同的动物物种的学习的优势提供的声音。它开辟了促进动物姿势估计未来研究的新方向。 AP-10K公开提供HTTPS://github.com/alexthebad/ap10k。