随着服务机器人和监控摄像头的出现，近年来野外的动态面部识别（DFR）受到了很多关注。面部检测和头部姿势估计是DFR的两个重要步骤。经常，在面部检测后估计姿势。然而，这种顺序计算导致更高的延迟。在本文中，我们提出了一种低延迟和轻量级网络，用于同时脸部检测，地标定位和头部姿势估计。灵感来自观察，以大角度定位面部的面部地标更具挑战性，提出了一个姿势损失来限制学习。此外，我们还提出了不确定性的多任务损失，以便自动学习各个任务的权重。另一个挑战是，机器人通常使用武器基的计算核心等低计算单元，我们经常需要使用轻量级网络而不是沉重的网络，这导致性能下降，特别是对于小型和硬面。在本文中，我们提出了在线反馈采样来增加不同尺度的培训样本，这会自动增加培训数据的多样性。通过验证常用的更广泛的脸，AFLW和AFLW2000数据集，结果表明，该方法在低计算资源中实现了最先进的性能。代码和数据将在https://github.com/lyp-deeplearning/mos-multi-task-face-detect上使用。

Though tremendous strides have been made in uncontrolled face detection, accurate and efficient 2D face alignment and 3D face reconstruction in-the-wild remain an open challenge. In this paper, we present a novel singleshot, multi-level face localisation method, named Reti-naFace, which unifies face box prediction, 2D facial landmark localisation and 3D vertices regression under one common target: point regression on the image plane. To fill the data gap, we manually annotated five facial landmarks on the WIDER FACE dataset and employed a semiautomatic annotation pipeline to generate 3D vertices for face images from the WIDER FACE, AFLW and FDDB datasets. Based on extra annotations, we propose a mutually beneficial regression target for 3D face reconstruction, that is predicting 3D vertices projected on the image plane constrained by a common 3D topology. The proposed 3D face reconstruction branch can be easily incorporated, without any optimisation difficulty, in parallel with the existing box and 2D landmark regression branches during joint training. Extensive experimental results show that Reti-naFace can simultaneously achieve stable face detection, accurate 2D face alignment and robust 3D face reconstruction while being efficient through single-shot inference.

近年来使用卷积神经网络对近年来的脸部检测进行了巨大进展。虽然许多面部探测器使用指定用于检测面的设计，但我们将面部检测视为通用对象检测任务。我们基于YOLOV5对象检测器实现了面部探测器，并调用它YOLO5FACE。我们对YOLOV5进行了一些关键修改，并优化了面部检测。这些修改包括在SPP中使用较小尺寸内核在骨干内使用杆块添加五点地标回归头，并在平移块中添加P6输出。我们从超大型模型设计不同型号大小的探测器，以实现对嵌入或移动设备的实时检测的超小型模型的最佳性能。实验结果在viderface数据集上显示，在VGA图像上，我们的脸部探测器可以在几乎所有简单，介质和硬的子集中实现最先进的性能，超过更复杂的指定面检测器。代码可用于\ url {https://github.com/deepcam-cn/yolov5-face}

现代卷积神经网络（CNN）的面部探测器由于大量注释的数据集而取得了巨大的进步。但是，以高检测置信度未对准结果，但定位精度较低，限制了检测性能的进一步改善。在本文中，作者首先预测了训练集本身的高置信度检测结果。令人惊讶的是，其中相当一部分存在于同一未对准问题中。然后，作者仔细检查了这些案例，并指出注释未对准是主要原因。后来，对预测和注释的边界盒之间的替代合理性进行了全面讨论。最后，作者提出了一种新颖的边界盒深校准（BDC）方法，以通过模型预测的边界盒合理地替换未对准的注释，并为训练集提供校准的注释。在多个检测器和两个流行的基准数据集上进行了广泛的实验，显示了BDC对提高模型的精度和召回率的有效性，而无需添加额外的推理时间和记忆消耗。我们简单有效的方法为改善面部检测提供了一种一般策略，尤其是在实时情况下轻巧检测器的一般策略。

面部检测是为了在图像中搜索面部的所有可能区域，并且如果有任何情况，则定位面部。包括面部识别，面部表情识别，面部跟踪和头部姿势估计的许多应用假设面部的位置和尺寸在图像中是已知的。近几十年来，研究人员从Viola-Jones脸上检测器创造了许多典型和有效的面部探测器到当前的基于CNN的CNN。然而，随着图像和视频的巨大增加，具有面部刻度的变化，外观，表达，遮挡和姿势，传统的面部探测器被挑战来检测野外面孔的各种“脸部。深度学习技术的出现带来了非凡的检测突破，以及计算的价格相当大的价格。本文介绍了代表性的深度学习的方法，并在准确性和效率方面提出了深度和全面的分析。我们进一步比较并讨论了流行的并挑战数据集及其评估指标。进行了几种成功的基于深度学习的面部探测器的全面比较，以使用两个度量来揭示其效率：拖鞋和延迟。本文可以指导为不同应用选择合适的面部探测器，也可以开发更高效和准确的探测器。

面姿势估计是指通过单个RGB图像预测面部取向的任务。这是一个重要的研究主题，在计算机视觉中具有广泛的应用。最近已经提出了基于标签的分布学习（LDL）方法进行面部姿势估计，从而实现了有希望的结果。但是，现有的LDL方法有两个主要问题。首先，标签分布的期望是偏见的，导致姿势估计。其次，将固定的分布参数用于所有学习样本，严重限制了模型能力。在本文中，我们提出了一种各向异性球形高斯（ASG）的LDL方法进行面部姿势估计。特别是，我们的方法在单位球体上采用了球形高斯分布，该分布不断产生公正的期望。同时，我们引入了一个新的损失功能，该功能使网络可以灵活地学习每个学习样本的分布参数。广泛的实验结果表明，我们的方法在AFLW2000和BIWI数据集上设置了新的最新记录。

随着人类生活中的许多实际应用，包括制造监控摄像机，分析和加工客户行为，许多研究人员都注明了对数字图像的面部检测和头部姿势估计。大量提出的深度学习模型具有最先进的准确性，如YOLO，SSD，MTCNN，解决了面部检测或HOPENET的问题，FSA-NET，用于头部姿势估计问题的速度。根据许多最先进的方法，该任务的管道由两部分组成，从面部检测到头部姿势估计。这两个步骤完全独立，不共享信息。这使得模型在设置中清除但不利用每个模型中提取的大部分特色资源。在本文中，我们提出了多任务净模型，具有利用从面部检测模型提取的特征的动机，将它们与头部姿势估计分支共享以提高精度。此外，随着各种数据，表示面部的欧拉角域大，我们的模型可以预测360欧拉角域的结果。应用多任务学习方法，多任务净模型可以同时预测人头的位置和方向。为了提高预测模型的头部方向的能力，我们将人脸从欧拉角呈现到旋转矩阵的载体。

本文调查了2D全身人类姿势估计的任务，该任务旨在将整个人体（包括身体，脚，脸部和手）局部定位在整个人体上。我们提出了一种称为Zoomnet的单网络方法，以考虑到完整人体的层次结构，并解决不同身体部位的规模变化。我们进一步提出了一个称为Zoomnas的神经体系结构搜索框架，以促进全身姿势估计的准确性和效率。Zoomnas共同搜索模型体系结构和不同子模块之间的连接，并自动为搜索的子模块分配计算复杂性。为了训练和评估Zoomnas，我们介绍了第一个大型2D人类全身数据集，即可可叶全体V1.0，它注释了133个用于野外图像的关键点。广泛的实验证明了Zoomnas的有效性和可可叶v1.0的重要性。

物体检测通常需要在现代深度学习方法中基于传统或锚盒的滑动窗口分类器。但是，这些方法中的任何一个都需要框中的繁琐配置。在本文中，我们提供了一种新的透视图，其中检测对象被激励为高电平语义特征检测任务。与边缘，角落，斑点和其他特征探测器一样，所提出的探测器扫描到全部图像的特征点，卷积自然适合该特征点。但是，与这些传统的低级功能不同，所提出的探测器用于更高级别的抽象，即我们正在寻找有物体的中心点，而现代深层模型已经能够具有如此高级别的语义抽象。除了Blob检测之外，我们还预测了中心点的尺度，这也是直接的卷积。因此，在本文中，通过卷积简化了行人和面部检测作为直接的中心和规模预测任务。这样，所提出的方法享有一个无盒设置。虽然结构简单，但它对几个具有挑战性的基准呈现竞争准确性，包括行人检测和面部检测。此外，执行交叉数据集评估，证明所提出的方法的卓越泛化能力。可以访问代码和模型（https://github.com/liuwei16/csp和https://github.com/hasanirtiza/pedestron）。

Due to object detection's close relationship with video analysis and image understanding, it has attracted much research attention in recent years. Traditional object detection methods are built on handcrafted features and shallow trainable architectures. Their performance easily stagnates by constructing complex ensembles which combine multiple low-level image features with high-level context from object detectors and scene classifiers. With the rapid development in deep learning, more powerful tools, which are able to learn semantic, high-level, deeper features, are introduced to address the problems existing in traditional architectures. These models behave differently in network architecture, training strategy and optimization function, etc. In this paper, we provide a review on deep learning based object detection frameworks. Our review begins with a brief introduction on the history of deep learning and its representative tool, namely Convolutional Neural Network (CNN). Then we focus on typical generic object detection architectures along with some modifications and useful tricks to improve detection performance further. As distinct specific detection tasks exhibit different characteristics, we also briefly survey several specific tasks, including salient object detection, face detection and pedestrian detection. Experimental analyses are also provided to compare various methods and draw some meaningful conclusions. Finally, several promising directions and tasks are provided to serve as guidelines for future work in both object detection and relevant neural network based learning systems.

In this paper, we present a method for unconstrained end-to-end head pose estimation. We address the problem of ambiguous rotation labels by introducing the rotation matrix formalism for our ground truth data and propose a continuous 6D rotation matrix representation for efficient and robust direct regression. This way, our method can learn the full rotation appearance which is contrary to previous approaches that restrict the pose prediction to a narrow-angle for satisfactory results. In addition, we propose a geodesic distance-based loss to penalize our network with respect to the SO(3) manifold geometry. Experiments on the public AFLW2000 and BIWI datasets demonstrate that our proposed method significantly outperforms other state-of-the-art methods by up to 20\%. We open-source our training and testing code along with our pre-trained models: https://github.com/thohemp/6DRepNet.

近年来，基于深度学习的面部检测算法取得了长足的进步。这些算法通常可以分为两类，即诸如更快的R-CNN和像Yolo这样的单阶段检测器之类的两个阶段检测器。由于准确性和速度之间的平衡更好，因此在许多应用中广泛使用了一阶段探测器。在本文中，我们提出了一个基于一阶段检测器Yolov5的实时面部检测器，名为Yolo-Facev2。我们设计一个称为RFE的接收场增强模块，以增强小面的接受场，并使用NWD损失来弥补IOU对微小物体的位置偏差的敏感性。对于面部阻塞，我们提出了一个名为Seam的注意模块，并引入了排斥损失以解决它。此外，我们使用重量函数幻灯片来解决简单和硬样品之间的不平衡，并使用有效的接收场的信息来设计锚。宽面数据集上的实验结果表明，在所有简单，中和硬子集中都可以找到我们的面部检测器及其变体的表现及其变体。源代码https://github.com/krasjet-yu/yolo-facev2

本文分析了面部检测体系结构的设计选择，以提高计算成本和准确性之间的效率。具体而言，我们重新检查了标准卷积块作为面部检测的轻质骨干结构的有效性。与当前的轻质体系结构设计的趋势（大量利用了可分开的卷积层）不同，我们表明，使用类似的参数大小时，大量通道绕的标准卷积层可以实现更好的准确性和推理速度。关于目标数据域的特征的分析，该观察结果得到了支持。根据我们的观察，我们建议使用高度降低的通道使用Resnet，与其他移动友好网络（例如Mobilenet-V1，-V2，-V3）相比，它具有高度效率。从广泛的实验中，我们表明所提出的主链可以以更快的推理速度替换最先进的面部检测器的主链。此外，我们进一步提出了一种最大化检测性能的新功能聚合方法。我们提出的检测器ERESFD获得了更宽的面部硬子子集的80.4％地图，该图仅需37.7 ms即可在CPU上进行VGA图像推断。代码将在https://github.com/clovaai/eresfd上找到。

2019年冠状病毒为全球社会稳定和公共卫生带来了严重的挑战。遏制流行病的一种有效方法是要求人们在公共场所戴口罩，并通过使用合适的自动探测器来监视戴口罩状态。但是，现有的基于深度学习的模型努力同时达到高精度和实时性能的要求。为了解决这个问题，我们提出了基于Yolov5的改进的轻质面膜探测器，该检测器可以实现精确和速度的良好平衡。首先，提出了将ShuffleNetV2网络与协调注意机制相结合的新型骨干轮弹工具作为骨干。之后，将有效的路径攻击网络BIFPN作为特征融合颈应用。此外，在模型训练阶段，定位损失被α-CIOU取代，以获得更高质量的锚。还利用了一些有价值的策略，例如数据增强，自适应图像缩放和锚点群集操作。 Aizoo面膜数据集的实验结果显示了所提出模型的优越性。与原始的Yolov5相比，提出的模型将推理速度提高28.3％，同时仍将精度提高0.58％。与其他七个现有型号相比，它的最佳平均平均精度为95.2％，比基线高4.4％。

Face detection is one of the most studied topics in the computer vision community. Much of the progresses have been made by the availability of face detection benchmark datasets. We show that there is a gap between current face detection performance and the real world requirements. To facilitate future face detection research, we introduce the WIDER FACE dataset, which is 10 times larger than existing datasets. The dataset contains rich annotations, including occlusions, poses, event categories, and face bounding boxes. Faces in the proposed dataset are extremely challenging due to large variations in scale, pose and occlusion, as shown in Fig. 1. Furthermore, we show that WIDER FACE dataset is an effective training source for face detection. We benchmark several representative detection systems, providing an overview of state-of-the-art performance and propose a solution to deal with large scale variation. Finally, we discuss common failure cases that worth to be further investigated. Dataset can be downloaded at: mmlab.ie.cuhk.edu.hk/projects/WIDERFace

目前全面监督的面部地标检测方法迅速进行，实现了显着性能。然而，当在大型姿势和重闭合的面孔和重闭合时仍然遭受痛苦，以进行不准确的面部形状约束，并且标记的训练样本不足。在本文中，我们提出了一个半监督框架，即自我校准的姿势注意网络（SCPAN），以实现更具挑战性的情景中的更强大和精确的面部地标检测。具体地，建议通过定影边界和地标强度场信息来模拟更有效的面部形状约束的边界意识的地标强度（BALI）字段。此外，设计了一种自我校准的姿势注意力（SCPA）模型，用于提供自学习的目标函数，该功能通过引入自校准机制和姿势注意掩模而无需标签信息而无需标签信息。我们认为，通过将巴厘岛领域和SCPA模型集成到新颖的自我校准的姿势网络中，可以了解更多的面部现有知识，并且我们的面孔方法的检测精度和稳健性得到了改善。获得具有挑战性的基准数据集获得的实验结果表明，我们的方法优于文献中最先进的方法。

在本文中，我们介绍了一种新的方法来估计从一小组头关键点开始的单个图像中的人们的头部姿势。为此目的，我们提出了一种回归模型，其利用2D姿势估计算法自动计算的关键点，并输出由偏航，间距和滚动表示的头部姿势。我们的模型很容易实现和更高效地相对于最先进的最新技术 - 在记忆占用方面的推动和更小的速度更快 - 具有可比的准确性。我们的方法还通过适当设计的损耗功能提供与三个角度相关的异源间不确定性的量度;我们在误差和不确定值之间显示了相关性，因此可以在后续计算步骤中使用这种额外的信息来源。作为示例申请，我们解决了图像中的社交交互分析：我们提出了一种算法，以定量估计人们之间的互动水平，从他们的头部姿势和推理在其相互阵地上。代码可在https://github.com/cantarinigiorgio/hhp-net中获得。

头视点标签的成本是改善细粒度头姿势估计算法的主要障碍。缺乏大量标签的一种解决方案正在使用自我监督的学习（SSL）。 SSL可以从未标记的数据中提取良好的功能，用于下游任务。因此，本文试图显示头部姿势估计的SSL方法之间的差异。通常，使用SSL的两个主要方法：（1）使用它以预先培训权重，（2）在一个训练期间除了监督学习（SL）之外的SSL作为辅助任务。在本文中，我们通过设计混合多任务学习（HMTL）架构并使用两个SSL预先文本任务，旋转和令人困惑来评估两种方法。结果表明，两种方法的组合在其中使用旋转进行预训练和使用令人难以用于辅助头的令人费示。与基线相比，误差率降低了23.1％，这与电流的SOTA方法相当。最后，我们比较了初始权重对HMTL和SL的影响。随后，通过HMTL，使用各种初始权重减少错误：随机，想象成和SSL。

Accurate whole-body multi-person pose estimation and tracking is an important yet challenging topic in computer vision. To capture the subtle actions of humans for complex behavior analysis, whole-body pose estimation including the face, body, hand and foot is essential over conventional body-only pose estimation. In this paper, we present AlphaPose, a system that can perform accurate whole-body pose estimation and tracking jointly while running in realtime. To this end, we propose several new techniques: Symmetric Integral Keypoint Regression (SIKR) for fast and fine localization, Parametric Pose Non-Maximum-Suppression (P-NMS) for eliminating redundant human detections and Pose Aware Identity Embedding for jointly pose estimation and tracking. During training, we resort to Part-Guided Proposal Generator (PGPG) and multi-domain knowledge distillation to further improve the accuracy. Our method is able to localize whole-body keypoints accurately and tracks humans simultaneously given inaccurate bounding boxes and redundant detections. We show a significant improvement over current state-of-the-art methods in both speed and accuracy on COCO-wholebody, COCO, PoseTrack, and our proposed Halpe-FullBody pose estimation dataset. Our model, source codes and dataset are made publicly available at https://github.com/MVIG-SJTU/AlphaPose.