深度学习的高级面部识别以实现前所未有的准确性。但是，了解面部的本地部分如何影响整体识别性能仍然不清楚。除其他外，面部掉期已经进行了实验，但只是为了整个脸。在本文中，我们建议交换面部零件，以剥夺不同面部零件（例如眼睛，鼻子和嘴巴）的识别相关性。在我们的方法中，通过拟合3D先验来交换从源面转换为目标的零件，该零件在零件之间建立密集的像素对应关系，同时还要处理姿势差异。然后，无缝克隆用于在映射的源区域和目标面的形状和肤色之间获得平滑的过渡。我们设计了一个实验协议，该协议使我们能够在通过深网进行分类时得出一些初步结论，表明眼睛和眉毛区域的突出性。可在https://github.com/clferrari/facepartsswap上找到代码

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

在本文中，我们分析了面部图像中基本身份的基本3D形状如何扭曲其整体外观，尤其是从深面识别的角度来看。正如在流行的训练数据增强方案中所做的那样，我们以随机选择或最合适的3D面部模型的形式渲染真实和合成的面部图像，以产生基本身份的新视图。我们比较了这些图像产生的深度特征，以评估这些渲染引入原始身份的扰动。我们以各种程度的面部偏航进行了这种分析，基本身份的性别和种族各不相同。此外，我们调查在这些渲染图像中添加某种形式的上下文和背景像素，当用作训练数据时，进一步改善了面部识别模型的下游性能。我们的实验证明了面部形状在准确的面部匹配中的重要性，并基于上下文数据对网络训练的重要性。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

在这项工作中，我们解决了4D面部表情生成的问题。通常，通过对中性3D面动画来达到表达峰，然后回到中立状态来解决这一问题。但是，在现实世界中，人们表现出更复杂的表情，并从一个表达式转换为另一种表达。因此，我们提出了一个新模型，该模型在不同表达式之间产生过渡，并综合了长长的4D表达式。这涉及三个子问题：（i）建模表达式的时间动力学，（ii）它们之间的学习过渡，以及（iii）变形通用网格。我们建议使用一组3D地标的运动编码表达式的时间演变，我们学会通过训练一个具有歧管值的gan（Motion3dgan）来生成。为了允许生成组成的表达式，该模型接受两个编码起始和结尾表达式的标签。网格的最终顺序是由稀疏的2块网格解码器（S2D-DEC）生成的，该解码器将地标位移映射到已知网格拓扑的密集，每位vertex位移。通过明确处理运动轨迹，该模型完全独立于身份。五个公共数据集的广泛实验表明，我们提出的方法在以前的解决方案方面带来了重大改进，同时保留了良好的概括以看不见数据。

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

In modern face recognition, the conventional pipeline consists of four stages: detect ⇒ align ⇒ represent ⇒ classify. We revisit both the alignment step and the representation step by employing explicit 3D face modeling in order to apply a piecewise affine transformation, and derive a face representation from a nine-layer deep neural network. This deep network involves more than 120 million parameters using several locally connected layers without weight sharing, rather than the standard convolutional layers. Thus we trained it on the largest facial dataset to-date, an identity labeled dataset of four million facial images belonging to more than 4,000 identities. The learned representations coupling the accurate model-based alignment with the large facial database generalize remarkably well to faces in unconstrained environments, even with a simple classifier. Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance.

深度学习方法为计算机视觉带来了许多突破，尤其是在2D面部识别中。但是，基于深度学习的3D面部识别的瓶颈是，无论是用于行业还是学术界，都很难收集数百万个面孔。鉴于这种情况，有许多方法可以通过3D面部数据增强从现有的3D面上产生更多的3D面，这些面孔用于训练深3D面部识别模型。但是，据我们所知，没有方法可以从2D面图像中生成3D面，以训练深3D面部识别模型。这封信的重点是重建的3D面部表面在3D面识别中的作用，并提出了一个2D辅助深3D面识别的框架。特别是，我们建议使用基于深度学习的3D面部重建方法（即Expnet）重建大规模2D面部数据库（即VGGFACE2）的数百万个3D面部扫描。然后，我们采用了两阶段的训练方法：在第一阶段，我们使用数百万的面部图像预先培训深卷积神经网络（DCNN），在第二阶段，我们使用了正常的组件图像（NCI）重建3D面扫描以训练DCNN。广泛的实验结果表明，与通过2D Face Images训练的模型相比，所提出的方法可以大大提高FRGC v2.0，Bosphorus和BU-3DFE 3D面部数据库的3D面部识别的排名1得分。最后，我们提出的方法在FRGC v2.0（97.6％），Bosphorus（98.4％）和BU-3DFE（98.8％）数据库中获得了最先进的排名1分。实验结果表明，重建的3D面部表面很有用，我们的2D辅助深3D面部识别框架是有意义的，面对3D面的稀缺性。

3D面部重建是一个具有挑战性的问题，但也是计算机视觉和图形领域的重要任务。最近，许多研究人员对这个问题提请注意，并且已经发表了大量的文章。单个图像重建是3D面部重建的分支之一，在我们的生活中具有大量应用。本文是对从单个图像的3D面部重建最近的文献述评。

媒体报道指责人们对“偏见”'，“”性别歧视“和”种族主义“的人士指责。研究文献中有共识，面部识别准确性为女性较低，妇女通常具有更高的假匹配率和更高的假非匹配率。然而，几乎没有出版的研究，旨在识别女性准确性较低的原因。例如，2019年的面部识别供应商测试将在广泛的算法和数据集中记录较低的女性准确性，并且数据集也列出了“分析原因和效果”在“我们没有做的东西”下''。我们介绍了第一个实验分析，以确定在去以前研究的数据集上对女性的较低人脸识别准确性的主要原因。在测试图像中控制相等的可见面部可见面积减轻了女性的表观更高的假非匹配率。其他分析表明，化妆平衡数据集进一步改善了女性以实现较低的虚假非匹配率。最后，聚类实验表明，两种不同女性的图像本质上比两种不同的男性更相似，潜在地占错误匹配速率的差异。

随着面部生物识别技术的广泛采用，在自动面部识别（FR）应用中区分相同的双胞胎和非双胞胎外观相似的问题变得越来越重要。由于同卵双胞胎和外观相似的面部相似性很高，因此这些面对对面部识别工具表示最困难的病例。这项工作介绍了迄今为止汇编的最大的双胞胎数据集之一，以应对两个挑战：1）确定相同双胞胎和2）的面部相似性的基线度量和2）应用此相似性措施来确定多ppelgangers的影响或外观 - Alikes，关于大面部数据集的FR性能。面部相似性度量是通过深度卷积神经网络确定的。该网络经过量身定制的验证任务进行培训，旨在鼓励网络在嵌入空间中将高度相似的面对对组合在一起，并达到0.9799的测试AUC。所提出的网络为任何两个给定的面提供了定量相似性评分，并已应用于大规模面部数据集以识别相似的面对对。还执行了一个附加分析，该分析还将面部识别工具返回的比较分数以及提议网络返回的相似性分数。

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

在过去的几十年中，已经进行了许多尝试来解决从其相应的低分辨率（LR）对应物中恢复高分辨率（HR）面部形象的问题，这是通常被称为幻觉的任务。尽管通过位置补丁和基于深度学习的方法实现了令人印象深刻的性能，但大多数技术仍然无法恢复面孔的特定特定功能。前一组算法通常在存在更高水平的降解存在下产生模糊和过天气输出，而后者产生的面部有时绝不使得输入图像中的个体类似于个体。在本文中，将引入一种新的面部超分辨率方法，其中幻觉面被迫位于可用训练面跨越的子空间中。因此，与大多数现有面的幻觉技术相比，由于这种面部子空间之前，重建是为了回收特定人的面部特征，而不是仅仅增加图像定量分数。此外，通过最近的3D面部重建领域的进步启发，还呈现了一种有效的3D字典对齐方案，通过该方案，该算法能够处理在不受控制的条件下拍摄的低分辨率面。在几个众所周知的面部数据集上进行的广泛实验中，所提出的算法通过生成详细和接近地面真理结果来显示出色的性能，这在定量和定性评估中通过显着的边距来实现了最先进的面部幻觉算法。

很少有研究重点是研究人们如何识别变形攻击，即使有一些出版物已经检查了自动化FRS的敏感性并提供了变形攻击检测（MAD）方法。 MAD接近他们的决策要么基于单个图像，因此没有参考以比较（S-MAD）或使用参考图像（D-MAD）。一个普遍的误解是，审查员或观察者的面部变体检测能力取决于他们的主题专业知识，经验和对这个问题的熟悉程度，并且没有任何作品报告了定期验证身份（ID）文档的观察者的具体结果。当人类观察者参与检查具有面部图像的ID文件时，其能力的失误可能会面临重大的社会挑战。为了评估观察者的熟练程度，这项工作首先构建了来自48位不同受试者的现实变形攻击的新基准数据库，从而产生了400个变形图像。我们还捕获了从自动边界控制（ABC）门的图像，以模仿D-MAD设置中现实的边界横断场景，并使用400个探针图像研究人类观察者检测变形图像的能力。还生产了一个新的180个变形图像的数据集，以研究S-MAD环境中的人类能力。除了创建一个新的评估平台来进行S-MAD和D-MAD分析外，该研究还雇用了469位D-MAD的观察员，S-MAD的410位观察员和410位观察员，他们主要是来自40多个国家 /地区的政府雇员，以及103个科目谁不是考官。该分析提供了有趣的见解，并突出了缺乏专业知识和未能认识到专家大量变形攻击的缺乏。这项研究的结果旨在帮助制定培训计划，以防止安全失败，同时确定图像是真正的还是改变了图像。

由于其语义上的理解和用户友好的可控性，通过三维引导，通过三维引导的面部图像操纵已广泛应用于各种交互式场景。然而，现有的基于3D形式模型的操作方法不可直接适用于域名面，例如非黑色素化绘画，卡通肖像，甚至是动物，主要是由于构建每个模型的强大困难具体面部域。为了克服这一挑战，据我们所知，我们建议使用人为3DMM操纵任意域名的第一种方法。这是通过两个主要步骤实现的：1）从3DMM参数解开映射到潜在的STYLEGO2的潜在空间嵌入，可确保每个语义属性的解除响应和精确的控制; 2）通过实施一致的潜空间嵌入，桥接域差异并使人类3DMM适用于域外面的人类3DMM。实验和比较展示了我们高质量的语义操作方法在各种面部域中的优越性，所有主要3D面部属性可控姿势，表达，形状，反照镜和照明。此外，我们开发了直观的编辑界面，以支持用户友好的控制和即时反馈。我们的项目页面是https://cassiepython.github.io/cddfm3d/index.html

在本文中，我们解决了神经面部重演的问题，鉴于一对源和目标面部图像，我们需要通过将目标的姿势（定义为头部姿势及其面部表情定义）通过同时保留源的身份特征（例如面部形状，发型等），即使在源头和目标面属于不同身份的挑战性情况下也是如此。在此过程中，我们解决了最先进作品的一些局限在推理期间标记的数据以及c）它们不保留大型头部姿势变化中的身份。更具体地说，我们提出了一个框架，该框架使用未配对的随机生成的面部图像学会通过合并最近引入的样式空间$ \ Mathcal $ \ Mathcal {S} $ of Stylegan2的姿势，以将面部的身份特征从其姿势中解脱出来表现出显着的分解特性。通过利用这一点，我们学会使用3D模型的监督成功地混合了一对源和目标样式代码。随后用于重新制定的最终潜在代码由仅与源的面部姿势相对应的潜在单位和仅与源身份相对应的单位组成，从而显着改善了与最近的状态性能相比的重新制定性能。艺术方法。与艺术的状态相比，我们定量和定性地表明，即使在极端的姿势变化下，提出的方法也会产生更高的质量结果。最后，我们通过首先将它们嵌入预告片发电机的潜在空间来报告实际图像。我们在：https：//github.com/stelabou/stylemask上公开提供代码和预估计的模型

深度卷积神经网络（DCNNS）在面部识别方面已经达到了人类水平的准确性（Phillips等，2018），尽管目前尚不清楚它们如何准确地区分高度相似的面孔。在这里，人类和DCNN执行了包括相同双胞胎在内的具有挑战性的面貌匹配任务。参与者（n = 87）查看了三种类型的面孔图像：同一身份，普通冒名顶替对（来自相似人口组的不同身份）和双胞胎冒名顶替对（相同的双胞胎兄弟姐妹）。任务是确定对是同一个人还是不同的人。身份比较在三个观点区分条件下进行了测试：额叶至额叶，额叶至45度，额叶为90度。在每个观点 - 差异条件下评估了从双胞胎突变器和一般冒险者区分匹配的身份对的准确性。人类对于一般撞击对比双重射手对更准确，准确性下降，一对图像之间的观点差异增加。通过介绍给人类的同一图像对测试了经过训练的面部识别的DCNN（Ranjan等，2018）。机器性能反映了人类准确性的模式，但除了一种条件以外，所有人的性能都处于或尤其是所有人的表现。在所有图像对类型中，比较了人与机器的相似性得分。该项目级别的分析表明，在九种图像对类型中的六种中，人类和机器的相似性等级显着相关[范围r = 0.38至r = 0.63]，这表明人类对面部相似性的感知和DCNN之间的一般协议。这些发现还有助于我们理解DCNN的表现，以区分高度介绍面孔，表明DCNN在人类或以上的水平上表现出色，并暗示了人类和DCNN使用的特征之间的均等程度。

基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。

编辑和操纵视频中的面部特征是一种有趣而重要的研究领域，具有夸张的应用，从电影生产和视觉效果到视频游戏和虚拟助手的现实头像。据我们所知，本文提出了第一种在视频中进行了对面部表情的照相型式操纵的方法。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操纵。我们专注于通过改变和控制面部表情来互动操纵视频，实现有前途的光电温度效果。该方法基于用于3D面部形状和活动的脱屑表示和估计，为用户提供对输入视频中的面部表情的直观且易于使用的控制。我们还介绍了一个用户友好的交互式AI工具，该工具处理有关输入视频的特定部分的所需情绪操纵的人类可读的语义标签，并合成光电环境拟人的操纵视频。我们通过将情绪标签映射到价值（VA）值来实现这一点，又通过特别设计和训练的表达式解码器网络映射到解开的3D面部表达式。本文提出了详细的定性和定量实验，展示了我们系统的有效性以及它实现的有希望的结果。可以在补充材料中找到其他结果和视频（https://github.com/girish-03/deepsemmanipulation）。