The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

2019年冠状病毒疾病（Covid-19）继续自爆发以来对世界产生巨大挑战。为了对抗这种疾病，开发了一系列人工智能（AI）技术，并应用于现实世界的情景，如安全监测，疾病诊断，感染风险评估，Covid-19 CT扫描的病变细分等。 Coronavirus流行病迫使人们佩戴面膜来抵消病毒的传播，这也带来了监控戴着面具的大群人群的困难。在本文中，我们主要关注蒙面面部检测和相关数据集的AI技术。从蒙面面部检测数据集的描述开始，我们调查了最近的进步。详细描述并详细讨论了十三可用数据集。然后，该方法大致分为两类：传统方法和基于神经网络的方法。常规方法通常通过用手工制作的特征升高算法来训练，该算法占少比例。基于神经网络的方法根据处理阶段的数量进一步归类为三个部分。详细描述了代表性算法，与一些简要描述的一些典型技术耦合。最后，我们总结了最近的基准测试结果，讨论了关于数据集和方法的局限性，并扩大了未来的研究方向。据我们所知，这是关于蒙面面部检测方法和数据集的第一次调查。希望我们的调查可以提供一些帮助对抗流行病的帮助。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

自2020年初以来，COVID-19的大流行对日常生活的许多方面产生了相当大的影响。在全球范围内已经采取了一系列不同的措施，以降低新感染的速度并管理国家卫生服务的压力。主要策略是通过优先考虑远程工作和教育来减少聚会和传播的潜力。当不可避免的聚会时，增强的手卫生和面膜的使用减少了病原体的扩散。这些特殊的措施提出了可靠的生物识别识别的挑战，例如用于面部，语音和手工生物识别技术。同时，新的挑战创造了新的机会和研究方向，例如对无约束的虹膜或眼周识别，基于无触摸的指纹和基于静脉的身份验证以及生物特征特征进行疾病检测的重新兴趣。本文概述了为解决这些挑战和新兴机会而进行的研究。

由于其前所未有的优势，在规模，移动，部署和隐蔽观察能力方面，空中平台和成像传感器的快速出现是实现新的空中监测形式。本文从计算机视觉和模式识别的角度来看，全面概述了以人为本的空中监控任务。它旨在为读者提供使用无人机，无人机和其他空中平台的空中监测任务当前状态的深入系统审查和技术分析。感兴趣的主要对象是人类，其中要检测单个或多个受试者，识别，跟踪，重新识别并进行其行为。更具体地，对于这四项任务中的每一个，我们首先讨论与基于地面的设置相比在空中环境中执行这些任务的独特挑战。然后，我们审查和分析公共可用于每项任务的航空数据集，并深入了解航空文学中的方法，并调查他们目前如何应对鸟瞰挑战。我们在讨论缺失差距和开放研究问题的讨论中得出结论，告知未来的研究途径。

卫生组织建议社会疏远，佩戴面罩，避免触摸面，以防止冠状病毒的传播。根据这些保护措施，我们开发了一种计算机视觉系统，以帮助防止Covid-19的传输。具体地，开发系统执行面部掩模检测，面部手互动检测，并测量社交距离。要培训和评估发达的系统，我们收集和注释图像，代表现实世界中的面部掩模使用和面部手互动。除了在自己的数据集上评估开发系统的性能外，还在文献中的现有数据集中测试了它，而不会对它们进行任何适应性。此外，我们提出了一个模块，以跟踪人之间的社交距离。实验结果表明，我们的数据集代表了真实世界的多样性。所提出的系统实现了面罩使用检测，面部手互动检测和在看不见的数据的真实情况下测量社会距离的高性能和泛化容量。数据集将在https://github.com/ilemeyiokur/covid-19-preventions-control -system中获得。

横梁面部识别（CFR）旨在识别个体，其中比较面部图像源自不同的感测模式，例如红外与可见的。虽然CFR由于与模态差距相关的面部外观的显着变化，但CFR具有比经典的面部识别更具挑战性，但它在具有有限或挑战的照明的场景中，以及在呈现攻击的情况下，它是优越的。与卷积神经网络（CNNS）相关的人工智能最近的进展使CFR的显着性能提高了。由此激励，这项调查的贡献是三倍。我们提供CFR的概述，目标是通过首先正式化CFR然后呈现具体相关的应用来比较不同光谱中捕获的面部图像。其次，我们探索合适的谱带进行识别和讨论最近的CFR方法，重点放在神经网络上。特别是，我们提出了提取和比较异构特征以及数据集的重新访问技术。我们枚举不同光谱和相关算法的优势和局限性。最后，我们讨论了研究挑战和未来的研究线。

本文审查了视觉隐私保护技术中最先进的技术，特别注意适用于主动和辅助生活领域的技术（aal）。介绍了一种新的分类，可以归类最先进的视觉隐私保护方法。突出显示了传教性的感知混淆方法，是分类学中的一个类别。这些是一类视觉隐私保存技术，特别是在考虑基于视频的AAL监控的情况时特别相关。还探讨了对机器学习模型的混淆。设计的不同隐私层面的高级分类方案与视觉隐私保存技术的拟议分类有关。最后，我们注意到现场存在的开放问题，并将读者介绍给一些令人兴奋的途径，以便在视觉隐私区域的未来研究。

本章的主要范围是作为面部介绍攻击检测的介绍，包括过去几年的关键资源和领域的进步。下一页呈现了面部识别系统可以面对的不同演示攻击，其中攻击者向传感器提供给传感器，主要是相机，呈现攻击仪器（PAI），这通常是照片，视频或掩码，试图冒充真正的用户。首先，我们介绍了面部识别的现状，部署水平及其挑战。此外，我们介绍了面部识别系统可能暴露的漏洞和可能的攻击，表明呈现攻击检测方法的高度重要性。我们审核不同类型的演示攻击方法，从更简单到更复杂，在哪个情况下它们可能是有效的。然后，我们总结了最受欢迎的演示文稿攻击检测方法来处理这些攻击。最后，我们介绍了研究界使用的公共数据集，以探索面部生物识别性的脆弱性，以呈现攻击，并对已知的PAI制定有效的对策。

自动面部识别是一个知名的研究领域。在该领域的最后三十年的深入研究中，已经提出了许多不同的面部识别算法。随着深度学习的普及及其解决各种不同问题的能力，面部识别研究人员集中精力在此范式下创建更好的模型。从2015年开始，最先进的面部识别就植根于深度学习模型。尽管有大规模和多样化的数据集可用于评估面部识别算法的性能，但许多现代数据集仅结合了影响面部识别的不同因素，例如面部姿势，遮挡，照明，面部表情和图像质量。当算法在这些数据集上产生错误时，尚不清楚哪些因素导致了此错误，因此，没有指导需要多个方向进行更多的研究。这项工作是我们以前在2014年开发的作品的后续作品，最终于2016年发表，显示了各种面部方面对面部识别算法的影响。通过将当前的最新技术与过去的最佳系统进行比较，我们证明了在强烈的遮挡下，某些类型的照明和强烈表达的面孔是深入学习算法所掌握的问题，而具有低分辨率图像的识别，极端的姿势变化和开放式识别仍然是一个开放的问题。为了证明这一点，我们使用六个不同的数据集和五种不同的面部识别算法以开源和可重现的方式运行一系列实验。我们提供了运行所有实验的源代码，这很容易扩展，因此在我们的评估中利用自己的深网只有几分钟的路程。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

已经广泛地研究了使用虹膜和围眼区域作为生物特征，主要是由于虹膜特征的奇异性以及当图像分辨率不足以提取虹膜信息时的奇异区域的使用。除了提供有关个人身份的信息外，还可以探索从这些特征提取的功能，以获得其他信息，例如个人的性别，药物使用的影响，隐形眼镜的使用，欺骗等。这项工作提出了对为眼部识别创建的数据库的调查，详细说明其协议以及如何获取其图像。我们还描述并讨论了最受欢迎的眼镜识别比赛（比赛），突出了所提交的算法，只使用Iris特征和融合虹膜和周边地区信息实现了最佳结果。最后，我们描述了一些相关工程，将深度学习技术应用于眼镜识别，并指出了新的挑战和未来方向。考虑到有大量的眼部数据库，并且每个人通常都设计用于特定问题，我们认为这项调查可以广泛概述眼部生物识别学中的挑战。

随着全球人口越来越多的人口驱动世界各地的快速城市化，有很大的需要蓄意审议值得生活的未来。特别是，随着现代智能城市拥抱越来越多的数据驱动的人工智能服务，值得记住技术可以促进繁荣，福祉，城市居住能力或社会正义，而是只有当它具有正确的模拟补充时（例如竭尽全力，成熟机构，负责任治理）;这些智能城市的最终目标是促进和提高人类福利和社会繁荣。研究人员表明，各种技术商业模式和特征实际上可以有助于极端主义，极化，错误信息和互联网成瘾等社会问题。鉴于这些观察，解决了确保了诸如未来城市技术基岩的安全，安全和可解释性的哲学和道德问题，以为未来城市的技术基岩具有至关重要的。在全球范围内，有能够更加人性化和以人为本的技术。在本文中，我们分析和探索了在人以人为本的应用中成功部署AI的安全，鲁棒性，可解释性和道德（数据和算法）挑战的关键挑战，特别强调这些概念/挑战的融合。我们对这些关键挑战提供了对现有文献的详细审查，并分析了这些挑战中的一个可能导致他人的挑战方式或帮助解决其他挑战。本文还建议了这些域的当前限制，陷阱和未来研究方向，以及如何填补当前的空白并导致更好的解决方案。我们认为，这种严谨的分析将为域名的未来研究提供基准。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

基于全面的生物识别是一个广泛的研究区域。然而，仅使用部分可见的面，例如在遮盖的人的情况下，是一个具有挑战性的任务。在这项工作中使用深卷积神经网络（CNN）来提取来自遮盖者面部图像的特征。我们发现，第六和第七完全连接的层，FC6和FC7分别在VGG19网络的结构中提供了鲁棒特征，其中这两层包含4096个功能。这项工作的主要目标是测试基于深度学习的自动化计算机系统的能力，不仅要识别人，还要对眼睛微笑等性别，年龄和面部表达的认可。我们的实验结果表明，我们为所有任务获得了高精度。最佳记录的准确度值高达99.95％，用于识别人员，99.9％，年龄识别的99.9％，面部表情（眼睛微笑）认可为80.9％。

深度学习属于人工智能领域，机器执行通常需要某种人类智能的任务。类似于大脑的基本结构，深度学习算法包括一种人工神经网络，其类似于生物脑结构。利用他们的感官模仿人类的学习过程，深入学习网络被送入（感官）数据，如文本，图像，视频或声音。这些网络在不同的任务中优于最先进的方法，因此，整个领域在过去几年中看到了指数增长。这种增长在过去几年中每年超过10,000多种出版物。例如，只有在医疗领域中的所有出版物中覆盖的搜索引擎只能在Q3 2020中覆盖所有出版物的子集，用于搜索术语“深度学习”，其中大约90％来自过去三年。因此，对深度学习领域的完全概述已经不可能在不久的将来获得，并且在不久的将来可能会难以获得难以获得子场的概要。但是，有几个关于深度学习的综述文章，这些文章专注于特定的科学领域或应用程序，例如计算机愿景的深度学习进步或在物体检测等特定任务中进行。随着这些调查作为基础，这一贡献的目的是提供对不同科学学科的深度学习的第一个高级，分类的元调查。根据底层数据来源（图像，语言，医疗，混合）选择了类别（计算机愿景，语言处理，医疗信息和其他工程）。此外，我们还审查了每个子类别的常见架构，方法，专业，利弊，评估，挑战和未来方向。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

对医疗保健监控的远程工具的需求从未如此明显。摄像机测量生命体征利用成像装置通过分析人体的图像来计算生理变化。建立光学，机器学习，计算机视觉和医学的进步这些技术以来的数码相机的发明以来已经显着进展。本文介绍了对生理生命体征的相机测量综合调查，描述了它们可以测量的重要标志和实现所做的计算技术。我涵盖了临床和非临床应用以及这些应用需要克服的挑战，以便从概念上推进。最后，我描述了对研究社区可用的当前资源（数据集和代码），并提供了一个全面的网页（https://cameravitals.github.io/），其中包含这些资源的链接以及其中引用的所有文件的分类列表文章。

面部面罩已成为减少Covid-19传输的主要方法之一。这使得面部识别（FR）成为一个具有挑战性的任务，因为掩模隐藏了几个面孔的鉴别特征。此外，面部呈现攻击检测（PAD）至关重要，以确保FR系统的安全性。与越来越多的蒙面的FR研究相比，尚未探索面部遮蔽攻击对垫的影响。因此，我们提出了与戴上面具的主题和攻击的真正面罩的新型攻击，以反映当前的现实情况。此外，本研究通过在不同的实验设置下使用七种最新的垫算法来研究屏蔽攻击对垫性能的影响。我们还评估FR系统漏洞屏蔽攻击。实验表明，真正掩盖的攻击对FR系统的操作和安全构成了严重威胁。

眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展，由于眼睛外观，眼头相互作用，遮挡，图像质量和照明条件的独特性，自动凝视分析仍然具有挑战性。有几个开放的问题，包括在没有先验知识的情况下，在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展，以阐明这些基本问题，确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法，尤其是在无监督和弱监督的领域中。我们的分析表明，强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战，例如不受限制的设置和学习，并减少了监督。最后，我们讨论了设计现实的目光分析系统的未来研究方向，该系统可以传播到其他领域，包括计算机视觉，增强现实（AR），虚拟现实（VR）和人类计算机交互（HCI）。项目页面：https：//github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey