亲属性验证是在两个人之间确定父子，兄弟姐妹或祖父母的关系，在社交媒体应用，法医调查，发现失踪的儿童和团聚家庭中都很重要。我们通过参加2021年在野外挑战中识别2021家庭来展示高质量的亲属验证，该家庭提供了该领域中最大的公共数据集。我们的方法是竞争中的前三名获奖条目之一。我们的专家和基础模型，Openai Codex撰写的模拟模型，培训了文本和代码。我们使用Codex来生成模型变体，并且还展示其能够生成特定关系的亲属验证任务的整个运行程序。

识别野外（RFIW）的家庭，作为数据挑战，与第16届IEEE国际自动面部和手势识别（FG）一起举行，是一种大规模的多轨视觉亲属识别评估。这是我们第五版RFIW，我们继续努力吸引学者，将专业人士，发布新工作和讨论前景。在本文中，我们总结了今年RFIW三个任务的提交：特别是，我们审查了亲属验证，三对象验证和家庭成员搜索和检索的结果。我们来看看RFIW问题，以及分享当前的努力，并为未来的未来方向提出建议。

In this paper, we investigate the problem of predictive confidence in face and kinship verification. Most existing face and kinship verification methods focus on accuracy performance while ignoring confidence estimation for their prediction results. However, confidence estimation is essential for modeling reliability in such high-risk tasks. To address this issue, we first introduce a novel yet simple confidence measure for face and kinship verification, which allows the verification models to transform the similarity score into a confidence score for a given face pair. We further propose a confidence-calibrated approach called angular scaling calibration (ASC). ASC is easy to implement and can be directly applied to existing face and kinship verification models without model modifications, yielding accuracy-preserving and confidence-calibrated probabilistic verification models. To the best of our knowledge, our approach is the first general confidence-calibrated solution to face and kinship verification in a modern context. We conduct extensive experiments on four widely used face and kinship verification datasets, and the results demonstrate the effectiveness of our approach.

In modern face recognition, the conventional pipeline consists of four stages: detect ⇒ align ⇒ represent ⇒ classify. We revisit both the alignment step and the representation step by employing explicit 3D face modeling in order to apply a piecewise affine transformation, and derive a face representation from a nine-layer deep neural network. This deep network involves more than 120 million parameters using several locally connected layers without weight sharing, rather than the standard convolutional layers. Thus we trained it on the largest facial dataset to-date, an identity labeled dataset of four million facial images belonging to more than 4,000 identities. The learned representations coupling the accurate model-based alignment with the large facial database generalize remarkably well to faces in unconstrained environments, even with a simple classifier. Our method reaches an accuracy of 97.35% on the Labeled Faces in the Wild (LFW) dataset, reducing the error of the current state of the art by more than 27%, closely approaching human-level performance.

近年来，围面识别被制定为有价值的生物识别方法，特别是在野生环境中（例如，由于Covid-19大流行导致的遮阳面），其中面部识别可能不适用。本文提出了一种名为基于属性的深周相识别（ADPR）的新的深周围识别框架，其预测软生物学测量，并将预测结合到周边识别算法中，以确定具有高精度的围绕围绕围绕图像的标识。我们提出了一个端到端的框架，它使用了几个共享卷积神经网络（CNN）层（公共网络），其输出馈送两个单独的专用分支（模态专用层）;第一分支在第二分支预测软管生物识别技术的同时分类周边图像。接下来，来自这两个分支的特征融合在一起以获得最终的周边识别。所提出的方法与现有方法不同，因为它不仅使用共享的CNN特征空间来共同培训这两个任务，而且还融合了预测的软生物识别功能，具有训练步骤中的周边特征，以提高整体周边识别性能。我们的建议模型使用四个不同的公共数据集进行了广泛的评估。实验结果表明，基于软生物识别的外观识别方法优于野生环境中的其他最先进的方法。

The process of learning good features for machine learning applications can be very computationally expensive and may prove difficult in cases where little data is available. A prototypical example of this is the one-shot learning setting, in which we must correctly make predictions given only a single example of each new class.In this paper, we explore a method for learning siamese neural networks which employ a unique structure to naturally rank similarity between inputs. Once a network has been tuned, we can then capitalize on powerful discriminative features to generalize the predictive power of the network not just to new data, but to entirely new classes from unknown distributions. Using a convolutional architecture, we are able to achieve strong results which exceed those of other deep learning models with near stateof-the-art performance on one-shot classification tasks.

图像分辨率或一般图像质量在当今面部识别系统的性能中起着至关重要的作用。为了解决这个问题，我们提出了一种流行的三胞胎损失的新型组合，以通过微调现有面部识别模型来提高与图像分辨率的鲁棒性。随着八度损失，我们利用高分辨率图像及其合成下采样变体之间的关系与其身份标签共同采样。通过我们的方法对几种最先进的方法进行微调证明，我们可以在各种数据集上显着提高跨分辨率（高低分辨率）面部验证的性能，而不会有意义地加剧高高度的性能分辨率图像。我们的方法应用于FaceTransFormer网络，在挑战性的XQLFW数据集上达到95.12％的面对验证精度，同时在LFW数据库上达到99.73％。此外，低到低面验证精度从我们的方法中受益。我们发布我们的代码，以允许将OCTUPLET损失的无缝集成到现有框架中。

自我监督的学习是一个强大的范例，用于在未标记的图像上学习。基于实例匹配的大量有效的新方法依赖于数据增强来推动学习，这些方法达成了优化流行识别基准的增强方案的粗略协议。但是，有强有力的理由可疑计算机视觉中的不同任务需要对不同（IN）差异进行编码的功能，因此可能需要不同的增强策略。在本文中，我们衡量了对比方法学到的修正学知识，并确认他们确实学会了与使用的增强的不变性，进一步表明，这一不变性大大转移到与姿势和照明的相关真实变化的变化很大程度上转移。我们展示了学习的InorRARCES强烈影响下游任务性能，并确认不同的下游任务从极性相反（IN）差异中受益，导致使用标准增强策略时的性能损失。最后，我们证明，具有互补的修正条件的表现简单融合可确保对所考虑的所有不同下游任务进行广泛的可转换性。

这项工作旨在探索无卷积的基本分类器，该分类器可用于扩大常规合奏分类器的变化。具体而言，我们建议视觉变压器作为基本分类器，以与CNN结合使用Kaggle亲属识别中的独特集合解决方案。在本文中，我们通过在现有CNN模型之上实施和优化视觉变压器模型的变体来验证我们的想法。组合模型比仅基于CNN变体的常规集合分类器获得更好的分数。我们证明，高度优化的CNN合奏在Kaggle讨论板上公开可用，可以通过与Vision Transformer模型的变体简单地合奏，从而轻松地获得ROC得分的显着提升，这是由于低相关性而引起的。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

SARS-COV-2向科学界提出了直接和间接的挑战。从大量国家的强制使用面部面具的强制使用最突出的间接挑战之一。面部识别方法在蒙版和未掩蔽的个体上努力执行具有类似准确性的身份验证。已经表明，这些方法的性能在面部掩模存在下显着下降，特别是如果参考图像是未被掩蔽的。我们提出了FocusFace，一种使用对比学习的多任务架构能够准确地执行蒙面的面部识别。该建议的架构被设计为从头开始训练或者在最先进的面部识别方法上工作，而不牺牲传统的面部识别任务中现有模型的能力。我们还探讨了设计对比学习模块的不同方法。结果以屏蔽掩蔽（M-M）和未掩蔽掩蔽（U-M）面验证性能提出。对于这两个设置，结果都与已发布的方法相提并论，但对于M-M而言，该方法能够优于与其比较的所有解决方案。我们进一步表明，当在现有方法顶部使用我们的方法时，培训计算成本在保持类似的表现时显着降低。在Github上提供了实施和培训的型号。

Automatic defect detection for 3D printing processes, which shares many characteristics with change detection problems, is a vital step for quality control of 3D printed products. However, there are some critical challenges in the current state of practice. First, existing methods for computer vision-based process monitoring typically work well only under specific camera viewpoints and lighting situations, requiring expensive pre-processing, alignment, and camera setups. Second, many defect detection techniques are specific to pre-defined defect patterns and/or print schematics. In this work, we approach the automatic defect detection problem differently using a novel Semi-Siamese deep learning model that directly compares a reference schematic of the desired print and a camera image of the achieved print. The model then solves an image segmentation problem, identifying the locations of defects with respect to the reference frame. Unlike most change detection problems, our model is specially developed to handle images coming from different domains and is robust against perturbations in the imaging setup such as camera angle and illumination. Defect localization predictions were made in 2.75 seconds per layer using a standard MacBookPro, which is comparable to the typical tens of seconds or less for printing a single layer on an inkjet-based 3D printer, while achieving an F1-score of more than 0.9.

近年来，由于深度学习体系结构的有希望的进步，面部识别系统取得了非凡的成功。但是，当将配置图像与额叶图像的画廊匹配时，它们仍然无法实现预期的准确性。当前方法要么执行姿势归一化（即额叶化）或脱离姿势信息以进行面部识别。相反，我们提出了一种新方法，通过注意机制将姿势用作辅助信息。在本文中，我们假设使用注意机制姿势参加的信息可以指导剖面面上的上下文和独特的特征提取，从而进一步使嵌入式域中的更好表示形式学习。为了实现这一目标，首先，我们设计了一个统一的耦合曲线到额定面部识别网络。它通过特定于类的对比损失来学习从面孔到紧凑的嵌入子空间的映射。其次，我们开发了一个新颖的姿势注意力块（PAB），以专门指导从剖面面上提取姿势 - 不合稳定的特征。更具体地说，PAB旨在显式地帮助网络沿着频道和空间维度沿着频道和空间维度的重要特征，同时学习嵌入式子空间中的歧视性但构成不变的特征。为了验证我们提出的方法的有效性，我们对包括多PIE，CFP，IJBC在内的受控和野生基准进行实验，并在艺术状态下表现出优势。

哥内克人Sentinel Imagery的纯粹卷的可用性为使用深度学习的大尺度创造了新的土地利用陆地覆盖（Lulc）映射的机会。虽然在这种大型数据集上培训是一个非琐碎的任务。在这项工作中，我们试验Lulc Image分类和基准不同最先进模型的Bigearthnet数据集，包括卷积神经网络，多层感知，视觉变压器，高效导通和宽残余网络（WRN）架构。我们的目标是利用分类准确性，培训时间和推理率。我们提出了一种基于用于网络深度，宽度和输入数据分辨率的WRNS复合缩放的高效导通的框架，以有效地训练和测试不同的模型设置。我们设计一种新颖的缩放WRN架构，增强了有效的通道注意力机制。我们提出的轻量级模型具有较小的培训参数，实现所有19个LULC类的平均F分类准确度达到4.5％，并且验证了我们使用的resnet50最先进的模型速度快两倍作为基线。我们提供超过50种培训的型号，以及我们在多个GPU节点上分布式培训的代码。

来自静态图像的面部表情识别是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN），用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势，照明和闭塞条件的面部的表达式中已经有限。为了缓解这个问题，CNN通常伴随着传输，多任务或集合学习等技术，这些技术通常以增加的计算复杂性的成本提供高精度。在这项工作中，我们提出了一种基于零件的集合转移学习网络，其模型通过将面部特征的空间方向模式与特定表达相关来模拟人类如何识别面部表达。它由5个子网络组成，每个子网络从面部地标的五个子集中执行转移学习：眉毛，眼睛，鼻子，嘴巴或颌骨表达分类。我们表明我们所提出的集合网络使用从面部肌肉的电机运动发出的视觉模式来预测表达，并展示从面部地标定位转移到面部表情识别的实用性。我们在CK +，Jaffe和SFew数据集上测试所提出的网络，并且它分别优于CK +和Jaffe数据集的基准，分别为0.51％和5.34％。此外，所提出的集合网络仅包括1.65M的型号参数，确保在培训和实时部署期间的计算效率。我们所提出的集合的Grad-Cam可视化突出了其子网的互补性质，是有效集合网络的关键设计参数。最后，交叉数据集评估结果表明，我们建议的集合具有高泛化能力，使其适合现实世界使用。

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

图像复制检测对于现实生活社交媒体具有重要意义。在本文中，提出了一种数据驱动和本地验证（D ^ 2LV）方法以竞争图像相似性挑战：在神经潜获器中的匹配轨道。在D ^ 2LV中，无监督的预训练替代普通使用的受监管。在培训时，我们设计了一套基本和六个先进的转换，简单但有效的基线学会了强大的表示。在测试期间，提出了全球局部和本地全球匹配策略。该策略在参考和查询图像之间执行本地验证。实验表明，所提出的方法是有效的。拟议的方法在Facebook AI图像相似度挑战上排名第一是1,103名参与者：匹配轨道。代码和培训的型号可在https://github.com/wangwenhao0716/isc-track1-submission上获得。

近年来，已经产生了大量的视觉内容，并从许多领域共享，例如社交媒体平台，医学成像和机器人。这种丰富的内容创建和共享引入了新的挑战，特别是在寻找类似内容内容的图像检索（CBIR）-A的数据库中，即长期建立的研究区域，其中需要改进的效率和准确性来实时检索。人工智能在CBIR中取得了进展，并大大促进了实例搜索过程。在本调查中，我们审查了最近基于深度学习算法和技术开发的实例检索工作，通过深网络架构类型，深度功能，功能嵌入方法以及网络微调策略组织了调查。我们的调查考虑了各种各样的最新方法，在那里，我们识别里程碑工作，揭示各种方法之间的联系，并呈现常用的基准，评估结果，共同挑战，并提出未来的未来方向。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

面部变形攻击检测具有挑战性，并为面部验证系统带来了具体和严重的威胁。此类攻击的可靠检测机制已通过强大的跨数据库协议和未知的变形工具进行了测试，这仍然是一项研究挑战。本文提出了一个框架，遵循了几次射击学习方法，该方法使用三胞胎 - 硬性损坏共享基于暹罗网络的图像信息，以应对变形攻击检测并增强聚类分类过程。该网络比较了真正的或潜在的变形图像与变形和真正的面部图像的三胞胎。我们的结果表明，这个新的网络将数据点群集成，并将它们分配给类，以便在跨数据库方案中获得较低的相等错误率，仅共享来自未知数据库的小图像编号。几乎没有学习的学习有助于增强学习过程。使用FRGCV2训练并使用FERET和AMSL开放式数据库测试的跨数据库的实验结果将BPCer10使用RESNET50和5.50％的MobileNETV2从43％降低到4.91％。