学习普遍面孔表示的最佳方法是什么？在面部分析领域进行深度学习的最新工作集中在监督方面的学习特定任务（例如面部识别，面部地标本地化等），但忽略了如何找到可以轻松适应面部表征的总体问题到几个面部分析任务和数据集。为此，我们做出以下4个贡献：（a）我们首次介绍面部表示学习的全面评估基准，该基准由5个重要​​的面部分析任务组成。 （b）我们系统地研究了应用于面孔的大规模表示学习的两种方式：受监督和无监督的预训练。重要的是，我们将评估重点放在几乎没有面部学习的情况下。 （c）我们研究了培训数据集的重要特性，包括其大小和质量（标记，未标记甚至未经保育）。 （d）为了得出结论，我们进行了大量实验。我们的主要两个发现是：（1）完全在野外的未经监督的预培训，未经保育的数据提供了一致的，在某些情况下，对所有面部任务进行了显着准确的改进。 （2）许多现有的面部视频数据集似乎具有大量冗余。我们将发布代码和预先培训的模型，以促进未来的研究。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

Transfer of pre-trained representations improves sample efficiency and simplifies hyperparameter tuning when training deep neural networks for vision. We revisit the paradigm of pre-training on large supervised datasets and fine-tuning the model on a target task. We scale up pre-training, and propose a simple recipe that we call Big Transfer (BiT). By combining a few carefully selected components, and transferring using a simple heuristic, we achieve strong performance on over 20 datasets. BiT performs well across a surprisingly wide range of data regimes -from 1 example per class to 1 M total examples. BiT achieves 87.5% top-1 accuracy on ILSVRC-2012, 99.4% on CIFAR-10, and 76.3% on the 19 task Visual Task Adaptation Benchmark (VTAB). On small datasets, BiT attains 76.8% on ILSVRC-2012 with 10 examples per class, and 97.0% on CIFAR-10 with 10 examples per class. We conduct detailed analysis of the main components that lead to high transfer performance.

如何学习一个促进所有面部分析任务的通用面部表示？本文对此目标进行了一步。在本文中，我们研究了面对面分析任务的预先训练模型的转移性能，并以视语言方式为一般面部代表学习学习的框架，称为Farl。一方面，该框架涉及从图像文本对学习高级语义含义的对比损失。另一方面，我们提出通过添加掩蔽图像建模来同时探索低级信息以进一步增强面部表示。我们对Laion-face进行预训练，一个包含大量面部图像文本对的数据集，并评估在多个下游任务上的表示功能。我们表明Farl与以前的预先训练的模型相比，Farl实现了更好的转移性能。我们还验证了低数据制度的优势。更重要的是，我们的模型在面部分析任务上超越了最先进的方法，包括面部解析和面部对齐。

由于大规模标记数据的非可用性，强大的凝视估计是一个具有挑战性的任务，即使是深度的CNN。此外，凝视注释是一种耗时的过程，需要专门的硬件设置。我们提出MTGLS：具有有限监督的多任务凝视估计框架，其利用大量可用的非注释的面部图像数据。 MTGLS从架子的面部图像分析模型中蒸馏出知识，并学习人眼的强大特征表示，由三个互补辅助信号引导：（a）由本地化定义的瞳孔（即伪凝视）的视线面部地标，（b）欧拉角给出的头部姿势，（c）眼贴片的取向（左/右眼）。为了克服监控信号中的内在噪声，MTGL还包括噪声分布建模方法。我们的实验结果表明，MTGLS学习高度广泛的表示，这在一系列数据集中一直表现良好。我们所提出的框架优于无监督的洞穴（6.43％）甚至监督凝席360（按6.59％）数据集的最新方法。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

在基于视觉的辅助技术中，具有不同新兴主题的用例，例如增强现实，虚拟现实和人类计算机互动等不同的主题中的用例中，自动眼目光估计是一个重要问题。在过去的几年中，由于它克服了大规模注释的数据的要求，因此人们对无监督和自我监督的学习范式的兴趣越来越大。在本文中，我们提出了Raze，Raze是一个带有自我监督的注视表示框架的区域，该框架从非宣传的面部图像数据中发挥作用。 Raze通过辅助监督（即伪凝视区域分类）学习目光的表示，其中目的是通过利用瞳孔中心的相对位置将视野分类为不同的凝视区域（即左，右和中心）。因此，我们会自动注释154K Web爬行图像的伪凝视区标签，并通过“ IZE-NET”框架学习特征表示。 “ IZE-NET”是基于胶囊层的CNN体​​系结构，可以有效地捕获丰富的眼睛表示。在四个基准数据集上评估了特征表示的判别性能：洞穴，桌面，MPII和RT-GENE。此外，我们评估了所提出的网络在其他两个下游任务（即驱动器凝视估计和视觉注意估计）上的普遍性，这证明了学习的眼睛注视表示的有效性。

在本文中，首先，研究了Imagenet预训练对细粒度面部情感识别（FER）的影响，这表明当应用图像的足够增强时，从头开始的训练比ImageNet Pre的微调提供了更好的结果。 -训练。接下来，我们提出了一种改善细粒度和野外FER的方法，称为混合多任务学习（HMTL）。 HMTL以多任务学习（MTL）的形式使用自我监督学习（SSL）作为经典监督学习（SL）期间的辅助任务。在训练过程中利用SSL可以从图像中获得其他信息，以完成主要细粒度SL任务。我们研究了如何在FER域中使用所提出的HMTL，通过设计两种定制版本的普通文本任务技术，令人困惑和涂漆。我们通过两种类型的HMTL在不利用其他数据的情况下，通过两种类型的HMTL在altimnet基准测试上实现了最新的结果。关于常见SSL预训练和提出的HMTL的实验结果证明了我们工作的差异和优势。但是，HMTL不仅限于FER域。对两种类型的细粒面部任务（即头部姿势估计和性别识别）进行的实验揭示了使用HMTL改善细粒度面部表示的潜力。

This work tackles the problem of semi-supervised learning of image classifiers. Our main insight is that the field of semi-supervised learning can benefit from the quickly advancing field of self-supervised visual representation learning. Unifying these two approaches, we propose the framework of self-supervised semi-supervised learning (S 4 L) and use it to derive two novel semi-supervised image classification methods. We demonstrate the effectiveness of these methods in comparison to both carefully tuned baselines, and existing semi-supervised learning methods. We then show that S 4 L and existing semi-supervised methods can be jointly trained, yielding a new state-of-the-art result on semi-supervised ILSVRC-2012 with 10% of labels.

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Holistic methods using CNNs and margin-based losses have dominated research on face recognition. In this work, we depart from this setting in two ways: (a) we employ the Vision Transformer as an architecture for training a very strong baseline for face recognition, simply called fViT, which already surpasses most state-of-the-art face recognition methods. (b) Secondly, we capitalize on the Transformer's inherent property to process information (visual tokens) extracted from irregular grids to devise a pipeline for face recognition which is reminiscent of part-based face recognition methods. Our pipeline, called part fViT, simply comprises a lightweight network to predict the coordinates of facial landmarks followed by the Vision Transformer operating on patches extracted from the predicted landmarks, and it is trained end-to-end with no landmark supervision. By learning to extract discriminative patches, our part-based Transformer further boosts the accuracy of our Vision Transformer baseline achieving state-of-the-art accuracy on several face recognition benchmarks.

在本文中，我们通过利用全新监督学习来推进面部表情识别（FER）的表现。本领域技术的当前状态通常旨在通过具有有限数量的样本的培训模型来识别受控环境中的面部表达。为了增强学习模型的各种场景的稳健性，我们建议通过利用标记的样本以及大量未标记的数据来执行全能监督学习。特别是，我们首先使用MS-CeleB-1M作为面部池，其中包括大约5,822k未标记的面部图像。然后，采用基于少量标记样品的原始模型来通过进行基于特征的相似性比较来选择具有高度自信心的样本。我们发现以这种全局监督方式构建的新数据集可以显着提高学习的FER模型的泛化能力，并因此提高了性能。然而，随着使用更多的训练样本，需要更多的计算资源和培训时间，在许多情况下通常不能实惠。为了减轻计算资源的要求，我们进一步采用了数据集蒸馏策略，以将目标任务相关知识从新的开采样本中蒸馏，并将其压缩成一组非常小的图像。这种蒸馏的数据集能够提高FER的性能，额外的额外计算成本。我们在五个流行的基准和新构造的数据集中执行广泛的实验，其中可以使用所提出的框架在各种设置下实现一致的收益。我们希望这项工作作为一个坚实的基线，并帮助缓解FER的未来研究。

识别面部视频的连续情绪和动作单元（AU）强度需要对表达动态的空间和时间理解。现有作品主要依赖2D面的外观来提取这种动态。这项工作着重于基于参数3D面向形状模型的有希望的替代方案，该模型解散了不同的变异因素，包括表达诱导的形状变化。我们旨在了解与最先进的2D外观模型相比，在估计价值和AU强度方面表现性3D面部形状如何。我们基准了四个最近的3D面对准模型：Expnet，3DDFA-V2，DECA和EMOCA。在价值估计中，3D面模型的表达特征始终超过以前的作品，并在SEWA和AVEC 2019 CES CORPORA上的平均一致性相关性分别为.739和.574。我们还研究了BP4D和DISFA数据集的AU强度估计的3D面形状如何执行，并报告说3D脸部功能在AUS 4、6、10、12和25中与2D外观特征相当，但没有整个集合。 aus。为了理解这种差异，我们在价值和AUS之间进行了对应分析，该分析指出，准确的价值预测可能仅需要少数AU的知识。

One paradigm for learning from few labeled examples while making best use of a large amount of unlabeled data is unsupervised pretraining followed by supervised fine-tuning. Although this paradigm uses unlabeled data in a task-agnostic way, in contrast to common approaches to semi-supervised learning for computer vision, we show that it is surprisingly effective for semi-supervised learning on ImageNet. A key ingredient of our approach is the use of big (deep and wide) networks during pretraining and fine-tuning. We find that, the fewer the labels, the more this approach (task-agnostic use of unlabeled data) benefits from a bigger network. After fine-tuning, the big network can be further improved and distilled into a much smaller one with little loss in classification accuracy by using the unlabeled examples for a second time, but in a task-specific way. The proposed semi-supervised learning algorithm can be summarized in three steps: unsupervised pretraining of a big ResNet model using SimCLRv2, supervised fine-tuning on a few labeled examples, and distillation with unlabeled examples for refining and transferring the task-specific knowledge. This procedure achieves 73.9% ImageNet top-1 accuracy with just 1% of the labels (≤13 labeled images per class) using ResNet-50, a 10× improvement in label efficiency over the previous state-of-theart. With 10% of labels, ResNet-50 trained with our method achieves 77.5% top-1 accuracy, outperforming standard supervised training with all of the labels. 1

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

来自静态图像的面部表情识别是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN），用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势，照明和闭塞条件的面部的表达式中已经有限。为了缓解这个问题，CNN通常伴随着传输，多任务或集合学习等技术，这些技术通常以增加的计算复杂性的成本提供高精度。在这项工作中，我们提出了一种基于零件的集合转移学习网络，其模型通过将面部特征的空间方向模式与特定表达相关来模拟人类如何识别面部表达。它由5个子网络组成，每个子网络从面部地标的五个子集中执行转移学习：眉毛，眼睛，鼻子，嘴巴或颌骨表达分类。我们表明我们所提出的集合网络使用从面部肌肉的电机运动发出的视觉模式来预测表达，并展示从面部地标定位转移到面部表情识别的实用性。我们在CK +，Jaffe和SFew数据集上测试所提出的网络，并且它分别优于CK +和Jaffe数据集的基准，分别为0.51％和5.34％。此外，所提出的集合网络仅包括1.65M的型号参数，确保在培训和实时部署期间的计算效率。我们所提出的集合的Grad-Cam可视化突出了其子网的互补性质，是有效集合网络的关键设计参数。最后，交叉数据集评估结果表明，我们建议的集合具有高泛化能力，使其适合现实世界使用。

我们研究了两种现实情景中的一系列识别任务，要求在强闭塞下分析面孔。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人们的面部表情。另一方面，我们的目标是估计年龄并确定穿手术面具的人们的性别。对于所有这些任务，共同的地面是遮挡的一半面孔。在这一具有挑战性的环境中，我们表明，在完全可见的面上培训的卷积神经网络（CNNS）表现出非常低的性能水平。在微调遮挡面上的深度学习模型非常有用，我们表明可以通过从完全可见面上培训的模型蒸馏出来的知识来获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一个基于教师学生培训，一个基于三重态损失。我们的主要贡献包括基于三态损失的知识蒸馏的新方法，这遍历模型和任务。此外，我们考虑通过传统的师生培训或通过我们的小型教师学生培训来组合蒸馏模型，或通过基于三态损失的小说学生培训。我们提供了实证证据表明，在大多数情况下，个人和组合的知识蒸馏方法都会带来统计上显着的性能改进。我们在各种任务（面部表情识别，性别识别，年龄估计）上进行三种不同的神经模型（VGG-F，Vogg-Face，Reset-50）进行实验，而不管模型或任务如何，都显示出一致的改进。

头视点标签的成本是改善细粒度头姿势估计算法的主要障碍。缺乏大量标签的一种解决方案正在使用自我监督的学习（SSL）。 SSL可以从未标记的数据中提取良好的功能，用于下游任务。因此，本文试图显示头部姿势估计的SSL方法之间的差异。通常，使用SSL的两个主要方法：（1）使用它以预先培训权重，（2）在一个训练期间除了监督学习（SL）之外的SSL作为辅助任务。在本文中，我们通过设计混合多任务学习（HMTL）架构并使用两个SSL预先文本任务，旋转和令人困惑来评估两种方法。结果表明，两种方法的组合在其中使用旋转进行预训练和使用令人难以用于辅助头的令人费示。与基线相比，误差率降低了23.1％，这与电流的SOTA方法相当。最后，我们比较了初始权重对HMTL和SL的影响。随后，通过HMTL，使用各种初始权重减少错误：随机，想象成和SSL。

从自然语言监督中学习视觉表示，最近在许多开创性的作品中表现出了巨大的希望。通常，这些具有语言的视觉模型表现出对各种数据集和任务的强大可传递性。但是，由于缺乏易于使用的评估工具包和公共基准，评估这些模型的可转让性仍然很具有挑战性。为了解决这个问题，我们构建了高级版（评估语言的视觉任务级传输），这是用于评估（预训练）语言增强视觉模型的第一个基准和工具包。升华由三个组成部分组成。 （i）数据集。作为下游评估套件，它由20个图像分类数据集和35个对象检测数据集组成，每个数据集都用外部知识来增强。 （ii）工具包。开发了自动高参数调谐工具包，以促进下游任务的模型评估。 （iii）指标。多种评估指标用于测量样品效率（零射击和少量）和参数效率（线性探测和完整模型微调）。我们在https://computer-vision-in-the-wild.github.io/elevater/上公开发布leverater

培训深层神经网络以识别图像识别通常需要大规模的人类注释数据。为了减少深神经溶液对标记数据的依赖，文献中已经提出了最先进的半监督方法。尽管如此，在面部表达识别领域（FER）领域，使用这种半监督方法非常罕见。在本文中，我们介绍了一项关于最近提出的在FER背景下的最先进的半监督学习方法的全面研究。我们对八种半监督学习方法进行了比较研究当使用各种标记的样品时。我们还将这些方法的性能与完全监督的培训进行了比较。我们的研究表明，当培训现有的半监督方法时，每类标记的样本只有250个标记的样品可以产生可比的性能，而在完整标记的数据集中训练的完全监督的方法。为了促进该领域的进一步研究，我们在：https：//github.com/shuvenduroy/ssl_fer上公开提供代码