Facial action units (FAUs) are critical for fine-grained facial expression analysis. Although FAU detection has been actively studied using ideally high quality images, it was not thoroughly studied under heavily occluded conditions. In this paper, we propose the first occlusion-robust FAU recognition method to maintain FAU detection performance under heavy occlusions. Our novel approach takes advantage of rich information from the latent space of masked autoencoder (MAE) and transforms it into FAU features. Bypassing the occlusion reconstruction step, our model efficiently extracts FAU features of occluded faces by mining the latent space of a pretrained masked autoencoder. Both node and edge-level knowledge distillation are also employed to guide our model to find a mapping between latent space vectors and FAU features. Facial occlusion conditions, including random small patches and large blocks, are thoroughly studied. Experimental results on BP4D and DISFA datasets show that our method can achieve state-of-the-art performances under the studied facial occlusion, significantly outperforming existing baseline methods. In particular, even under heavy occlusion, the proposed method can achieve comparable performance as state-of-the-art methods under normal conditions.

Due to its importance in facial behaviour analysis, facial action unit (AU) detection has attracted increasing attention from the research community. Leveraging the online knowledge distillation framework, we propose the ``FANTrans" method for AU detection. Our model consists of a hybrid network of convolution and transformer blocks to learn per-AU features and to model AU co-occurrences. The model uses a pre-trained face alignment network as the feature extractor. After further transformation by a small learnable add-on convolutional subnet, the per-AU features are fed into transformer blocks to enhance their representation. As multiple AUs often appear together, we propose a learnable attention drop mechanism in the transformer block to learn the correlation between the features for different AUs. We also design a classifier that predicts AU presence by considering all AUs' features, to explicitly capture label dependencies. Finally, we make the attempt of adapting online knowledge distillation in the training stage for this task, further improving the model's performance. Experiments on the BP4D and DISFA datasets demonstrating the effectiveness of proposed method.

面部动作单位（AUS）的激活相互影响。尽管一对AU之间的关系可能是复杂且独特的，但现有方法无法具体而明确地代表每个面部显示中每对AUS的此类提示。本文提出了一种AU关系建模方法，该方法深入了解独特的图表，以明确描述目标面部显示的每对AU之间的关系。我们的方法首先将每个AU的激活状态及其与其他AU的关联编码为节点功能。然后，它学习了一对多维边缘功能，以描述每对AUS之间的多个特定于任务的关系线索。在节点和边缘功能学习期间，我们的方法还考虑了独特的面部展示对AUS关系的影响，通过将完整的面部表示作为输入。 BP4D和DISFA数据集的实验结果表明，节点和边缘特征学习模块都为CNN和基于变压器的骨架提供了巨大的性能改进，我们的最佳系统可实现最先进的AU识别结果。我们的方法不仅具有强大的AU识别建模关系线索的能力，而且可以轻松地将其纳入各种骨架中。我们的Pytorch代码可用。

本文研究了从预先训练的模型，尤其是蒙面自动编码器中提取知识的潜力。我们的方法很简单：除了优化掩盖输入的像素重建损失外，我们还将教师模型的中间特征图与学生模型的中间特征图之间的距离最小化。此设计导致一个计算高效的知识蒸馏框架，给定1）仅使用一个少量可见的补丁子集，2）（笨拙的）教师模型仅需要部分执行，\ ie，\ ie，在前几个中，向前传播输入层，用于获得中间特征图。与直接蒸馏微型模型相比，提炼预训练的模型显着改善了下游性能。例如，通过将知识从MAE预先训练的VIT-L提炼为VIT-B，我们的方法可实现84.0％的Imagenet Top-1精度，表现优于直接将微型VIT-L蒸馏的基线，降低1.2％。更有趣的是，我们的方法即使具有极高的掩盖率也可以从教师模型中进行鲁棒性蒸馏：例如，在蒸馏过程中仅可见十个斑块，我们的VIT-B具有竞争力的前1个Imagenet精度为83.6％，在95％的掩盖率中，只有十个斑块。 ;令人惊讶的是，它仍然可以通过仅四个可见斑（98％的掩盖率）积极训练来确保82.4％的Top-1 Imagenet精度。代码和模型可在https://github.com/ucsc-vlaa/dmae上公开获得。

最近利用多模式数据旨在建立面部动作单元（AU）检测模型的研究。但是，由于多模式数据的异质性，多模式表示学习成为主要挑战之一。一方面，很难通过仅通过一个特征提取器从多模式中提取相关特征，另一方面，先前的研究并未完全探索多模式融合策略的潜力。例如，早期融合通常需要在推理期间存在所有方式，而晚期融合和中间融合则增加了特征学习的网络大小。与晚期融合的大量工作相反，早期融合探索渠道信息的作品很少。本文提出了一个新型的多模式网络，称为多模式通道混合（MCM），作为一种预训练的模型，以学习强大的表示形式，以促进多模式融合。我们在自动面部动作单元检测的下游任务上评估学习的表示形式。具体而言，它是一个单个流编码器网络，该网络在早期融合中使用频道混合模块，在下游检测任务中仅需要一种模态。我们还利用蒙版的VIT编码器从融合图像中学习特征，并使用两个VIT解码器重建两个模式。我们已经在两个公共数据集（称为BP4D和DISFA）上进行了广泛的实验，以评估所提出的多模式框架的有效性和鲁棒性。结果表明我们的方法是可比或优越的，它与最新的基线方法相当。

通过开发基于生成的自我监督学习（SSL）方法，例如Beit和Mae，如何通过掩盖输入图像的随机补丁并重建缺失信息来学习良好的表示形式。但是，Beit和Peco需要一个“预先陈述”阶段，以生成用于掩盖补丁代表的离散代码手册。 MAE不需要预训练的代码簿流程，但是将像素设置为重建目标可能会引入前训练和下游任务之间的优化差距，即良好的重建质量可能并不总是会导致模型的高描述能力。考虑到上述问题，在本文中，我们提出了一个简单的自鉴定的蒙面自动编码器网络，即SDAE。 SDAE由一个使用编码器解码器结构的学生分支组成，以重建缺失的信息，并制作一个师范分支，生产蒙版代币的潜在表示。我们还分析了如何从信息瓶颈的角度来为教师分支机构建立潜在代表性的好看法。之后，我们提出了一种多重掩蔽策略，以提供多个掩盖视图，并具有平衡的信息以提高性能，这也可以降低计算复杂性。我们的方法很好地概括了：只有300个时期预训练，香草vit-base模型在Imagenet-1K分类上达到了84.1％的微调精度，48.6 MIOU在ADE20K细分方面和48.9 coco检测中的MAP，它超过了其他方法，从而超过其他方法。通过相当大的边距。代码可从https://github.com/abrahamyabo/sdae获得。

Recent years witnessed the breakthrough of face recognition with deep convolutional neural networks. Dozens of papers in the field of FR are published every year. Some of them were applied in the industrial community and played an important role in human life such as device unlock, mobile payment, and so on. This paper provides an introduction to face recognition, including its history, pipeline, algorithms based on conventional manually designed features or deep learning, mainstream training, evaluation datasets, and related applications. We have analyzed and compared state-of-the-art works as many as possible, and also carefully designed a set of experiments to find the effect of backbone size and data distribution. This survey is a material of the tutorial named The Practical Face Recognition Technology in the Industrial World in the FG2023.

蒙面的自动编码器是可扩展的视觉学习者，因为Mae \ Cite {He2022masked}的标题表明，视觉中的自我监督学习（SSL）可能会采用与NLP中类似的轨迹。具体而言，具有蒙版预测（例如BERT）的生成借口任务已成为NLP中的事实上的标准SSL实践。相比之下，他们的歧视性对应物（例如对比度学习）掩埋了视力中的生成方法的早期尝试；但是，蒙版图像建模的成功已恢复了屏蔽自动编码器（过去通常被称为DeNosing AutoCoder）。作为在NLP中与Bert弥合差距的一个里程碑，蒙面自动编码器吸引了对SSL在视觉及其他方面的前所未有的关注。这项工作对蒙面自动编码器进行了全面的调查，以洞悉SSL的有希望的方向。作为第一个使用蒙版自动编码器审查SSL的人，这项工作通过讨论其历史发展，最新进度以及对不同应用的影响，重点介绍其在视觉中的应用。

Benefiting from masked visual modeling, self-supervised video representation learning has achieved remarkable progress. However, existing methods focus on learning representations from scratch through reconstructing low-level features like raw pixel RGB values. In this paper, we propose masked video distillation (MVD), a simple yet effective two-stage masked feature modeling framework for video representation learning: firstly we pretrain an image (or video) model by recovering low-level features of masked patches, then we use the resulting features as targets for masked feature modeling. For the choice of teacher models, we observe that students taught by video teachers perform better on temporally-heavy video tasks, while image teachers transfer stronger spatial representations for spatially-heavy video tasks. Visualization analysis also indicates different teachers produce different learned patterns for students. Motivated by this observation, to leverage the advantage of different teachers, we design a spatial-temporal co-teaching method for MVD. Specifically, we distill student models from both video teachers and image teachers by masked feature modeling. Extensive experimental results demonstrate that video transformers pretrained with spatial-temporal co-teaching outperform models distilled with a single teacher on a multitude of video datasets. Our MVD with vanilla ViT achieves state-of-the-art performance compared with previous supervised or self-supervised methods on several challenging video downstream tasks. For example, with the ViT-Large model, our MVD achieves 86.4% and 75.9% Top-1 accuracy on Kinetics-400 and Something-Something-v2, outperforming VideoMAE by 1.2% and 1.6% respectively. Code will be available at \url{https://github.com/ruiwang2021/mvd}.

The recent success of pre-trained 2D vision models is mostly attributable to learning from large-scale datasets. However, compared with 2D image datasets, the current pre-training data of 3D point cloud is limited. To overcome this limitation, we propose a knowledge distillation method for 3D point cloud pre-trained models to acquire knowledge directly from the 2D representation learning model, particularly the image encoder of CLIP, through concept alignment. Specifically, we introduce a cross-attention mechanism to extract concept features from 3D point cloud and compare them with the semantic information from 2D images. In this scheme, the point cloud pre-trained models learn directly from rich information contained in 2D teacher models. Extensive experiments demonstrate that the proposed knowledge distillation scheme achieves higher accuracy than the state-of-the-art 3D pre-training methods for synthetic and real-world datasets on downstream tasks, including object classification, object detection, semantic segmentation, and part segmentation.

我们研究了两种现实情景中的一系列识别任务，要求在强闭塞下分析面孔。一方面，我们的目标是识别佩戴虚拟现实（VR）耳机的人们的面部表情。另一方面，我们的目标是估计年龄并确定穿手术面具的人们的性别。对于所有这些任务，共同的地面是遮挡的一半面孔。在这一具有挑战性的环境中，我们表明，在完全可见的面上培训的卷积神经网络（CNNS）表现出非常低的性能水平。在微调遮挡面上的深度学习模型非常有用，我们表明可以通过从完全可见面上培训的模型蒸馏出来的知识来获得额外的性能增益。为此，我们研究了两种知识蒸馏方法，一个基于教师学生培训，一个基于三重态损失。我们的主要贡献包括基于三态损失的知识蒸馏的新方法，这遍历模型和任务。此外，我们考虑通过传统的师生培训或通过我们的小型教师学生培训来组合蒸馏模型，或通过基于三态损失的小说学生培训。我们提供了实证证据表明，在大多数情况下，个人和组合的知识蒸馏方法都会带来统计上显着的性能改进。我们在各种任务（面部表情识别，性别识别，年龄估计）上进行三种不同的神经模型（VGG-F，Vogg-Face，Reset-50）进行实验，而不管模型或任务如何，都显示出一致的改进。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

我们提出了引导蒙面的自动编码器（bootmae），这是一种新的视觉BERT预训练方法。 Bootmae用两个核心设计改进了原始的蒙版自动编码器（MAE）：1）动量编码器，该动量编码器可作为额外的BERT预测目标提供在线功能； 2）试图降低编码器的压力以记住目标特定信息的靶向解码器。第一个设计的动机是通过观察到的，即使用预定的MAE提取特征，因为掩盖令牌的BERT预测目标可以实现更好的预训练性能。因此，我们与原始的MAE编码器并行添加了一个动量编码器，该编码器通过将其自己的表示作为BERT预测目标来引导预处理性能。在第二个设计中，我们将特定于目标的信息（例如，未掩盖贴片的像素值）直接传达到解码器中，以减少记住目标特定信息的编码器的压力。因此，编码器专注于语义建模，这是BERT预训练的目的，并且不需要浪费其在记住与预测目标相关的未掩盖令牌的信息时的能力。通过广泛的实验，我们的Bootmae在ImageNet-1k上获得了$ 84.2 \％$ $ $ $+0.8 \％$在同一预训练时期。 Bootmae还获得了$+1.0 $ MIOU在ADE20K上的语义细分和$+1.3 $ box ap，$+1.4 $+1.4 $ bask ap改进对象检测和可可数据集上的细分。代码在https://github.com/lightdxy/bootmae上发布。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

运动同步反映了相互作用二元组之间身体运动的协调。强大的深度学习模型（例如变压器网络）对运动同步的估计已自动化。但是，与其设计用于运动同步估计的专业网络，不如先前基于变压器的作品从其他任务（例如人类活动识别）中广泛采用了体系结构。因此，本文提出了一种基于骨架的图形变压器来进行运动同步估计。提出的模型应用了ST-GCN，这是一种空间图卷积神经网络，用于骨骼特征提取，然后是用于空间特征生成的空间变压器。空间变压器的指导是由相同的个体相同关节之间共享的独特设计的关节位置嵌入。此外，考虑到身体运动的周期性固有性，我们将时间相似性矩阵纳入了时间注意计算中。此外，与每个关节相关的置信度得分反映了姿势的不确定性，而先前关于运动同步估计的作品尚未充分强调这一点。由于变形金刚网络要求大量的数据进行训练，因此我们使用人类36M，一个用于人类活动识别的基准数据集构建了一个用于运动同步估算的数据集，并使用对比度学习鉴定了我们的模型。我们进一步应用知识蒸馏以减轻姿势探测器失败以隐私的方式引入的信息损失。我们将我们的方法与PT13上的代表性方法进行了比较，PT13是从自闭症治疗干预措施中收集的数据集。我们的方法达到了88.98％的总体准确性，并在保持数据隐私的同时超过了同行。

分解表示形式通常被用于年龄不变的面部识别（AIFR）任务。但是，这些方法已经达到了一些局限性，（1）具有年龄标签的大规模面部识别（FR）培训数据的要求，这在实践中受到限制； （2）高性能的重型深网架构； （3）他们的评估通常是在与年龄相关的面部数据库上进行的，同时忽略了标准的大规模FR数据库以确保鲁棒性。这项工作提出了一种新颖的轻巧的角度蒸馏（LIAAD）方法，用于克服这些限制的大规模轻量级AIFR。鉴于两个具有不同专业知识的教师，LIAAD引入了学习范式，以有效地提炼老年人的专注和棱角分明的知识，从这些老师到轻量级的学生网络，使其更强大，以更高的fr准确性和稳健的年龄，从而有效地提炼了一个学习范式因素。因此，LIAAD方法能够采用带有和不具有年龄标签的两个FR数据集的优势来训练AIFR模型。除了先前的蒸馏方法主要关注封闭设置问题中的准确性和压缩比，我们的LIAAD旨在解决开放式问题，即大规模的面部识别。对LFW，IJB-B和IJB-C Janus，AgeDB和Megaface-Fgnet的评估证明了拟议方法在轻重量结构上的效率。这项工作还提出了一个新的纵向面部衰老（Logiface）数据库\ footNote {将提供该数据库}，以进一步研究未来与年龄相关的面部问题。

微表达（MES）是非自愿的面部运动，揭示了人们在高利害情况下隐藏的感受，并对医疗，国家安全，审讯和许多人机交互系统具有实际重要性。早期的MER方法主要基于传统的外观和几何特征。最近，随着各种领域的深度学习（DL）的成功，神经网络已得到MER的兴趣。不同于宏观表达，MES是自发的，微妙的，快速的面部运动，导致数据收集困难，因此具有小规模的数据集。由于上述我的角色，基于DL的MER变得挑战。迄今为止，已提出各种DL方法来解决我的问题并提高MER表现。在本调查中，我们对深度微表达识别（MER）进行了全面的审查，包括数据集，深度MER管道和最具影响力方法的基准标记。本调查定义了该领域的新分类法，包括基于DL的MER的所有方面。对于每个方面，总结和讨论了基本方法和高级发展。此外，我们得出了坚固的深层MER系统设计的剩余挑战和潜在方向。据我们所知，这是对深度MEL方法的第一次调查，该调查可以作为未来MER研究的参考点。

知识蒸馏（KD）在将学习表征从大型模型（教师）转移到小型模型（学生）方面表现出非常有希望的能力。但是，随着学生和教师之间的容量差距变得更大，现有的KD方法无法获得更好的结果。我们的工作表明，“先验知识”对KD至关重要，尤其是在应用大型老师时。特别是，我们提出了动态的先验知识（DPK），该知识将教师特征的一部分作为特征蒸馏之前的先验知识。这意味着我们的方法还将教师的功能视为“输入”，而不仅仅是``目标''。此外，我们根据特征差距动态调整训练阶段的先验知识比率，从而引导学生在适当的困难中。为了评估所提出的方法，我们对两个图像分类基准（即CIFAR100和Imagenet）和一个对象检测基准（即MS Coco）进行了广泛的实验。结果表明，在不同的设置下，我们方法在性能方面具有优势。更重要的是，我们的DPK使学生模型的表现与教师模型的表现呈正相关，这意味着我们可以通过应用更大的教师进一步提高学生的准确性。我们的代码将公开用于可重复性。

知识蒸馏最近成为一种流行的技术，以改善卷积神经网络的模型泛化能力。然而，它对图形神经网络的影响小于令人满意的，因为图形拓扑和节点属性可能以动态方式改变，并且在这种情况下，静态教师模型引导学生培训不足。在本文中，我们通过在在线蒸馏时期同时培训一组图形神经网络来解决这一挑战，其中组知识发挥作用作为动态虚拟教师，并且有效地捕获了图形神经网络的结构变化。为了提高蒸馏性能，在学生之间转移两种知识，以增强彼此：在图形拓扑和节点属性中反映信息的本地知识，以及反映课程预测的全局知识。随着香草知识蒸馏等，在利用有效的对抗性循环学习框架，将全球知识与KL分歧转移。广泛的实验验证了我们提出的在线对抗蒸馏方法的有效性。

近年来，自我监督的学习（SSL）引起了病理图像分析的越来越多的关注。与需要仔细设计的对比学习相比，从生成范式中掩盖了自动编码器（MAE）构建SSL可能是一种更简单的方法。在本文中，我们介绍MAE并验证可见斑块对病理图像分类的影响。基于它，提出了一种新型的SD-MAE模型，以使RAW MAE顶部的自我验证增强SSL。除了掩盖图像贴片的重建损失外，SD-MAE还进一步对可见斑块施加了自我验证损失。它传递了由解码器的全球注意力引起的知识，该知识仅利用局部关注。我们将SD-MAE应用于两个公共病理图像数据集。实验表明，与其他SSL方法相比，SD-MAE的竞争性高。我们的代码将很快发布。