本文介绍了我们针对六个基本表达分类的方法论情感行为分析（ABAW）竞赛2022年的曲目。从人为生成的数据中表达并概括为真实数据。由于合成数据和面部动作单元（AU）的客观性的模棱两可，我们求助于AU信息以提高性能，并做出如下贡献。首先，为了使模型适应合成场景，我们使用了预先训练的大规模面部识别数据中的知识。其次，我们提出了一个概念上的框架，称为Au-persuped卷积视觉变压器（AU-CVT），该框架通过与AU或Pseudo Au标签共同训练辅助数据集来显然改善了FER的性能。我们的AU-CVT在验证集上的F1分数为0.6863美元，准确性为$ 0.7433 $。我们工作的源代码在线公开可用：https：//github.com/msy1412/abaw4

Facial Expression Recognition (FER) in the wild is an extremely challenging task. Recently, some Vision Transformers (ViT) have been explored for FER, but most of them perform inferiorly compared to Convolutional Neural Networks (CNN). This is mainly because the new proposed modules are difficult to converge well from scratch due to lacking inductive bias and easy to focus on the occlusion and noisy areas. TransFER, a representative transformer-based method for FER, alleviates this with multi-branch attention dropping but brings excessive computations. On the contrary, we present two attentive pooling (AP) modules to pool noisy features directly. The AP modules include Attentive Patch Pooling (APP) and Attentive Token Pooling (ATP). They aim to guide the model to emphasize the most discriminative features while reducing the impacts of less relevant features. The proposed APP is employed to select the most informative patches on CNN features, and ATP discards unimportant tokens in ViT. Being simple to implement and without learnable parameters, the APP and ATP intuitively reduce the computational cost while boosting the performance by ONLY pursuing the most discriminative features. Qualitative results demonstrate the motivations and effectiveness of our attentive poolings. Besides, quantitative results on six in-the-wild datasets outperform other state-of-the-art methods.

面部影响分析仍然是一项艰巨的任务，其设置从实验室控制到野外情况。在本文中，我们提出了新的框架，以应对第四次情感行为分析（ABAW）竞争的两个挑战：i）多任务学习（MTL）挑战和II）从合成数据（LSD）中学习挑战。对于MTL挑战，我们采用SMM-EmotionNet具有更好的特征向量策略。对于LSD挑战，我们建议采用各自的方法来应对单个标签，不平衡分布，微调限制和模型体系结构的选择。竞争的官方验证集的实验结果表明，我们提出的方法的表现优于基线。该代码可在https://github.com/sylyoung/abaw4-hust-ant上找到。

Group affect refers to the subjective emotion that is evoked by an external stimulus in a group, which is an important factor that shapes group behavior and outcomes. Recognizing group affect involves identifying important individuals and salient objects among a crowd that can evoke emotions. Most of the existing methods are proposed to detect faces and objects using pre-trained detectors and summarize the results into group emotions by specific rules. However, such affective region selection mechanisms are heuristic and susceptible to imperfect faces and objects from the pre-trained detectors. Moreover, faces and objects on group-level images are often contextually relevant. There is still an open question about how important faces and objects can be interacted with. In this work, we incorporate the psychological concept called Most Important Person (MIP). It represents the most noteworthy face in the crowd and has an affective semantic meaning. We propose the Dual-branch Cross-Patch Attention Transformer (DCAT) which uses global image and MIP together as inputs. Specifically, we first learn the informative facial regions produced by the MIP and the global context separately. Then, the Cross-Patch Attention module is proposed to fuse the features of MIP and global context together to complement each other. With parameters less than 10x, the proposed DCAT outperforms state-of-the-art methods on two datasets of group valence prediction, GAF 3.0 and GroupEmoW datasets. Moreover, our proposed model can be transferred to another group affect task, group cohesion, and shows comparable results.

本文描述了我们对第四个情感行为分析（ABAW）竞争的提交。我们提出了一个用于多任务学习（MTL）的混合CNN转换模型，并从合成数据（LSD）任务中学习。验证数据集的实验结果表明，我们的方法比基线模型获得了更好的性能，该模型验证了提出的网络的有效性。

面部行为分析是一个广泛的主题，具有各种类别，例如面部情绪识别，年龄和性别认识，……许多研究都集中在单个任务上，而多任务学习方法仍然开放，需要更多的研究。在本文中，我们为情感行为分析在野外竞争中的多任务学习挑战提供了解决方案和实验结果。挑战是三个任务的组合：动作单元检测，面部表达识别和偶像估计。为了应对这一挑战，我们引入了一个跨集团模块，以提高多任务学习绩效。此外，还应用面部图来捕获动作单元之间的关联。结果，我们在组织者提供的验证数据上实现了1.24的评估度量，这比0.30的基线结果要好。

基于面部的情感计算包括检测面部图像的情绪。它可以更好地自动理解人类行为是有用的，并且可以为改善人机相互作用铺平道路。但是，它涉及设计情绪的计算表示的挑战。到目前为止，情绪已经在2D价/唤醒空间中连续地表示，或者以Ekman的7种基本情绪为单位。另外，Ekman的面部动作单元（AU）系统也已被用来使用单一肌肉激活的代码手册来粘附情绪。 ABAW3和ABAW4多任务挑战是第一项提供用这三种标签注释的大规模数据库的工作。在本文中，我们提出了一种基于变压器的多任务方法，用于共同学习以预测唤醒，动作单位和基本情绪。从体系结构的角度来看，我们的方法使用任务的令牌方法来有效地建模任务之间的相似性。从学习的角度来看，我们使用不确定性加权损失来建模三个任务注释之间的随机性差异。

驾驶员分心检测是一个重要的计算机视觉问题，可以在增强交通安全和减少交通事故方面发挥关键作用。在本文中，提出了一种基于视觉变压器（VIT）的方法来进行驾驶员分心检测。具体而言，开发了多模式视觉变压器（VIT-DD），该变压器（VIT-DD）利用了分散注意力检测以及驾驶员情绪识别信号中包含的归纳信息。此外，半激动的学习算法旨在将无情绪标签的驱动程序数据包括在VIT-DD的监督多任务培训中。在SFDDD和AUCDD数据集上进行的广泛实验表明，拟议的VIT-DD的表现分别优于最先进的驾驶员分心检测方法6.5％和0.9％。我们的源代码在https://github.com/purduedigitaltwin/vit-dd上发布。

在本文中，我们介绍了HSE-NN团队在第四次竞争中有关情感行为分析（ABAW）的结果。新型的多任务效率网络模型经过训练，可以同时识别面部表情以及对静态照片的价和唤醒的预测。由此产生的MT-Emotieffnet提取了视觉特征，这些特征在多任务学习挑战中被馈入简单的前馈神经网络。我们在验证集上获得了性能度量1.3，与基线（0.3）的性能或仅在S-AFF-WILD2数据库中训练的现有模型相比，这要大大更大。在从合成数据挑战中学习中，使用超分辨率技术（例如Real-Esrgan）提高了原始合成训练集的质量。接下来，在新的培训套件中对MT-Emotieffnet进行了微调。最终预测是预先训练和微调的MT-Emotieffnets的简单混合集合。我们的平均验证F1得分比基线卷积神经网络高18％。

野外表达对于各种交互式计算域至关重要。特别是，“从合成数据学习”（LSD）是面部表达识别任务中的重要主题。在本文中，我们提出了一种基于多任务的面部表达识别方法，该方法由情感和外观学习分支组成，可以共享所有面部信息，并为第四个情感行为分析中引入的LSD挑战提供初步结果。-Wild（ABAW）比赛。我们的方法达到的平均F1得分为0.71。

本文介绍了与欧洲计算机视觉会议（ECCV）共同举行的第四次情感行为分析（ABAW）竞赛，2022年。第四次ABAW竞赛是IEEE CVPR 2022，ICCV举行的比赛的延续。 2021年，IEEE FG 2020和IEEE CVPR 2017会议，旨在自动分析影响。在这场比赛的先前跑步中，挑战针对的价值估计，表达分类和动作单位检测。今年的竞争包括两个不同的挑战：i）多任务学习的挑战，其目标是同时学习（即在多任务学习环境中）所有上述三个任务； ii）从合成数据中学习一个，即目标是学会识别人为生成的数据并推广到真实数据的基本表达。 AFF-WILD2数据库是一个大规模的野外数据库，第一个包含价和唤醒，表达式和动作单元的注释。该数据库是上述挑战的基础。更详细地：i）S-Aff-Wild2（AFF-WILD2数据库的静态版本）已被构造和利用，以实现多任务学习挑战的目的； ii）已使用AFF-WILD2数据库中的一些特定帧图像以表达操作方式来创建合成数据集，这是从合成数据挑战中学习的基础。在本文中，首先，我们提出了两个挑战，以及利用的语料库，然后概述了评估指标，并最终提出了每个挑战的基线系统及其派生结果。有关比赛的更多信息，请参见竞争的网站：https：//ibug.doc.ic.ac.uk/resources/eccv-2023-4th-abaw/。

由于其广泛的应用，情感行为分析引起了研究人员的关注。但是，获得大量面部图像的准确注释是详尽的。因此，我们建议通过在未标记的面部图像上预处理的蒙版自动编码器（MAE）利用先前的面部信息。此外，我们结合了MAE预处理的视觉变压器（VIT）和AffectNet预处理的CNN，以执行多任务情绪识别。我们注意到表达和动作单元（AU）得分是价值（VA）回归的纯粹和完整的特征。结果，我们利用AffectNet预处理的CNN提取与表达和来自VIT的AU评分相连的表达评分，以获得最终的VA特征。此外，我们还提出了一个共同训练框架，该框架与两个平行的MAE预估计的VIT进行表达识别任务。为了使这两个视图独立，我们在训练过程中随机掩盖了大多数补丁。然后，执行JS差异以使两种视图的预测尽可能一致。 ABAW4上的结果表明我们的方法是有效的。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

Deep models for facial expression recognition achieve high performance by training on large-scale labeled data. However, publicly available datasets contain uncertain facial expressions caused by ambiguous annotations or confusing emotions, which could severely decline the robustness. Previous studies usually follow the bias elimination method in general tasks without considering the uncertainty problem from the perspective of different corresponding sources. In this paper, we propose a novel method of multi-task assisted correction in addressing uncertain facial expression recognition called MTAC. Specifically, a confidence estimation block and a weighted regularization module are applied to highlight solid samples and suppress uncertain samples in every batch. In addition, two auxiliary tasks, i.e., action unit detection and valence-arousal measurement, are introduced to learn semantic distributions from a data-driven AU graph and mitigate category imbalance based on latent dependencies between discrete and continuous emotions, respectively. Moreover, a re-labeling strategy guided by feature-level similarity constraint further generates new labels for identified uncertain samples to promote model learning. The proposed method can flexibly combine with existing frameworks in a fully-supervised or weakly-supervised manner. Experiments on RAF-DB, AffectNet, and AffWild2 datasets demonstrate that the MTAC obtains substantial improvements over baselines when facing synthetic and real uncertainties and outperforms the state-of-the-art methods.

多任务学习是基于深度学习的面部表情识别任务的有效学习策略。但是，当在不同任务之间传输信息时，大多数现有方法都考虑了特征选择，这可能在培训多任务网络时可能导致任务干扰。为了解决这个问题，我们提出了一种新颖的选择性特征共享方法，并建立一个用于面部表情识别和面部表达合成的多任务网络。该方法可以有效地转移不同任务之间的有益特征，同时过滤无用和有害信息。此外，我们采用了面部表情综合任务来扩大并平衡训练数据集以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在那些常用的面部表情识别基准上实现了最先进的性能，这使其成为现实世界面部表情识别问题的潜在解决方案。

几乎所有现有的基于面部动作编码系统的数据集包括面部动作单元（AU）强度信息使用A-E级别分层地向强度值注释。然而，面部表情连续变化，并将从一个状态变为另一个状态。因此，将局部面部AU的强度值重新播出以表示整个面部表情的变化更有效，特别是在表达转移和面部动画的领域。我们将Feafa的扩展与重新标记的DISFA数据库相结合，可在HTTPS://www.iiplab.net/feafa+ /现在提供。扩展Feafa（Feafa +）包括来自Feafa和Disfa的150个视频序列，总共230,184帧，使用表达式定量工具手动注释24重新定义AU的浮点强度值。我们还列出了针对构成和自发子集的粗略数值结果，并为AU强度回归任务提供基线比较。

最近利用多模式数据旨在建立面部动作单元（AU）检测模型的研究。但是，由于多模式数据的异质性，多模式表示学习成为主要挑战之一。一方面，很难通过仅通过一个特征提取器从多模式中提取相关特征，另一方面，先前的研究并未完全探索多模式融合策略的潜力。例如，早期融合通常需要在推理期间存在所有方式，而晚期融合和中间融合则增加了特征学习的网络大小。与晚期融合的大量工作相反，早期融合探索渠道信息的作品很少。本文提出了一个新型的多模式网络，称为多模式通道混合（MCM），作为一种预训练的模型，以学习强大的表示形式，以促进多模式融合。我们在自动面部动作单元检测的下游任务上评估学习的表示形式。具体而言，它是一个单个流编码器网络，该网络在早期融合中使用频道混合模块，在下游检测任务中仅需要一种模态。我们还利用蒙版的VIT编码器从融合图像中学习特征，并使用两个VIT解码器重建两个模式。我们已经在两个公共数据集（称为BP4D和DISFA）上进行了广泛的实验，以评估所提出的多模式框架的有效性和鲁棒性。结果表明我们的方法是可比或优越的，它与最新的基线方法相当。

本文说明了我们对第四个情感行为分析（ABAW）竞争的提交方法。该方法用于多任务学习挑战。我们不使用面部信息，而是使用所提供的包含面部和面部上下文的数据集中的完整信息。我们利用InceptionNet V3模型提取深度特征，然后应用了注意机制来完善特征。之后，我们将这些功能放入变压器块和多层感知器网络中，以获得最终的多种情感。我们的模型预测唤醒和价，对情绪表达进行分类，并同时估算动作单元。提出的系统在MTL挑战验证数据集上实现了0.917的性能。

从合成图像中学习由于标记真实图像的困难而在面部表达识别任务中起着重要作用，并且由于合成图像和真实图像之间存在差距而具有挑战性。第四次情感行为分析在野外竞争增加了挑战，并提供了Aff-Wild2数据集生成的合成图像。在本文中，我们提出了一种手工辅助表达识别方法，以减少合成数据和真实数据之间的差距。我们的方法由两个部分组成：表达识别模块和手部预测模块。表达识别模块提取表达信息，并预测模块预测图像是否包含手。决策模式用于结合两个模块的结果，并使用后延伸来改善结果。F1分数用于验证我们方法的有效性。

Due to its importance in facial behaviour analysis, facial action unit (AU) detection has attracted increasing attention from the research community. Leveraging the online knowledge distillation framework, we propose the ``FANTrans" method for AU detection. Our model consists of a hybrid network of convolution and transformer blocks to learn per-AU features and to model AU co-occurrences. The model uses a pre-trained face alignment network as the feature extractor. After further transformation by a small learnable add-on convolutional subnet, the per-AU features are fed into transformer blocks to enhance their representation. As multiple AUs often appear together, we propose a learnable attention drop mechanism in the transformer block to learn the correlation between the features for different AUs. We also design a classifier that predicts AU presence by considering all AUs' features, to explicitly capture label dependencies. Finally, we make the attempt of adapting online knowledge distillation in the training stage for this task, further improving the model's performance. Experiments on the BP4D and DISFA datasets demonstrating the effectiveness of proposed method.