长期以来，面部表达分析一直是计算机视觉的积极研究领域。传统方法主要分析原型离散情绪的图像；结果，它们不能准确描述人类复杂的情绪状态。此外，在可见光光谱中，照明方差仍然是面部分析的挑战。为了解决这些问题，我们建议使用基于价和唤醒的维数模型，以代表更广泛的情绪，并结合近红外（NIR）图像，这对于照明变化更为强大。由于没有现有的NIR面部表达数据集具有价值标签，因此我们提供两种互补的数据增强方法（面部变形和自行车方法），可以创建具有来自现有的分类和/或可见光光数据集的尺寸情感标签的NIR Image数据集。我们的实验表明，就数据质量和基线预测性能而言，这些生成的NIR数据集与现有数据集相当。

我们介绍了Daisee，这是第一个多标签视频分类数据集，该数据集由112个用户捕获的9068个视频片段，用于识别野外无聊，混乱，参与度和挫败感的用户情感状态。该数据集具有四个级别的标签 - 每个情感状态都非常低，低，高和很高，它们是人群注释并与使用专家心理学家团队创建的黄金标准注释相关的。我们还使用当今可用的最先进的视频分类方法在此数据集上建立了基准结果。我们认为，黛西（Daisee）将为研究社区提供特征提取，基于上下文的推理以及为相关任务开发合适的机器学习方法的挑战，从而为进一步的研究提供了跳板。该数据集可在https://people.iith.ac.in/vineethnb/resources/daisee/daisee/index.html下载。

面部及其表达是数字图像的有效科目之一。检测图像的情绪是计算机视野领域的古代任务;然而，从图像进行反向合成的面部表达式 - 是非常新的。使用不同面部表情的再生图像的这种操作，或者改变图像中的现有表达需要生成的对抗网络（GaN）。在本文中，我们的目标是使用GaN改变图像中的面部表情，其中具有初始表达式（即，快乐）的输入图像被改变为同一个人的不同表达式（即，厌恶）。我们在Mug数据集的修改版本上使用了Stargn技术来完成此目标。此外，我们通过在从给定文本中的情感指示的图像中重塑面部表情进一步扩展我们的工作。因此，我们应用了一个长期的短期内存（LSTM）方法来从文本中提取情绪并将其转发给我们的表达式更改模块。作为我们的工作管道的演示，我们还创建了一个博客的应用程序原型，该博客将根据用户的文本情绪与不同的表达式重新生成配置文件图片。

本文介绍了与欧洲计算机视觉会议（ECCV）共同举行的第四次情感行为分析（ABAW）竞赛，2022年。第四次ABAW竞赛是IEEE CVPR 2022，ICCV举行的比赛的延续。 2021年，IEEE FG 2020和IEEE CVPR 2017会议，旨在自动分析影响。在这场比赛的先前跑步中，挑战针对的价值估计，表达分类和动作单位检测。今年的竞争包括两个不同的挑战：i）多任务学习的挑战，其目标是同时学习（即在多任务学习环境中）所有上述三个任务； ii）从合成数据中学习一个，即目标是学会识别人为生成的数据并推广到真实数据的基本表达。 AFF-WILD2数据库是一个大规模的野外数据库，第一个包含价和唤醒，表达式和动作单元的注释。该数据库是上述挑战的基础。更详细地：i）S-Aff-Wild2（AFF-WILD2数据库的静态版本）已被构造和利用，以实现多任务学习挑战的目的； ii）已使用AFF-WILD2数据库中的一些特定帧图像以表达操作方式来创建合成数据集，这是从合成数据挑战中学习的基础。在本文中，首先，我们提出了两个挑战，以及利用的语料库，然后概述了评估指标，并最终提出了每个挑战的基线系统及其派生结果。有关比赛的更多信息，请参见竞争的网站：https：//ibug.doc.ic.ac.uk/resources/eccv-2023-4th-abaw/。

识别面部视频的连续情绪和动作单元（AU）强度需要对表达动态的空间和时间理解。现有作品主要依赖2D面的外观来提取这种动态。这项工作着重于基于参数3D面向形状模型的有希望的替代方案，该模型解散了不同的变异因素，包括表达诱导的形状变化。我们旨在了解与最先进的2D外观模型相比，在估计价值和AU强度方面表现性3D面部形状如何。我们基准了四个最近的3D面对准模型：Expnet，3DDFA-V2，DECA和EMOCA。在价值估计中，3D面模型的表达特征始终超过以前的作品，并在SEWA和AVEC 2019 CES CORPORA上的平均一致性相关性分别为.739和.574。我们还研究了BP4D和DISFA数据集的AU强度估计的3D面形状如何执行，并报告说3D脸部功能在AUS 4、6、10、12和25中与2D外观特征相当，但没有整个集合。 aus。为了理解这种差异，我们在价值和AUS之间进行了对应分析，该分析指出，准确的价值预测可能仅需要少数AU的知识。

与人类相互作用的机器人和人造代理应该能够在没有偏见和不平等的情况下这样做，但是众所周知，面部感知系统对某些人来说比其他人的工作更差。在我们的工作中，我们旨在建立一个可以以更透明和包容的方式感知人类的系统。具体而言，我们专注于对人脸的动态表达，由于隐私问题以及面部本质上可识别的事实，这很难为广泛的人收集。此外，从互联网收集的数据集不一定代表一般人群。我们通过提供SIM2REAL方法来解决这个问题，在该方法中，我们使用一套3D模拟的人类模型，使我们能够创建一个可审核的合成数据集覆盖1）在六种基本情绪之外，代表性不足的面部表情（例如混乱）； 2）种族或性别少数群体； 3）机器人可能在现实世界中遇到人类的广泛视角。通过增强包含包含4536个样本的合成数据集的123个样本的小型动态情感表达数据集，我们在自己的数据集上的准确性提高了15％，与外部基准数据集的11％相比，我们的精度为11％，与同一模型体系结构的性能相比没有合成训练数据。我们还表明，当体系结构的特征提取权重从头开始训练时，这一额外的步骤专门针对种族少数群体的准确性。

编辑和操纵视频中的面部特征是一种有趣而重要的研究领域，具有夸张的应用，从电影生产和视觉效果到视频游戏和虚拟助手的现实头像。据我们所知，本文提出了第一种在视频中进行了对面部表情的照相型式操纵的方法。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操纵。我们专注于通过改变和控制面部表情来互动操纵视频，实现有前途的光电温度效果。该方法基于用于3D面部形状和活动的脱屑表示和估计，为用户提供对输入视频中的面部表情的直观且易于使用的控制。我们还介绍了一个用户友好的交互式AI工具，该工具处理有关输入视频的特定部分的所需情绪操纵的人类可读的语义标签，并合成光电环境拟人的操纵视频。我们通过将情绪标签映射到价值（VA）值来实现这一点，又通过特别设计和训练的表达式解码器网络映射到解开的3D面部表达式。本文提出了详细的定性和定量实验，展示了我们系统的有效性以及它实现的有希望的结果。可以在补充材料中找到其他结果和视频（https://github.com/girish-03/deepsemmanipulation）。

我们建议使用单个图像进行面部表达到表达翻译的简单而强大的地标引导的生成对抗网络（Landmarkgan），这在计算机视觉中是一项重要且具有挑战性的任务，因为表达到表达的翻译是非 - 线性和非对准问题。此外，由于图像中的对象可以具有任意的姿势，大小，位置，背景和自我观念，因此需要在输入图像和输出图像之间有一个高级的语义理解。为了解决这个问题，我们建议明确利用面部地标信息。由于这是一个具有挑战性的问题，我们将其分为两个子任务，（i）类别引导的地标生成，以及（ii）具有里程碑意义的指导表达式对表达的翻译。两项子任务以端到端的方式进行了培训，旨在享受产生的地标和表情的相互改善的好处。与当前的按键指导的方法相比，提议的Landmarkgan只需要单个面部图像即可产生各种表达式。四个公共数据集的广泛实验结果表明，与仅使用单个图像的最先进方法相比，所提出的Landmarkgan获得了更好的结果。该代码可从https://github.com/ha0tang/landmarkgan获得。

野外表达对于各种交互式计算域至关重要。特别是，“从合成数据学习”（LSD）是面部表达识别任务中的重要主题。在本文中，我们提出了一种基于多任务的面部表达识别方法，该方法由情感和外观学习分支组成，可以共享所有面部信息，并为第四个情感行为分析中引入的LSD挑战提供初步结果。-Wild（ABAW）比赛。我们的方法达到的平均F1得分为0.71。

在本文中，我们介绍了一种新颖的深入学习方法，用于“野外”视频中演员的情绪状态的光学逼真操纵。所提出的方法基于输入场景中的演员的参数3D面表示，其提供来自头部姿势和面部表达的面部身份的可靠性解剖。然后，它使用新的深度域翻译框架，以符合他们的动态，以一致而合理的方式改变面部表情。最后，改变改变的面部表情用于基于特别设计的神经面渲染器光实际地操纵输入场景中的面部区域。据我们所知，我们的方法是第一个能够通过唯一用作操纵情绪的语义标记来控制演员的面部表情，同时保持与语音相关的唇部运动。我们进行广泛的定性和定量评估和比较，展示了我们的方法的有效性以及我们获得的特别有希望的结果。我们的方法为神经渲染技术的有用应用开辟了一种新的可能性，从电影后生产和视频游戏到照片逼真的情感化身。

大量人群遭受全世界认知障碍。认知障碍的早期发现对患者和护理人员来说都非常重要。然而，现有方法具有短缺，例如诊所和神经影像阶段参与的时间消耗和财务费用。已经发现认知障碍的患者显示出异常的情绪模式。在本文中，我们展示了一种新的深度卷积网络的系统，通过分析面部情绪的演变来检测认知障碍，而参与者正在观看设计的视频刺激。在我们所提出的系统中，使用来自MobileNet的层和支持向量机（SVM）的图层开发了一种新的面部表情识别算法，这在3个数据集中显示了令人满意的性能。为了验证拟议的检测认知障碍系统，已经邀请了61名老年人，包括认知障碍和健康人作为对照组的患者参加实验，并相应地建立了一个数据集。使用此数据集，所提出的系统已成功实现73.3％的检测精度。

Understanding the facial expressions of our interlocutor is important to enrich the communication and to give it a depth that goes beyond the explicitly expressed. In fact, studying one's facial expression gives insight into their hidden emotion state. However, even as humans, and despite our empathy and familiarity with the human emotional experience, we are only able to guess what the other might be feeling. In the fields of artificial intelligence and computer vision, Facial Emotion Recognition (FER) is a topic that is still in full growth mostly with the advancement of deep learning approaches and the improvement of data collection. The main purpose of this paper is to compare the performance of three state-of-the-art networks, each having their own approach to improve on FER tasks, on three FER datasets. The first and second sections respectively describe the three datasets and the three studied network architectures designed for an FER task. The experimental protocol, the results and their interpretation are outlined in the remaining sections.

在大多数领域，从人工智能和游戏到人类计算机互动（HCI）和心理学，面部表情识别是一个重要的研究主题。本文提出了一个用于面部表达识别的混合模型，该模型包括深度卷积神经网络（DCNN）和HAAR级联深度学习体系结构。目的是将实时和数字面部图像分类为所考虑的七个面部情感类别之一。这项研究中使用的DCNN具有更多的卷积层，恢复激活功能以及多个内核，以增强滤波深度和面部特征提取。此外，HAAR级联模型还相互用于检测实时图像和视频帧中的面部特征。来自Kaggle存储库（FER-2013）的灰度图像，然后利用图形处理单元（GPU）计算以加快培训和验证过程。预处理和数据增强技术用于提高培训效率和分类性能。实验结果表明，与最先进的实验和研究相比，分类性能有了显着改善的分类性能。同样，与其他常规模型相比，本文验证了所提出的体系结构在分类性能方面表现出色，提高了6％，总计高达70％的精度，并且执行时间较小，为2098.8S。

自动影响使用视觉提示的识别是对人类和机器之间完全互动的重要任务。可以在辅导系统和人机交互中找到应用程序。朝向该方向的关键步骤是面部特征提取。在本文中，我们提出了一个面部特征提取器模型，由Realey公司提供的野外和大规模收集的视频数据集培训。数据集由百万标记的框架组成，2,616万科目。随着时间信息对情绪识别域很重要，我们利用LSTM单元来捕获数据中的时间动态。为了展示我们预先训练的面部影响模型的有利性质，我们使用Recola数据库，并与当前的最先进的方法进行比较。我们的模型在一致的相关系数方面提供了最佳结果。

由于昂贵的数据收集过程，微表达数据集的规模通常小得多，而不是其他计算机视觉领域的数据集，渲染大规模的训练较小稳定和可行。在本文中，我们的目标是制定一个协议，以自动综合1）的微型表达培训数据，其中2）允许我们在现实世界测试集上具有强烈准确性的培训模型。具体来说，我们发现了三种类型的动作单位（AUS），可以很好地构成培训的微表达式。这些AU来自真实世界的微表达式，早期宏观表达式，以及人类知识定义的AU和表达标签之间的关系。随着这些AU，我们的协议随后采用大量的面部图像，具有各种身份和用于微表达合成的现有面生成方法。微表达式识别模型在生成的微表达数据集上培训并在真实世界测试集上进行评估，其中获得非常竞争力和稳定的性能。实验结果不仅验证了这些AU和我们的数据集合合成协议的有效性，还揭示了微表达式的一些关键属性：它们横跨面部概括，靠近早期宏观表达式，可以手动定义。

多任务学习是基于深度学习的面部表情识别任务的有效学习策略。但是，当在不同任务之间传输信息时，大多数现有方法都考虑了特征选择，这可能在培训多任务网络时可能导致任务干扰。为了解决这个问题，我们提出了一种新颖的选择性特征共享方法，并建立一个用于面部表情识别和面部表达合成的多任务网络。该方法可以有效地转移不同任务之间的有益特征，同时过滤无用和有害信息。此外，我们采用了面部表情综合任务来扩大并平衡训练数据集以进一步提高所提出的方法的泛化能力。实验结果表明，该方法在那些常用的面部表情识别基准上实现了最先进的性能，这使其成为现实世界面部表情识别问题的潜在解决方案。

愤怒等负面情绪的写照可以在文化和背景之间广泛变化，这取决于表达全面情绪的可接受性而不是抑制保持和谐。大多数情绪数据集收集了广泛的标签`“愤怒”下的数据，但社会信号可以从生气，轻蔑，愤怒，愤怒，仇恨等的范围内。在这项工作中，我们策划了第一个野外的多元文化视频情绪数据集，并通过询问文化流利的注释器来标记具有6个标签和13个Emojis的视频，深入了解愤怒相关的情感表达式。我们在我们的数据集中提供基准多标签分类器，并显示如何EMOJIS可以有效地用作注释的语言无话可测工具。

分析对人脸上的表达在识别人的情绪和行为方面发挥着非常重要的作用。识别这些表达式会自动导致自然人机接口的重要组成部分。因此，该领域的研究在生物公制认证，监控系统，情感到各种社交媒体平台中的情感方面具有广泛的应用。另一个申请包括进行客户满意度调查。正如我们所知，大型公司使巨额投资获得反馈并进行调查，但未能获得公平的反应。通过面部手势的情感和性别识别是一种技术，旨在通过他们的评价监测客户行为来改善产品和服务性能。在过去几年中，在特征提取机制，面部检测和表达分类技术方面已经进行了各种各样的进展。本文是实施一个用于构建可以检测到人的情绪和性别的实时系统的集合CNN。实验结果表明，在FER-2013 DataSet上的7个课程（愤怒，恐惧，悲伤，快乐，惊喜，中立，中立，厌恶）和IMDB数据集上的性别分类（男性或女性）的95％，精度为68％的准确性。我们的工作可以预测单一面部图像以及多个面部图像的情感和性别。此外，当通过网络摄像头给出输入时，我们的完整流水线可以花费小于0.5秒才能生成结果。

来自静态图像的面部表情识别是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN），用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势，照明和闭塞条件的面部的表达式中已经有限。为了缓解这个问题，CNN通常伴随着传输，多任务或集合学习等技术，这些技术通常以增加的计算复杂性的成本提供高精度。在这项工作中，我们提出了一种基于零件的集合转移学习网络，其模型通过将面部特征的空间方向模式与特定表达相关来模拟人类如何识别面部表达。它由5个子网络组成，每个子网络从面部地标的五个子集中执行转移学习：眉毛，眼睛，鼻子，嘴巴或颌骨表达分类。我们表明我们所提出的集合网络使用从面部肌肉的电机运动发出的视觉模式来预测表达，并展示从面部地标定位转移到面部表情识别的实用性。我们在CK +，Jaffe和SFew数据集上测试所提出的网络，并且它分别优于CK +和Jaffe数据集的基准，分别为0.51％和5.34％。此外，所提出的集合网络仅包括1.65M的型号参数，确保在培训和实时部署期间的计算效率。我们所提出的集合的Grad-Cam可视化突出了其子网的互补性质，是有效集合网络的关键设计参数。最后，交叉数据集评估结果表明，我们建议的集合具有高泛化能力，使其适合现实世界使用。

最近，音频驱动的会说话的面部视频产生引起了广泛的关注。但是，很少有研究能够解决这些会说话的面部视频的情感编辑问题，并具有连续可控的表达式，这是行业中强烈的需求。面临的挑战是，与语音有关的表达和与情感有关的表达通常是高度耦合的。同时，由于表达式与其他属性（例如姿势）的耦合，即在每个框架中翻译角色的表达可能会同时改变头部姿势，因此传统的图像到图像翻译方法无法在我们的应用中很好地工作。培训数据分布。在本文中，我们提出了一种高质量的面部表达编辑方法，用于谈话面部视频，使用户可以连续控制编辑视频中的目标情感。我们为该任务提供了一个新的视角，作为运动信息编辑的特殊情况，我们使用3DMM捕获主要的面部运动和由StyleGAN模拟的相关纹理图，以捕获外观细节。两种表示（3DMM和纹理图）都包含情感信息，并且可以通过神经网络进行连续修改，并通过系数/潜在空间平均轻松平滑，从而使我们的方法变得简单而有效。我们还引入了口腔形状的保存损失，以控制唇部同步和编辑表达的夸张程度之间的权衡。广泛的实验和用户研究表明，我们的方法在各种评估标准中实现了最先进的表现。