识别面部视频的连续情绪和动作单元（AU）强度需要对表达动态的空间和时间理解。现有作品主要依赖2D面的外观来提取这种动态。这项工作着重于基于参数3D面向形状模型的有希望的替代方案，该模型解散了不同的变异因素，包括表达诱导的形状变化。我们旨在了解与最先进的2D外观模型相比，在估计价值和AU强度方面表现性3D面部形状如何。我们基准了四个最近的3D面对准模型：Expnet，3DDFA-V2，DECA和EMOCA。在价值估计中，3D面模型的表达特征始终超过以前的作品，并在SEWA和AVEC 2019 CES CORPORA上的平均一致性相关性分别为.739和.574。我们还研究了BP4D和DISFA数据集的AU强度估计的3D面形状如何执行，并报告说3D脸部功能在AUS 4、6、10、12和25中与2D外观特征相当，但没有整个集合。 aus。为了理解这种差异，我们在价值和AUS之间进行了对应分析，该分析指出，准确的价值预测可能仅需要少数AU的知识。

自动识别面部和声音的明显情绪很难，部分原因是各种不确定性来源，包括输入数据和机器学习框架中使用的标签。本文介绍了一种不确定性感知的视听融合方法，该方法量化了对情绪预测的模态不确定性。为此，我们提出了一个新颖的融合框架，在该框架中，我们首先通过视听时间上下文向量学习潜在分布，然后限制单峰潜在分布的方差向量，以便它们表示每种模式的信息量，以提供W.R.T.情绪识别。特别是，我们对视听潜在分布的方差向量施加了校准和序数排名约束。当经过良好校准时，将模态不确定性得分表明它们的相应预测可能与地面真实标签有多大不同。排名良好的不确定性得分允许在模式中对不同框架进行顺序排名。为了共同施加这两种约束，我们提出了软马克斯分布匹配损失。在分类和回归设置中，我们将不确定性感知的融合模型与标准模型 - 静态融合基线进行了比较。我们对两个情绪识别语料库（AVEC 2019 CES和IEMOCAP）的评估表明，视听情绪识别可以从良好的和良好的潜在不确定性度量中受益匪浅。

由于深度学习的出现，图像数据的最新技术对单眼3D面对重建的重建取得了令人印象深刻的进步。但是，它主要集中于来自单个RGB图像的输入，忽略以下重要因素：a）如今，感兴趣的绝大多数面部图像数据不是来自单个图像，而是来自包含丰富动态信息的视频。 。 b）此外，这些视频通常以某种形式的口头交流捕捉个人（公众对话，电视会议，视听人类计算机的互动，访谈，电影中的独白/对话等）。当在此类视频中应用现有的3D面部重建方法时，重建口腔区域的形状和运动中的伪影通常很严重，因为它们与语音音频不太匹配。为了克服上述局限性，我们提出了3D口表达的视觉语音感知重建的第一种方法。我们通过提出“口语”损失来做到这一点，该损失指导拟合过程，从而使3D重建的说话头的感知与原始录像相似。我们证明，有趣的是，与传统的具有里程碑意义的损失，甚至直接3D监督相比，口头损失更适合3D重建嘴运动。此外，设计的方法不依赖于任何文本转录或相应的音频，因此非常适合在未标记的数据集中培训。我们通过对三个大规模数据集的详尽客观评估以及通过两种基于网络的用户研究进行主观评估来验证方法的效率。

由于昂贵的数据收集过程，微表达数据集的规模通常小得多，而不是其他计算机视觉领域的数据集，渲染大规模的训练较小稳定和可行。在本文中，我们的目标是制定一个协议，以自动综合1）的微型表达培训数据，其中2）允许我们在现实世界测试集上具有强烈准确性的培训模型。具体来说，我们发现了三种类型的动作单位（AUS），可以很好地构成培训的微表达式。这些AU来自真实世界的微表达式，早期宏观表达式，以及人类知识定义的AU和表达标签之间的关系。随着这些AU，我们的协议随后采用大量的面部图像，具有各种身份和用于微表达合成的现有面生成方法。微表达式识别模型在生成的微表达数据集上培训并在真实世界测试集上进行评估，其中获得非常竞争力和稳定的性能。实验结果不仅验证了这些AU和我们的数据集合合成协议的有效性，还揭示了微表达式的一些关键属性：它们横跨面部概括，靠近早期宏观表达式，可以手动定义。

几乎所有现有的基于面部动作编码系统的数据集包括面部动作单元（AU）强度信息使用A-E级别分层地向强度值注释。然而，面部表情连续变化，并将从一个状态变为另一个状态。因此，将局部面部AU的强度值重新播出以表示整个面部表情的变化更有效，特别是在表达转移和面部动画的领域。我们将Feafa的扩展与重新标记的DISFA数据库相结合，可在HTTPS://www.iiplab.net/feafa+ /现在提供。扩展Feafa（Feafa +）包括来自Feafa和Disfa的150个视频序列，总共230,184帧，使用表达式定量工具手动注释24重新定义AU的浮点强度值。我们还列出了针对构成和自发子集的粗略数值结果，并为AU强度回归任务提供基线比较。

微表达（MES）是非自愿的面部运动，揭示了人们在高利害情况下隐藏的感受，并对医疗，国家安全，审讯和许多人机交互系统具有实际重要性。早期的MER方法主要基于传统的外观和几何特征。最近，随着各种领域的深度学习（DL）的成功，神经网络已得到MER的兴趣。不同于宏观表达，MES是自发的，微妙的，快速的面部运动，导致数据收集困难，因此具有小规模的数据集。由于上述我的角色，基于DL的MER变得挑战。迄今为止，已提出各种DL方法来解决我的问题并提高MER表现。在本调查中，我们对深度微表达识别（MER）进行了全面的审查，包括数据集，深度MER管道和最具影响力方法的基准标记。本调查定义了该领域的新分类法，包括基于DL的MER的所有方面。对于每个方面，总结和讨论了基本方法和高级发展。此外，我们得出了坚固的深层MER系统设计的剩余挑战和潜在方向。据我们所知，这是对深度MEL方法的第一次调查，该调查可以作为未来MER研究的参考点。

As one of the most important psychic stress reactions, micro-expressions (MEs), are spontaneous and transient facial expressions that can reveal the genuine emotions of human beings. Thus, recognizing MEs (MER) automatically is becoming increasingly crucial in the field of affective computing, and provides essential technical support in lie detection, psychological analysis and other areas. However, the lack of abundant ME data seriously restricts the development of cutting-edge data-driven MER models. Despite the recent efforts of several spontaneous ME datasets to alleviate this problem, it is still a tiny amount of work. To solve the problem of ME data hunger, we construct a dynamic spontaneous ME dataset with the largest current ME data scale, called DFME (Dynamic Facial Micro-expressions), which includes 7,526 well-labeled ME videos induced by 671 participants and annotated by more than 20 annotators throughout three years. Afterwards, we adopt four classical spatiotemporal feature learning models on DFME to perform MER experiments to objectively verify the validity of DFME dataset. In addition, we explore different solutions to the class imbalance and key-frame sequence sampling problems in dynamic MER respectively on DFME, so as to provide a valuable reference for future research. The comprehensive experimental results show that our DFME dataset can facilitate the research of automatic MER, and provide a new benchmark for MER. DFME will be published via https://mea-lab-421.github.io.

在本文中，我们介绍了一种新颖的深入学习方法，用于“野外”视频中演员的情绪状态的光学逼真操纵。所提出的方法基于输入场景中的演员的参数3D面表示，其提供来自头部姿势和面部表达的面部身份的可靠性解剖。然后，它使用新的深度域翻译框架，以符合他们的动态，以一致而合理的方式改变面部表情。最后，改变改变的面部表情用于基于特别设计的神经面渲染器光实际地操纵输入场景中的面部区域。据我们所知，我们的方法是第一个能够通过唯一用作操纵情绪的语义标记来控制演员的面部表情，同时保持与语音相关的唇部运动。我们进行广泛的定性和定量评估和比较，展示了我们的方法的有效性以及我们获得的特别有希望的结果。我们的方法为神经渲染技术的有用应用开辟了一种新的可能性，从电影后生产和视频游戏到照片逼真的情感化身。

最近，音频驱动的会说话的面部视频产生引起了广泛的关注。但是，很少有研究能够解决这些会说话的面部视频的情感编辑问题，并具有连续可控的表达式，这是行业中强烈的需求。面临的挑战是，与语音有关的表达和与情感有关的表达通常是高度耦合的。同时，由于表达式与其他属性（例如姿势）的耦合，即在每个框架中翻译角色的表达可能会同时改变头部姿势，因此传统的图像到图像翻译方法无法在我们的应用中很好地工作。培训数据分布。在本文中，我们提出了一种高质量的面部表达编辑方法，用于谈话面部视频，使用户可以连续控制编辑视频中的目标情感。我们为该任务提供了一个新的视角，作为运动信息编辑的特殊情况，我们使用3DMM捕获主要的面部运动和由StyleGAN模拟的相关纹理图，以捕获外观细节。两种表示（3DMM和纹理图）都包含情感信息，并且可以通过神经网络进行连续修改，并通过系数/潜在空间平均轻松平滑，从而使我们的方法变得简单而有效。我们还引入了口腔形状的保存损失，以控制唇部同步和编辑表达的夸张程度之间的权衡。广泛的实验和用户研究表明，我们的方法在各种评估标准中实现了最先进的表现。

无意识和自发的，微小表达在一个人的真实情绪的推动中是有用的，即使尝试隐藏它们。由于它们短的持续时间和低强度，对微表达的识别是情感计算中的艰巨任务。基于手工制作的时空特征的早期工作最近被不同的深度学习方法取代了现在竞争最先进的性能。然而，捕获本地和全球时空模式的问题仍然挑战。为此，本文我们提出了一种新颖的时空变压器架构 - 据我们所知，是微表达识别的第一种纯粹变压器的方法（即任何卷积网络使用的方法）。该架构包括用于学习空间模式的空间编码器，用于时间维度分析的时间聚合器和分类头。三种广泛使用的自发性微表达数据集，即Smic-HS，Casme II和SAMM的综合评估表明，该方法始终如一地优于现有技术，是发表在微表达上发表文献中的第一个框架在任何上述数据集上识别以实现未加权的F1分数大于0.9。

已经普遍研究了具有精确唇部同步的语音驱动的3D面部动画。然而，在演讲中为整个面部的综合制造动作很少被探索。在这项工作中，我们介绍了一个联合音频文本模型，用于捕捉表达语音驱动的3D面部动画的上下文信息。收集现有数据集以覆盖尽可能多的不同音素而不是句子，从而限制了基于音频的模型的能力，以了解更多不同的上下文。为解决此问题，我们建议利用从强大的预先培训的语言模型中提取的上下文文本嵌入，该模型从大规模文本数据中学习了丰富的上下文表示。我们的假设是文本特征可以消除上面表达式的变化，这与音频没有强烈相关。与从文本中学习音素级别功能的先前方法相比，我们调查语音驱动3D面部动画的高级上下文文本特征。我们表明，组合的声学和文本方式可以在维持抖动同步的同时综合现实的面部表达式。我们进行定量和定性评估以及感知用户学习。结果展示了我们模型对现有最先进的方法的卓越表现。

编辑和操纵视频中的面部特征是一种有趣而重要的研究领域，具有夸张的应用，从电影生产和视觉效果到视频游戏和虚拟助手的现实头像。据我们所知，本文提出了第一种在视频中进行了对面部表情的照相型式操纵的方法。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操纵。我们专注于通过改变和控制面部表情来互动操纵视频，实现有前途的光电温度效果。该方法基于用于3D面部形状和活动的脱屑表示和估计，为用户提供对输入视频中的面部表情的直观且易于使用的控制。我们还介绍了一个用户友好的交互式AI工具，该工具处理有关输入视频的特定部分的所需情绪操纵的人类可读的语义标签，并合成光电环境拟人的操纵视频。我们通过将情绪标签映射到价值（VA）值来实现这一点，又通过特别设计和训练的表达式解码器网络映射到解开的3D面部表达式。本文提出了详细的定性和定量实验，展示了我们系统的有效性以及它实现的有希望的结果。可以在补充材料中找到其他结果和视频（https://github.com/girish-03/deepsemmanipulation）。

动物运动跟踪和姿势识别的进步一直是动物行为研究的游戏规则改变者。最近，越来越多的作品比跟踪“更深”，并解决了对动物内部状态（例如情绪和痛苦）的自动认识，目的是改善动物福利，这使得这是对该领域进行系统化的及时时刻。本文对基于计算机的识别情感状态和动物的疼痛的研究进行了全面调查，并涉及面部行为和身体行为分析。我们总结了迄今为止在这个主题中所付出的努力 - 对它们进行分类，从不同的维度进行分类，突出挑战和研究差距，并提供最佳实践建议，以推进该领域以及一些未来的研究方向。

先前的工作表明，使用顺序学习者学习面部不同组成部分的顺序可以在面部表达识别系统的性能中发挥重要作用。我们提出了Facetoponet，这是面部表达识别的端到端深层模型，它能够学习面部有效的树拓扑。然后，我们的模型遍历学习的树以生成序列，然后将其用于形成嵌入以喂养顺序学习者。设计的模型采用一个流进行学习结构，并为学习纹理提供一个流。结构流着重于面部地标的位置，而纹理流的主要重点是在地标周围的斑块上学习纹理信息。然后，我们通过利用有效的基于注意力的融合策略来融合两个流的输出。我们对四个大型内部面部表达数据集进行了广泛的实验 - 即Alltionnet，FER2013，ExpW和RAF-DB，以及一个实验室控制的数据集（CK+）来评估我们的方法。 Facetoponet在五个数据集中的三个数据集中达到了最新的性能，并在其他两个数据集中获得了竞争结果。我们还执行严格的消融和灵敏度实验，以评估模型中不同组件和参数的影响。最后，我们执行鲁棒性实验，并证明与该地区其他领先方法相比，Facetoponet对阻塞更具稳健性。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

我们介绍了Daisee，这是第一个多标签视频分类数据集，该数据集由112个用户捕获的9068个视频片段，用于识别野外无聊，混乱，参与度和挫败感的用户情感状态。该数据集具有四个级别的标签 - 每个情感状态都非常低，低，高和很高，它们是人群注释并与使用专家心理学家团队创建的黄金标准注释相关的。我们还使用当今可用的最先进的视频分类方法在此数据集上建立了基准结果。我们认为，黛西（Daisee）将为研究社区提供特征提取，基于上下文的推理以及为相关任务开发合适的机器学习方法的挑战，从而为进一步的研究提供了跳板。该数据集可在https://people.iith.ac.in/vineethnb/resources/daisee/daisee/index.html下载。

Studying facial expressions is a notoriously difficult endeavor. Recent advances in the field of affective computing have yielded impressive progress in automatically detecting facial expressions from pictures and videos. However, much of this work has yet to be widely disseminated in social science domains such as psychology. Current state of the art models require considerable domain expertise that is not traditionally incorporated into social science training programs. Furthermore, there is a notable absence of user-friendly and open-source software that provides a comprehensive set of tools and functions that support facial expression research. In this paper, we introduce Py-Feat, an open-source Python toolbox that provides support for detecting, preprocessing, analyzing, and visualizing facial expression data. Py-Feat makes it easy for domain experts to disseminate and benchmark computer vision models and also for end users to quickly process, analyze, and visualize face expression data. We hope this platform will facilitate increased use of facial expression data in human behavior research.

我们提出了自由式 - 人体神经通话的头部合成系统。我们表明，具有稀疏3D面部标志的建模面孔足以实现最先进的生成性能，而无需依赖诸如3D可变形模型之类的强统计学先验。除了3D姿势和面部表情外，我们的方法还能够将目光从驾驶演员转移到源身份。我们的完整管道由三个组件组成：一个规范的3D密钥估计器，可回归3D姿势和与表达相关的变形，凝视估计网络和建立在Headgan架构上的生成器。我们进一步实验发电机的扩展，以使用注意机制可容纳几次学习，以防万一可用多个源图像。与最新的重演和运动转移模型相比，我们的系统实现了更高的照片真实性与优越的身份保护，同时提供明确的注视控制。

在本文中，首先，研究了Imagenet预训练对细粒度面部情感识别（FER）的影响，这表明当应用图像的足够增强时，从头开始的训练比ImageNet Pre的微调提供了更好的结果。 -训练。接下来，我们提出了一种改善细粒度和野外FER的方法，称为混合多任务学习（HMTL）。 HMTL以多任务学习（MTL）的形式使用自我监督学习（SSL）作为经典监督学习（SL）期间的辅助任务。在训练过程中利用SSL可以从图像中获得其他信息，以完成主要细粒度SL任务。我们研究了如何在FER域中使用所提出的HMTL，通过设计两种定制版本的普通文本任务技术，令人困惑和涂漆。我们通过两种类型的HMTL在不利用其他数据的情况下，通过两种类型的HMTL在altimnet基准测试上实现了最新的结果。关于常见SSL预训练和提出的HMTL的实验结果证明了我们工作的差异和优势。但是，HMTL不仅限于FER域。对两种类型的细粒面部任务（即头部姿势估计和性别识别）进行的实验揭示了使用HMTL改善细粒度面部表示的潜力。

In education and intervention programs, user engagement has been identified as a major factor in successful program completion. Automatic measurement of user engagement provides helpful information for instructors to meet program objectives and individualize program delivery. In this paper, we present a novel approach for video-based engagement measurement in virtual learning programs. We propose to use affect states, continuous values of valence and arousal extracted from consecutive video frames, along with a new latent affective feature vector and behavioral features for engagement measurement. Deep-learning sequential models are trained and validated on the extracted frame-level features. In addition, due to the fact that engagement is an ordinal variable, we develop the ordinal versions of the above models in order to address the problem of engagement measurement as an ordinal classification problem. We evaluated the performance of the proposed method on the only two publicly available video engagement measurement datasets, DAiSEE and EmotiW-EW, containing videos of students in online learning programs. Our experiments show a state-of-the-art engagement level classification accuracy of 67.4% on the DAiSEE dataset, and a regression mean squared error of 0.0508 on the EmotiW-EW dataset. Our ablation study shows the effectiveness of incorporating affect states and ordinality of engagement in engagement measurement.