面部表情因人而异，每个随机图像的亮度，对比度和分辨率都不同。这就是为什么识别面部表情非常困难的原因。本文使用卷积神经网络（CNN）提出了一个有效的面部情感识别系统（愤怒，厌恶，恐惧，幸福，悲伤，惊喜和中立）的系统，该系统可以预测和分配每种情绪的概率。由于深度学习模型从数据中学习，因此，我们提出的系统通过各种预处理步骤处理每个图像，以更好地预测。首先通过面部检测算法将每个图像都包含在训练数据集中。由于CNN需要大量数据，因此我们使用每个图像上的各种过滤器重复了数据。将大小80*100的预处理图像作为输入传递到CNN的第一层。使用了三个卷积层，其次是合并层和三层密集层。致密层的辍学率为20％。该模型通过组合两个公开可用的数据集（Jaffe和Kdef）进行了培训。 90％的数据用于培训，而10％用于测试。我们使用合并的数据集实现了78.1％的最高精度。此外，我们设计了提出的系统的应用程序，该系统具有图形用户界面，该界面实时对情绪进行了分类。

在大多数领域，从人工智能和游戏到人类计算机互动（HCI）和心理学，面部表情识别是一个重要的研究主题。本文提出了一个用于面部表达识别的混合模型，该模型包括深度卷积神经网络（DCNN）和HAAR级联深度学习体系结构。目的是将实时和数字面部图像分类为所考虑的七个面部情感类别之一。这项研究中使用的DCNN具有更多的卷积层，恢复激活功能以及多个内核，以增强滤波深度和面部特征提取。此外，HAAR级联模型还相互用于检测实时图像和视频帧中的面部特征。来自Kaggle存储库（FER-2013）的灰度图像，然后利用图形处理单元（GPU）计算以加快培训和验证过程。预处理和数据增强技术用于提高培训效率和分类性能。实验结果表明，与最先进的实验和研究相比，分类性能有了显着改善的分类性能。同样，与其他常规模型相比，本文验证了所提出的体系结构在分类性能方面表现出色，提高了6％，总计高达70％的精度，并且执行时间较小，为2098.8S。

分析对人脸上的表达在识别人的情绪和行为方面发挥着非常重要的作用。识别这些表达式会自动导致自然人机接口的重要组成部分。因此，该领域的研究在生物公制认证，监控系统，情感到各种社交媒体平台中的情感方面具有广泛的应用。另一个申请包括进行客户满意度调查。正如我们所知，大型公司使巨额投资获得反馈并进行调查，但未能获得公平的反应。通过面部手势的情感和性别识别是一种技术，旨在通过他们的评价监测客户行为来改善产品和服务性能。在过去几年中，在特征提取机制，面部检测和表达分类技术方面已经进行了各种各样的进展。本文是实施一个用于构建可以检测到人的情绪和性别的实时系统的集合CNN。实验结果表明，在FER-2013 DataSet上的7个课程（愤怒，恐惧，悲伤，快乐，惊喜，中立，中立，厌恶）和IMDB数据集上的性别分类（男性或女性）的95％，精度为68％的准确性。我们的工作可以预测单一面部图像以及多个面部图像的情感和性别。此外，当通过网络摄像头给出输入时，我们的完整流水线可以花费小于0.5秒才能生成结果。

使用视频/图像的驾驶员嗜睡检测是当今驾驶员安全时间最重要的领域之一。在诸如嗜睡检测的计算机视觉应用中应用的深度学习技术，尤其是卷积神经网络（CNN）的发展，由于近几十年来，由于技术的巨大增加，已经显示出有前途的结果。关闭或闪烁过度，打呵欠，点头和闭塞的眼睛都是嗜睡的关键方面。在这项工作中，我们在Yawdd数据集上应用了四种不同的卷积神经网络（CNN）技术，以检测和检查困难程度的程度，这取决于具有特定姿势和遮挡变化的打开频率。初步计算结果表明，我们所提出的集合卷积神经网络（ECNN）通过实现0.935的F1得分优于传统的基于CNN的方法，而另外三个CNN，如CNN1，CNN2和CNN3接近的方法，则获得0.92,0.90，和0.912 F1分别分别分别进行评分。

面部情感识别是识别心理学用来诊断患者的重要工具之一。面部和面部情感识别是机器学习卓越的领域。由于不同的环境，例如照明条件，姿势变化，偏航运动和遮挡，面部情绪识别是对数字图像处理的开放挑战。深度学习方法已显示出图像识别的显着改善。但是，准确性和时间仍然需要改进。这项研究旨在在训练期间提高面部情绪识别的准确性，并使用Extreme Learning Machine（CNNeelm）增强的修改后的卷积神经网络减少处理时间。该系统需要（CNNeelm）提高培训期间图像注册的准确性。此外，该系统通过拟议的CNNeelm模型认识到六种面部情绪快乐，悲伤，厌恶，恐惧，惊喜和中立。研究表明，与经过改进的随机梯度下降（SGD）技术相比，总体面部情绪识别精度的提高了2％。借助Extreme Learning Machine（ELM）分类器，处理时间从113ms中降至65ms，可以从20fps的视频剪辑中平滑地对每个帧进行分类。使用预先训练的InceptionV3模型，建议使用JAFFE，CK+和FER2013表达数据集训练所提出的CNNeelm模型。仿真结果显示出准确性和处理时间的显着改善，使该模型适合视频分析过程。此外，该研究解决了处理面部图像所需的大量处理时间的问题。

在过去的十年中，电子学习已经彻底改变了学生通过随时随地获得素质教育的学习方式。然而，由于各种原因，学生经常会分心，这在很大程度上影响了学习能力。许多研究人员一直在努力提高在线教育的质量，但我们需要一个整体方法来解决这个问题。本文打算提供一种机制，该机制使用相机馈送和麦克风输入来监测在线类别期间学生的实时关注水平。我们探讨了本研究的各种图像处理技术和机器学习算法。我们提出了一个系统，它使用五个不同的非语言特征来计算基于计算机的任务期间学生的注意得分，并为学生和组织生成实时反馈。我们可以使用所产生的反馈作为启发式价值，以分析学生的整体性能以及讲师的教学标准。

来自静态图像的面部表情识别是计算机视觉应用中的一个具有挑战性的问题。卷积神经网络（CNN），用于各种计算机视觉任务的最先进的方法，在预测具有极端姿势，照明和闭塞条件的面部的表达式中已经有限。为了缓解这个问题，CNN通常伴随着传输，多任务或集合学习等技术，这些技术通常以增加的计算复杂性的成本提供高精度。在这项工作中，我们提出了一种基于零件的集合转移学习网络，其模型通过将面部特征的空间方向模式与特定表达相关来模拟人类如何识别面部表达。它由5个子网络组成，每个子网络从面部地标的五个子集中执行转移学习：眉毛，眼睛，鼻子，嘴巴或颌骨表达分类。我们表明我们所提出的集合网络使用从面部肌肉的电机运动发出的视觉模式来预测表达，并展示从面部地标定位转移到面部表情识别的实用性。我们在CK +，Jaffe和SFew数据集上测试所提出的网络，并且它分别优于CK +和Jaffe数据集的基准，分别为0.51％和5.34％。此外，所提出的集合网络仅包括1.65M的型号参数，确保在培训和实时部署期间的计算效率。我们所提出的集合的Grad-Cam可视化突出了其子网的互补性质，是有效集合网络的关键设计参数。最后，交叉数据集评估结果表明，我们建议的集合具有高泛化能力，使其适合现实世界使用。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

大量人群遭受全世界认知障碍。认知障碍的早期发现对患者和护理人员来说都非常重要。然而，现有方法具有短缺，例如诊所和神经影像阶段参与的时间消耗和财务费用。已经发现认知障碍的患者显示出异常的情绪模式。在本文中，我们展示了一种新的深度卷积网络的系统，通过分析面部情绪的演变来检测认知障碍，而参与者正在观看设计的视频刺激。在我们所提出的系统中，使用来自MobileNet的层和支持向量机（SVM）的图层开发了一种新的面部表情识别算法，这在3个数据集中显示了令人满意的性能。为了验证拟议的检测认知障碍系统，已经邀请了61名老年人，包括认知障碍和健康人作为对照组的患者参加实验，并相应地建立了一个数据集。使用此数据集，所提出的系统已成功实现73.3％的检测精度。

发现自闭症谱系障碍（ASD）是各种职业治疗师之间的主要问题。这种神经开发障碍的最重要挑战在于分析和探索其早期发展阶段的儿童各种症状的事实。此类早期识别可以提高治疗师和临床医生，以提供适当的辅助支持，使儿童引起独立的生活。儿童所感知的面部表情和情感可能导致自闭症的早期干预。在这方面，纸张实施识别基本面部表情并在时间变体因素探索他们的情绪。通过使用CNN识别的68个地标点在正面上绘制的具有由称为RCNN-FER系统形成的预测网络，通过CNN识别的面部表达来分析情绪。本文采用R-CNN，以提高准确性和性能的优势，随着时间复杂性降低，以预测情绪为文本网络分析。在与为自闭症社会提供的此类标识的简单机器学习模型相比，这些文件证明了识别自闭症儿童的情感更好的准确性。

本文讨论了面部表达识别模型和描述生成模型，以构建图像中人的图像和面部表情的描述性句子。我们的研究表明，Yolov5比传统的CNN获得了KDEF数据集的所有情绪的更好结果。特别是，CNN和Yolov5模型的精度分别为0.853和0.938。使用VGG16与LSTM模型编码的描述提出了用于基于合并体系结构的图像描述的模型。 Yolov5还用于识别图像中对象的主要颜色，并在必要时纠正生成的描述中的颜色单词。如果描述包含指称一个人的单词，我们会认识到图像中人的情感。最后，我们结合了所有模型的结果，以创建描述图像中视觉内容和人类情感的句子。越南语中FlickR8K数据集的实验结果实现了BLLEU-1，BLEU-2，BLEU-3，BLEU-4分数为0.628； 0.425; 0.280;和0.174。

基于视觉的深度学习模型对于演讲和听力受损和秘密通信可能是有希望的。虽然这种非言语通信主要通过手势和面部表情调查，但到目前为止，洛杉状态（即打开/关闭）的解释/翻译系统没有跟踪努力的研究。为了支持这一发展，本文报告了两个新的卷积神经网络（CNN）模型用于嘴唇状态检测。建立两个突出的嘴唇地标检测器，DLIB和MediaPipe，我们用一组六个关键地标简化嘴唇状态模型，并使用它们对嘴唇状态分类的距离。因此，开发了两种模型以计算嘴唇的打开和关闭，因此，它们可以将符号分类为总数。调查不同的帧速率，唇部运动和面部角度以确定模型的有效性。我们早期的实验结果表明，在平均每秒6帧（FPS）和95.25％的平均水平检测精度的平均值相对较慢，DLIB的模型相对较慢。相比之下，带有MediaPipe的模型提供了更快的地标检测能力，平均FPS为20，检测精度为94.4％。因此，这两种模型都可以有效地将非口头语义中的嘴唇状态解释为自然语言。

Understanding the facial expressions of our interlocutor is important to enrich the communication and to give it a depth that goes beyond the explicitly expressed. In fact, studying one's facial expression gives insight into their hidden emotion state. However, even as humans, and despite our empathy and familiarity with the human emotional experience, we are only able to guess what the other might be feeling. In the fields of artificial intelligence and computer vision, Facial Emotion Recognition (FER) is a topic that is still in full growth mostly with the advancement of deep learning approaches and the improvement of data collection. The main purpose of this paper is to compare the performance of three state-of-the-art networks, each having their own approach to improve on FER tasks, on three FER datasets. The first and second sections respectively describe the three datasets and the three studied network architectures designed for an FER task. The experimental protocol, the results and their interpretation are outlined in the remaining sections.

自动影响使用视觉提示的识别是对人类和机器之间完全互动的重要任务。可以在辅导系统和人机交互中找到应用程序。朝向该方向的关键步骤是面部特征提取。在本文中，我们提出了一个面部特征提取器模型，由Realey公司提供的野外和大规模收集的视频数据集培训。数据集由百万标记的框架组成，2,616万科目。随着时间信息对情绪识别域很重要，我们利用LSTM单元来捕获数据中的时间动态。为了展示我们预先训练的面部影响模型的有利性质，我们使用Recola数据库，并与当前的最先进的方法进行比较。我们的模型在一致的相关系数方面提供了最佳结果。

The study proposes and tests a technique for automated emotion recognition through mouth detection via Convolutional Neural Networks (CNN), meant to be applied for supporting people with health disorders with communication skills issues (e.g. muscle wasting, stroke, autism, or, more simply, pain) in order to recognize emotions and generate real-time feedback, or data feeding supporting systems. The software system starts the computation identifying if a face is present on the acquired image, then it looks for the mouth location and extracts the corresponding features. Both tasks are carried out using Haar Feature-based Classifiers, which guarantee fast execution and promising performance. If our previous works focused on visual micro-expressions for personalized training on a single user, this strategy aims to train the system also on generalized faces data sets.

机器学习已被用来识别脸上的情绪，通常是通过寻找8种不同的情绪状态（中性，快乐，悲伤，惊喜，恐惧，厌恶，愤怒和鄙视）。我们考虑两种方法：基于面部标志的功能识别和所有像素的深度学习；每个产生总体准确性58％。但是，他们在不同的图像上产生了不同的结果，因此我们提出了一种结合这些方法的新的元分类器。它以77％的精度产生更好的结果

通过面部和物理表达表达和识别情绪是社会互动的重要组成部分。情绪识别是计算机愿景的基本任务，由于其各种应用，主要用于允许人类和机器之间更加自然的相互作用。情感识别侧重于分析面部表情的常见方法，需要图像中面部的自动定位。虽然这些方法可以在受控场景中正确地分类情绪，但是在处理无约束的日常交互时，这种技术有限。我们提出了一种基于自适应多线索的情感认可的新深度学习方法，从而提取来自上下文和身体姿势的信息，人类通常用于社会互动和沟通。我们将所提出的方法与CAER-S数据集中的最先进方法进行比较，评估达到89.30％的管道中的不同组件

编辑和操纵视频中的面部特征是一种有趣而重要的研究领域，具有夸张的应用，从电影生产和视觉效果到视频游戏和虚拟助手的现实头像。据我们所知，本文提出了第一种在视频中进行了对面部表情的照相型式操纵的方法。我们的方法支持基于神经渲染和基于3D的面部表情建模的语义视频操纵。我们专注于通过改变和控制面部表情来互动操纵视频，实现有前途的光电温度效果。该方法基于用于3D面部形状和活动的脱屑表示和估计，为用户提供对输入视频中的面部表情的直观且易于使用的控制。我们还介绍了一个用户友好的交互式AI工具，该工具处理有关输入视频的特定部分的所需情绪操纵的人类可读的语义标签，并合成光电环境拟人的操纵视频。我们通过将情绪标签映射到价值（VA）值来实现这一点，又通过特别设计和训练的表达式解码器网络映射到解开的3D面部表达式。本文提出了详细的定性和定量实验，展示了我们系统的有效性以及它实现的有希望的结果。可以在补充材料中找到其他结果和视频（https://github.com/girish-03/deepsemmanipulation）。

先前的工作表明，使用顺序学习者学习面部不同组成部分的顺序可以在面部表达识别系统的性能中发挥重要作用。我们提出了Facetoponet，这是面部表达识别的端到端深层模型，它能够学习面部有效的树拓扑。然后，我们的模型遍历学习的树以生成序列，然后将其用于形成嵌入以喂养顺序学习者。设计的模型采用一个流进行学习结构，并为学习纹理提供一个流。结构流着重于面部地标的位置，而纹理流的主要重点是在地标周围的斑块上学习纹理信息。然后，我们通过利用有效的基于注意力的融合策略来融合两个流的输出。我们对四个大型内部面部表达数据集进行了广泛的实验 - 即Alltionnet，FER2013，ExpW和RAF-DB，以及一个实验室控制的数据集（CK+）来评估我们的方法。 Facetoponet在五个数据集中的三个数据集中达到了最新的性能，并在其他两个数据集中获得了竞争结果。我们还执行严格的消融和灵敏度实验，以评估模型中不同组件和参数的影响。最后，我们执行鲁棒性实验，并证明与该地区其他领先方法相比，Facetoponet对阻塞更具稳健性。

Training facial emotion recognition models requires large sets of data and costly annotation processes. To alleviate this problem, we developed a gamified method of acquiring annotated facial emotion data without an explicit labeling effort by humans. The game, which we named Facegame, challenges the players to imitate a displayed image of a face that portrays a particular basic emotion. Every round played by the player creates new data that consists of a set of facial features and landmarks, already annotated with the emotion label of the target facial expression. Such an approach effectively creates a robust, sustainable, and continuous machine learning training process. We evaluated Facegame with an experiment that revealed several contributions to the field of affective computing. First, the gamified data collection approach allowed us to access a rich variation of facial expressions of each basic emotion due to the natural variations in the players' facial expressions and their expressive abilities. We report improved accuracy when the collected data were used to enrich well-known in-the-wild facial emotion datasets and consecutively used for training facial emotion recognition models. Second, the natural language prescription method used by the Facegame constitutes a novel approach for interpretable explainability that can be applied to any facial emotion recognition model. Finally, we observed significant improvements in the facial emotion perception and expression skills of the players through repeated game play.