在本文中，我们介绍了2022年多模式情感分析挑战（MUSE）的解决方案，其中包括Muse-Humor，Muse-Rection和Muse Surns Sub-Challenges。 2022年穆斯穆斯（Muse 2022）着重于幽默检测，情绪反应和多模式的情感压力，利用不同的方式和数据集。在我们的工作中，提取了不同种类的多模式特征，包括声学，视觉，文本和生物学特征。这些功能由Temma和Gru融合到自发机制框架中。在本文中，1）提取了一些新的音频功能，面部表达功能和段落级文本嵌入以进行准确的改进。 2）我们通过挖掘和融合多模式特征来显着提高多模式情感预测的准确性和可靠性。 3）在模型培训中应用有效的数据增强策略，以减轻样本不平衡问题并防止模型形成学习有偏见的主题字符。对于博物馆的子挑战，我们的模型获得了0.8932的AUC分数。对于Muse Rection子挑战，我们在测试集上的Pearson相关系数为0.3879，它的表现优于所有其他参与者。对于Muse Surst Sub-Challenge，我们的方法在测试数据集上的唤醒和价值都优于基线，达到了0.5151的最终综合结果。

在本文中，我们将解决方案介绍给Muse-Humor的多模式情感挑战（MUSE）2022的邮件，库穆尔人子挑战的目标是发现幽默并从德国足球馆的视听录音中计算出AUC新闻发布会。它是针对教练表现出的幽默的注释。对于此子挑战，我们首先使用变压器模块和BilstM模块构建一个判别模型，然后提出一种混合融合策略，以使用每种模式的预测结果来提高模型的性能。我们的实验证明了我们提出的模型和混合融合策略对多模式融合的有效性，并且我们在测试集中提出的模型的AUC为0.8972。

学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

幽默是人类情感和认知的重要因素。它的自动理解可以促进更自然的人类设备互动和人工智能的人性化。当前的幽默检测方法仅基于分阶段数据，使其不适用于“现实世界”应用程序。我们通过引入新颖的Passau自发足球教练幽默（Passau-SFCH）数据集来解决这种缺陷，包括大约11个小时的录音。在马丁的幽默风格问卷中提出的幽默及其尺寸（情感和方向）的存在，请注释Passau-SFCH数据集。我们进行了一系列实验，采用了经过预定的变压器，卷积神经网络和专家设计的功能。分析了每种模式（文本，音频，视频）的表现，以进行自发幽默识别，并研究了它们的互补性。我们的发现表明，对于对幽默及其情感的自动分析，面部表情是最有希望的，而幽默方向可以通过基于文本的功能进行建模。结果揭示了各种主题之间的差异，突出了幽默用法和风格的个性。此外，我们观察到决策级融合会产生最佳认可结果。最后，我们在https://www.github.com/eihw/passau-sfch上公开代码。可以根据要求获得Passau-SFCH数据集。

双相情感障碍是一种心理健康障碍，导致情绪波动，从令人沮丧到狂热。双相障碍的诊断通常是根据患者访谈进行的，并从患者的护理人员获得的报告。随后，诊断取决于专家的经验，并且可以与其他精神障碍的疾病混淆。双极性障碍诊断中的自动化过程可以帮助提供定量指标，并让患者的更容易观察较长的时间。此外，在Covid-19大流行期间，对遥控和诊断的需求变得尤为重要。在本论文中，我们根据声学，语言和视觉方式的患者录制来创建一种多模态决策系统。该系统培养在双极障碍语料库上。进行综合分析单峰和多模式系统，以及各种融合技术。除了使用单向特征处理整个患者会话外，还研究了剪辑的任务级调查。在多模式融合系统中使用声学，语言和视觉特征，我们实现了64.8％的未加权平均召回得分，这提高了在该数据集上实现的最先进的性能。

基于音频视频的多模式情绪识别由于其强大的性能引起了很多人。大多数现有方法都侧重于提出不同的跨模态融合策略。然而，这些策略在不同模式的特征中引入了冗余，而无需完全考虑模态信息之间的互补特性，并且这些方法不保证在跨跨和间间交互期间的原始语义信息的非损失。在本文中，我们提出了一种基于自我关注和残余结构（CFN-SR）的新型跨模型融合网络，用于多式联情绪识别。首先，我们对音频和视频模型执行表示学习，以通过有效的ResNext和1D CNN获得两个模态的语义特征。其次，我们将两个模态的特征分别馈送到跨模块块中，以确保通过自我关注机制和残余结构来确保信息的有效互补性和完整性。最后，我们通过用原始表示拼接获得的融合表示来获得情绪的产出。为了验证所提出的方法的有效性，我们对Ravdess数据集进行实验。实验结果表明，拟议的CFN-SR实现了最先进的，并以26.30M参数获得75.76％的精度。我们的代码可在https://github.com/skeletonnn/cfn-sr获得。

在最新的社交网络中，越来越多的人喜欢通过文字，语音和丰富的面部表情在视频中表达自己的情绪。多模式的视频情感分析技术可以根据图像中的人类表情和手势，声音和公认的自然语言自动理解用户的内部世界。但是，在现有研究中，与视觉和文本方式相比，声学方式长期以来一直处于边缘位置。也就是说，改善声学方式对整个多模式识别任务的贡献往往更加困难。此外，尽管可以通过引入常见的深度学习方法来获得更好的性能，但是这些训练模型的复杂结构始终会导致推理效率低，尤其是在暴露于高分辨率和长长视频时。此外，缺乏完全端到端的多模式视频情感识别系统阻碍了其应用。在本文中，我们为快速而有效的识别推断设计了一个完全多模式的视频对情感系统（名称为FV2E），其好处是三倍：（1）在声音中，通过有限的贡献，采用了层次结构注意方法。在声学模态上，在IEMOCAP和CMU-MOSEI数据集上胜过现有模型的性能； （2）引入视觉提取的多尺度的想法，而单一用于推理的想法会带来更高的效率，并同时保持预测准确性； （3）将预处理数据的数据进一步集成到对齐的多模式学习模型中，可以显着降低计算成本和存储空间。

Human language is often multimodal, which comprehends a mixture of natural language, facial gestures, and acoustic behaviors. However, two major challenges in modeling such multimodal human language time-series data exist: 1) inherent data non-alignment due to variable sampling rates for the sequences from each modality; and 2) long-range dependencies between elements across modalities. In this paper, we introduce the Multimodal Transformer (MulT) to generically address the above issues in an end-to-end manner without explicitly aligning the data. At the heart of our model is the directional pairwise crossmodal attention, which attends to interactions between multimodal sequences across distinct time steps and latently adapt streams from one modality to another. Comprehensive experiments on both aligned and non-aligned multimodal time-series show that our model outperforms state-of-the-art methods by a large margin. In addition, empirical analysis suggests that correlated crossmodal signals are able to be captured by the proposed crossmodal attention mechanism in MulT.

多模式情绪识别的研究和应用最近变得越来越流行。但是，多模式情绪识别面临缺乏数据的挑战。为了解决这个问题，我们建议使用转移学习，哪些人利用最先进的预培训模型，包括WAV2VEC 2.0和BERT来执行此任务。探索了多级融合方法，包括基于共发的早期融合和与在两个嵌入训练的模型的后期融合。此外，还提出了一个多范围的框架，它不仅提取了帧级的语音嵌入，还提出了细分级别的嵌入，包括电话，音节和文字级语音嵌入，以进一步提高性能。通过将基于同时的早期融合模型和晚期融合模型与多粒性特征提取框架相结合，我们获得的结果使IEMOCAP数据集上的最佳基线方法优于最佳基线方法未加权准确性（UA）。

In vision and linguistics; the main input modalities are facial expressions, speech patterns, and the words uttered. The issue with analysis of any one mode of expression (Visual, Verbal or Vocal) is that lot of contextual information can get lost. This asks researchers to inspect multiple modalities to get a thorough understanding of the cross-modal dependencies and temporal context of the situation to analyze the expression. This work attempts at preserving the long-range dependencies within and across different modalities, which would be bottle-necked by the use of recurrent networks and adds the concept of delta-attention to focus on local differences per modality to capture the idiosyncrasy of different people. We explore a cross-attention fusion technique to get the global view of the emotion expressed through these delta-self-attended modalities, in order to fuse all the local nuances and global context together. The addition of attention is new to the multi-modal fusion field and currently being scrutinized for on what stage the attention mechanism should be used, this work achieves competitive accuracy for overall and per-class classification which is close to the current state-of-the-art with almost half number of parameters.

人格计算和情感计算最近在许多研究领域获得了兴趣。任务的数据集通常具有视频，音频，语言和生物信号等多种方式。在本文中，我们提出了一种灵活的型号，用于利用所有可用数据的任务。该任务涉及复杂的关系，并避免使用大型模型进行视频处理，我们提出了使用行为编码，该行为编码具有对模型的最小变化的性能提升性能。近期使用变压器的横向感到流行，并且用于融合不同的方式。由于可能存在长期关系，因此不希望将输入破坏到块中，因此所提出的模型将整个输入处理在一起。我们的实验表明了上述每个贡献的重要性

多模式分析最近对情感计算的兴趣很大，因为它可以提高情感识别对孤立的单模态方法的整体准确性。多式联情绪识别最有效的技术有效地利用各种和互补的信息来源，例如面部，声带和生理方式，提供全面的特征表示。在本文中，我们专注于基于视频中提取的面部和声乐方式的融合的尺寸情感识别，其中可以捕获复杂的时空关系。大多数现有的融合技术依赖于经常性网络或传统的注意机制，这些机制没有有效地利用视听（A-V）方式的互补性质。我们介绍了一种跨关注融合方法来提取A-V模式的显着特征，允许准确地预测连续值的价值和唤醒。我们的新的跨关节A-V融合模型有效利用了模态关系。特别地，它计算跨关注权重，以专注于各个模态跨越更贡献的特征，从而组合贡献特征表示，然后将其馈送到完全连接的层以用于预测价和唤醒。所提出的方法的有效性在通过Recolat和疲劳（私人）数据集中的视频上进行了实验验证。结果表明，我们的跨关节A-V融合模型是一种经济高效的方法，优于最先进的融合方法。代码可用：\ url {https://github.com/praveena2j/cross-attentional-av-fusion}

自动情绪识别（ER）最近由于其在许多实际应用中的潜力而引起了很多兴趣。在这种情况下，已经证明多模式方法可以通过结合多样化和互补的信息来源，从而提高性能（超过单峰方法），从而为嘈杂和缺失的方式提供了一些鲁棒性。在本文中，我们根据从视频中提取的面部和声音方式融合的尺寸ER专注于尺寸，其中探索了互补的视听（A-V）关系，以预测个人在价值空间中的情绪状态。大多数最先进的融合技术都依赖于反复的网络或常规的注意机制，这些机制无法有效利用A-V模式的互补性。为了解决这个问题，我们引入了A-V融合的联合跨注意模型，该模型在A-V模态上提取显着特征，从而可以有效利用模式间关系，同时保留模式内关系。特别是，它根据联合特征表示与单个模式的相关性计算交叉意义权重。通过将联合A-V特征表示形式部署到交叉意见模块中，它有助于同时利用内模式和模态关系，从而显着改善系统的性能，而不是香草交叉意见模块。我们提出的方法的有效性是在Recola和AffWild2数据集的挑战性视频中通过实验验证的。结果表明，我们的跨注意A-V融合模型提供了一种具有成本效益的解决方案，即使模式是嘈杂或不存在的，也可以超越最先进的方法。

多模式情感分析由于其在多模式相互作用中的信息互补性而具有广泛的应用。以前的作品更多地着重于研究有效的联合表示，但他们很少考虑非峰值提取和多模层融合的数据冗余性的不足。在本文中，提出了一个基于视频的跨模式辅助网络（VCAN），该网络由音频特征映射模块和跨模式选择模块组成。第一个模块旨在大大提高音频功能提取的特征多样性，旨在通过提供更全面的声学表示来提高分类精度。为了授权该模型处理冗余视觉功能，第二个模块是在集成视听数据时有效地过滤冗余视觉框架的。此外，引入了由几个图像分类网络组成的分类器组，以预测情感极性和情感类别。关于RAVDESS，CMU-MOSI和CMU-MOSEI基准的广泛实验结果表明，VCAN明显优于提高多模式情感分析的分类准确性的最新方法。

视频中的多模式情感分析是许多现实世界应用中的关键任务，通常需要集成多模式流，包括视觉，言语和声学行为。为了提高多模式融合的鲁棒性，某些现有方法使不同的模态相互通信，并通过变压器模态跨模式相互作用。但是，这些方法仅在交互期间使用单尺度表示，但忘记利用包含不同语义信息级别的多尺度表示。结果，对于未对齐的多模式数据，变压器学到的表示形式可能会偏差。在本文中，我们提出了多模式情感分析的多尺度合作多模式变压器（MCMULT）体系结构。总体而言，“多尺度”机制能够利用每种模式的不同语义信息级别，用于细粒度的跨模式相互作用。同时，每种模式通过从其源模式的多个级别特征集成了交叉模式的交互来学习其特征层次结构。这样，每对方式分别以合作的方式逐步构建特征层次结构。经验结果表明，我们的MCMULT模型不仅在未对齐的多模式序列上胜过现有的方法，而且在对齐的多模式序列上具有强烈的性能。

已经普遍研究了具有精确唇部同步的语音驱动的3D面部动画。然而，在演讲中为整个面部的综合制造动作很少被探索。在这项工作中，我们介绍了一个联合音频文本模型，用于捕捉表达语音驱动的3D面部动画的上下文信息。收集现有数据集以覆盖尽可能多的不同音素而不是句子，从而限制了基于音频的模型的能力，以了解更多不同的上下文。为解决此问题，我们建议利用从强大的预先培训的语言模型中提取的上下文文本嵌入，该模型从大规模文本数据中学习了丰富的上下文表示。我们的假设是文本特征可以消除上面表达式的变化，这与音频没有强烈相关。与从文本中学习音素级别功能的先前方法相比，我们调查语音驱动3D面部动画的高级上下文文本特征。我们表明，组合的声学和文本方式可以在维持抖动同步的同时综合现实的面部表达式。我们进行定量和定性评估以及感知用户学习。结果展示了我们模型对现有最先进的方法的卓越表现。

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

分类组级情绪是由于视频的复杂性，其中不仅是视觉的，而且应该考虑音频信息。对多模式情感识别的现有工作是使用庞大的方法，其中使用掠夺性神经网络作为特征提取器，然后提取的特征被融合。然而，这种方法不考虑多模式数据的属性，并且特征提取器不能用于对整体模型精度不利的特定任务的微调。为此，我们的影响是双重的：（i）我们训练模型端到端，这允许早期的神经网络层考虑到后来的两种方式的融合层; （ii）我们模型的所有层都针对情感认可的下游任务进行了微调，因此无需从头划伤训练神经网络。我们的模型实现了最佳验证精度为60.37％，比VGAF数据集基线更高，比VGAF数据集基线更高，并且与现有工程，音频和视频模式具有竞争力。