多模式情绪识别的研究和应用最近变得越来越流行。但是，多模式情绪识别面临缺乏数据的挑战。为了解决这个问题，我们建议使用转移学习，哪些人利用最先进的预培训模型，包括WAV2VEC 2.0和BERT来执行此任务。探索了多级融合方法，包括基于共发的早期融合和与在两个嵌入训练的模型的后期融合。此外，还提出了一个多范围的框架，它不仅提取了帧级的语音嵌入，还提出了细分级别的嵌入，包括电话，音节和文字级语音嵌入，以进一步提高性能。通过将基于同时的早期融合模型和晚期融合模型与多粒性特征提取框架相结合，我们获得的结果使IEMOCAP数据集上的最佳基线方法优于最佳基线方法未加权准确性（UA）。

情绪识别（ER）旨在将人的话语分类为不同的情感类别。基于本文和声学模式之间的早期融合和基于自我注意力的多模式相互作用，在本文中，我们提出了一种多模式多任务学习方法，用于从孤立的单个话语中进行ER。Iemocap基准测试的实验表明，我们提出的模型的表现要比我们对最新的改性的重新实现要好，并且比文献中所有其他单峰和多模式方法更好地实现了性能。此外，强大的基准和消融研究证明了我们提出的方法的有效性。我们在GitHub上公开提供所有代码。

在本文中，我们介绍了2022年多模式情感分析挑战（MUSE）的解决方案，其中包括Muse-Humor，Muse-Rection和Muse Surns Sub-Challenges。 2022年穆斯穆斯（Muse 2022）着重于幽默检测，情绪反应和多模式的情感压力，利用不同的方式和数据集。在我们的工作中，提取了不同种类的多模式特征，包括声学，视觉，文本和生物学特征。这些功能由Temma和Gru融合到自发机制框架中。在本文中，1）提取了一些新的音频功能，面部表达功能和段落级文本嵌入以进行准确的改进。 2）我们通过挖掘和融合多模式特征来显着提高多模式情感预测的准确性和可靠性。 3）在模型培训中应用有效的数据增强策略，以减轻样本不平衡问题并防止模型形成学习有偏见的主题字符。对于博物馆的子挑战，我们的模型获得了0.8932的AUC分数。对于Muse Rection子挑战，我们在测试集上的Pearson相关系数为0.3879，它的表现优于所有其他参与者。对于Muse Surst Sub-Challenge，我们的方法在测试数据集上的唤醒和价值都优于基线，达到了0.5151的最终综合结果。

学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。

基于音频视频的多模式情绪识别由于其强大的性能引起了很多人。大多数现有方法都侧重于提出不同的跨模态融合策略。然而，这些策略在不同模式的特征中引入了冗余，而无需完全考虑模态信息之间的互补特性，并且这些方法不保证在跨跨和间间交互期间的原始语义信息的非损失。在本文中，我们提出了一种基于自我关注和残余结构（CFN-SR）的新型跨模型融合网络，用于多式联情绪识别。首先，我们对音频和视频模型执行表示学习，以通过有效的ResNext和1D CNN获得两个模态的语义特征。其次，我们将两个模态的特征分别馈送到跨模块块中，以确保通过自我关注机制和残余结构来确保信息的有效互补性和完整性。最后，我们通过用原始表示拼接获得的融合表示来获得情绪的产出。为了验证所提出的方法的有效性，我们对Ravdess数据集进行实验。实验结果表明，拟议的CFN-SR实现了最先进的，并以26.30M参数获得75.76％的精度。我们的代码可在https://github.com/skeletonnn/cfn-sr获得。

在本文中，我们将解决方案介绍给Muse-Humor的多模式情感挑战（MUSE）2022的邮件，库穆尔人子挑战的目标是发现幽默并从德国足球馆的视听录音中计算出AUC新闻发布会。它是针对教练表现出的幽默的注释。对于此子挑战，我们首先使用变压器模块和BilstM模块构建一个判别模型，然后提出一种混合融合策略，以使用每种模式的预测结果来提高模型的性能。我们的实验证明了我们提出的模型和混合融合策略对多模式融合的有效性，并且我们在测试集中提出的模型的AUC为0.8972。

In this paper, we address the problem of multimodal emotion recognition from multiple physiological signals. We demonstrate that a Transformer-based approach is suitable for this task. In addition, we present how such models may be pretrained in a multimodal scenario to improve emotion recognition performances. We evaluate the benefits of using multimodal inputs and pre-training with our approach on a state-ofthe-art dataset.

情绪识别涉及几个现实世界应用。随着可用方式的增加，对情绪的自动理解正在更准确地进行。多模式情感识别（MER）的成功主要依赖于监督的学习范式。但是，数据注释昂贵，耗时，并且由于情绪表达和感知取决于几个因素（例如，年龄，性别，文化），获得具有高可靠性的标签很难。由这些动机，我们专注于MER的无监督功能学习。我们考虑使用离散的情绪，并用作模式文本，音频和视觉。我们的方法是基于成对方式之间的对比损失，是MER文献中的第一次尝试。与现有的MER方法相比，我们的端到端特征学习方法具有几种差异（和优势）：i）无监督，因此学习缺乏数据标记成本； ii）它不需要数据空间增强，模态对准，大量批量大小或时期； iii）它仅在推理时应用数据融合； iv）它不需要对情绪识别任务进行预训练的骨干。基准数据集上的实验表明，我们的方法优于MER中应用的几种基线方法和无监督的学习方法。特别是，它甚至超过了一些有监督的MER最先进的。

在最新的社交网络中，越来越多的人喜欢通过文字，语音和丰富的面部表情在视频中表达自己的情绪。多模式的视频情感分析技术可以根据图像中的人类表情和手势，声音和公认的自然语言自动理解用户的内部世界。但是，在现有研究中，与视觉和文本方式相比，声学方式长期以来一直处于边缘位置。也就是说，改善声学方式对整个多模式识别任务的贡献往往更加困难。此外，尽管可以通过引入常见的深度学习方法来获得更好的性能，但是这些训练模型的复杂结构始终会导致推理效率低，尤其是在暴露于高分辨率和长长视频时。此外，缺乏完全端到端的多模式视频情感识别系统阻碍了其应用。在本文中，我们为快速而有效的识别推断设计了一个完全多模式的视频对情感系统（名称为FV2E），其好处是三倍：（1）在声音中，通过有限的贡献，采用了层次结构注意方法。在声学模态上，在IEMOCAP和CMU-MOSEI数据集上胜过现有模型的性能； （2）引入视觉提取的多尺度的想法，而单一用于推理的想法会带来更高的效率，并同时保持预测准确性； （3）将预处理数据的数据进一步集成到对齐的多模式学习模型中，可以显着降低计算成本和存储空间。

本文提出了一个基于混合融合的多模式情感识别系统，该系统将语音话语和相应图像描绘的情绪分类为离散类。已经开发了一种新的可解释性技术，以确定重要的语音和图像特征，从而预测特定的情感类别。拟议的系统的体系结构是通过大量消融研究确定的。它融合了语音和图像特征，然后结合了语音，图像和中间融合输出。提出的可解释性技术结合了划分和征服方法，以计算表示每个语音和图像特征的重要性的刻薄值。我们还构建了一个大规模数据集（IIT-R较小的数据集），包括语音话语，相应的图像和班级标签，即“愤怒”，“快乐”，“仇恨”和“悲伤”。拟议的系统已达到83.29％的情绪识别精度。提出的系统的增强性能提倡利用多种模式中的互补信息来识别情绪的重要性。

多模式分析最近对情感计算的兴趣很大，因为它可以提高情感识别对孤立的单模态方法的整体准确性。多式联情绪识别最有效的技术有效地利用各种和互补的信息来源，例如面部，声带和生理方式，提供全面的特征表示。在本文中，我们专注于基于视频中提取的面部和声乐方式的融合的尺寸情感识别，其中可以捕获复杂的时空关系。大多数现有的融合技术依赖于经常性网络或传统的注意机制，这些机制没有有效地利用视听（A-V）方式的互补性质。我们介绍了一种跨关注融合方法来提取A-V模式的显着特征，允许准确地预测连续值的价值和唤醒。我们的新的跨关节A-V融合模型有效利用了模态关系。特别地，它计算跨关注权重，以专注于各个模态跨越更贡献的特征，从而组合贡献特征表示，然后将其馈送到完全连接的层以用于预测价和唤醒。所提出的方法的有效性在通过Recolat和疲劳（私人）数据集中的视频上进行了实验验证。结果表明，我们的跨关节A-V融合模型是一种经济高效的方法，优于最先进的融合方法。代码可用：\ url {https://github.com/praveena2j/cross-attentional-av-fusion}

视频中的多模式情感分析是许多现实世界应用中的关键任务，通常需要集成多模式流，包括视觉，言语和声学行为。为了提高多模式融合的鲁棒性，某些现有方法使不同的模态相互通信，并通过变压器模态跨模式相互作用。但是，这些方法仅在交互期间使用单尺度表示，但忘记利用包含不同语义信息级别的多尺度表示。结果，对于未对齐的多模式数据，变压器学到的表示形式可能会偏差。在本文中，我们提出了多模式情感分析的多尺度合作多模式变压器（MCMULT）体系结构。总体而言，“多尺度”机制能够利用每种模式的不同语义信息级别，用于细粒度的跨模式相互作用。同时，每种模式通过从其源模式的多个级别特征集成了交叉模式的交互来学习其特征层次结构。这样，每对方式分别以合作的方式逐步构建特征层次结构。经验结果表明，我们的MCMULT模型不仅在未对齐的多模式序列上胜过现有的方法，而且在对齐的多模式序列上具有强烈的性能。

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

Human language is often multimodal, which comprehends a mixture of natural language, facial gestures, and acoustic behaviors. However, two major challenges in modeling such multimodal human language time-series data exist: 1) inherent data non-alignment due to variable sampling rates for the sequences from each modality; and 2) long-range dependencies between elements across modalities. In this paper, we introduce the Multimodal Transformer (MulT) to generically address the above issues in an end-to-end manner without explicitly aligning the data. At the heart of our model is the directional pairwise crossmodal attention, which attends to interactions between multimodal sequences across distinct time steps and latently adapt streams from one modality to another. Comprehensive experiments on both aligned and non-aligned multimodal time-series show that our model outperforms state-of-the-art methods by a large margin. In addition, empirical analysis suggests that correlated crossmodal signals are able to be captured by the proposed crossmodal attention mechanism in MulT.

本文提出了一个多模式的情感识别系统，即视觉口语文本添加剂网（Vista Net），以将包含图像，语音和文本的多模式输入反映的情绪分类为离散类。还开发了一种新的可解释性技术，即K平均添加剂解释（KAAP），以确定重要的视觉，口语和文本特征，从而预测特定的情感类别。 Vista Net使用早期和晚期融合的混合体从图像，语音和文本方式融合信息。它会自动调整其中间输出的权重，同时在不干预的情况下计算加权平均值。 KAAP技术计算每种方式和相应特征在预测特定情绪类别的贡献。为了减轻带有离散情绪类别标记的多模式情感数据集的不足，我们构建了一个大规模的IIT-R MMEMOREC数据集，该数据集由现实生活中的图像，相应的语音和文本和情感标签（“愤怒，'快乐，''happy，''快乐，'' “恨，”和“悲伤”。）。 Vista Net在考虑图像，语音和文本方式上导致了95.99％的情绪识别精度，这比考虑任何一种或两种方式的输入的表现要好。

分类组级情绪是由于视频的复杂性，其中不仅是视觉的，而且应该考虑音频信息。对多模式情感识别的现有工作是使用庞大的方法，其中使用掠夺性神经网络作为特征提取器，然后提取的特征被融合。然而，这种方法不考虑多模式数据的属性，并且特征提取器不能用于对整体模型精度不利的特定任务的微调。为此，我们的影响是双重的：（i）我们训练模型端到端，这允许早期的神经网络层考虑到后来的两种方式的融合层; （ii）我们模型的所有层都针对情感认可的下游任务进行了微调，因此无需从头划伤训练神经网络。我们的模型实现了最佳验证精度为60.37％，比VGAF数据集基线更高，比VGAF数据集基线更高，并且与现有工程，音频和视频模式具有竞争力。

Human speech can be characterized by different components, including semantic content, speaker identity and prosodic information. Significant progress has been made in disentangling representations for semantic content and speaker identity in Automatic Speech Recognition (ASR) and speaker verification tasks respectively. However, it is still an open challenging research question to extract prosodic information because of the intrinsic association of different attributes, such as timbre and rhythm, and because of the need for unsupervised training schemes to achieve robust large-scale and speaker-independent ASR. The aim of this paper is to address the disentanglement of emotional prosody from speech based on unsupervised reconstruction. Specifically, we identify, design, implement and integrate three crucial components in our proposed speech reconstruction model Prosody2Vec: (1) a unit encoder that transforms speech signals into discrete units for semantic content, (2) a pretrained speaker verification model to generate speaker identity embeddings, and (3) a trainable prosody encoder to learn prosody representations. We first pretrain the Prosody2Vec representations on unlabelled emotional speech corpora, then fine-tune the model on specific datasets to perform Speech Emotion Recognition (SER) and Emotional Voice Conversion (EVC) tasks. Both objective and subjective evaluations on the EVC task suggest that Prosody2Vec effectively captures general prosodic features that can be smoothly transferred to other emotional speech. In addition, our SER experiments on the IEMOCAP dataset reveal that the prosody features learned by Prosody2Vec are complementary and beneficial for the performance of widely used speech pretraining models and surpass the state-of-the-art methods when combining Prosody2Vec with HuBERT representations. Some audio samples can be found on our demo website.

Humans are sophisticated at reading interlocutors' emotions from multimodal signals, such as speech contents, voice tones and facial expressions. However, machines might struggle to understand various emotions due to the difficulty of effectively decoding emotions from the complex interactions between multimodal signals. In this paper, we propose a multimodal emotion analysis framework, InterMulti, to capture complex multimodal interactions from different views and identify emotions from multimodal signals. Our proposed framework decomposes signals of different modalities into three kinds of multimodal interaction representations, including a modality-full interaction representation, a modality-shared interaction representation, and three modality-specific interaction representations. Additionally, to balance the contribution of different modalities and learn a more informative latent interaction representation, we developed a novel Text-dominated Hierarchical High-order Fusion(THHF) module. THHF module reasonably integrates the above three kinds of representations into a comprehensive multimodal interaction representation. Extensive experimental results on widely used datasets, (i.e.) MOSEI, MOSI and IEMOCAP, demonstrate that our method outperforms the state-of-the-art.

谈话中的情感认可（ERC）是一个重要而积极的研究问题。最近的工作表明了ERC任务使用多种方式（例如，文本，音频和视频）的好处。在谈话中，除非一些外部刺激唤起改变，否则参与者倾向于维持特定的情绪状态。在谈话中持续的潮起潮落和情绪流动。灵感来自这种观察，我们提出了一种多模式ERC模型，并通过情感转换组件增强。所提出的情感移位组件是模块化的，可以添加到任何现有的多模式ERC模型（具有几种修改），以改善情绪识别。我们尝试模型的不同变体，结果表明，包含情感移位信号有助于模型以优于ERC的现有多模型模型，从而展示了MOSEI和IEMOCAP数据集的最先进的性能。

在对抗环境中识别有说服力的扬声器是一项关键任务。在全国选举中，政客们希望代表他们有说服力的发言人。当一家公司面临不利的宣传时，他们希望在对他们批评的对手存在的对手存在中，他们希望有说服力的倡导者。辩论代表了这些形式的对抗性劝说的共同平台。本文解决了两个问题：辩论结果预测（DOP）问题预测谁赢得了辩论的争论，而劝说预测强度（IPP）问题预测发言者发言前后投票数量的变化。虽然DOP先前已经研究过，但我们是第一个研究IPP的研究。关于DOP的过去的研究未能利用多模式数据的两个重要方面：1）多种方式通常是语义对齐，而2）不同的方式可以提供用于预测的不同信息。我们的M2P2（多模式说服预测）框架是第一个使用多模式（声学，视觉，语言）数据来解决IPP问题的框架。为了利用不同方式的对准，同时保持所提供的提示的多样性，M2P2设计了一种新的自适应融合学习框架，其保留了从两个模块获得的嵌入式的嵌入式 - 一种对准模块，其提取模态和学习的异构性模块之间的共享信息。具有三种单独培训的单峰参考模型的指导的不同方式的重量。我们在为DOP设计的流行IQ2US数据集中测试M2P2。我们还介绍了一个名为QPS的新数据集（来自QIPASHUO，一个受欢迎的中国辩论电视节目）为IPP。 M2P2显着优于两个数据集上的4个最近基线。