多模式情绪分析（MSA）是一种基本复杂的研究问题，因为不同方式与人类情绪表达的模糊性之间的异质性差距。虽然已经成功地建造了MSA的多模式表示，但仍有两个挑战需要解决：1）需要构建更强大的多模式表示来弥合异质性间隙并应对复杂的多模式相互作用和2）必须在整个信息流中有效地建模上下文动态。在这项工作中，我们提出了一种基于相互信息最大化和最小化和身份嵌入（MMMIE）的多模式表示模型。我们将模态对之间的相互信息最大化以及输入数据和相应功能之间的相互信息最小化，以挖掘模态不变和任务相关信息。此外，提出了身份嵌入，以提示下游网络来感知语境信息。两个公共数据集的实验结果证明了所提出的模型的有效性。

人类通过不同的渠道表达感受或情绪。以语言为例，它在不同的视觉声学上下文下需要不同的情绪。为了精确了解人类意图，并减少歧义和讽刺引起的误解，我们应该考虑多式联路信号，包括文本，视觉和声学信号。至关重要的挑战是融合不同的特征模式以进行情绪分析。为了有效地融合不同的方式携带的信息，更好地预测情绪，我们设计了一种基于新的多主题的融合网络，这是由任何两个对方式之间的相互作用不同的观察来启发，它们是不同的，并且它们不同样有助于最终的情绪预测。通过分配具有合理关注和利用残余结构的声学 - 视觉，声学 - 文本和视觉文本特征，我们参加了重要的特征。我们对四个公共多模式数据集进行了广泛的实验，包括中文和三种英文中的一个。结果表明，我们的方法优于现有的方法，并可以解释双模相互作用在多种模式中的贡献。

在多模式情绪分析（MSA）中，模型的性能高度取决于合成嵌入的质量。这些嵌入来自称为多模式融合的上游进程，旨在提取并结合输入的单向原始数据以产生更丰富的多峰表示。以前的工作要么返回传播任务丢失或操纵要素空间的几何属性，以产生有利的融合结果，它忽略了从输入到融合结果的关键任务相关信息的保存。在这项工作中，我们提出了一个名为多模式InfoMax（MMIM）的框架，该框架是分层地最大化单向输入对（互别级别）的互信息（MI），以及多模式融合结果和单向输入之间以便通过多模式融合。该框架与主要任务（MSA）共同培训，以提高下游MSA任务的性能。为了解决MI界限的棘手问题，我们进一步制定了一组计算简单的参数和非参数方法来近似于其真实值。两个广泛使用的数据集上的实验结果表明了我们的方法的功效。此工作的实施是公开可用的，在https://github.com/declare-lab/multimodal-infomax上。

Learning effective joint embedding for cross-modal data has always been a focus in the field of multimodal machine learning. We argue that during multimodal fusion, the generated multimodal embedding may be redundant, and the discriminative unimodal information may be ignored, which often interferes with accurate prediction and leads to a higher risk of overfitting. Moreover, unimodal representations also contain noisy information that negatively influences the learning of cross-modal dynamics. To this end, we introduce the multimodal information bottleneck (MIB), aiming to learn a powerful and sufficient multimodal representation that is free of redundancy and to filter out noisy information in unimodal representations. Specifically, inheriting from the general information bottleneck (IB), MIB aims to learn the minimal sufficient representation for a given task by maximizing the mutual information between the representation and the target and simultaneously constraining the mutual information between the representation and the input data. Different from general IB, our MIB regularizes both the multimodal and unimodal representations, which is a comprehensive and flexible framework that is compatible with any fusion methods. We develop three MIB variants, namely, early-fusion MIB, late-fusion MIB, and complete MIB, to focus on different perspectives of information constraints. Experimental results suggest that the proposed method reaches state-of-the-art performance on the tasks of multimodal sentiment analysis and multimodal emotion recognition across three widely used datasets. The codes are available at \url{https://github.com/TmacMai/Multimodal-Information-Bottleneck}.

学习模当融合的表示和处理未对准的多模式序列在多式联情绪识别中是有意义的，具有挑战性。现有方法使用定向成对注意力或消息中心到熔丝语言，视觉和音频模态。然而，这些方法在融合特征时介绍信息冗余，并且在不考虑方式的互补性的情况下效率低效。在本文中，我们提出了一种高效的神经网络，以学习与CB变压器（LMR-CBT）的模型融合表示，用于从未对准的多模式序列进行多峰情绪识别。具体地，我们首先为三种方式执行特征提取，以获得序列的局部结构。然后，我们设计具有跨模块块（CB变压器）的新型变压器，其能够实现不同模式的互补学习，主要分为局部时间学习，跨模型特征融合和全球自我关注表示。此外，我们将融合功能与原始特征拼接以对序列的情绪进行分类。最后，我们在三个具有挑战性的数据集，IEMocap，CMU-MOSI和CMU-MOSEI进行词语对齐和未对准的实验。实验结果表明我们在两个设置中提出的方法的优势和效率。与主流方法相比，我们的方法以最小数量的参数达到最先进的。

谈话中的情感认可（ERC）是一个重要而积极的研究问题。最近的工作表明了ERC任务使用多种方式（例如，文本，音频和视频）的好处。在谈话中，除非一些外部刺激唤起改变，否则参与者倾向于维持特定的情绪状态。在谈话中持续的潮起潮落和情绪流动。灵感来自这种观察，我们提出了一种多模式ERC模型，并通过情感转换组件增强。所提出的情感移位组件是模块化的，可以添加到任何现有的多模式ERC模型（具有几种修改），以改善情绪识别。我们尝试模型的不同变体，结果表明，包含情感移位信号有助于模型以优于ERC的现有多模型模型，从而展示了MOSEI和IEMOCAP数据集的最先进的性能。

在多方对话中有效地发现发言者的情绪状态是设计人类类似的会话代理商的重要性。在谈话期间，扬声器的认知状态通常由于某些过去的话语而改变，这可能导致他们的情绪状态的翻转。因此，在对话期间发现扬声器情感翻转背后的原因（触发）对于解释个人话语的情感标签至关重要。在本文中，除了解决对话中的情感认可的任务（ERC），我们介绍了一种新的任务 - 情感 - 翻转推理（EFR），旨在识别过去的话语，这引发了一个人的情绪状态以在一定时间翻转。我们提出了一个掩蔽的存储器网络来解决前者和基于变换器的网络的后一种任务。为此，我们考虑融合的基准情感识别数据集，用于ERC任务的多方对话，并使用EFR的新地基标签增强它。与五个最先进的模型进行了广泛的比较，表明我们对两个任务的模型的表现。我们进一步提出了轶事证据和定性和定量误差分析，以支持与基线相比模型的优势。

在谈话中的情感认可（ERC）近年来引起了很多关注，以实现广泛应用的必要性。现有的ERC方法主要是单独模拟自我和讲话者上下文，在缺乏它们之间缺乏足够的互动的主要问题。在本文中，我们提出了一种用于ERC（S + Page）的新型扬声器和位置感知图形神经网络模型，其中包含三个阶段，以结合变压器和关系图卷积网络（R-GCN）的优势以获得更好的上下文建模。首先，提出了一种双流的会话变压器以提取每个话语的粗略自我和扬声器上下文特征。然后，构造扬声器和位置感知会话图，并且我们提出了一种称为PAG的增强型R-GCN模型，以优化由相对位置编码引导的粗略特征。最后，从前两个阶段的两个特征都被输入到条件随机场层中以模拟情绪转移。

对话（ERC）任务中的情感识别旨在预测对话中话语的情感标签。由于说话者之间的依赖性是复杂而动态的，这包括言论和言论者间的依赖性，因此说话者特定信息的建模是ERC中的至关重要的作用。尽管现有的研究人员提出了各种说话者互动建模的方法，但他们不能共同探索动态的言论和言论者的依赖性，从而导致对上下文的理解不足并进一步阻碍情绪预测。为此，我们设计了一种新颖的扬声器建模方案，该方案以动态方式共同探索言论和言论者的依赖性。此外，我们为ERC提出了一个演讲者引导的编码编码器（SGED）框架，该框架完全利用了说话者信息来解码情感。我们使用不同的现有方法作为我们框架的对话上下文编码器，显示了提出的框架的高扩展性和灵活性。实验结果证明了SGED的优势和有效性。

随着用户生成的在线视频的扩散，多模式情感分析（MSA）最近引起了越来越多的关注。尽管取得了重大进展，但在稳健的MSA方面仍然存在两个主要挑战：1）在未对准的多模式数据中对跨模式相互作用进行建模时效率低下； 2）通常在现实设置中出现的随机模态特征的脆弱性。在本文中，我们提出了一个通用和统一的框架来解决它们，以双级特征恢复（EMT-DLFR）为有效的多模式变压器。具体而言，EMT采用了从每种模式的语音级表示作为全球多模式上下文，以与局部单峰特征相互作用并相互促进。它不仅避免了以前本地局部跨模式相互作用方法的二次缩放成本，而且还可以提高性能。一方面，为了提高模型鲁棒性，DLFR执行低级功能重建，以隐式鼓励模型从不完整的数据中学习语义信息。另一方面，它是一种创新的，将完整的数据视为一个样本的两个不同视图，并利用暹罗代表学学习明确吸引其高级表示。在三个流行数据集上进行的全面实验表明，我们的方法在完整和不完整的模态设置中都能达到卓越的性能。

多模式情感分析由于其在多模式相互作用中的信息互补性而具有广泛的应用。以前的作品更多地着重于研究有效的联合表示，但他们很少考虑非峰值提取和多模层融合的数据冗余性的不足。在本文中，提出了一个基于视频的跨模式辅助网络（VCAN），该网络由音频特征映射模块和跨模式选择模块组成。第一个模块旨在大大提高音频功能提取的特征多样性，旨在通过提供更全面的声学表示来提高分类精度。为了授权该模型处理冗余视觉功能，第二个模块是在集成视听数据时有效地过滤冗余视觉框架的。此外，引入了由几个图像分类网络组成的分类器组，以预测情感极性和情感类别。关于RAVDESS，CMU-MOSI和CMU-MOSEI基准的广泛实验结果表明，VCAN明显优于提高多模式情感分析的分类准确性的最新方法。

主动演讲者的检测和语音增强已成为视听场景中越来越有吸引力的主题。根据它们各自的特征，独立设计的体系结构方案已被广泛用于与每个任务的对应。这可能导致模型特定于任务所学的表示形式，并且不可避免地会导致基于多模式建模的功能缺乏概括能力。最近的研究表明，建立听觉和视觉流之间的跨模式关系是针对视听多任务学习挑战的有前途的解决方案。因此，作为弥合视听任务中多模式关联的动机，提出了一个统一的框架，以通过在本研究中通过联合学习视听模型来实现目标扬声器的检测和语音增强。

现有的多模式情感计算任务的工作，例如情感识别，通常采用两相管线，首先用手工制作算法提取每个单个模态的特征表示，然后用提取的特征执行端到端学习。然而，提取的特征是固定的，并且不能在不同的目标任务上进一步微调，并且手动查找特征提取算法不概括或缩放到不同的任务，这可能导致次优性能。在本文中，我们开发了一个完全端到端的模型，可以联系两个阶段并共同优化它们。此外，我们还会重新计算当前数据集以启用完全结束的培训。此外，为了减少端到端模型所带来的计算开销，我们引入了一种特征提取的稀疏跨模型注意机制。实验结果表明，我们全面的端到端模型基于两相管道显着超越了当前的最先进模型。此外，通过增加稀疏的跨模型注意力，我们的模型可以在特征提取部分中的计算中保持性能。

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

在对话系统中，具有类似语义的话语可能在不同的环境下具有独特的情绪。因此，与扬声器依赖关系建模的远程语境情绪关系在对话情绪识别中起重要作用。同时，区分不同的情绪类别是非微不足道的，因为它们通常具有语义上类似的情绪。为此，我们采取监督对比学习，使不同的情绪相互排斥，以更好地识别类似的情绪。同时，我们利用辅助响应生成任务来增强模型处理上下文信息的能力，从而强迫模型在不同的环境中识别与类似语义的情绪。为了实现这些目标，我们使用预先训练的编码器 - 解码器模型架作为我们的骨干模型，因为它非常适合理解和生成任务。四个数据集的实验表明，我们所提出的模型在对话情绪认可中获得比最先进的模型更有利的结果。消融研究进一步展示了监督对比损失和生成损失的有效性。

关于多模式情绪识别的最新作品转向端到端模型，该模型可以提取与两阶段管道相比，目标任务监督的特定任务特征。但是，以前的方法仅模拟文本和声学和视觉方式之间的特征相互作用，而忽略了捕获声学和视觉方式之间的特征相互作用。在本文中，我们提出了多模式的端到端变压器（ME2ET），该变压器可以有效地对低级和高级水平的文本，声学和视觉方式之间的三模式特征进行建模。在低水平，我们提出了进行性三模式的注意，可以通过采用两次通行策略来对三模式特征相互作用进行建模，并可以进一步利用这种相互作用，以通过降低输入令牌来显着降低计算和记忆复杂性长度。在高水平上，我们引入了三模式特征融合层，以明确汇总三种模式的语义表示。 CMU-MOSEI和IEMOCAP数据集的实验结果表明，ME2ET实现了最新性能。进一步的深入分析证明了拟议的渐进三模式关注的有效性，效率和解释性，这可以帮助我们的模型实现更好的性能，同时显着降低计算和记忆成本。我们的代码将公开可用。

The goal of building dialogue agents that can converse with humans naturally has been a long-standing dream of researchers since the early days of artificial intelligence. The well-known Turing Test proposed to judge the ultimate validity of an artificial intelligence agent on the indistinguishability of its dialogues from humans'. It should come as no surprise that human-level dialogue systems are very challenging to build. But, while early effort on rule-based systems found limited success, the emergence of deep learning enabled great advance on this topic. In this thesis, we focus on methods that address the numerous issues that have been imposing the gap between artificial conversational agents and human-level interlocutors. These methods were proposed and experimented with in ways that were inspired by general state-of-the-art AI methodologies. But they also targeted the characteristics that dialogue systems possess.

多模式意图识别是理解现实世界中人类语言的重要任务。大多数现有意图识别方法在利用基准数据集的限制中利用多模式信息的局限性，仅使用文本信息。本文介绍了一个用于多模式意图识别（MinTreec）的新型数据集，以解决此问题。它根据电视系列超市收集的数据制定了粗粒和细粒度的分类法。该数据集由2,224个具有文本，视频和音频模式的高质量样本组成，并在二十个意图类别中具有多模式注释。此外，我们在每个视频段中提供带注释的扬声器框架框，并实现扬声器注释的自动过程。 MinTrec对研究人员有助于挖掘不同方式之间的关系，以增强意图识别的能力。我们通过适应三种强大的多模式融合方法来构建基准，从每种模式和模型跨模式相互作用中提取特征。广泛的实验表明，采用非语言方式与仅文本模式相比，实现了实质性改进，这表明使用多模式信息进行意图识别的有效性。表现最佳的方法与人类之间的差距表明了这项任务对社区的挑战和重要性。完整的数据集和代码可在https://github.com/thuiar/mintrec上使用。

多模式情感分析是一项重要的研究任务，可以根据特定意见视频的不同模式数据来预测情绪得分。以前的许多研究都证明了利用不同模式的共享和独特信息的重要性。但是，来自多模式数据的高阶组合信号也将有助于提取满足表示形式。在本文中，我们提出了CMGA，这是MSA的跨模式门控注意融合模型，倾向于在不同的模态对上进行足够的相互作用。CMGA还添加了一个忘记的门来过滤交互过程中引入的嘈杂和冗余信号。我们在MSA，MOSI和MOSEI的两个基准数据集上进行了实验，以说明CMGA在几种基线模型上的性能。我们还进行了消融研究，以证明CMGA内部不同组件的功能。

融合技术是多模式情绪分析中的关键研究主题。最近的关注的融合表明了基于简单的操作融合的进步。然而，这些融合作品采用单规模，即令牌级或话语水平，单峰代表。这种单尺度融合是次优，因为不同的模态应该以不同的粒度对齐。本文提出了名为Scalevlad的融合模型，从文本，视频和音频中收集多尺度表示，与本地聚合描述符的共享向量，以改善未对准的多模式情绪分析。这些共享向量可以被视为共享主题以对齐不同的模态。此外，我们提出了一种自我监督的移位聚类损失，以保持样本之间的融合特征差异化。底部是对应于三个模态的三个变压器编码器，并且从融合模块产生的聚合特征将馈送到变压器加上完成任务预测的完全连接。在三个流行的情感分析基准，IEMocap，MOSI和MOSEI的实验，证明了基准的显着收益。