对于谈话情感认可的任务，最近的作品专注于发言者关系建模，但忽略了话语的情感倾向的作用。在本文中，我们提出了一种新的表达范例的句子级情绪定向向量，以模拟句子之间情绪的潜在相关性vectors。基于它，我们设计了一种情感识别模型，它从语言模型中提取句子级情感方向向量，并从对话情绪分析模型联合学习，提取句子级情绪方向向量，以识别谈话者在谈话中的情绪导向。我们在两个基准数据集中进行实验，并将它们与五个基线模型进行比较。实验结果表明，我们的模型对所有数据集具有更好的性能。

在多方对话中有效地发现发言者的情绪状态是设计人类类似的会话代理商的重要性。在谈话期间，扬声器的认知状态通常由于某些过去的话语而改变，这可能导致他们的情绪状态的翻转。因此，在对话期间发现扬声器情感翻转背后的原因（触发）对于解释个人话语的情感标签至关重要。在本文中，除了解决对话中的情感认可的任务（ERC），我们介绍了一种新的任务 - 情感 - 翻转推理（EFR），旨在识别过去的话语，这引发了一个人的情绪状态以在一定时间翻转。我们提出了一个掩蔽的存储器网络来解决前者和基于变换器的网络的后一种任务。为此，我们考虑融合的基准情感识别数据集，用于ERC任务的多方对话，并使用EFR的新地基标签增强它。与五个最先进的模型进行了广泛的比较，表明我们对两个任务的模型的表现。我们进一步提出了轶事证据和定性和定量误差分析，以支持与基线相比模型的优势。

谈话中的情感认可（ERC）是一个重要而积极的研究问题。最近的工作表明了ERC任务使用多种方式（例如，文本，音频和视频）的好处。在谈话中，除非一些外部刺激唤起改变，否则参与者倾向于维持特定的情绪状态。在谈话中持续的潮起潮落和情绪流动。灵感来自这种观察，我们提出了一种多模式ERC模型，并通过情感转换组件增强。所提出的情感移位组件是模块化的，可以添加到任何现有的多模式ERC模型（具有几种修改），以改善情绪识别。我们尝试模型的不同变体，结果表明，包含情感移位信号有助于模型以优于ERC的现有多模型模型，从而展示了MOSEI和IEMOCAP数据集的最先进的性能。

创建可以对对话做出适当反应又理解复杂人类语言倾向和社会线索的代理人在NLP社区中一直是一项艰巨的挑战。最近的研究支柱围绕着对话中的情感识别（ERC）；情感识别的子场地，重点是包含两个或更多话语的对话或对话。在这项工作中，我们探讨了一种ERC的方法，该方法利用了对话中神经嵌入的使用以及复杂的结构。我们在称为概率软逻辑（PSL）的框架中实现了我们的方法，该框架是一种使用一阶逻辑规则的声明的模板语言，该语言与数据结合时，定义了特定类别的图形模型。此外，PSL为将神经模型的结果纳入PSL模型提供了功能。这使我们的模型可以利用先进的神经方法，例如句子嵌入以及对话结构的逻辑推理。我们将我们的方法与最先进的纯神经ERC系统进行了比较，并将几乎提高了20％。通过这些结果，我们对DailyDialog对话数据集提供了广泛的定性和定量分析。

对话（ERC）任务中的情感识别旨在预测对话中话语的情感标签。由于说话者之间的依赖性是复杂而动态的，这包括言论和言论者间的依赖性，因此说话者特定信息的建模是ERC中的至关重要的作用。尽管现有的研究人员提出了各种说话者互动建模的方法，但他们不能共同探索动态的言论和言论者的依赖性，从而导致对上下文的理解不足并进一步阻碍情绪预测。为此，我们设计了一种新颖的扬声器建模方案，该方案以动态方式共同探索言论和言论者的依赖性。此外，我们为ERC提出了一个演讲者引导的编码编码器（SGED）框架，该框架完全利用了说话者信息来解码情感。我们使用不同的现有方法作为我们框架的对话上下文编码器，显示了提出的框架的高扩展性和灵活性。实验结果证明了SGED的优势和有效性。

对话中的情感认可（ERC）旨在检测给定对话中每种话语的情感。新提出的ERC模型利用了预培训的语言模型（PLM），并具有预训练和微调的范式，以获得良好的性能。但是，这些模型很少利用PLM的优势，并且对于缺乏明确的情感表达的对话而表现不佳。为了充分利用与话语中情感表达相关的潜在知识，我们提出了一种新颖的ERC模型Cisper，并使用新的及时和语言模型（LM）调整范式提出。具体而言，Cisper配备了及时融合与对话者的话语相关的上下文信息和常识，以更有效地实现ERC。我们的广泛实验表明，Cisper在最新的ERC模型中的出色表现以及利用这两种重要及时及时提高信息的有效性。为了方便地重现我们的实验结果，Cisper的Sourcecode和数据集已在https://github.com/deqingyang/cisper上共享。

在谈话中的情感认可（ERC）近年来引起了很多关注，以实现广泛应用的必要性。现有的ERC方法主要是单独模拟自我和讲话者上下文，在缺乏它们之间缺乏足够的互动的主要问题。在本文中，我们提出了一种用于ERC（S + Page）的新型扬声器和位置感知图形神经网络模型，其中包含三个阶段，以结合变压器和关系图卷积网络（R-GCN）的优势以获得更好的上下文建模。首先，提出了一种双流的会话变压器以提取每个话语的粗略自我和扬声器上下文特征。然后，构造扬声器和位置感知会话图，并且我们提出了一种称为PAG的增强型R-GCN模型，以优化由相对位置编码引导的粗略特征。最后，从前两个阶段的两个特征都被输入到条件随机场层中以模拟情绪转移。

在对话系统中，具有类似语义的话语可能在不同的环境下具有独特的情绪。因此，与扬声器依赖关系建模的远程语境情绪关系在对话情绪识别中起重要作用。同时，区分不同的情绪类别是非微不足道的，因为它们通常具有语义上类似的情绪。为此，我们采取监督对比学习，使不同的情绪相互排斥，以更好地识别类似的情绪。同时，我们利用辅助响应生成任务来增强模型处理上下文信息的能力，从而强迫模型在不同的环境中识别与类似语义的情绪。为了实现这些目标，我们使用预先训练的编码器 - 解码器模型架作为我们的骨干模型，因为它非常适合理解和生成任务。四个数据集的实验表明，我们所提出的模型在对话情绪认可中获得比最先进的模型更有利的结果。消融研究进一步展示了监督对比损失和生成损失的有效性。

因果情绪综合（CEE）旨在发现对话说法中情感背后的潜在原因。先前的工作将CEE正式为独立的话语对分类问题，并忽略了情感和说话者信息。从新的角度来看，本文考虑了联合框架中的CEE。我们同步对多种话语进行分类，以捕获全球观点中的话语之间的相关性，并提出一个两条注意力模型（TSAM），以有效地模拟说话者在对话历史上的情感影响。具体而言，TSAM包括三个模块：情感注意网络（EAN），说话者注意网络（SAN）和交互模块。 EAN和SAN并行结合了情感和说话者信息，随后的交互模块通过相互的Biaffine转换有效地互换了EAN和SAN之间的相关信息。广泛的实验结果表明，我们的模型实现了新的最新性能（SOTA）性能，并且表现出色的基准。

Causal Emotion Entailment aims to identify causal utterances that are responsible for the target utterance with a non-neutral emotion in conversations. Previous works are limited in thorough understanding of the conversational context and accurate reasoning of the emotion cause. To this end, we propose Knowledge-Bridged Causal Interaction Network (KBCIN) with commonsense knowledge (CSK) leveraged as three bridges. Specifically, we construct a conversational graph for each conversation and leverage the event-centered CSK as the semantics-level bridge (S-bridge) to capture the deep inter-utterance dependencies in the conversational context via the CSK-Enhanced Graph Attention module. Moreover, social-interaction CSK serves as emotion-level bridge (E-bridge) and action-level bridge (A-bridge) to connect candidate utterances with the target one, which provides explicit causal clues for the Emotional Interaction module and Actional Interaction module to reason the target emotion. Experimental results show that our model achieves better performance over most baseline models. Our source code is publicly available at https://github.com/circle-hit/KBCIN.

多模式情绪分析（MSA）是一种基本复杂的研究问题，因为不同方式与人类情绪表达的模糊性之间的异质性差距。虽然已经成功地建造了MSA的多模式表示，但仍有两个挑战需要解决：1）需要构建更强大的多模式表示来弥合异质性间隙并应对复杂的多模式相互作用和2）必须在整个信息流中有效地建模上下文动态。在这项工作中，我们提出了一种基于相互信息最大化和最小化和身份嵌入（MMMIE）的多模式表示模型。我们将模态对之间的相互信息最大化以及输入数据和相应功能之间的相互信息最小化，以挖掘模态不变和任务相关信息。此外，提出了身份嵌入，以提示下游网络来感知语境信息。两个公共数据集的实验结果证明了所提出的模型的有效性。

善解人意的回应的任务旨在了解说话者对自己的经历表达的感觉，然后适当地回复演讲者。为了解决任务，必须对话的内容情绪对偶性进行建模，该对话是由内容视图组成的（即描述了哪些个人经历​​）和情感观点（即，演讲者对这些经验的感觉）。为此，我们设计了一个框架，以通过分离促进响应生成来建模内容情感二元性（CEDUAL）。有了分解，我们从内容和情感视图中编码对话历史，然后根据删除表示形式产生善解人意的响应，从而可以将对话历史记录的内容和情感信息嵌入到生成的响应中。基准数据集促进性的实验表明，cedual模型在自动和人类指标上都达到了最先进的性能，并且它还比以前的方法产生更多的促进响应。

The task of emotion recognition in conversations (ERC) benefits from the availability of multiple modalities, as offered, for example, in the video-based MELD dataset. However, only a few research approaches use both acoustic and visual information from the MELD videos. There are two reasons for this: First, label-to-video alignments in MELD are noisy, making those videos an unreliable source of emotional speech data. Second, conversations can involve several people in the same scene, which requires the detection of the person speaking the utterance. In this paper we demonstrate that by using recent automatic speech recognition and active speaker detection models, we are able to realign the videos of MELD, and capture the facial expressions from uttering speakers in 96.92% of the utterances provided in MELD. Experiments with a self-supervised voice recognition model indicate that the realigned MELD videos more closely match the corresponding utterances offered in the dataset. Finally, we devise a model for emotion recognition in conversations trained on the face and audio information of the MELD realigned videos, which outperforms state-of-the-art models for ERC based on vision alone. This indicates that active speaker detection is indeed effective for extracting facial expressions from the uttering speakers, and that faces provide more informative visual cues than the visual features state-of-the-art models have been using so far.

谈话中的情感认可（ERC）旨在检测每个话语的情绪标签。最近的研究有所动机，这些研究已经证明，以有意义的顺序喂养训练示例而不是随机考虑它们可以提高模型的性能，我们提出了一个ERC导向的混合课程学习框架。我们的框架由两种课程组成：（1）会话级课程（CC）; （2）话语级课程（UC）。在CC中，我们根据对话中的“情绪移位”频率构建一个难度测量值，然后根据难度测量仪返回的难度得分，对话在“易于硬”模式中。对于UC来说，它是从情绪相似性的角度实施的，这逐渐加强了识别令人困惑的情绪的模型的能力。通过拟议的模型 - 不可知的混合课程学习策略，我们观察大量性能提升了广泛的现有ERC模型，我们能够在四个公共ERC数据集上实现新的最先进的结果。

评估当前序列或对话级Chatbots（例如Impathetic Open-Domain对话模型）的一个挑战是确定Chatbot是否以情绪一致的方式执行。最近的工作仅在对话之间的语境一致性，语言流畅性，响应多样性或逻辑自我一致性的方面进行评估。这项工作建议培训评估员以确定聊天禁令的情绪一致性。

人们的行为和反应是由他们的情绪驱动的。在线社交媒体正在成为以书面形式表达情感的绝佳工具。注意上下文和整个句子，帮助我们从文本中检测到情感。但是，这种观点抑制了我们注意文本中的一些情感单词或短语，尤其是当单词隐含地而不是明确地表达情感时。另一方面，仅关注单词并忽略上下文会导致对句子含义和感觉的扭曲理解。在本文中，我们提出了一个框架，该框架分析句子和单词级别的文本。我们将其命名为CEFER（情感识别的上下文和情感嵌入式框架）。我们的四个方法是通过同时考虑整个句子和每个单词以及隐式和明确的情绪来提取数据。从这些数据中获得的知识不仅减轻了前面方法中缺陷的影响，而且还可以增强特征向量。我们使用BERT家族评估几个功能空间，并根据其设计CEFER。 CEFER将每个单词的情感向量（包括明确和隐性情绪）与基于上下文的每个单词的特征向量相结合。 CEFER的表现比Bert家族更好。实验结果表明，识别隐性情绪比检测明确的情绪更具挑战性。 CEFER，提高了隐性情绪识别的准确性。根据结果​​，CEFER在识别明确的情绪和隐性中的3％方面的表现要比BERT家族好5％。

Automatic emotion recognition in conversation (ERC) is crucial for emotion-aware conversational artificial intelligence. This paper proposes a distribution-based framework that formulates ERC as a sequence-to-sequence problem for emotion distribution estimation. The inherent ambiguity of emotions and the subjectivity of human perception lead to disagreements in emotion labels, which is handled naturally in our framework from the perspective of uncertainty estimation in emotion distributions. A Bayesian training loss is introduced to improve the uncertainty estimation by conditioning each emotional state on an utterance-specific Dirichlet prior distribution. Experimental results on the IEMOCAP dataset show that ERC outperformed the single-utterance-based system, and the proposed distribution-based ERC methods have not only better classification accuracy, but also show improved uncertainty estimation.

在对话中的情感识别（ERC）中，通过考虑以前的上下文可以预测当前话语的情感，这可以在许多自然语言处理任务中使用。尽管多种情绪可以在给定的句子中共存，但以前的大多数方法都采用分类任务的视角来预测给定标签。但是，用自信或多标签标记句子的情绪是昂贵且困难的。在本文中，我们将自动构建一个灰度标签，考虑到情绪之间的相关性并将其用于学习。也就是说，我们不是使用给定标签作为单热编码，而是通过测量不同情绪的分数来构建灰度标签。我们介绍了几种构建灰度标签的方法，并确认每种方法都改善了情绪识别性能。我们的方法简单，有效且普遍适用于以前的系统。实验显示基线的性能有显着改善。

良好的善解人意对话系统应首先跟踪并理解用户的情绪，然后以适当的情感回复。但是，目前对此任务的方法要么集中于提高对用户情绪的理解或提出更好的反应策略，而且很少有作品同时考虑这两种工作。我们的工作试图填补这一空缺。受到任务导向对话系统的启发，我们提出了一种具有情感感知对话管理的新颖善解人意的响应生成模型。情绪感知对话管理包含两个部分：（1）情绪状态跟踪保持当前用户的情绪状态，（2）善解人意的对话策略选择预测目标情绪和用户的意图，基于情绪状态跟踪的结果。然后，预测信息用于指导响应的产生。实验结果表明，与自动评估和人类评估下的几个基准相比，动态管理不同的信息可以帮助模型产生更多的移情反应。

许多社会语言线索用于对话分析，例如情感，情绪和对话行为。一个基本社会线索是礼貌的，这是在语言上具有可用于对话分析的性质。这篇短文介绍了一些礼貌情感对话行为的一些简短调查结果，在那里，我们可以将这些社会语言学线索之间的关系债券相关联。我们发现，情感征集和厌恶的话语更可能是不礼貌的，而幸福和悲伤是礼貌的。对话行为，通知和共同体发生了类似的现象包含许多礼貌的话语，而不是问题和指令。最后，我们将结束这些发现的未来工作。