我们对会话分析的问题及其在健康领域的应用感兴趣。认知行为疗法是心理疗法的结构化方法，使治疗师能够帮助患者识别和修改恶意思想，行为或行动。可以使用工作联盟库存观察者评级的缩短来评估这项合作的工作 - 12个项目涵盖任务，目标和关系 - 对治疗结果具有相关的影响。在这项工作中，我们研究了该联盟库存与患者与心理治疗师之间的口头对话（会议）之间的关系。我们已经提供了八个星期的电子疗法，收集了他们的音频和视频通话课程，并手动转录它们。专业治疗师对口语对话进行了注释和评估。我们已经调查了语音和语言特征及其与WAI项目的关联。功能类型包括转弯动力学，词汇夹带以及从语音和语言信号中提取的对话描述符。我们的发现提供了有力的证据，表明这些特征的一部分是工作联盟的强有力指标。据我们所知，这是一项针对言语和语言来表征工作联盟的第一项和新颖的研究。

Covid-19大流行的发作使风险的心理健康带来了。社会咨询在这种环境中取得了显着意义。与一般面向目标的对话不同，患者和治疗师之间的对话是相当明暗的，尽管谈话的目标非常明显。在这种情况下，了解患者的目的在提供治疗会话中提供有效咨询方面是必要的，同样适用于对话系统。在这项工作中，我们前进是一个小小的一步，在开发精神健康咨询的自动对话系统中。我们开发一个名为HOPE的新型数据集，为咨询谈话中的对话行为分类提供平台。我们确定此类对话的要求，并提出了12个域特定的对话法（DAC）标签。我们收集12.9k的话语从youtube上公开的咨询会话视频，用DAC标签提取他们的成绩单，清洁并注释它们。此外，我们提出了一种基于变压器的架构的Sparta，具有新颖的扬声器和时间感知的语境学习，用于对话行动分类。我们的评价显示了若干基线的令人信服的表现，实现了最先进的希望。我们还通过对Sparta进行广泛的实证和定性分析来补充我们的实验。

我们提出了一个建议系统，该系统在心理治疗课程中实时向治疗师建议治疗策略。我们的系统使用转交级评级机制，该机制通过计算评分清单的深层嵌入与患者所说的当前句子之间的相似性得分来预测治疗结果。该系统会自动转录连续的音频流，并使用无在线注册的诊断方法将其分为患者和治疗师的转弯。然后，对话对及其计算评级将被馈入深入的强化学习建议，其中会话被视为用户，主题被视为项目。除了评估现有数据集上核心组件的经验优势之外，我们还证明了该系统在Web应用程序中的有效性。

Millions of people participate in online peer-to-peer support sessions, yet there has been little prior research on systematic psychology-based evaluations of fine-grained peer-counselor behavior in relation to client satisfaction. This paper seeks to bridge this gap by mapping peer-counselor chat-messages to motivational interviewing (MI) techniques. We annotate 14,797 utterances from 734 chat conversations using 17 MI techniques and introduce four new interviewing codes such as chit-chat and inappropriate to account for the unique conversational patterns observed on online platforms. We automate the process of labeling peer-counselor responses to MI techniques by fine-tuning large domain-specific language models and then use these automated measures to investigate the behavior of the peer counselors via correlational studies. Specifically, we study the impact of MI techniques on the conversation ratings to investigate the techniques that predict clients' satisfaction with their counseling sessions. When counselors use techniques such as reflection and affirmation, clients are more satisfied. Examining volunteer counselors' change in usage of techniques suggest that counselors learn to use more introduction and open questions as they gain experience. This work provides a deeper understanding of the use of motivational interviewing techniques on peer-to-peer counselor platforms and sheds light on how to build better training programs for volunteer counselors on online platforms.

Charisma is considered as one's ability to attract and potentially also influence others. Clearly, there can be considerable interest from an artificial intelligence's (AI) perspective to provide it with such skill. Beyond, a plethora of use cases opens up for computational measurement of human charisma, such as for tutoring humans in the acquisition of charisma, mediating human-to-human conversation, or identifying charismatic individuals in big social data. A number of models exist that base charisma on various dimensions, often following the idea that charisma is given if someone could and would help others. Examples include influence (could help) and affability (would help) in scientific studies or power (could help), presence, and warmth (both would help) as a popular concept. Modelling high levels in these dimensions for humanoid robots or virtual agents, seems accomplishable. Beyond, also automatic measurement appears quite feasible with the recent advances in the related fields of Affective Computing and Social Signal Processing. Here, we, thereforem present a blueprint for building machines that can appear charismatic, but also analyse the charisma of others. To this end, we first provide the psychological perspective including different models of charisma and behavioural cues of it. We then switch to conversational charisma in spoken language as an exemplary modality that is essential for human-human and human-computer conversations. The computational perspective then deals with the recognition and generation of charismatic behaviour by AI. This includes an overview of the state of play in the field and the aforementioned blueprint. We then name exemplary use cases of computational charismatic skills before switching to ethical aspects and concluding this overview and perspective on building charisma-enabled AI.

Intelligent agents have great potential as facilitators of group conversation among older adults. However, little is known about how to design agents for this purpose and user group, especially in terms of agent embodiment. To this end, we conducted a mixed methods study of older adults' reactions to voice and body in a group conversation facilitation agent. Two agent forms with the same underlying artificial intelligence (AI) and voice system were compared: a humanoid robot and a voice assistant. One preliminary study (total n=24) and one experimental study comparing voice and body morphologies (n=36) were conducted with older adults and an experienced human facilitator. Findings revealed that the artificiality of the agent, regardless of its form, was beneficial for the socially uncomfortable task of conversation facilitation. Even so, talkative personality types had a poorer experience with the "bodied" robot version. Design implications and supplementary reactions, especially to agent voice, are also discussed.

我们介绍了游戏（丁）的对话，这是一本关于现实生活，口头，自发的多方对话的手动抄录，棋盘游戏Catan的法语玩家之间的对话。我们的目标是为法语提供高质量的资源，由长时间的对话组成，以促进他们的研究风格（Asher等，2016）。在一般的对话环境中，参与者共享个人信息，这使得不可能自由公开地传播资源。在丁（Ding）中，参与者的注意力集中在游戏上，这阻止了他们谈论自己。此外，我们正在通过注释（Cruz Blandon等，2019）对对话中问题的性质进行研究，以开发更自然的自动对话系统。

以任务为导向的对话系统（TODS）继续升高，因为各种行业发现有效地利用其能力，节省时间和金钱。然而，即使是最先进的TOD尚未达到其全部潜力。TOD通常具有主要设计专注于完成手头的任务，因此任务分辨率的度量应优先考虑。可能会忽略可能指向对话的其他可能指向成功或其他方面的会话质量属性。这可能导致人类和对话系统之间的相互作用，让用户不满意或沮丧。本文探讨了对话系统的评价框架的文献，以及对话系统中的会话质量属性的作用，看起来，如何以及在与对话系统的性能相关的情况下，如何相关。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

在最近的工作中已显示出一种模式指导的对话管理方法，可以有效地创建能够充当友好同行或任务助理的强大定制虚拟代理。但是，这些方法在开放式，混合初始性领域中的成功应用仍然难以捉摸 - 尤其是在诸如虚拟标准化患者之类的医疗领域，在这种复杂的互动很常见的情况下 - 比以前的系统需要更广泛，更灵活的对话管理能力提供。在本文中，我们描述了用于开发索菲（Sophie）的通用架构指导的对话管理框架，Sophie是一种虚拟标准化的癌症患者，可让医生方便地练习与患者的互动。我们对医学生和索菲之间的对话进行了众包评估。我们的经纪人被认为是自然，情感上适当的反应，并且与她作为癌症患者的角色一致。此外，它大大优于对人类标准化患者语料库进行微调的端到端神经模型，这证明了模式引导方法的优势。

提高对话系统的用户体验通常需要密集的开发人员努力读取对话日志，运行统计分析，并激活系统缺点的相对重要性。本文介绍了一种自动分析对话日志的新方法，了解用户系统交互与总体对话质量之间的关系。与在话语级别质量预测上的事先工作不同，我们的方法了解每个互动的影响，没有话语级注释的整体用户评级，允许基于经验证据和低成本获得所得模型结论。我们的模型识别与Chatbot设置中的与整体对话质量有着强烈相关的交互。实验表明，我们模型的自动分析同意专家判决，使这项工作首先表明这种弱监督的话语级质量预测学习是高度可取的。

在数字治疗干预的背景下，例如互联网交付的认知行为治疗（ICBT）用于治疗抑郁和焦虑，广泛的研究表明，人类支持者或教练的参与如何协助接受治疗的人，改善用户参与治疗并导致更有效的健康结果而不是不受支持的干预措施。该研究旨在最大限度地提高这一人类支持的影响和结果，研究了通过AI和机器学习领域（ML）领域的最新进展提供的新机遇如何有助于有效地支持ICBT支持者的工作实践。本文报告了采访研究的详细调查结果，与15个ICBT支持者加深了解其现有的工作实践和信息需求，旨在有意义地向抑郁和焦虑治疗的背景下提供有用，可实现的ML申请。分析贡献（1）一组六个主题，总结了ICBT支持者在为其精神卫生客户提供有效，个性化反馈方面的策略和挑战;并回应这些学习，（2）对于ML方法如何帮助支持和解决挑战和信息需求，为每个主题提供具体机会。它依赖于在支持者LED客户审查实践中引入新的机器生成的数据见解的潜在社会，情感和务实含义的思考。

主题之间的转换是人类对话的自然组成部分。虽然已经在对话中研究了几十年来的主题过渡，但只有少数基于基础的研究，以调查主题过渡的微妙之处。因此，本研究注释了来自交换机语料库的215对话，并调查参与者和转弯/主题的主题转换，主题转换的多数，主题转换序列的变量如何相关。这项工作提出了对交换机语料库中的主题过渡的实证研究，然后在域内（ID）测试集的精度为83％的精度建模转换，10个Out-Domain}（OOD）测试集82％。设想，这项工作将有助于在开放域对话系统中模拟人类的像语如主题转换。

为了帮助现有的Telemental Mechanical服务，我们提出Deeptmh，这是一种通过提取对应于心理学文献经常使用的情感和认知特征的潜视和认知特征来模拟Telemental Mealth Session视频的新框架。我们的方法利用半监督学习的进步来解决Telemental Healts Sessience视频领域的数据稀缺，包括多模式半监督GaN，以检测Telemental卫生课程中的重要心理健康指标。我们展示了我们框架的有用性和与现有工作中的两项任务对比：参与回归和价值回归，这两者都对心理学家在眼药性健康会议期间对心理学家很重要。我们的框架报告了RMSE在参与回归中的RMSE方法的40％，并在价值唤醒回归中的SOTA方法中的50％改善。为了解决Telemental Health空间中公开的数据集的稀缺性，我们发布了一个新的数据集，Medica，用于心理健康患者参与检测。我们的数据集，Medica由1299个视频组成，每节3秒长。据我们所知，我们的方法是基于心理驱动的情感和认知功能来模拟Telemental Healts会话数据的第一种方法，这也通过利用半监督设置来解决数据稀疏性。

扬声器日流是一个标签音频或视频录制的任务，与扬声器身份或短暂的任务标记对应于扬声器标识的类，以识别“谁谈到何时发表讲话”。在早期，对MultiSpeaker录音的语音识别开发了扬声器日益衰退算法，以使扬声器自适应处理能够实现扬声器自适应处理。这些算法还将自己的价值作为独立应用程序随着时间的推移，为诸如音频检索等下游任务提供特定于扬声器的核算。最近，随着深度学习技术的出现，这在讲话应用领域的研究和实践中引起了革命性的变化，对扬声器日益改善已经进行了快速进步。在本文中，我们不仅审查了扬声器日益改善技术的历史发展，而且还审查了神经扬声器日益改善方法的最新进步。此外，我们讨论了扬声器日复速度系统如何与语音识别应用相结合，以及最近深度学习的激增是如何引领联合建模这两个组件互相互补的方式。通过考虑这种令人兴奋的技术趋势，我们认为本文对社区提供了有价值的贡献，以通过巩固具有神经方法的最新发展，从而促进更有效的扬声器日益改善进一步进展。

代码切换是在对话期间交换语言时的语音现象。尽管对会话语言中的代码切换的自发性，但大多数现有工程通过读取语音而不是自发的语音来收集代码切换数据。Ascend（一个自发的中国英语数据集）介绍了香港收集的自发多转对话对话中英语代码切换语料库的高质量资源。我们报告了提升的设计和收集语音数据的程序，包括在这项工作中的注释。上升包括23个双语，这些双语流利，汉英都流利，而且由9.23小时的清洁语音组成。

这项工作对最近的努力进行了系统的综述（自2010年以来），旨在自动分析面对面共同关联的人类社交互动中显示的非语言提示。专注于非语言提示的主要原因是，这些是社会和心理现象的物理，可检测到的痕迹。因此，检测和理解非语言提示至少在一定程度上意味着检测和理解社会和心理现象。所涵盖的主题分为三个：a）建模社会特征，例如领导力，主导，人格特质，b）社会角色认可和社会关系检测以及c）群体凝聚力，同情，rapport和so的互动动态分析向前。我们针对共同的相互作用，其中相互作用的人永远是人类。该调查涵盖了各种各样的环境和场景，包括独立的互动，会议，室内和室外社交交流，二元对话以及人群动态。对于他们每个人，调查都考虑了非语言提示分析的三个主要要素，即数据，传感方法和计算方法。目的是突出显示过去十年的主要进步，指出现有的限制并概述未来的方向。

近年来，虚拟学习已成为传统课堂教学的替代方法。学生参与虚拟学习可能会对满足学习目标和计划辍学风险产生重大影响。在虚拟学习环境中，有许多专门针对学生参与度（SE）的测量工具。在这项关键综述中，我们分析了这些作品，并从不同的参与定义和测量量表上突出了不一致之处。现有研究人员之间的这种多样性在比较不同的注释和构建可推广的预测模型时可能会出现问题。我们进一步讨论了有关参与注释和设计缺陷的问题。我们根据我们定义的七个参与注释的七个维度分析现有的SE注释量表，包括来源，用于注释的数据模式，注释发生的时间，注释发生的时间段，抽象，组合和组合水平的时间段，定量。令人惊讶的发现之一是，在SE测量中，很少有审查的数据集使用了现有的精神法法学验证量表中的注释中。最后，我们讨论了除虚拟学习以外的其他一些范围，这些量表具有用于测量虚拟学习中SE的潜力。

语言的感知毒性可能会因某人的身份和信仰而有所不同，但是在收集有毒语言数据集时往往忽略这种变化，从而导致数据集和模型偏差。我们寻求理解谁，为什么，以及毒性注释的偏见背后。在两个在线研究中具有人口统计地和政治上的参与者，我们调查了注释者身份（世卫组织）和信仰的影响（为什么），从社会心理学研究中汲取仇恨言语，自由言论，种族主义信念，政治倾向等。我们解除了通过考虑三个特征的帖子作为毒性的毒性：反黑色语言，非洲裔美国英语（AAE）方言和粗俗。我们的结果显示了注释者身份和信仰之间的强有力的协会及其毒性评级。值得注意的是，更保守的注释者和那些对我们的种族信仰规模的评分的人不太可能对毒黑语言归因于毒性，但更有可能将AAE归因于毒性。我们还提供了一个案例研究，说明了流行的毒性检测系统的评级如何自然地反映特定的信念和观点。我们的调查结果要求社会变量中的毒性标签，这提高了对有毒语言注释和检测的巨大影响。

口吃是一种复杂的言语障碍，会对个人有效沟通的能力产生负面影响。口吃（PWS）的人通常在这种情况下遭受很大的痛苦，并通过治疗寻求帮助。流利的塑形是一种治疗方法，PWSS学会修改他们的语音以帮助他们克服口吃。即使在治疗后，掌握这种语音技术也需要时间和练习。治疗后不久，对成功的评估很高，但复发率很高。为了能够长期监视语音行为，检测口吃事件和语音修改的能力可以帮助PWSS和语音病理学家跟踪流利程度。监测可以通过检测流利度的失误来提早进行干预的能力。据我们所知，没有公共数据集可用，其中包含接受口吃疗法的人的演讲，这些疗法改变了口语风格。这项工作介绍了Kassel Fluency（KSOF），这是一项基于疗法的数据集，其中包含超过5500个PWSS。这些剪辑标记为六种与口吃相关的事件类型：块，延长，声音重复，单词重复，插入和 - 特定于治疗 - 语音修改。音频是在Kasseler Stottertherapie研究所期间记录的。该数据将根据要求提供用于研究目的。