In recent years, interest has arisen in using machine learning to improve the efficiency of automatic medical consultation and enhance patient experience. In this article, we propose two frameworks to support automatic medical consultation, namely doctor-patient dialogue understanding and task-oriented interaction. We create a new large medical dialogue dataset with multi-level finegrained annotations and establish five independent tasks, including named entity recognition, dialogue act classification, symptom label inference, medical report generation and diagnosis-oriented dialogue policy. We report a set of benchmark results for each task, which shows the usability of the dataset and sets a baseline for future studies. Both code and data is available from https://github.com/lemuria-wchen/imcs21.

Diagnosis-oriented dialogue system queries the patient's health condition and makes predictions about possible diseases through continuous interaction with the patient. A few studies use reinforcement learning (RL) to learn the optimal policy from the joint action space of symptoms and diseases. However, existing RL (or Non-RL) methods cannot achieve sufficiently good prediction accuracy, still far from its upper limit. To address the problem, we propose a decoupled automatic diagnostic framework DxFormer, which divides the diagnosis process into two steps: symptom inquiry and disease diagnosis, where the transition from symptom inquiry to disease diagnosis is explicitly determined by the stopping criteria. In DxFormer, we treat each symptom as a token, and formalize the symptom inquiry and disease diagnosis to a language generation model and a sequence classification model respectively. We use the inverted version of Transformer, i.e., the decoder-encoder structure, to learn the representation of symptoms by jointly optimizing the reinforce reward and cross entropy loss. Extensive experiments on three public real-world datasets prove that our proposed model can effectively learn doctors' clinical experience and achieve the state-of-the-art results in terms of symptom recall and diagnostic accuracy.

医疗对话系统（MDSS）旨在协助医生和患者一系列专业医疗服务，即诊断，咨询和治疗。但是，一站式MDS仍然是未开发的，因为：（1）没有数据集如此大规模对话包含多种医疗服务和细粒度的医疗标签（即，意图，插槽，值）; （2）没有模型已经根据统一框架中的多服务对话解决了MDS。在这项工作中，我们首先建立一个多域多次服务医学对话（M ^ 2-Meddialog）数据集，其中包含医生和患者的1,557种对话，涵盖276种疾病，2,468种医学实体和3种医疗服务专业。据我们所知，它是唯一包括多种医疗服务和细粒度医疗标签的医疗对话数据集。然后，我们将一站式MDS制定为序列到序列生成问题。我们分别统一MDS，具有因果语言建模和条件因果语言建模。具体而言，我们采用了几种预磨料模型（即，Bert-WWM，BERT-MED，GPT2和MT5）及其变体，以在M ^ 2-MedDialog数据集上获取基准。我们还提出了伪标签和自然扰动方法来扩展M2-MedDialog数据集，并增强最先进的预磨损模型。我们展示了到目前为止通过对M2-MEDDIALOG的大量实验来实现的结果。我们释放DataSet，代码以及评估脚本，以促进在这方面的未来研究。

药物建议是智能医疗系统的关键任务。先前的研究主要建议使用电子健康记录（EHRS）药物。但是，在EHR中可能会忽略或忽略医生与患者之间的相互作用的一些细节，这对于自动药物建议至关重要。因此，我们首次尝试通过医生和患者之间的对话推荐药物。在这项工作中，我们构建了Dialmed，这是第一个用于基于医学对话的药物建议任务的高质量数据集。它包含与3个部门的16种常见疾病和70种相应常见药物有关的11,996次医疗对话。此外，我们提出了对话结构和疾病知识意识网络（DDN），其中QA对话图机制旨在模拟对话结构，并使用知识图来引入外部疾病知识。广泛的实验结果表明，所提出的方法是推荐与医疗对话的药物的有前途的解决方案。该数据集和代码可在https://github.com/f-window/dialmed上找到。

开发会话剂与患者相互作用并提供主要的临床建议，由于其巨大的应用潜力引起了人们的关注，尤其是在COVID-19-19大流行时期。但是，端到端神经对话系统的培训受到数量不足的医学对话语料库的限制。在这项工作中，我们首次尝试建立和发布与12种常见的胃肠道疾病相关的大规模高质量医学对话数据集，名为MEDDG，并从在线健康咨询社区收集了超过17K的对话。在MEDDG的每次对话中，都会注释五种不同类别的实体，包括疾病，症状，属性，测试和药物。为了推动对建立专家敏感的医学对话系统的未来研究，我们提出了基于MEDDG数据集的两种医疗对话任务。一个是下一个实体预测，另一个是医生的反应生成。为了明确理解这两项医学对话任务，我们实施了几个最先进的基准，并设计了两个对话模型，并进一步考虑了预测的实体。实验结果表明，训练前语言模型和其他基线在我们数据集中的性能差的两项任务上都挣扎，并且可以在辅助实体信息的帮助下增强响应质量。从人类评估来看，简单的检索模型的表现优于几个最新的生成模型，这表明仍然有一个很大的改进空间可以改善产生有意义的反应。

Natural Language Generation (NLG) has improved exponentially in recent years thanks to the development of sequence-to-sequence deep learning technologies such as Transformer-based language models. This advancement has led to more fluent and coherent NLG, leading to improved development in downstream tasks such as abstractive summarization, dialogue generation and data-to-text generation. However, it is also apparent that deep learning based generation is prone to hallucinate unintended text, which degrades the system performance and fails to meet user expectations in many real-world scenarios. To address this issue, many studies have been presented in measuring and mitigating hallucinated texts, but these have never been reviewed in a comprehensive manner before. In this survey, we thus provide a broad overview of the research progress and challenges in the hallucination problem in NLG. The survey is organized into two parts: (1) a general overview of metrics, mitigation methods, and future directions; and (2) an overview of task-specific research progress on hallucinations in the following downstream tasks, namely abstractive summarization, dialogue generation, generative question answering, data-to-text generation, machine translation, and visual-language generation. This survey serves to facilitate collaborative efforts among researchers in tackling the challenge of hallucinated texts in NLG.

传统中药（TCM）是一种自然，安全且有效的疗法，已在全球范围内传播和应用。独特的TCM诊断和治疗系统需要对隐藏在自由文本编写的临床记录中的患者症状进行全面分析。先前的研究表明，该系统可以在人工智能（AI）技术（例如自然语言处理（NLP））的帮助下进行通知和智能。但是，现有数据集没有足够的质量或数量来支持TCM中数据驱动的AI技术的进一步开发。因此，在本文中，我们专注于TCM诊断和治疗系统的核心任务 - 综合征分化（SD） - 我们介绍了第一个用于SD的公共大型数据集，称为TCM-SD。我们的数据集包含54,152个现实世界临床记录，涵盖148个综合征。此外，我们在TCM领域收集了一个大规模的未标记文本语料库，并提出了一种特定领域的预训练的语言模型，称为Zy-Bert。我们使用深层神经网络进行了实验，以建立强大的性能基线，揭示了SD中的各种挑战，并证明了特定领域的预训练性语言模型的潜力。我们的研究和分析揭示了将计算机科学和语言学知识纳入探索TCM理论的经验有效性的机会。

Covid-19大流行的发作使风险的心理健康带来了。社会咨询在这种环境中取得了显着意义。与一般面向目标的对话不同，患者和治疗师之间的对话是相当明暗的，尽管谈话的目标非常明显。在这种情况下，了解患者的目的在提供治疗会话中提供有效咨询方面是必要的，同样适用于对话系统。在这项工作中，我们前进是一个小小的一步，在开发精神健康咨询的自动对话系统中。我们开发一个名为HOPE的新型数据集，为咨询谈话中的对话行为分类提供平台。我们确定此类对话的要求，并提出了12个域特定的对话法（DAC）标签。我们收集12.9k的话语从youtube上公开的咨询会话视频，用DAC标签提取他们的成绩单，清洁并注释它们。此外，我们提出了一种基于变压器的架构的Sparta，具有新颖的扬声器和时间感知的语境学习，用于对话行动分类。我们的评价显示了若干基线的令人信服的表现，实现了最先进的希望。我们还通过对Sparta进行广泛的实证和定性分析来补充我们的实验。

从对话数据中提取信息特别具有挑战性，因为以任务为中心的对话的性质可以有效地传达人类隐式信息，但对机器来说是具有挑战性的。话语之间的挑战可能会有所不同，具体取决于说话者在对话中的作用，尤其是当相关专业知识跨角色不对称时。此外，随着对话中隐含地传达的信息构建更多的共享环境，挑战也可能会增加。在本文中，我们提出了新颖的建模方法MedFilter，该方法解决了这些见解，以提高识别和分类与任务相关的话语时的性能，并在这样做时对下游信息提取任务的性能产生积极影响。我们在近7,000次医生对话的语料库上评估了这种方法，其中使用MedFilter来识别与讨论的医学相关贡献（在PR曲线下的面积方面，比SOTA基线提高了10％的贡献）。确定与任务相关的话语受益于下游医疗处理，在提取症状，药物和投诉的提取方面分别提高了15％，105％和23％。

由于结构化数据通常不足，因此在开发用于临床信息检索和决策支持系统模型时，需要从电子健康记录中的自由文本中提取标签。临床文本中最重要的上下文特性之一是否定，这表明没有发现。我们旨在通过比较荷兰临床注释中的三种否定检测方法来改善标签的大规模提取。我们使用Erasmus医疗中心荷兰临床语料库比较了基于ContextD的基于规则的方法，即使用MEDCAT和（Fineted）基于Roberta的模型的BilstM模型。我们发现，Bilstm和Roberta模型都在F1得分，精度和召回方面始终优于基于规则的模型。此外，我们将每个模型的分类错误系统地分类，这些错误可用于进一步改善特定应用程序的模型性能。在性能方面，将三个模型结合起来并不有益。我们得出的结论是，尤其是基于Bilstm和Roberta的模型在检测临床否定方面非常准确，但是最终，根据手头的用例，这三种方法最终都可以可行。

The rapid development of aspect-based sentiment analysis (ABSA) within recent decades shows great potential for real-world society. The current ABSA works, however, are mostly limited to the scenario of a single text piece, leaving the study in dialogue contexts unexplored. In this work, we introduce a novel task of conversational aspect-based sentiment quadruple analysis, namely DiaASQ, aiming to detect the sentiment quadruple of target-aspect-opinion-sentiment in a dialogue. DiaASQ bridges the gap between fine-grained sentiment analysis and conversational opinion mining. We manually construct a large-scale, high-quality Chinese dataset and also obtain the English version dataset via manual translation. We deliberately propose a neural model to benchmark the task. It advances in effectively performing end-to-end quadruple prediction and manages to incorporate rich dialogue-specific and discourse feature representations for better cross-utterance quadruple extraction. We finally point out several potential future works to facilitate the follow-up research of this new task. The DiaASQ data is open at https://github.com/unikcc/DiaASQ

The internet has had a dramatic effect on the healthcare industry, allowing documents to be saved, shared, and managed digitally. This has made it easier to locate and share important data, improving patient care and providing more opportunities for medical studies. As there is so much data accessible to doctors and patients alike, summarizing it has become increasingly necessary - this has been supported through the introduction of deep learning and transformer-based networks, which have boosted the sector significantly in recent years. This paper gives a comprehensive survey of the current techniques and trends in medical summarization

Controllable Text Generation (CTG) is emerging area in the field of natural language generation (NLG). It is regarded as crucial for the development of advanced text generation technologies that are more natural and better meet the specific constraints in practical applications. In recent years, methods using large-scale pre-trained language models (PLMs), in particular the widely used transformer-based PLMs, have become a new paradigm of NLG, allowing generation of more diverse and fluent text. However, due to the lower level of interpretability of deep neural networks, the controllability of these methods need to be guaranteed. To this end, controllable text generation using transformer-based PLMs has become a rapidly growing yet challenging new research hotspot. A diverse range of approaches have emerged in the recent 3-4 years, targeting different CTG tasks which may require different types of controlled constraints. In this paper, we present a systematic critical review on the common tasks, main approaches and evaluation methods in this area. Finally, we discuss the challenges that the field is facing, and put forward various promising future directions. To the best of our knowledge, this is the first survey paper to summarize CTG techniques from the perspective of PLMs. We hope it can help researchers in related fields to quickly track the academic frontier, providing them with a landscape of the area and a roadmap for future research.

心理治疗干预技术是治疗师和患者之间的多方面对话。与一般的临床讨论不同，心理治疗的核心成分（即症状）很难区分，因此成为以后要总结的复杂问题。结构化的咨询对话可能包含有关症状，心理健康问题病史或发现患者行为的讨论。它还可能包含与临床摘要无关的讨论填充单词。我们将结构化心理治疗的这些要素称为咨询组成部分。在本文中，目的是心理健康咨询的摘要，以基于领域知识并帮助临床医生快速收集意义。在注释咨询组件的12.9k话语和每次对话的参考摘要之后，我们创建了一个新的数据集。此外，我们建议消费是一种新颖的咨询组件指导摘要模型。消费经历三个独立模块。首先，为了评估抑郁症状的存在，它使用患者健康问卷（PHQ-9）过滤了话语，而第二和第三模块旨在对咨询组件进行分类。最后，我们提出了针对特定问题的心理健康信息捕获（MHIC）评估指标，用于咨询摘要。我们的比较研究表明，我们改善了性能并产生凝聚力，语义和连贯的摘要。我们全面分析了生成的摘要，以研究心理治疗元素的捕获。摘要的人类和临床评估表明，消费会产生质量摘要。此外，心理健康专家验证了消费的临床可接受性。最后，我们讨论了现实世界中心理健康咨询摘要的独特性，并在Mathic.ai的支持下显示了其在线应用程序上的部署的证据

最近，通过“向导”模拟游戏收集了一类以任务为导向的对话（TOD）数据集。但是，《巫师》数据实际上是模拟的数据，因此与现实生活中的对话根本不同，这些对话更加嘈杂和随意。最近，Seretod挑战赛是组织的，并发布了Mobilecs数据集，该数据集由来自中国移动的真实用户和客户服务人员之间的真实世界对话框组成。基于Mobilecs数据集，Seretod挑战具有两个任务，不仅评估了对话系统本身的构建，而且还检查了对话框成绩单中的信息提取，这对于建立TOD的知识库至关重要。本文主要介绍了Mobilecs数据集对这两项任务的基线研究。我们介绍了如何构建两个基线，遇到的问题以及结果。我们预计基线可以促进令人兴奋的未来研究，以建立针对现实生活任务的人类机器人对话系统。

与具有粗粒度信息的Crosswoz（中文）和多发性（英文）数据集相比，没有数据集，可以正确处理细粒度和分层级别信息。在本文中，我们在香港发布了一份粤语知识驱动的对话数据集（KDDRES），将多转谈话中的信息放在一个特定的餐厅。我们的语料库包含0.8k次谈话，它来自10家餐厅，提供不同地区的各种风格。除此之外，我们还设计了细粒度的插槽和意图，以更好地捕获语义信息。基准实验和数据统计分析显示了我们数据集的多样性和丰富的注释。我们认为，KDDRE的出版可以是当前对话数据集的必要补充，以及社会中小企业（中小企业）更适合和更有价值，如为每家餐馆建立定制的对话系统。语料库和基准模型是公开可用的。

自动诊断引起了越来越多的关注，但由于多步推理，仍然挑战。最近的作品通常通过强化学习方法来解决它。但是，这些方法显示出低效率并要求Taskspecific奖励功能。考虑到医生与患者之间的谈话允许医生探讨症状并进行诊断，诊断过程可以自然地视为包括症状和诊断的序列的产生。受此启发，我们将自动诊断重构为症状序列生成（SG）任务，并提出了一种基于变压器（沟通器）的简单但有效的自动诊断模型。我们首先设计了症状关注框架，以了解症状查询和疾病诊断的产生。为了减轻序贯生成和隐含症状紊乱之间的差异，我们进一步设计了三种无价的培训机制。三个公共数据集的实验表明，我们的模型以最高的培训效率为1％，6％和11.5％的疾病诊断表现出基础。详细分析症状查询预测表明，应用症状序列生成自动诊断的可能性。

与生物医学命名实体识别任务有关的挑战是：现有方法考虑了较少数量的生物医学实体（例如疾病，症状，蛋白质，基因）；这些方法不考虑健康的社会决定因素（年龄，性别，就业，种族），这是与患者健康有关的非医学因素。我们提出了一条机器学习管道，该管道通过以下方式改善了以前的努力：首先，它认识到标准类型以外的许多生物医学实体类型；其次，它考虑了与患者健康有关的非临床因素。该管道还包括阶段，例如预处理，令牌化，映射嵌入查找和命名实体识别任务，以从自由文本中提取生物医学命名实体。我们提出了一个新的数据集，我们通过策划COVID-19案例报告来准备。所提出的方法的表现优于五个基准数据集上的基线方法，其宏观和微平均F1得分约为90，而我们的数据集则分别为95.25和93.18的宏观和微平均F1得分。

Medical dialogue information extraction is becoming an increasingly significant problem in modern medical care. It is difficult to extract key information from electronic medical records (EMRs) due to their large numbers. Previously, researchers proposed attention-based models for retrieving features from EMRs, but their limitations were reflected in their inability to recognize different categories in medical dialogues. In this paper, we propose a novel model, Expert System and Attention for Labelling (ESAL). We use mixture of experts and pre-trained BERT to retrieve the semantics of different categories, enabling the model to fuse the differences between them. In our experiment, ESAL was applied to a public dataset and the experimental results indicated that ESAL significantly improved the performance of Medical Information Classification.

医学对话生成是一项重要但具有挑战性的任务。以前的大多数作品都依赖于注意力机制和大规模预处理的语言模型。但是，这些方法通常无法从长时间的对话历史中获取关键信息，从而产生准确和信息丰富的响应，因为医疗实体通常散布在多种话语中以及它们之间的复杂关系。为了减轻此问题，我们提出了一个具有关键信息召回（Medpir）的医疗响应生成模型，该模型建立在两个组件上，即知识吸引的对话图形编码器和召回增强的生成器。知识吸引的对话图编码器通过利用话语中的实体之间的知识关系，并使用图形注意力网络对话图来构建对话图。然后，召回增强的发电机通过在产生实际响应之前生成对话的摘要来增强这些关键信息的使用。两个大型医学对话数据集的实验结果表明，Medpir在BLEU分数和医疗实体F1度量中的表现优于强大的基准。