问答（QA）系统越来越多地部署在支持现实世界决策的应用程序中。但是，最新的模型依赖于深层神经网络，这些网络很难被人类解释。固有的可解释模型或事后解释性方法可以帮助用户理解模型如何达到其预测，并在成功的情况下增加对系统的信任。此外，研究人员可以利用这些见解来开发更准确和偏见的新方法。在本文中，我们介绍了Square V2（Square的新版本），以根据图形和基于图形的说明等方法进行比较模型提供解释性基础架构。尽管显着图对于检查每个输入令牌对模型预测的重要性很有用，但来自外部知识图的基于图的解释使用户能够验证模型预测背后的推理。此外，我们提供了多种对抗性攻击，以比较质量检查模型的鲁棒性。通过这些解释性方法和对抗性攻击，我们旨在简化对可信赖的质量检查模型的研究。 Square可在https://square.ukp-lab.de上找到。

许多可解释性工具使从业人员和研究人员可以解释自然语言处理系统。但是，每个工具都需要不同的配置，并提供不同形式的解释，从而阻碍了评估和比较它们的可能性。原则上的统一评估基准将指导用户解决中心问题：哪种解释方法对我的用例更可靠？我们介绍了雪貂，这是一个易于使用的，可扩展的Python库，以解释与拥抱面枢纽集成的基于变形金刚的模型。它提供了一个统一的基准测试套件来测试和比较任何文本或可解释性语料库的广泛最先进的解释器。此外，雪貂提供方便的编程摘要，以促进新的解释方法，数据集或评估指标的引入。

使用从预先接受训练的语言模型（LMS）和知识图表（LMS）和知识图表（kgs）回答问题的问题提出了两个挑战：给定QA上下文（问答选择），方法需要（i）从大型千克识别相关知识，（ii）对QA上下文和kg进行联合推理。在这项工作中，我们提出了一种新的模型，QA-GNN，它通过两个关键创新解决了上述挑战：（i）相关评分，我们使用LMS来估计KG节点相对于给定的QA上下文的重要性，以及（ii）联合推理，我们将QA上下文和kg连接到联合图，并通过图形神经网络相互更新它们的表示。我们评估了QA基准的模型（CommanSeaseQA，OpenBookQA）和生物医学（MedQa-USMLE）域名。QA-GNN优于现有的LM和LM + kg模型，并表现出可解释和结构化推理的能力，例如，正确处理问题的否定。

近年来，在挑战的多跳QA任务方面有令人印象深刻的进步。然而，当面对输入文本中的一些干扰时，这些QA模型可能会失败，并且它们进行多跳推理的可解释性仍然不确定。以前的逆势攻击作品通常编辑整个问题句，这对测试基于实体的多跳推理能力有限。在本文中，我们提出了一种基于多跳推理链的逆势攻击方法。我们将从查询实体开始的多跳推理链与构造的图表中的答案实体一起制定，这使我们能够将问题对齐到每个推理跳跃，从而攻击任何跃点。我们将问题分类为不同的推理类型和对应于所选推理跳的部分问题，以产生分散注意力的句子。我们在HotpotQA DataSet上的三个QA模型上测试我们的对抗方案。结果表明，对答案和支持事实预测的显着性能降低，验证了我们推理基于链条推理模型的攻击方法的有效性以及它们的脆弱性。我们的对抗重新培训进一步提高了这些模型的性能和鲁棒性。

能够分析和量化人体或行为特征的系统（称为生物识别系统）正在使用和应用变异性增长。由于其从手工制作的功能和传统的机器学习转变为深度学习和自动特征提取，因此生物识别系统的性能增加到了出色的价值。尽管如此，这种快速进步的成本仍然尚不清楚。由于其不透明度，深层神经网络很难理解和分析，因此，由错误动机动机动机的隐藏能力或决定是潜在的风险。研究人员已经开始将注意力集中在理解深度神经网络及其预测的解释上。在本文中，我们根据47篇论文的研究提供了可解释生物识别技术的当前状态，并全面讨论了该领域的发展方向。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

最近的问题答案（QA）数据集和模型的爆炸在多个数据集上的训练模型或通过组合多个模型来增加多个域和格式的模型泛化的兴趣。我们认为，尽管有多个数据集模型的有希望的结果，但一些域或QA格式可能需要特定的架构，因此这些模型的适应性可能受到限制。此外，组合模型的当前方法忽略了质疑，例如问答兼容性。在这项工作中，我们建议将专家代理与专业代理商合并具有小说，灵活和培训的架构，这些架构考虑问题，答案预测和答案 - 预测置信度分数，以选择答案候选人列表中的最佳答案。通过定量和定性实验，我们表明我们的模型I）在域内和域外方案中的先前多个代理和多个数据集方法，II）培训是极其资料的代理商之间的协作。和III）可以适应任何QA格式。

现有的kg增强模型用于问题回答主要专注于设计精心图形神经网络（GNN）以模拟知识图（KG）。但是，它们忽略了（i）有效地融合和推理过问题上下文表示和kg表示，并且（ii）在推理期间自动从嘈杂的KG中选择相关节点。在本文中，我们提出了一种新颖的型号，其通过LMS和GNN的联合推理和动态KGS修剪机制解决了上述限制。具体而言，ConntLK通过新的密集双向注意模块在LMS和GNN之间执行联合推理，其中每个问题令牌参加KG节点，每个KG节点都会参加问题令牌，并且两个模态表示熔断和通过多次熔断和更新。步互动。然后，动态修剪模块使用通过联合推理产生的注意重量来递归修剪无关的kg节点。我们在CommanSENSEQA和OpenBookQA数据集上的结果表明，我们的模态融合和知识修剪方法可以更好地利用相关知识来推理。

目前，自然语言理解（NLU）中最根本的两个挑战是：（a）如何以“正确”的原因确定基于深度学习的模型是否在NLU基准上得分很高；（b）了解这些原因甚至是什么。我们研究了关于两个语言“技能”的阅读理解模型的行为：核心分辨率和比较。我们为从系统中预期的推理步骤提出了一个定义，该系统将“缓慢阅读”，并将其与各种大小的贝特家族的五个模型的行为进行比较，这是通过显着分数和反事实解释观察到的。我们发现，对于比较（而不是核心），基于较大编码器的系统更有可能依靠“正确”的信息，但即使他们在概括方面也很难，表明他们仍然学习特定的词汇模式，而不是比较的一般原则。

问答系统被认为是流行且经常有效的信息在网络上寻求信息的手段。在这样的系统中，寻求信息者可以通过自然语言提出问题来获得对他们的查询的简短回应。交互式问题回答是一种最近提出且日益流行的解决方案，它位于问答和对话系统的交集。一方面，用户可以以普通语言提出问题，并找到对她的询问的实际回答；另一方面，如果在初始请求中有多个可能的答复，很少或歧义，则系统可以将问题交通会话延长到对话中。通过允许用户提出更多问题，交互式问题回答使用户能够与系统动态互动并获得更精确的结果。这项调查提供了有关当前文献中普遍存在的交互式提问方法的详细概述。它首先要解释提问系统的基本原理，从而定义新的符号和分类法，以将所有已确定的作品结合在统一框架内。然后，根据提出的方法，评估方法和数据集/应用程序域来介绍和检查有关交互式问题解答系统的审查已发表的工作。我们还描述了围绕社区提出的特定任务和问题的趋势，从而阐明了学者的未来利益。 GitHub页面的综合综合了本文献研究中涵盖的所有主要主题，我们的工作得到了进一步的支持。 https://sisinflab.github.io/interactive-question-answering-systems-survey/

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

自动问题应答（QA）系统的目的是以时间有效的方式向用户查询提供答案。通常在数据库（或知识库）或通常被称为语料库的文件集合中找到答案。在过去的几十年里，收购知识的扩散，因此生物医学领域的新科学文章一直是指数增长。因此，即使对于领域专家，也难以跟踪域中的所有信息。随着商业搜索引擎的改进，用户可以在某些情况下键入其查询并获得最相关的一小组文档，以及在某些情况下从文档中的相关片段。但是，手动查找所需信息或答案可能仍然令人疑惑和耗时。这需要开发高效的QA系统，该系统旨在为用户提供精确和精确的答案提供了生物医学领域的自然语言问题。在本文中，我们介绍了用于开发普通域QA系统的基本方法，然后彻底调查生物医学QA系统的不同方面，包括使用结构化数据库和文本集合的基准数据集和几种提出的方​​法。我们还探讨了当前系统的局限性，并探索潜在的途径以获得进一步的进步。

这项工作调查了以知识图（kg）形式的外部知识来源的理解问题的学习和推理的挑战。我们提出了一种新型的图形神经网络体系结构，称为动态相关图形网络（DRGN）。 DRGN根据问题和答案实体在给定的KG子图上运行，并使用节点之间的相关得分来动态建立新的边缘，以在图形网络中学习节点表示。相关性的这种显式用法作为图表具有以下优点，a）模型可以利用现有关系，重新缩放节点权重，并影响邻里节点的表示方式在kg子图中汇总的方式，b）恢复推理所需的千克中缺失的边缘。此外，作为副产品，由于考虑了问题节点与图形实体之间的相关性，我们的模型改善了处理负面问题。与最新发布的结果相比，我们提出的方法在两个质量检查基准CommonSenseQA和OpenBookQA上显示了竞争性能。

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

Machine reading comprehension (MRC) is a long-standing topic in natural language processing (NLP). The MRC task aims to answer a question based on the given context. Recently studies focus on multi-hop MRC which is a more challenging extension of MRC, which to answer a question some disjoint pieces of information across the context are required. Due to the complexity and importance of multi-hop MRC, a large number of studies have been focused on this topic in recent years, therefore, it is necessary and worth reviewing the related literature. This study aims to investigate recent advances in the multi-hop MRC approaches based on 31 studies from 2018 to 2022. In this regard, first, the multi-hop MRC problem definition will be introduced, then 31 models will be reviewed in detail with a strong focus on their multi-hop aspects. They also will be categorized based on their main techniques. Finally, a fine-grain comprehensive comparison of the models and techniques will be presented.

Artificial intelligence(AI) systems based on deep neural networks (DNNs) and machine learning (ML) algorithms are increasingly used to solve critical problems in bioinformatics, biomedical informatics, and precision medicine. However, complex DNN or ML models that are unavoidably opaque and perceived as black-box methods, may not be able to explain why and how they make certain decisions. Such black-box models are difficult to comprehend not only for targeted users and decision-makers but also for AI developers. Besides, in sensitive areas like healthcare, explainability and accountability are not only desirable properties of AI but also legal requirements -- especially when AI may have significant impacts on human lives. Explainable artificial intelligence (XAI) is an emerging field that aims to mitigate the opaqueness of black-box models and make it possible to interpret how AI systems make their decisions with transparency. An interpretable ML model can explain how it makes predictions and which factors affect the model's outcomes. The majority of state-of-the-art interpretable ML methods have been developed in a domain-agnostic way and originate from computer vision, automated reasoning, or even statistics. Many of these methods cannot be directly applied to bioinformatics problems, without prior customization, extension, and domain adoption. In this paper, we discuss the importance of explainability with a focus on bioinformatics. We analyse and comprehensively overview of model-specific and model-agnostic interpretable ML methods and tools. Via several case studies covering bioimaging, cancer genomics, and biomedical text mining, we show how bioinformatics research could benefit from XAI methods and how they could help improve decision fairness.

We present Azimuth, an open-source and easy-to-use tool to perform error analysis for text classification. Compared to other stages of the ML development cycle, such as model training and hyper-parameter tuning, the process and tooling for the error analysis stage are less mature. However, this stage is critical for the development of reliable and trustworthy AI systems. To make error analysis more systematic, we propose an approach comprising dataset analysis and model quality assessment, which Azimuth facilitates. We aim to help AI practitioners discover and address areas where the model does not generalize by leveraging and integrating a range of ML techniques, such as saliency maps, similarity, uncertainty, and behavioral analyses, all in one tool. Our code and documentation are available at github.com/servicenow/azimuth.

最近基于神经的关系提取方法虽然实现了对基准数据集的有希望的改进，但据对抗对抗攻击的脆弱性。到目前为止，努力主要集中在产生对抗性样本或捍卫对抗性攻击，但对正常和对抗样品之间的差异很少。在这项工作中，我们采取第一步利用基于显着的方法来分析那些对抗性样本。我们观察到显着标记与对抗扰动的直接相关。我们进一步发现对抗性扰动是训练集中不存在的那些代币或与关系标签相关的肤色提示。在某种程度上，我们的方法推出了对抗对抗样本的特征。我们在https://github.com/zjunlp/diagnoseadv中发布了一个开源测试用“diagnoseadv”。

语言模型（LM）是否可以通过固有的关系推理能力在知识库中的地面问题解决方案（QA）任务？尽管以前仅使用LMS的模型在许多质量检查任务上都看到了一些成功，但最新的方法包括知识图（KG），以补充LMS的逻辑驱动的隐式知识。但是，有效从结构化数据（例如KGS）中提取信息，使LMS保持开放性问题，并且当前模型依靠图形技术来提取知识。在本文中，我们建议仅利用LMS将基于知识的问题的语言和知识与灵活性，覆盖范围和结构化推理相结合。具体而言，我们设计了一种知识构建方法，该方法可以通过动态跳跃来检索相关背景，该方法比传统的基于GNN的技术表达了更全面的。我们设计了一种深层融合机制，以进一步弥合语言和知识之间交换瓶颈的信息。广泛的实验表明，我们的模型始终证明了其对CommenSensenSENSENSESQA基准测试的最先进性能，从而展示了仅利用LMS将LMS稳健地质量质量质量质量质量固定到知识库的可能性。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.