在自然语言处理中，广泛使用黑框模型为对决策基础的理解，预测结果的可信度以及改善模型性能带来了巨大挑战。文本样本中的单词具有反映其语义和上下文信息的属性，例如语音，位置等。这些属性可能与显着性一词具有一定的关系，这有助于研究模型的解释性预测。在本文中，我们探讨了“显着性”一词和属性一词之间的关系。根据分析结果，我们进一步建立了一个映射模型Seq2Sality，从文本样本中的单词及其属性到基于序列标记的概念的显着性值。此外，我们建立了一个名为PRSALM的新数据集，该数据集包含文本示例中的每个单词，单词属性和单词显着性值。进行实验评估以分析具有不同特性的单词的显着性。验证了SEQ2Sality模型的有效性。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

Future work sentences (FWS) are the particular sentences in academic papers that contain the author's description of their proposed follow-up research direction. This paper presents methods to automatically extract FWS from academic papers and classify them according to the different future directions embodied in the paper's content. FWS recognition methods will enable subsequent researchers to locate future work sentences more accurately and quickly and reduce the time and cost of acquiring the corpus. The current work on automatic identification of future work sentences is relatively small, and the existing research cannot accurately identify FWS from academic papers, and thus cannot conduct data mining on a large scale. Furthermore, there are many aspects to the content of future work, and the subdivision of the content is conducive to the analysis of specific development directions. In this paper, Nature Language Processing (NLP) is used as a case study, and FWS are extracted from academic papers and classified into different types. We manually build an annotated corpus with six different types of FWS. Then, automatic recognition and classification of FWS are implemented using machine learning models, and the performance of these models is compared based on the evaluation metrics. The results show that the Bernoulli Bayesian model has the best performance in the automatic recognition task, with the Macro F1 reaching 90.73%, and the SCIBERT model has the best performance in the automatic classification task, with the weighted average F1 reaching 72.63%. Finally, we extract keywords from FWS and gain a deep understanding of the key content described in FWS, and we also demonstrate that content determination in FWS will be reflected in the subsequent research work by measuring the similarity between future work sentences and the abstracts.

[目的]要理解句子的含义，人类可以专注于句子中的重要单词，这反映了我们的眼睛在不同的凝视时间或时间保持在每个单词上。因此，一些研究利用眼睛跟踪值来优化深度学习模型中的注意力机制。但是这些研究缺乏解释这种方法的合理性。需要探索注意力机制是否具有人类阅读的这一特征。 [设计/方法/方法]我们进行了有关情感分类任务的实验。首先，我们从两个开源的眼睛追踪语料库中获得了令人眼前一亮的值，以描述人类阅读的特征。然后，从情感分类模型中学到了每个句子的机器注意值。最后，进行了比较以分析机器注意值和眼睛跟踪值。 [发现]通过实验，我们发现注意机制可以集中在重要词，例如形容词，副词和情感词，这些单词对于判断情感分类任务的句子情感很有价值。它具有人类阅读的特征，重点是阅读时的句子中的重要单词。由于注意力机制的学习不足，有些单词被错误地集中了。眼睛跟踪值可以帮助注意机制纠正此错误并改善模型性能。 [原创性/价值]我们的研究不仅为使用眼睛追踪值的研究提供了合理的解释来优化注意力机制，而且还为注意力机制的解释性提供了新的灵感。

特征归因方法在可解释的机器学习中受欢迎。这些方法计算每个输入特征的归属来表示其重要性，但没有关于“归因”的定义的共识，导致许多竞争方法，缺乏地面真理归因，特别是缺乏地面真实的归因。为了解决这个问题，我们提出了一个数据集修改程序来诱导如此的实践。使用此过程，我们评估三种常见方法：显着性图，理由和注意。我们确定了几种缺陷，向越来越多的证据质疑这些方法在野外数据集上应用这些方法的正确性和可靠性来添加新的视角。我们进一步讨论可能的补救途径，并在部署之前推荐以对地面真理进行测试的新归因方法。代码可在https://github.com/yilunzhou/feature --attribution-evaluation

我们提出了一种可解释的关系提取方法，通过共同训练这两个目标来减轻概括和解释性之间的张力。我们的方法使用多任务学习体系结构，该体系结构共同训练分类器以进行关系提取，并在解释关系分类器的决策的关系中标记单词的序列模型。我们还将模型输出转换为规则，以将全局解释带入这种方法。使用混合策略对此序列模型进行训练：有监督，当可获得预先存在的模式的监督时，另外还要半监督。在后一种情况下，我们将序列模型的标签视为潜在变量，并学习最大化关系分类器性能的最佳分配。我们评估了两个数据集中的提议方法，并表明序列模型提供了标签，可作为关系分类器决策的准确解释，并且重要的是，联合培训通常可以改善关系分类器的性能。我们还评估了生成的规则的性能，并表明新规则是手动规则的重要附加功能，并使基于规则的系统更接近神经模型。

最先进的文本分类模型越来越依赖深度神经网络（DNNS）。由于其黑框的性质，忠实而强大的解释方法需要陪同分类器在现实生活中进行部署。但是，在视力应用中已经显示出解释方法对局部，不可察觉的扰动敏感，这些方法可以显着改变解释而不会改变预测类。我们在这里表明，这种扰动的存在也扩展到文本分类器。具体来说，我们介绍了一种新颖的解释攻击算法，它不概论地改变了文本输入样本，以使广泛使用的解释方法的结果发生了很大变化，而在使分类器预测不变。我们在五个序列分类数据集上评估了TEF归因鲁棒性估计性能的性能，并利用每个数据集的三个DNN体系结构和三个变压器体系结构。 TEF可以显着降低未改变和扰动输入归因之间的相关性，这表明所有模型和解释方法都易受TEF扰动的影响。此外，我们评估了扰动如何传输到其他模型架构和归因方法，并表明TEF扰动在目标模型和解释方法未知的情况下也有效。最后，我们引入了一种半世界攻击，能够在不了解受攻击的分类器和解释方法的情况下计算快速，计算轻度扰动。总体而言，我们的工作表明，文本分类器中的解释非常脆弱，用户需要仔细解决其鲁棒性，然后才能在关键应用程序中依靠它们。

名人认可是品牌交流中最重要的策略之一。如今，越来越多的公司试图为自己建立生动的特征。因此，他们的品牌身份交流应符合人类和法规的某些特征。但是，以前的作品主要是通过假设停止的，而不是提出一种特定的品牌和名人之间匹配的方式。在本文中，我们建议基于自然语言处理（NLP）技术的品牌名人匹配模型（BCM）。鉴于品牌和名人，我们首先从互联网上获得了一些描述性文档，然后总结了这些文档，最后计算品牌和名人之间的匹配程度，以确定它们是否匹配。根据实验结果，我们提出的模型以0.362 F1得分和精度的6.3％优于最佳基线，这表明我们模型在现实世界中的有效性和应用值。更重要的是，据我们所知，拟议的BCM模型是使用NLP解决认可问题的第一项工作，因此它可以为以下工作提供一些新颖的研究思想和方法。

深层自然语言处理（NLP）模型的快速发展导致迫切需要对这些模型单独提出的统一理解。由于缺乏解释低级（例如单词）和高级（例如，短语）特征的统一措施，现有方法无法满足一个框架中不同模型的需求。我们已经开发了一个视觉分析工具DeepNLPVI，以使对文本分类的NLP模型有统一的理解。关键思想是一种基于信息的度量，它提供了有关模型的每一层如何维护样本中输入单词信息的定量解释。我们在每个层的内部和界面信息中对单词对最终预测的重要性以及单词之间的关系（例如短语的形成）进行建模。多层可视化由语料库级，样本级别和单词级可视化组成，支持从整体训练集到单个样本的分析。关于分类任务和模型比较的两个案例研究表明，DeepNLPVI可以帮助用户有效地确定样本和模型架构引起的潜在问题，然后进行明智的改进。

尽管预训练的语言模型（LMS）在许多NLP任务中都取得了重大改进，但人们越来越关注探索LMS的能力并解释其预测。但是，现有作品通常仅着眼于某些下游任务的特定功能。缺乏直接评估蒙版单词预测性能和预训练LMS的解释性的数据集。为了填补空白，我们提出了一个新颖的评估基准，以提供英语和中文注释的数据。它在多个维度（即语法，语义，知识，推理和计算）中测试LMS能力。此外，它提供了满足足够和紧凑性的仔细注释的令牌级别的理由。它包含每个原始实例的扰动实例，以便将扰动下的基本原理一致性用作忠实的指标，即解释性的观点。我们在几个广泛使用的预训练的LMS上进行实验。结果表明，他们在知识和计算的维度上表现较差。而且它们在所有维度上的合理性远非令人满意，尤其是当理由缩短时。此外，我们评估的预训练的LMS在语法感知数据上并不强大。我们将以\ url {http：// xyz}发布此评估基准，并希望它可以促进预训练的LMS的研究进度。

信息通过社交媒体平台的传播可以创造可能对弱势社区的环境和社会中某些群体的沉默。为了减轻此类情况，已经开发了几种模型来检测仇恨和冒犯性言论。由于在社交媒体平台中检测仇恨和冒犯性演讲可能会错误地将个人排除在社交媒体平台之外，从而减少信任，因此有必要创建可解释和可解释的模型。因此，我们基于在Twitter数据上培训的XGBOOST算法建立了一个可解释且可解释的高性能模型。对于不平衡的Twitter数据，XGBoost在仇恨言语检测上的表现优于LSTM，Autogluon和ULMFIT模型，F1得分为0.75，而0.38和0.37分别为0.37和0.38。当我们将数据放到三个单独的类别的大约5000个推文中时，XGBoost的性能优于LSTM，Autogluon和Ulmfit；仇恨言语检测的F1分别为0.79和0.69、0.77和0.66。 XGBOOST在下采样版本中的进攻性语音检测中的F1得分分别为0.83和0.88、0.82和0.79，XGBOOST的表现也比LSTM，Autogluon和Ulmfit更好。我们在XGBoost模型的输出上使用Shapley添加说明（SHAP），以使其与Black-Box模型相比，与LSTM，Autogluon和Ulmfit相比，它可以解释和解释。

Explainability has been widely stated as a cornerstone of the responsible and trustworthy use of machine learning models. With the ubiquitous use of Deep Neural Network (DNN) models expanding to risk-sensitive and safety-critical domains, many methods have been proposed to explain the decisions of these models. Recent years have also seen concerted efforts that have shown how such explanations can be distorted (attacked) by minor input perturbations. While there have been many surveys that review explainability methods themselves, there has been no effort hitherto to assimilate the different methods and metrics proposed to study the robustness of explanations of DNN models. In this work, we present a comprehensive survey of methods that study, understand, attack, and defend explanations of DNN models. We also present a detailed review of different metrics used to evaluate explanation methods, as well as describe attributional attack and defense methods. We conclude with lessons and take-aways for the community towards ensuring robust explanations of DNN model predictions.

越来越多的电子健康记录（EHR）数据和深度学习技术进步的越来越多的可用性（DL）已经引发了在开发基于DL的诊断，预后和治疗的DL临床决策支持系统中的研究兴趣激增。尽管承认医疗保健的深度学习的价值，但由于DL的黑匣子性质，实际医疗环境中进一步采用的障碍障碍仍然存在。因此，有一个可解释的DL的新兴需求，它允许最终用户评估模型决策，以便在采用行动之前知道是否接受或拒绝预测和建议。在这篇综述中，我们专注于DL模型在医疗保健中的可解释性。我们首先引入深入解释性的方法，并作为该领域的未来研究人员或临床从业者的方法参考。除了这些方法的细节之外，我们还包括对这些方法的优缺点以及它们中的每个场景都适合的讨论，因此感兴趣的读者可以知道如何比较和选择它们供使用。此外，我们讨论了这些方法，最初用于解决一般域问题，已经适应并应用于医疗保健问题以及如何帮助医生更好地理解这些数据驱动技术。总的来说，我们希望这项调查可以帮助研究人员和从业者在人工智能（AI）和临床领域了解我们为提高其DL模型的可解释性并相应地选择最佳方法。

语言模型中的上下文化单词嵌入已为NLP提供了很大的进步。直观地，句子信息集成到单词的表示中，这可以帮助模型多义。但是，上下文灵敏度也导致表示形式的差异，这可能会破坏同义词的语义一致性。我们量化了典型的预训练模型中每个单词sense的上下文嵌入的程度各不相同。结果表明，在上下文中，上下文化的嵌入可以高度一致。此外，词性，单词感官的数量和句子长度对感官表示的差异有影响。有趣的是，我们发现单词表示是偏见的，在不同上下文中的第一个单词往往更相似。我们分析了这种现象，还提出了一种简单的方法来减轻基于距离的单词sense剥夺歧义设置的偏见。

自然语言处理（NLP）是一个人工智能领域，它应用信息技术来处理人类语言，在一定程度上理解并在各种应用中使用它。在过去的几年中，该领域已经迅速发展，现在采用了深层神经网络的现代变体来从大型文本语料库中提取相关模式。这项工作的主要目的是调查NLP在药理学领域的最新使用。正如我们的工作所表明的那样，NLP是药理学高度相关的信息提取和处理方法。它已被广泛使用，从智能搜索到成千上万的医疗文件到在社交媒体中找到对抗性药物相互作用的痕迹。我们将覆盖范围分为五个类别，以调查现代NLP方法论，常见的任务，相关的文本数据，知识库和有用的编程库。我们将这五个类别分为适当的子类别，描述其主要属性和想法，并以表格形式进行总结。最终的调查介绍了该领域的全面概述，对从业者和感兴趣的观察者有用。

最近，人们对基于变压器的模型产生有意义的文本嵌入的能力越来越兴趣，例如文本相似性。尽管该领域取得了重大进展，但相似性预测的解释仍然具有挑战性，尤其是在无监督的环境中。在这项工作中，我们提出了一种无监督的技术，用于解释预先训练的BERT模型推断出的段落相似性。通过查看一对段落，我们的技术确定了决定每个段落的语义的重要单词，在这两个段落中的单词之间匹配，并检索解释两者之间相似性的最重要对。该方法已通过广泛的人类评估进行了评估，并在包含长期复杂段落的数据集中证明了这一方法，已显示出巨大的希望，提供了与人类看法更好相关的准确解释。

显着的方法已被广泛用于突出模型预测中的重要输入功能。大多数现有方法在修改的渐变函数上使用BackPropagation来生成显着性图。因此，嘈杂的渐变可能会导致不忠的特征属性。在本文中，我们解决了这个问题，并为神经网络引入了一个{\ IT显着指导训练}程序，以减少预测中使用的嘈杂渐变，同时保留了模型的预测性能。我们的显着指导训练程序迭代地掩盖小型和潜在的嘈杂渐变的功能，同时最大化模型输出的相似性，对于屏蔽和揭示的输入。我们将显着的指导培训程序从计算机视觉，自然语言处理和时间序列中的各种合成和实际数据集应用于各种神经结构，包括经常性神经网络，卷积网络和变压器。通过定性和定量评估，我们表明，在保留其预测性能的同时，显着的导向培训程序显着提高了各个领域的模型解释性。

尽管在理解深度NLP模型中学到的表示形式以及他们所捕获的知识方面已经做了很多工作，但对单个神经元的关注很少。我们提出了一种称为语言相关性分析的技术，可在任何外部特性中提取模型中的显着神经元 - 目的是了解如何保留这种知识在神经元中。我们进行了细粒度的分析以回答以下问题：（i）我们可以识别网络中捕获特定语言特性的神经元子集吗？ （ii）整个网络中的局部或分布式神经元如何？ iii）信息保留了多么冗余？ iv）针对下游NLP任务的微调预训练模型如何影响学习的语言知识？ iv）架构在学习不同的语言特性方面有何不同？我们的数据驱动的定量分析阐明了有趣的发现：（i）我们发现了可以预测不同语言任务的神经元的小亚集，ii）捕获基本的词汇信息（例如后缀），而这些神经元位于较低的大多数层中，iii，iii），而这些神经元，而那些神经元，而那些神经元则可以预测。学习复杂的概念（例如句法角色）主要是在中间和更高层中，iii），在转移学习过程中，显着的语言神经元从较高到较低的层移至较低的层，因为网络保留了较高的层以特定于任务信息，iv）我们发现很有趣在培训预训练模型之间的差异，关于如何保留语言信息，V）我们发现概念在多语言变压器模型中跨不同语言表现出相似的神经元分布。我们的代码作为Neurox工具包的一部分公开可用。

静态嵌入的后处理已成为提高其在词汇和序列级任务上的性能。但是，在上下文化嵌入的后处理是一个研究不足的问题。在这项工作中，我们质疑从不同训练的语言模型获得的上下文化嵌入的后处理的有用性。更具体地说，我们使用Z分数，Min-Max归一化以及使用全而top方法来删除顶部原理组件，将单个神经元激活标准化。此外，我们将单位长度标准化应用于单词表示。在各种预训练的模型集中，我们表明，在表示两个词汇任务（例如单词相似性和类比）和序列分类任务的表示后处理中存在重要信息。我们的发现提出了有关使用上下文表示表示的研究研究的有趣点，并建议在应用程序中使用Z分数归一化作为要考虑的重要步骤。