尽管许多研究表明，语言信息是在隐藏的单词表示中编码的，但很少有人研究了单个神经元，以表明其编码的神经元是如何和哪个神经元。其中，常见的方法是使用外部探针根据其与某些语言属性的相关性对神经元进行排名，并使用产生的相同探针评估所获得的排名。我们在这种方法中显示了两个陷阱：1。它混淆了不同的因素：探针质量和排名质量。我们将它们分开，并得出每个结论。2.它专注于编码的信息，而不是模型使用的信息。我们表明这些不一样。我们比较了两种最新的排名方法和一种简单的方法，并就这两个方面进行了评估。

尽管在理解深度NLP模型中学到的表示形式以及他们所捕获的知识方面已经做了很多工作，但对单个神经元的关注很少。我们提出了一种称为语言相关性分析的技术，可在任何外部特性中提取模型中的显着神经元 - 目的是了解如何保留这种知识在神经元中。我们进行了细粒度的分析以回答以下问题：（i）我们可以识别网络中捕获特定语言特性的神经元子集吗？ （ii）整个网络中的局部或分布式神经元如何？ iii）信息保留了多么冗余？ iv）针对下游NLP任务的微调预训练模型如何影响学习的语言知识？ iv）架构在学习不同的语言特性方面有何不同？我们的数据驱动的定量分析阐明了有趣的发现：（i）我们发现了可以预测不同语言任务的神经元的小亚集，ii）捕获基本的词汇信息（例如后缀），而这些神经元位于较低的大多数层中，iii，iii），而这些神经元，而那些神经元，而那些神经元则可以预测。学习复杂的概念（例如句法角色）主要是在中间和更高层中，iii），在转移学习过程中，显着的语言神经元从较高到较低的层移至较低的层，因为网络保留了较高的层以特定于任务信息，iv）我们发现很有趣在培训预训练模型之间的差异，关于如何保留语言信息，V）我们发现概念在多语言变压器模型中跨不同语言表现出相似的神经元分布。我们的代码作为Neurox工具包的一部分公开可用。

深层神经网络在各个领域的增殖已经增加了对这些模型的解释性的需求。沿着这条线进行的初步工作，调查了这种调查的论文集中在高级表示分析上。然而，最近的工作分支集中在这些模型中分析神经元的更详细水平上的可解释性。在本文中，我们调查了神经元分析所做的工作，包括：i）在网络中发现和理解神经元的方法，ii）评估方法，iii）主要发现，包括神经元分析已解散的跨架构比较，iv）神经元的应用。探索：控制模型，域适应等，v）关于开放问题和未来研究方向的讨论。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

在NLP社区中有一个正在进行的辩论，无论现代语言模型是否包含语言知识，通过所谓的探针恢复。在本文中，我们研究了语言知识是否是现代语言模型良好表现的必要条件，我们称之为\ Texit {重新发现假设}。首先，我们展示了语言模型，这是显着压缩的，但在预先磨普目标上表现良好，以便在语言结构探讨时保持良好的分数。这一结果支持重新发现的假设，并导致我们的论文的第二款贡献：一个信息 - 理论框架，与语言建模目标相关。该框架还提供了测量语言信息对字词预测任务的影响的度量标准。我们通过英语综合和真正的NLP任务加固我们的分析结果。

众所周知，端到端的神经NLP体系结构很难理解，这引起了近年来为解释性建模的许多努力。模型解释的基本原则是忠诚，即，解释应准确地代表模型预测背后的推理过程。这项调查首先讨论了忠诚的定义和评估及其对解释性的意义。然后，我们通过将方法分为五类来介绍忠实解释的最新进展：相似性方法，模型内部结构的分析，基于反向传播的方法，反事实干预和自我解释模型。每个类别将通过其代表性研究，优势和缺点来说明。最后，我们从它们的共同美德和局限性方面讨论了上述所有方法，并反思未来的工作方向忠实的解释性。对于有兴趣研究可解释性的研究人员，这项调查将为该领域提供可访问且全面的概述，为进一步探索提供基础。对于希望更好地了解自己的模型的用户，该调查将是一项介绍性手册，帮助选择最合适的解释方法。

大语言模型中的表示形式包含多种类型的性别信息。我们专注于英语文本中的两种此类信号：事实性别信息，这是语法或语义属性，以及性别偏见，这是单词和特定性别之间的相关性。我们可以解开模型的嵌入，并识别编码两种类型信息的组件。我们的目标是减少表示形式中的刻板印象偏见，同时保留事实性别信号。我们的过滤方法表明，可以减少性别中立职业名称的偏见，而不会严重恶化能力。这些发现可以应用于语言生成，以减轻对刻板印象的依赖，同时保留核心方面的性别协议。

Deep Learning and Machine Learning based models have become extremely popular in text processing and information retrieval. However, the non-linear structures present inside the networks make these models largely inscrutable. A significant body of research has focused on increasing the transparency of these models. This article provides a broad overview of research on the explainability and interpretability of natural language processing and information retrieval methods. More specifically, we survey approaches that have been applied to explain word embeddings, sequence modeling, attention modules, transformers, BERT, and document ranking. The concluding section suggests some possible directions for future research on this topic.

The long-distance agreement, evidence for syntactic structure, is increasingly used to assess the syntactic generalization of Neural Language Models. Much work has shown that transformers are capable of high accuracy in varied agreement tasks, but the mechanisms by which the models accomplish this behavior are still not well understood. To better understand transformers' internal working, this work contrasts how they handle two superficially similar but theoretically distinct agreement phenomena: subject-verb and object-past participle agreement in French. Using probing and counterfactual analysis methods, our experiments show that i) the agreement task suffers from several confounders which partially question the conclusions drawn so far and ii) transformers handle subject-verb and object-past participle agreements in a way that is consistent with their modeling in theoretical linguistics.

我们提出了一个新颖的框架概念，以分析在预训练的语言模型中学习的潜在概念如何编码。它使用聚类来发现编码的概念，并通过与大量的人类定义概念对齐来解释它们。我们对七个变压器语言模型的分析揭示了有趣的见解：i）学习表示形式中的潜在空间与不同程度的不同语言概念重叠，ii）ii）模型中的下层以词汇概念（例如附加物为附加物）为主，而却是核心语言概念（例如形态学或句法关系）在中间和更高层中更好地表示，iii）一些编码的概念是多方面的，无法使用现有的人类定义的概念来充分解释。

表明多语言语言模型允许跨脚本和语言进行非平凡的转移。在这项工作中，我们研究了能够转移的内部表示的结构。我们将重点放在性别区分作为实际案例研究的表示上，并研究在跨不同语言的共享子空间中编码性别概念的程度。我们的分析表明，性别表示由几个跨语言共享的重要组成部分以及特定于语言的组成部分组成。与语言无关和特定语言的组成部分的存在为我们做出的有趣的经验观察提供了解释：虽然性别分类跨语言良好地传递了跨语言，对性别删除的干预措施，对单一语言进行了培训，但不会轻易转移给其他人。

Bias elimination and recent probing studies attempt to remove specific information from embedding spaces. Here it is important to remove as much of the target information as possible, while preserving any other information present. INLP is a popular recent method which removes specific information through iterative nullspace projections. Multiple iterations, however, increase the risk that information other than the target is negatively affected. We introduce two methods that find a single targeted projection: Mean Projection (MP, more efficient) and Tukey Median Projection (TMP, with theoretical guarantees). Our comparison between MP and INLP shows that (1) one MP projection removes linear separability based on the target and (2) MP has less impact on the overall space. Further analysis shows that applying random projections after MP leads to the same overall effects on the embedding space as the multiple projections of INLP. Applying one targeted (MP) projection hence is methodologically cleaner than applying multiple (INLP) projections that introduce random effects.

Large pre-trained neural networks such as BERT have had great recent success in NLP, motivating a growing body of research investigating what aspects of language they are able to learn from unlabeled data. Most recent analysis has focused on model outputs (e.g., language model surprisal) or internal vector representations (e.g., probing classifiers). Complementary to these works, we propose methods for analyzing the attention mechanisms of pre-trained models and apply them to BERT. BERT's attention heads exhibit patterns such as attending to delimiter tokens, specific positional offsets, or broadly attending over the whole sentence, with heads in the same layer often exhibiting similar behaviors. We further show that certain attention heads correspond well to linguistic notions of syntax and coreference. For example, we find heads that attend to the direct objects of verbs, determiners of nouns, objects of prepositions, and coreferent mentions with remarkably high accuracy. Lastly, we propose an attention-based probing classifier and use it to further demonstrate that substantial syntactic information is captured in BERT's attention. 1 Code will be released at https://github.com/ clarkkev/attention-analysis.2 We use the English base-sized model.

预先训练的语言模型在多大程度上了解有关分发性现象的语义知识？在本文中，我们介绍了Distnli，这是一种新的自然语言推理诊断数据集，该数据集针对分布式引起的语义差异，并采用因果中介分析框架来量化模型行为并探索该语义相关任务中的基本机制。我们发现，模型的理解程度与模型大小和词汇大小有关。我们还提供有关模型如何编码这种高级语义知识的见解。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

探测是一种流行的方法，可以辨别预先训练的语言模型表示中包含哪些语言信息。但是，选择探针模型的机制最近受到了激烈的争论，因为尚不清楚探针是否只是在提取信息或对语言属性进行建模。为了应对这一挑战，本文通过将探测作为提示任务提出探测来介绍一种新颖的探测方法。我们对五个探测任务进行实验，并表明我们的方法在提取信息方面比诊断探针更为可比或更好，而自行学习得更少。我们通过提示方法与注意力头修剪进一步结合探测，以分析模型将语言信息存储在其体系结构中的位置。然后，我们通过删除对该属性至关重要的头部并评估所得模型在语言建模上的性能来检查特定语言属性对预训练的有用性。

在过去几年中，Word和句嵌入式已建立为各种NLP任务的文本预处理，并显着提高了性能。不幸的是，还表明这些嵌入物从训练数据中继承了各种偏见，从而通过了社会中存在的偏差到NLP解决方案。许多论文试图在单词或句子嵌入中量化偏差，以评估脱叠方法或比较不同的嵌入模型，通常具有基于余弦的指标。然而，最近有些作品对这些指标提出了疑虑，表明即使这些指标报告低偏见，其他测试仍然显示偏差。事实上，文献中提出了各种各样的偏差指标或测试，而没有任何关于最佳解决方案的共识。然而，我们缺乏评估理论级别的偏见度量或详细阐述不同偏差度量的优缺点的作品。在这项工作中，我们将探索基于余弦的偏差指标。我们根据以前的作品和偏见度量的推导条件的思想形式化偏差定义。此外，我们彻底调查了现有的基于余弦的指标及其限制，以表明为什么这些度量可以在某些情况下报告偏差。最后，我们提出了一个新的公制，同样地解决现有度量的缺点，以及数学上证明的表现相同。

预训练的语言模型的目的是学习文本数据的上下文表示。预训练的语言模型已成为自然语言处理和代码建模的主流。使用探针，一种研究隐藏矢量空间的语言特性的技术，以前的作品表明，这些预训练的语言模型在其隐藏表示中编码简单的语言特性。但是，以前的工作都没有评估这些模型是否编码编程语言的整个语法结构。在本文中，我们证明了\ textit {句法子空间}的存在，该{语法子空间}位于预训练的语言模型的隐藏表示中，其中包含编程语言的句法信息。我们表明，可以从模型的表示形式中提取此子空间，并定义一种新颖的探测方法AST-Probe，该方法可以恢复输入代码段的整个抽象语法树（AST）。在我们的实验中，我们表明这种句法子空间存在于五个最先进的预训练的语言模型中。此外，我们强调说，模型的中间层是编码大多数AST信息的模型。最后，我们估计该句法子空间的最佳大小，并表明其尺寸大大低于模型的表示空间。这表明，预训练的语言模型使用其表示空间的一小部分来编码编程语言的句法信息。

Contextual word representations derived from large-scale neural language models are successful across a diverse set of NLP tasks, suggesting that they encode useful and transferable features of language. To shed light on the linguistic knowledge they capture, we study the representations produced by several recent pretrained contextualizers (variants of ELMo, the OpenAI transformer language model, and BERT) with a suite of seventeen diverse probing tasks. We find that linear models trained on top of frozen contextual representations are competitive with state-of-the-art task-specific models in many cases, but fail on tasks requiring fine-grained linguistic knowledge (e.g., conjunct identification). To investigate the transferability of contextual word representations, we quantify differences in the transferability of individual layers within contextualizers, especially between recurrent neural networks (RNNs) and transformers. For instance, higher layers of RNNs are more taskspecific, while transformer layers do not exhibit the same monotonic trend. In addition, to better understand what makes contextual word representations transferable, we compare language model pretraining with eleven supervised pretraining tasks. For any given task, pretraining on a closely related task yields better performance than language model pretraining (which is better on average) when the pretraining dataset is fixed. However, language model pretraining on more data gives the best results.

petroni等。 （2019）证明，可以通过将它们表达为冻结式提示并将模型的预测准确性解释为下限，作为其编码的事实信息量的较低限制，从预先接收的语言模型中检索世界事实。随后的工作已经尝试通过搜索更好的提示来缩回估计，使用不相交的事实作为培训数据。在这项工作中，我们制作两个互补贡献，以更好地了解这些事实探测技术。首先，我们提出了OptiPrompt，一种新颖的和有效的方法，直接在连续嵌入空间中优化。我们发现这种简单的方法能够预测喇嘛基准中的额外6.4％的事实。其次，我们提出了一个更重要的问题：我们真的可以将这些探测结果解释为下限吗？这些提示搜索方法是否有可能从培训数据中学习？我们发现，有些令人惊讶的是，这些方法使用的培训数据包含了潜在的事实分布的某些规则，以及所有现有的提示方法，包括我们的方法，可以利用它们以获得更好的事实预测。我们开展一系列控制实验来解除“学习”从“学习召回”，提供了更详细的图片，不同的提示可以揭示关于预先接受的语言模型。