大语言模型中的表示形式包含多种类型的性别信息。我们专注于英语文本中的两种此类信号：事实性别信息，这是语法或语义属性，以及性别偏见，这是单词和特定性别之间的相关性。我们可以解开模型的嵌入，并识别编码两种类型信息的组件。我们的目标是减少表示形式中的刻板印象偏见，同时保留事实性别信号。我们的过滤方法表明，可以减少性别中立职业名称的偏见，而不会严重恶化能力。这些发现可以应用于语言生成，以减轻对刻板印象的依赖，同时保留核心方面的性别协议。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

对自然语言处理资源中的偏置模式的提高意识，如BERT，具有许多度量来量化“偏见”和“公平”。但是，如果没有完全不可能，请比较不同指标的结果和评估这些度量的作品仍然困难。我们调查了对预用语言模型的公平度量标准的现有文献，并通过实验评估兼容性，包括语言模型中的偏差，如在其下游任务中。我们通过传统文献调查和相关分析的混合来实现这一目标，以及运行实证评估。我们发现许多指标不兼容，高度依赖于（i）模板，（ii）属性和目标种子和（iii）选择嵌入式。这些结果表明，公平或偏见评估对情境化语言模型仍然具有挑战性，如果不是至少高度主观。为了提高未来的比较和公平评估，我们建议避免嵌入基于的指标并专注于下游任务中的公平评估。

在使用这些模型的系统中，数据中存在的性别偏差会反映在哪些语言模型中进行培训。该模型的内在性别偏见显示了我们文化中妇女的过时和不平等的看法，并鼓励歧视。因此，为了建立更公平的系统并提高公平性，识别和减轻这些模型中存在的偏见至关重要。尽管这一领域的英语工作大量工作，但在其他性别和低资源语言，尤其是印度语言中，缺乏研究。英语是一种非性别语言，它具有无性别名词。英语中偏见检测的方法论不能直接用其他性别语言来部署，语法和语义有所不同。在我们的论文中，我们衡量与印地语语言模型中职业相关的性别偏见。我们在本文中的主要贡献是构建一种新型语料库，以评估印地语中的职业性别偏见，使用定义明确的度量来量化这些系统中现有的偏见，并通过有效地微调我们的模型来减轻它。我们的结果反映出，我们提出的缓解技术的引入后减少了偏见。我们的代码库可公开使用。

现代语言模型中的检测和缓解有害偏见被广泛认为是至关重要的开放问题。在本文中，我们退后一步，研究语言模型首先是如何偏见的。我们使用在英语Wikipedia语料库中训练的LSTM架构，使用相对较小的语言模型。在培训期间的每一步中，在每个步骤中都会更改数据和模型参数，我们可以详细介绍性别表示形式的发展，数据集中的哪些模式驱动器以及模型的内部状态如何与偏差相关在下游任务（语义文本相似性）中。我们发现性别的表示是动态的，并在训练过程中确定了不同的阶段。此外，我们表明，性别信息在模型的输入嵌入中越来越多地表示，因此，对这些性别的态度可以有效地减少下游偏置。监测训练动力学，使我们能够检测出在输入嵌入中如何表示男性和男性性别的不对称性。这很重要，因为这可能会导致幼稚的缓解策略引入新的不良偏见。我们更普遍地讨论了发现与缓解策略的相关性，以及将我们的方法推广到更大语言模型，变压器体系结构，其他语言和其他不良偏见的前景。

在过去几年中，Word和句嵌入式已建立为各种NLP任务的文本预处理，并显着提高了性能。不幸的是，还表明这些嵌入物从训练数据中继承了各种偏见，从而通过了社会中存在的偏差到NLP解决方案。许多论文试图在单词或句子嵌入中量化偏差，以评估脱叠方法或比较不同的嵌入模型，通常具有基于余弦的指标。然而，最近有些作品对这些指标提出了疑虑，表明即使这些指标报告低偏见，其他测试仍然显示偏差。事实上，文献中提出了各种各样的偏差指标或测试，而没有任何关于最佳解决方案的共识。然而，我们缺乏评估理论级别的偏见度量或详细阐述不同偏差度量的优缺点的作品。在这项工作中，我们将探索基于余弦的偏差指标。我们根据以前的作品和偏见度量的推导条件的思想形式化偏差定义。此外，我们彻底调查了现有的基于余弦的指标及其限制，以表明为什么这些度量可以在某些情况下报告偏差。最后，我们提出了一个新的公制，同样地解决现有度量的缺点，以及数学上证明的表现相同。

大型预训练的语言模型通常受到大量互联网数据的培训，其中一些可能包含有毒或滥用语言。因此，语言模型编码有毒信息，这使得这些语言模型有限的真实应用。目前的方法旨在防止出现有毒功能出现生成的文本。我们假设在预训练的语言模型的潜在空间中存在低维毒子空间，其存在表明有毒特征遵循一些底层图案，因此可拆卸。为了构建这种有毒的子空间，我们提出了一种方法来概括潜在空间中的毒性方向。我们还提供了一种使用基于上下文的Word Masking系统构造并行数据集的方法。通过我们的实验，我们表明，当从一组句子表现中删除有毒的子空间时，结果几乎没有毒性表现。我们凭经验证明了使用我们的方法发现的子空间推广到多个毒性Corpora，表明存在低维毒子空间。

我们研究了掩盖语言模型（MLMS）的任务无关内在和特定于任务的外在社会偏见评估措施之间的关系，并发现这两种评估措施之间仅存在弱相关性。此外，我们发现在下游任务进行微调期间，使用不同方法的MLMS DEBIAS进行了重新划分。我们确定两个培训实例中的社会偏见及其分配的标签是内在偏见评估测量值之间差异的原因。总体而言，我们的发现突出了现有的MLM偏见评估措施的局限性，并提出了使用这些措施在下游应用程序中部署MLM的担忧。

在NLP社区中有一个正在进行的辩论，无论现代语言模型是否包含语言知识，通过所谓的探针恢复。在本文中，我们研究了语言知识是否是现代语言模型良好表现的必要条件，我们称之为\ Texit {重新发现假设}。首先，我们展示了语言模型，这是显着压缩的，但在预先磨普目标上表现良好，以便在语言结构探讨时保持良好的分数。这一结果支持重新发现的假设，并导致我们的论文的第二款贡献：一个信息 - 理论框架，与语言建模目标相关。该框架还提供了测量语言信息对字词预测任务的影响的度量标准。我们通过英语综合和真正的NLP任务加固我们的分析结果。

Several works have proven that finetuning is an applicable approach for debiasing contextualized word embeddings. Similarly, discrete prompts with semantic meanings have shown to be effective in debiasing tasks. With unfixed mathematical representation at the token level, continuous prompts usually surpass discrete ones at providing a pre-trained language model (PLM) with additional task-specific information. Despite this, relatively few efforts have been made to debias PLMs by prompt tuning with continuous prompts compared to its discrete counterpart. Furthermore, for most debiasing methods that alter a PLM's original parameters, a major problem is the need to not only decrease the bias in the PLM but also to ensure that the PLM does not lose its representation ability. Finetuning methods typically have a hard time maintaining this balance, as they tend to violently remove meanings of attribute words. In this paper, we propose ADEPT, a method to debias PLMs using prompt tuning while maintaining the delicate balance between removing biases and ensuring representation ability. To achieve this, we propose a new training criterion inspired by manifold learning and equip it with an explicit debiasing term to optimize prompt tuning. In addition, we conduct several experiments with regard to the reliability, quality, and quantity of a previously proposed attribute training corpus in order to obtain a clearer prototype of a certain attribute, which indicates the attribute's position and relative distances to other words on the manifold. We evaluate ADEPT on several widely acknowledged debiasing benchmarks and downstream tasks, and find that it achieves competitive results while maintaining (and in some cases even improving) the PLM's representation ability. We further visualize words' correlation before and after debiasing a PLM, and give some possible explanations for the visible effects.

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

语言模型中的上下文化单词嵌入已为NLP提供了很大的进步。直观地，句子信息集成到单词的表示中，这可以帮助模型多义。但是，上下文灵敏度也导致表示形式的差异，这可能会破坏同义词的语义一致性。我们量化了典型的预训练模型中每个单词sense的上下文嵌入的程度各不相同。结果表明，在上下文中，上下文化的嵌入可以高度一致。此外，词性，单词感官的数量和句子长度对感官表示的差异有影响。有趣的是，我们发现单词表示是偏见的，在不同上下文中的第一个单词往往更相似。我们分析了这种现象，还提出了一种简单的方法来减轻基于距离的单词sense剥夺歧义设置的偏见。

Bias elimination and recent probing studies attempt to remove specific information from embedding spaces. Here it is important to remove as much of the target information as possible, while preserving any other information present. INLP is a popular recent method which removes specific information through iterative nullspace projections. Multiple iterations, however, increase the risk that information other than the target is negatively affected. We introduce two methods that find a single targeted projection: Mean Projection (MP, more efficient) and Tukey Median Projection (TMP, with theoretical guarantees). Our comparison between MP and INLP shows that (1) one MP projection removes linear separability based on the target and (2) MP has less impact on the overall space. Further analysis shows that applying random projections after MP leads to the same overall effects on the embedding space as the multiple projections of INLP. Applying one targeted (MP) projection hence is methodologically cleaner than applying multiple (INLP) projections that introduce random effects.

随着日常生活中的自然语言处理（NLP）的部署扩大，来自NLP模型的继承的社会偏见变得更加严重和有问题。以前的研究表明，在人生成的Corpora上培训的单词嵌入式具有强烈的性别偏见，可以在下游任务中产生鉴别结果。以前的脱叠方法主要侧重于建模偏差，并且仅隐含地考虑语义信息，同时完全忽略偏置和语义组件之间的复杂潜在的因果结构。为了解决这些问题，我们提出了一种新的方法，利用了因果推断框架来有效消除性别偏见。所提出的方法允许我们构建和分析促进性别信息流程的复杂因果机制，同时保留单词嵌入中的Oracle语义信息。我们的综合实验表明，该方法达到了最先进的性别脱叠任务。此外，我们的方法在字相似性评估和各种外在下游NLP任务中产生了更好的性能。

语言语料库中的统计规律将众所周知的社会偏见编码为单词嵌入。在这里，我们专注于性别，以全面分析在互联网语料库中训练的广泛使用的静态英语单词嵌入式（Glove 2014，FastText 2017）。使用单类单词嵌入关联测试，我们证明了性别偏见的广泛流行，这些偏见也显示出：（1）与男性与女性相关的单词频率； （b）与性别相关的单词中的言论部分； （c）与性别相关的单词中的语义类别； （d）性别相关的单词中的价，唤醒和优势。首先，就单词频率而言：我们发现，在词汇量中，有1000个最常见的单词与男性相比，有77％的人与男性相关，这是在英语世界的日常语言中直接证明男性默认的证据。其次，转向言论的部分：顶级男性相关的单词通常是动词（例如，战斗，压倒性），而顶级女性相关的单词通常是形容词和副词（例如，奉献，情感上）。嵌入中的性别偏见也渗透到言论部分。第三，对于语义类别：自下而上，对与每个性别相关的前1000个单词的群集分析。与男性相关的顶级概念包括大技术，工程，宗教，体育和暴力的角色和领域；相比之下，顶级女性相关的概念较少关注角色，包括女性特定的诽谤和性内容以及外观和厨房用语。第四，使用〜20,000个单词词典的人类评级，唤醒和主导地位，我们发现与男性相关的单词在唤醒和优势上较高，而与女性相关的单词在价上更高。

大型的预训练的语言模型成功地用于多种语言的各种任务中。随着这种不断增加的使用，有害副作用的风险也会上升，例如通过再现和加强刻板印象。但是，在解决多种语言或考虑不同的偏见时，发现和缓解这些危害通常很难做到，并且在计算上变得昂贵。为了解决这个问题，我们提出了Fairdistiltation：一种基于知识蒸馏的跨语性方法，可以在控制特定偏见的同时构建较小的语言模型。我们发现，我们的蒸馏方法不会对大多数任务的下游性能产生负面影响，并成功减轻刻板印象和代表性危害。我们证明，与替代方法相比，Fairdistillation可以以低得多的成本创建更公平的语言模型。

表明多语言语言模型允许跨脚本和语言进行非平凡的转移。在这项工作中，我们研究了能够转移的内部表示的结构。我们将重点放在性别区分作为实际案例研究的表示上，并研究在跨不同语言的共享子空间中编码性别概念的程度。我们的分析表明，性别表示由几个跨语言共享的重要组成部分以及特定于语言的组成部分组成。与语言无关和特定语言的组成部分的存在为我们做出的有趣的经验观察提供了解释：虽然性别分类跨语言良好地传递了跨语言，对性别删除的干预措施，对单一语言进行了培训，但不会轻易转移给其他人。

The blind application of machine learning runs the risk of amplifying biases present in data. Such a danger is facing us with word embedding, a popular framework to represent text data as vectors which has been used in many machine learning and natural language processing tasks. We show that even word embeddings trained on Google News articles exhibit female/male gender stereotypes to a disturbing extent. This raises concerns because their widespread use, as we describe, often tends to amplify these biases. Geometrically, gender bias is first shown to be captured by a direction in the word embedding. Second, gender neutral words are shown to be linearly separable from gender definition words in the word embedding. Using these properties, we provide a methodology for modifying an embedding to remove gender stereotypes, such as the association between between the words receptionist and female, while maintaining desired associations such as between the words queen and female. We define metrics to quantify both direct and indirect gender biases in embeddings, and develop algorithms to "debias" the embedding. Using crowd-worker evaluation as well as standard benchmarks, we empirically demonstrate that our algorithms significantly reduce gender bias in embeddings while preserving the its useful properties such as the ability to cluster related concepts and to solve analogy tasks. The resulting embeddings can be used in applications without amplifying gender bias.

尽管许多研究表明，语言信息是在隐藏的单词表示中编码的，但很少有人研究了单个神经元，以表明其编码的神经元是如何和哪个神经元。其中，常见的方法是使用外部探针根据其与某些语言属性的相关性对神经元进行排名，并使用产生的相同探针评估所获得的排名。我们在这种方法中显示了两个陷阱：1。它混淆了不同的因素：探针质量和排名质量。我们将它们分开，并得出每个结论。2.它专注于编码的信息，而不是模型使用的信息。我们表明这些不一样。我们比较了两种最新的排名方法和一种简单的方法，并就这两个方面进行了评估。

Generated texts from large pretrained language models have been shown to exhibit a variety of harmful, human-like biases about various demographics. These findings prompted large efforts aiming to understand and measure such effects, with the goal of providing benchmarks that can guide the development of techniques mitigating these stereotypical associations. However, as recent research has pointed out, the current benchmarks lack a robust experimental setup, consequently hindering the inference of meaningful conclusions from their evaluation metrics. In this paper, we extend these arguments and demonstrate that existing techniques and benchmarks aiming to measure stereotypes tend to be inaccurate and consist of a high degree of experimental noise that severely limits the knowledge we can gain from benchmarking language models based on them. Accordingly, we propose a new framework for robustly measuring and quantifying biases exhibited by generative language models. Finally, we use this framework to investigate GPT-3's occupational gender bias and propose prompting techniques for mitigating these biases without the need for fine-tuning.