在使用这些模型的系统中，数据中存在的性别偏差会反映在哪些语言模型中进行培训。该模型的内在性别偏见显示了我们文化中妇女的过时和不平等的看法，并鼓励歧视。因此，为了建立更公平的系统并提高公平性，识别和减轻这些模型中存在的偏见至关重要。尽管这一领域的英语工作大量工作，但在其他性别和低资源语言，尤其是印度语言中，缺乏研究。英语是一种非性别语言，它具有无性别名词。英语中偏见检测的方法论不能直接用其他性别语言来部署，语法和语义有所不同。在我们的论文中，我们衡量与印地语语言模型中职业相关的性别偏见。我们在本文中的主要贡献是构建一种新型语料库，以评估印地语中的职业性别偏见，使用定义明确的度量来量化这些系统中现有的偏见，并通过有效地微调我们的模型来减轻它。我们的结果反映出，我们提出的缓解技术的引入后减少了偏见。我们的代码库可公开使用。

对自然语言处理资源中的偏置模式的提高意识，如BERT，具有许多度量来量化“偏见”和“公平”。但是，如果没有完全不可能，请比较不同指标的结果和评估这些度量的作品仍然困难。我们调查了对预用语言模型的公平度量标准的现有文献，并通过实验评估兼容性，包括语言模型中的偏差，如在其下游任务中。我们通过传统文献调查和相关分析的混合来实现这一目标，以及运行实证评估。我们发现许多指标不兼容，高度依赖于（i）模板，（ii）属性和目标种子和（iii）选择嵌入式。这些结果表明，公平或偏见评估对情境化语言模型仍然具有挑战性，如果不是至少高度主观。为了提高未来的比较和公平评估，我们建议避免嵌入基于的指标并专注于下游任务中的公平评估。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

大语言模型中的表示形式包含多种类型的性别信息。我们专注于英语文本中的两种此类信号：事实性别信息，这是语法或语义属性，以及性别偏见，这是单词和特定性别之间的相关性。我们可以解开模型的嵌入，并识别编码两种类型信息的组件。我们的目标是减少表示形式中的刻板印象偏见，同时保留事实性别信号。我们的过滤方法表明，可以减少性别中立职业名称的偏见，而不会严重恶化能力。这些发现可以应用于语言生成，以减轻对刻板印象的依赖，同时保留核心方面的性别协议。

我们研究了掩盖语言模型（MLMS）的任务无关内在和特定于任务的外在社会偏见评估措施之间的关系，并发现这两种评估措施之间仅存在弱相关性。此外，我们发现在下游任务进行微调期间，使用不同方法的MLMS DEBIAS进行了重新划分。我们确定两个培训实例中的社会偏见及其分配的标签是内在偏见评估测量值之间差异的原因。总体而言，我们的发现突出了现有的MLM偏见评估措施的局限性，并提出了使用这些措施在下游应用程序中部署MLM的担忧。

大型的预训练的语言模型成功地用于多种语言的各种任务中。随着这种不断增加的使用，有害副作用的风险也会上升，例如通过再现和加强刻板印象。但是，在解决多种语言或考虑不同的偏见时，发现和缓解这些危害通常很难做到，并且在计算上变得昂贵。为了解决这个问题，我们提出了Fairdistiltation：一种基于知识蒸馏的跨语性方法，可以在控制特定偏见的同时构建较小的语言模型。我们发现，我们的蒸馏方法不会对大多数任务的下游性能产生负面影响，并成功减轻刻板印象和代表性危害。我们证明，与替代方法相比，Fairdistillation可以以低得多的成本创建更公平的语言模型。

现代语言模型中的检测和缓解有害偏见被广泛认为是至关重要的开放问题。在本文中，我们退后一步，研究语言模型首先是如何偏见的。我们使用在英语Wikipedia语料库中训练的LSTM架构，使用相对较小的语言模型。在培训期间的每一步中，在每个步骤中都会更改数据和模型参数，我们可以详细介绍性别表示形式的发展，数据集中的哪些模式驱动器以及模型的内部状态如何与偏差相关在下游任务（语义文本相似性）中。我们发现性别的表示是动态的，并在训练过程中确定了不同的阶段。此外，我们表明，性别信息在模型的输入嵌入中越来越多地表示，因此，对这些性别的态度可以有效地减少下游偏置。监测训练动力学，使我们能够检测出在输入嵌入中如何表示男性和男性性别的不对称性。这很重要，因为这可能会导致幼稚的缓解策略引入新的不良偏见。我们更普遍地讨论了发现与缓解策略的相关性，以及将我们的方法推广到更大语言模型，变压器体系结构，其他语言和其他不良偏见的前景。

本文提出了一种新方法，用于在大规模语言数据集中自动检测具有词汇性别的单词。目前，对自然语言处理中性别偏见的评估取决于手动编译的性别表达词典，例如代词（'He'，'She'等）和具有词汇性别的名词（“母亲”，“男友”，''女警等）。但是，如果没有定期更新这些列表的手动汇编，则可以导致静态信息，并且通常涉及单个注释者和研究人员的价值判断。此外，列表中未包含的术语不超出分析范围。为了解决这些问题，我们设计了一种基于词典的可扩展方法，以自动检测词汇性别，该性别可以提供具有高覆盖范围的动态，最新分析。我们的方法在确定从Wikipedia样本中随机检索的名词的词汇性别以及在先前研究中使用的性别单词列表中进行测试时达到了超过80％的精度。

自然语言处理（NLP）已越来越多地用于提供教育应用的适应性。但是，最近的研究突出了预训练的语言模型中的各种偏见。尽管现有研究调查了不同领域的偏见，但它们在解决有关教育和多语言语料库的细粒度分析方面受到限制。在这项工作中，我们通过在五年内从大学生收集的9,165个德国同行评审的语料库中分析了跨文本和多个架构的偏见。值得注意的是，我们的语料库包括来自同行评审接收者以及人口统计属性的帮助，质量和关键方面等级等标签。我们对（1）与聚类标签有关的（2）最常见的预训练的德语模型（T5，BERT和GPT-2）和Glove Embeddings进行了单词嵌入关联测试（WEAT）测试（WEAT）分析（1）我们收集的语料库，以及（3）对我们收集的数据集进行微调后的语言模型。与我们的最初期望相反，我们发现我们收集的语料库在共同出现分析或手套嵌入中没有揭示许多偏见。但是，预先训练的德语模型发现了实质性的概念，种族和性别偏见，并且在同行评审数据的微调过程中，概念和种族轴之间的偏见发生了重大变化。通过我们的研究，我们的目标是通过新颖的数据集，对自然语言教育数据的偏见的理解以及不抵消语言模型中的教育任务偏见的潜在危害，为第四联合国的可持续发展目标（质量教育）做出贡献。

测量，评估和减少性别偏见已经与每隔几个月释放的更新和改进的语言嵌入来源于最前沿。但这种偏见可能从域变为域吗？我们看到很多工作要在各种嵌入式模型中学习这些偏见，但工作已经有限地完成了Debias Oxpan语言。我们的目标是衡量并研究印地语语言的偏差，这是一种高阶语言（性别），参考英语，较低的语言。为此，我们研究域跨域的变化来量化，如果域嵌入式允许我们对这对印度英语模型的性别偏见有所了解。我们将在四个不同的Corpora中生成嵌入式，并通过使用预先训练的艺术指示型翻译模型实现不同的指标，比较结果，这些标准 - 英语翻译模型已经比现有模型更好地执行了更好的NLP任务。

各种现有研究分析了NLP模型继承了哪些社会偏见。这些偏见可能直接或间接损害人们，因此以前的研究仅关注人类属性。但是，直到最近，还没有关于NLP关于非人类的社会偏见的研究。在本文中，我们分析了非人类动物的偏见，即物种主义偏见，在英语蒙面语言模型（例如Bert）中固有的偏见。我们使用基于模板的和语料库提取的句子（或非特征主义）语言分析了物种主义对46个动物名称的偏见。我们发现，预先训练的蒙版语言模型倾向于将有害单词与非人类动物联系起来，并且有偏见的偏见，将物种主义语言用于某些非人类动物名称。我们用于复制实验的代码将在GitHub上提供。

词汇嵌入在很大程度上仅限于个人和独立的社会类别。但是，现实世界中的语料库通常提出可能相互关联或相交的多个社会类别。例如，“头发编织”与非洲裔美国女性刻板印象相关，但非洲裔美国人也不是女性。因此，这项工作研究与多个社会类别相关的偏见：由不同类别和交叉偏见的联合引起的联合偏见，这些偏见与组成类别的偏见不重叠。我们首先从经验上观察到，单个偏见是非琐事相交的（即在一维子空间上）。从社会科学和语言理论中的交叉理论中，我们使用单个偏见的非线性几何形状为多个社会类别构建了一个交叉子空间。经验评估证实了我们方法的功效。数据和实现代码可以在https://github.com/githublucheng/implementation-of-josec-coling-22下载。

As natural language processing (NLP) for gender bias becomes a significant interdisciplinary topic, the prevalent data-driven techniques such as large-scale language models suffer from data inadequacy and biased corpus, especially for languages with insufficient resources such as Chinese. To this end, we propose a Chinese cOrpus foR Gender bIas Probing and Mitigation CORGI-PM, which contains 32.9k sentences with high-quality labels derived by following an annotation scheme specifically developed for gender bias in the Chinese context. Moreover, we address three challenges for automatic textual gender bias mitigation, which requires the models to detect, classify, and mitigate textual gender bias. We also conduct experiments with state-of-the-art language models to provide baselines. To our best knowledge, CORGI-PM is the first sentence-level Chinese corpus for gender bias probing and mitigation.

Several works have proven that finetuning is an applicable approach for debiasing contextualized word embeddings. Similarly, discrete prompts with semantic meanings have shown to be effective in debiasing tasks. With unfixed mathematical representation at the token level, continuous prompts usually surpass discrete ones at providing a pre-trained language model (PLM) with additional task-specific information. Despite this, relatively few efforts have been made to debias PLMs by prompt tuning with continuous prompts compared to its discrete counterpart. Furthermore, for most debiasing methods that alter a PLM's original parameters, a major problem is the need to not only decrease the bias in the PLM but also to ensure that the PLM does not lose its representation ability. Finetuning methods typically have a hard time maintaining this balance, as they tend to violently remove meanings of attribute words. In this paper, we propose ADEPT, a method to debias PLMs using prompt tuning while maintaining the delicate balance between removing biases and ensuring representation ability. To achieve this, we propose a new training criterion inspired by manifold learning and equip it with an explicit debiasing term to optimize prompt tuning. In addition, we conduct several experiments with regard to the reliability, quality, and quantity of a previously proposed attribute training corpus in order to obtain a clearer prototype of a certain attribute, which indicates the attribute's position and relative distances to other words on the manifold. We evaluate ADEPT on several widely acknowledged debiasing benchmarks and downstream tasks, and find that it achieves competitive results while maintaining (and in some cases even improving) the PLM's representation ability. We further visualize words' correlation before and after debiasing a PLM, and give some possible explanations for the visible effects.

在过去几年中，Word和句嵌入式已建立为各种NLP任务的文本预处理，并显着提高了性能。不幸的是，还表明这些嵌入物从训练数据中继承了各种偏见，从而通过了社会中存在的偏差到NLP解决方案。许多论文试图在单词或句子嵌入中量化偏差，以评估脱叠方法或比较不同的嵌入模型，通常具有基于余弦的指标。然而，最近有些作品对这些指标提出了疑虑，表明即使这些指标报告低偏见，其他测试仍然显示偏差。事实上，文献中提出了各种各样的偏差指标或测试，而没有任何关于最佳解决方案的共识。然而，我们缺乏评估理论级别的偏见度量或详细阐述不同偏差度量的优缺点的作品。在这项工作中，我们将探索基于余弦的偏差指标。我们根据以前的作品和偏见度量的推导条件的思想形式化偏差定义。此外，我们彻底调查了现有的基于余弦的指标及其限制，以表明为什么这些度量可以在某些情况下报告偏差。最后，我们提出了一个新的公制，同样地解决现有度量的缺点，以及数学上证明的表现相同。

News articles both shape and reflect public opinion across the political spectrum. Analyzing them for social bias can thus provide valuable insights, such as prevailing stereotypes in society and the media, which are often adopted by NLP models trained on respective data. Recent work has relied on word embedding bias measures, such as WEAT. However, several representation issues of embeddings can harm the measures' accuracy, including low-resource settings and token frequency differences. In this work, we study what kind of embedding algorithm serves best to accurately measure types of social bias known to exist in US online news articles. To cover the whole spectrum of political bias in the US, we collect 500k articles and review psychology literature with respect to expected social bias. We then quantify social bias using WEAT along with embedding algorithms that account for the aforementioned issues. We compare how models trained with the algorithms on news articles represent the expected social bias. Our results suggest that the standard way to quantify bias does not align well with knowledge from psychology. While the proposed algorithms reduce the~gap, they still do not fully match the literature.

动态上下文化的单词嵌入代表单词的时间语义变化。我们提出了一种通过使用时间敏感的模板适应预定的掩盖语言模型（MLM）来学习动态上下文化词嵌入的方法。给定了两个快照$ C_1 $和$ C_2 $的一家公司，分别在两个不同的时间戳$ T_1 $和$ T_2 $上拍摄，我们首先提出了一种无监督的方法，以选择（a）与$ C_1 $和$ C_2 $相关的（a）枢轴术语，（b）与每个单独的快照中特定枢轴项相关的锚定项。然后，我们通过使用提取的枢轴和锚定项填充手动编译模板来生成提示。此外，我们提出了一种自动方法，以从$ C_1 $和$ C_2 $中学习时间敏感的模板，而无需任何人类监督。接下来，我们使用生成的提示通过在提示上进行微调来调整预处理的MLM至$ T_2 $。实验结果表明，我们提出的方法大大降低了从$ t_2 $中选择的测试句子的困惑，从而超过了当前最新的动态上下文嵌入方法。

Recently, very large pre-trained models achieve state-of-the-art results in various natural language processing (NLP) tasks, but their size makes it more challenging to apply them in resource-constrained environments. Compression techniques allow to drastically reduce the size of the models and therefore their inference time with negligible impact on top-tier metrics. However, the general performance averaged across multiple tasks and/or languages may hide a drastic performance drop on under-represented features, which could result in the amplification of biases encoded by the models. In this work, we assess the impact of compression methods on Multilingual Neural Machine Translation models (MNMT) for various language groups, gender, and semantic biases by extensive analysis of compressed models on different machine translation benchmarks, i.e. FLORES-101, MT-Gender, and DiBiMT. We show that the performance of under-represented languages drops significantly, while the average BLEU metric only slightly decreases. Interestingly, the removal of noisy memorization with compression leads to a significant improvement for some medium-resource languages. Finally, we demonstrate that compression amplifies intrinsic gender and semantic biases, even in high-resource languages. Code: https://github.com/alirezamshi/bias-compressedMT

本文介绍了探索性的工作，介绍了以及在何种程度上对酷儿和跨性别者的偏见是用大型语言模型（LLM）（例如伯特）编码的。我们还提出了一种减少下游任务中这些偏见的方法：对由和/或关于酷儿人编写的数据进行填充。为了衡量抗Quase偏见，我们引入了一个新的基准数据集Winoqueer，以其他偏置检测基准测试，但要解决同性恐惧和跨性别偏见。我们发现伯特表现出明显的同性恋偏见，但是这种偏见可以通过finetuning bert对LGBTQ+社区成员撰写的自然语言语料库进行缓解。

表明多语言语言模型允许跨脚本和语言进行非平凡的转移。在这项工作中，我们研究了能够转移的内部表示的结构。我们将重点放在性别区分作为实际案例研究的表示上，并研究在跨不同语言的共享子空间中编码性别概念的程度。我们的分析表明，性别表示由几个跨语言共享的重要组成部分以及特定于语言的组成部分组成。与语言无关和特定语言的组成部分的存在为我们做出的有趣的经验观察提供了解释：虽然性别分类跨语言良好地传递了跨语言，对性别删除的干预措施，对单一语言进行了培训，但不会轻易转移给其他人。