已显示在文本上训练的NLP模型可以重现人类的刻板印象，当系统大规模部署系统时，可以放大边缘化组的危害。我们适应了Koch等人的代理 - 信号 - 局势（ABC）刻板印象模型。（2016年）从社会心理学作为系统研究和发现语言模型（LMS）中刻板印象群体特征关联的框架。我们介绍了用于测量语言模型的刻板印象关联的灵敏度测试（集合）。为了使用ABC模型评估集合和其他措施，我们从美国受试者那里收集小组特征判断，以与英语LM刻板印象进行比较。最后，我们扩展了此框架以测量相互切换身份的LM定型观念。

大型语言模型会产生类似人类的文本，这些文本推动了越来越多的应用。但是，最近的文献以及越来越多的现实世界观察表明，这些模型可以产生有毒，有偏见，不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作，但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译，我们概述了六种表征有害文本的方式，这些方法在设计新基准时值得明确考虑。然后，我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后，我们将它们应用于视角API的案例研究，这是一种毒性分类器，被广泛用于HARS基准。我们的特征提供了一块桥梁，可以在远见和有效评估之间转化。

我们建议并探讨可以将语言模型作为社会科学研究中特定人类亚人群的有效代理进行研究的可能性。人工智能工具的实践和研究应用有时受到有问题的偏见（例如种族主义或性别歧视）的限制，这些偏见通常被视为模型的统一特性。我们表明，一个这样的工具中的“算法偏见”（GPT-3语言模型）既是细粒度又是人口统计相关的，这意味着适当的条件会导致其准确地仿真来自各种人类的响应分布亚组。我们将此属性称为“算法忠诚度”，并在GPT-3中探索其范围。我们通过将模型调节在美国进行的多项大型调查中的数千个社会人口统计背景故事中调节，从而创建“硅样本”。然后，我们比较硅和人类样品，以证明GPT-3中包含的信息远远超出了表面相似性。它是细微的，多方面的，并反映了特征人类态度的思想，态度和社会文化背景之间的复杂相互作用。我们建议，具有足够算法的忠诚度的语言模型构成了一种新颖而有力的工具，可以促进各种学科的人类和社会的理解。

语言可以用作再现和执行有害刻板印象和偏差的手段，并被分析在许多研究中。在本文中，我们对自然语言处理中的性别偏见进行了304篇论文。我们分析了社会科学中性别及其类别的定义，并将其连接到NLP研究中性别偏见的正式定义。我们调查了在对性别偏见的研究中应用的Lexica和数据集，然后比较和对比方法来检测和减轻性别偏见。我们发现对性别偏见的研究遭受了四个核心限制。 1）大多数研究将性别视为忽视其流动性和连续性的二元变量。 2）大部分工作都在单机设置中进行英语或其他高资源语言进行。 3）尽管在NLP方法中对性别偏见进行了无数的论文，但我们发现大多数新开发的算法都没有测试他们的偏见模型，并无视他们的工作的伦理考虑。 4）最后，在这一研究线上发展的方法基本缺陷涵盖性别偏差的非常有限的定义，缺乏评估基线和管道。我们建议建议克服这些限制作为未来研究的指导。

对自然语言处理资源中的偏置模式的提高意识，如BERT，具有许多度量来量化“偏见”和“公平”。但是，如果没有完全不可能，请比较不同指标的结果和评估这些度量的作品仍然困难。我们调查了对预用语言模型的公平度量标准的现有文献，并通过实验评估兼容性，包括语言模型中的偏差，如在其下游任务中。我们通过传统文献调查和相关分析的混合来实现这一目标，以及运行实证评估。我们发现许多指标不兼容，高度依赖于（i）模板，（ii）属性和目标种子和（iii）选择嵌入式。这些结果表明，公平或偏见评估对情境化语言模型仍然具有挑战性，如果不是至少高度主观。为了提高未来的比较和公平评估，我们建议避免嵌入基于的指标并专注于下游任务中的公平评估。

How do we design measures of social bias that we trust? While prior work has introduced several measures, no measure has gained widespread trust: instead, mounting evidence argues we should distrust these measures. In this work, we design bias measures that warrant trust based on the cross-disciplinary theory of measurement modeling. To combat the frequently fuzzy treatment of social bias in NLP, we explicitly define social bias, grounded in principles drawn from social science research. We operationalize our definition by proposing a general bias measurement framework DivDist, which we use to instantiate 5 concrete bias measures. To validate our measures, we propose a rigorous testing protocol with 8 testing criteria (e.g. predictive validity: do measures predict biases in US employment?). Through our testing, we demonstrate considerable evidence to trust our measures, showing they overcome conceptual, technical, and empirical deficiencies present in prior measures.

最近的研究揭示了NLP数据和模型中的不良偏见。但是，这些努力的重点是西方的社会差异，并且无法直接携带其他地质文化背景。在本文中，我们关注印度背景下的NLP公平。我们首先简要说明印度的社会差异斧头。我们为印度背景下的公平评估建立资源，并利用它们来证明沿着某些轴的预测偏见。然后，我们深入研究了地区和宗教的社会刻板印象，证明了其在Corpora＆Models中的普遍性。最后，我们概述了一个整体研究议程，以重新定义印度背景的NLP公平研究，考虑印度社会背景，弥合能力，资源和适应印度文化价值的技术差距。尽管我们在这里专注于“印度”，但可以在其他地理文化背景下进行重新连接化。

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。

Generated texts from large pretrained language models have been shown to exhibit a variety of harmful, human-like biases about various demographics. These findings prompted large efforts aiming to understand and measure such effects, with the goal of providing benchmarks that can guide the development of techniques mitigating these stereotypical associations. However, as recent research has pointed out, the current benchmarks lack a robust experimental setup, consequently hindering the inference of meaningful conclusions from their evaluation metrics. In this paper, we extend these arguments and demonstrate that existing techniques and benchmarks aiming to measure stereotypes tend to be inaccurate and consist of a high degree of experimental noise that severely limits the knowledge we can gain from benchmarking language models based on them. Accordingly, we propose a new framework for robustly measuring and quantifying biases exhibited by generative language models. Finally, we use this framework to investigate GPT-3's occupational gender bias and propose prompting techniques for mitigating these biases without the need for fine-tuning.

在基于文本的分类器中测试公平性问题的一种常见方法是通过使用反事实来：如果更改输入中的敏感属性，则分类器输出是否会更改？现有的反事实生成方法通常依赖于单词列表或模板，产生不考虑语法，上下文或微妙敏感属性引用的简单反事实，并且可能会错过WordList创建者未考虑的问题。在本文中，我们介绍了一项为克服这些缺点而产生的反事实的任务，并证明了如何利用大型语言模型（LLM）来在此任务上取得进展。我们表明，这种基于LLM的方法可以产生现有方法无法实现的复杂反事实，从而比较了民事评论数据集中各种反事实生成方法的性能，并在评估毒性分类器时显示出它们的价值。

Text classifiers have promising applications in high-stake tasks such as resume screening and content moderation. These classifiers must be fair and avoid discriminatory decisions by being invariant to perturbations of sensitive attributes such as gender or ethnicity. However, there is a gap between human intuition about these perturbations and the formal similarity specifications capturing them. While existing research has started to address this gap, current methods are based on hardcoded word replacements, resulting in specifications with limited expressivity or ones that fail to fully align with human intuition (e.g., in cases of asymmetric counterfactuals). This work proposes novel methods for bridging this gap by discovering expressive and intuitive individual fairness specifications. We show how to leverage unsupervised style transfer and GPT-3's zero-shot capabilities to automatically generate expressive candidate pairs of semantically similar sentences that differ along sensitive attributes. We then validate the generated pairs via an extensive crowdsourcing study, which confirms that a lot of these pairs align with human intuition about fairness in the context of toxicity classification. Finally, we show how limited amounts of human feedback can be leveraged to learn a similarity specification that can be used to train downstream fairness-aware models.

As language models (LMs) scale, they develop many novel behaviors, good and bad, exacerbating the need to evaluate how they behave. Prior work creates evaluations with crowdwork (which is time-consuming and expensive) or existing data sources (which are not always available). Here, we automatically generate evaluations with LMs. We explore approaches with varying amounts of human effort, from instructing LMs to write yes/no questions to making complex Winogender schemas with multiple stages of LM-based generation and filtering. Crowdworkers rate the examples as highly relevant and agree with 90-100% of labels, sometimes more so than corresponding human-written datasets. We generate 154 datasets and discover new cases of inverse scaling where LMs get worse with size. Larger LMs repeat back a dialog user's preferred answer ("sycophancy") and express greater desire to pursue concerning goals like resource acquisition and goal preservation. We also find some of the first examples of inverse scaling in RL from Human Feedback (RLHF), where more RLHF makes LMs worse. For example, RLHF makes LMs express stronger political views (on gun rights and immigration) and a greater desire to avoid shut down. Overall, LM-written evaluations are high-quality and let us quickly discover many novel LM behaviors.

类比在人类常识推理中起着核心作用。识别类比诸如“眼睛是看到耳朵的声音”之类的类比的能力，有时也称为类比比例，塑造我们如何构建知识和理解语言。但是，令人惊讶的是，在语言模型时代，识别这种类比的任务尚未受到太多关注。在本文中，我们使用从教育环境以及更常用的数据集获得的基准分析了基于变压器的语言模型的功能。我们发现，现成的语言模型可以在一定程度上识别类比，但要与抽象和复杂的关系斗争，结果对模型架构和超参数高度敏感。总体而言，最佳结果是通过GPT-2和Roberta获得的，而使用BERT的配置无法超越单词嵌入模型。我们的结果为未来的工作提出了重要的问题，内容涉及如何以及在何种程度上培训的语言模型捕获有关抽象语义关系的知识。

像歌曲这样的文化项目对于创造和加强陈规定型，偏见和歧视具有重要影响。但这些物品的实际性质通常不太透明。例如，宣传歌曲。歌词是否偏向妇女？如何随着时间的推移而改变了任何此类偏见？自然语言处理超过50年的四分之一的歌曲量化了Misogyny。女性不太可能与所需的特征相关联（即，能力），而这种偏差减少，它仍然存在。辅助分析进一步表明，歌曲歌词可能有助于推动妇女的社会刻板印象的转变，而男性艺术家的抒情转变（因为女性艺术家较少偏见开始）。总的来说，这些结果阐明了文化演进，偏见和歧视的微妙度量，以及自然语言加工和机器学习如何能够深入了解刻板印象和文化变革。

语言语料库中的统计规律将众所周知的社会偏见编码为单词嵌入。在这里，我们专注于性别，以全面分析在互联网语料库中训练的广泛使用的静态英语单词嵌入式（Glove 2014，FastText 2017）。使用单类单词嵌入关联测试，我们证明了性别偏见的广泛流行，这些偏见也显示出：（1）与男性与女性相关的单词频率； （b）与性别相关的单词中的言论部分； （c）与性别相关的单词中的语义类别； （d）性别相关的单词中的价，唤醒和优势。首先，就单词频率而言：我们发现，在词汇量中，有1000个最常见的单词与男性相比，有77％的人与男性相关，这是在英语世界的日常语言中直接证明男性默认的证据。其次，转向言论的部分：顶级男性相关的单词通常是动词（例如，战斗，压倒性），而顶级女性相关的单词通常是形容词和副词（例如，奉献，情感上）。嵌入中的性别偏见也渗透到言论部分。第三，对于语义类别：自下而上，对与每个性别相关的前1000个单词的群集分析。与男性相关的顶级概念包括大技术，工程，宗教，体育和暴力的角色和领域；相比之下，顶级女性相关的概念较少关注角色，包括女性特定的诽谤和性内容以及外观和厨房用语。第四，使用〜20,000个单词词典的人类评级，唤醒和主导地位，我们发现与男性相关的单词在唤醒和优势上较高，而与女性相关的单词在价上更高。

语言的感知毒性可能会因某人的身份和信仰而有所不同，但是在收集有毒语言数据集时往往忽略这种变化，从而导致数据集和模型偏差。我们寻求理解谁，为什么，以及毒性注释的偏见背后。在两个在线研究中具有人口统计地和政治上的参与者，我们调查了注释者身份（世卫组织）和信仰的影响（为什么），从社会心理学研究中汲取仇恨言语，自由言论，种族主义信念，政治倾向等。我们解除了通过考虑三个特征的帖子作为毒性的毒性：反黑色语言，非洲裔美国英语（AAE）方言和粗俗。我们的结果显示了注释者身份和信仰之间的强有力的协会及其毒性评级。值得注意的是，更保守的注释者和那些对我们的种族信仰规模的评分的人不太可能对毒黑语言归因于毒性，但更有可能将AAE归因于毒性。我们还提供了一个案例研究，说明了流行的毒性检测系统的评级如何自然地反映特定的信念和观点。我们的调查结果要求社会变量中的毒性标签，这提高了对有毒语言注释和检测的巨大影响。

在过去几年中，Word和句嵌入式已建立为各种NLP任务的文本预处理，并显着提高了性能。不幸的是，还表明这些嵌入物从训练数据中继承了各种偏见，从而通过了社会中存在的偏差到NLP解决方案。许多论文试图在单词或句子嵌入中量化偏差，以评估脱叠方法或比较不同的嵌入模型，通常具有基于余弦的指标。然而，最近有些作品对这些指标提出了疑虑，表明即使这些指标报告低偏见，其他测试仍然显示偏差。事实上，文献中提出了各种各样的偏差指标或测试，而没有任何关于最佳解决方案的共识。然而，我们缺乏评估理论级别的偏见度量或详细阐述不同偏差度量的优缺点的作品。在这项工作中，我们将探索基于余弦的偏差指标。我们根据以前的作品和偏见度量的推导条件的思想形式化偏差定义。此外，我们彻底调查了现有的基于余弦的指标及其限制，以表明为什么这些度量可以在某些情况下报告偏差。最后，我们提出了一个新的公制，同样地解决现有度量的缺点，以及数学上证明的表现相同。

评估了三种最先进的语言和图像AI模型，即剪辑，滑移和BLIP，以证明以前在社会和实验心理学中观察到的偏见：将美国身份等同于白人。使用芝加哥面部数据库（CFD）的自我识别的亚洲，黑人，拉丁裔和白人的标准化图像的嵌入关联测试（eats）表明，白人与集体内词相比，比亚洲，黑色更相关，或拉丁裔/o个人。在评估社会心理学家报道的美国身份的三个核心方面时，单类饮食表明，白人个体的图像与爱国主义和出生在美国更相关，但与心理学的先前发现一致，白人个人是相关的不太可能平等对待所有种族和背景的人。三个下游机器学习任务表明了与白人相关联的偏见。在使用BLIP的视觉问题回答任务中，有97％的白人被确定为美国人，而仅3％的亚洲人。当被问及个人所描绘的生活状态时，该模型在亚洲人中有53％的时间回应中国，但始终具有美国对白人个人的国家。在图像字幕的任务中，Blip评论了亚洲人的种族多达36％的时间，但从未对白人人士进行比赛。最后，使用基于文本的剪辑指导的综合图像发生器（VQGAN）提供了CFD和文本“ American Person”的初始化图像，从而减轻了所有种族个体的肤色（黑人个人的肤色为35％ ，基于像素亮度）。结果表明，语言和图像AI将其等同于美国身份与白人的偏见，并传播到此类模型的下游应用。

Despite being responsible for state-of-the-art results in several computer vision and natural language processing tasks, neural networks have faced harsh criticism due to some of their current shortcomings. One of them is that neural networks are correlation machines prone to model biases within the data instead of focusing on actual useful causal relationships. This problem is particularly serious in application domains affected by aspects such as race, gender, and age. To prevent models from incurring on unfair decision-making, the AI community has concentrated efforts in correcting algorithmic biases, giving rise to the research area now widely known as fairness in AI. In this survey paper, we provide an in-depth overview of the main debiasing methods for fairness-aware neural networks in the context of vision and language research. We propose a novel taxonomy to better organize the literature on debiasing methods for fairness, and we discuss the current challenges, trends, and important future work directions for the interested researcher and practitioner.