语言的感知毒性可能会因某人的身份和信仰而有所不同，但是在收集有毒语言数据集时往往忽略这种变化，从而导致数据集和模型偏差。我们寻求理解谁，为什么，以及毒性注释的偏见背后。在两个在线研究中具有人口统计地和政治上的参与者，我们调查了注释者身份（世卫组织）和信仰的影响（为什么），从社会心理学研究中汲取仇恨言语，自由言论，种族主义信念，政治倾向等。我们解除了通过考虑三个特征的帖子作为毒性的毒性：反黑色语言，非洲裔美国英语（AAE）方言和粗俗。我们的结果显示了注释者身份和信仰之间的强有力的协会及其毒性评级。值得注意的是，更保守的注释者和那些对我们的种族信仰规模的评分的人不太可能对毒黑语言归因于毒性，但更有可能将AAE归因于毒性。我们还提供了一个案例研究，说明了流行的毒性检测系统的评级如何自然地反映特定的信念和观点。我们的调查结果要求社会变量中的毒性标签，这提高了对有毒语言注释和检测的巨大影响。

We investigate how annotators' insensitivity to differences in dialect can lead to racial bias in automatic hate speech detection models, potentially amplifying harm against minority populations. We first uncover unexpected correlations between surface markers of African American English (AAE) and ratings of toxicity in several widely-used hate speech datasets. Then, we show that models trained on these corpora acquire and propagate these biases, such that AAE tweets and tweets by self-identified African Americans are up to two times more likely to be labelled as offensive compared to others. Finally, we propose dialect and race priming as ways to reduce the racial bias in annotation, showing that when annotators are made explicitly aware of an AAE tweet's dialect they are significantly less likely to label the tweet as offensive.

道德框架和情感会影响各种在线和离线行为，包括捐赠，亲环境行动，政治参与，甚至参与暴力抗议活动。自然语言处理中的各种计算方法（NLP）已被用来从文本数据中检测道德情绪，但是为了在此类主观任务中取得更好的性能，需要大量的手工注销训练数据。事实证明，以前对道德情绪注释的语料库已被证明是有价值的，并且在NLP和整个社会科学中都产生了新的见解，但仅限于Twitter。为了促进我们对道德修辞的作用的理解，我们介绍了道德基础Reddit语料库，收集了16,123个reddit评论，这些评论已从12个不同的子雷迪维特策划，由至少三个训练有素的注释者手工注释，用于8种道德情绪（即护理，相称性，平等，纯洁，权威，忠诚，瘦道，隐含/明确的道德）基于更新的道德基础理论（MFT）框架。我们使用一系列方法来为这种新的语料库（例如跨域分类和知识转移）提供基线道德句子分类结果。

构建用于仇恨语音检测的基准数据集具有各种挑战。首先，因为仇恨的言论相对少见，随机抽样对诠释的推文是非常效率的发现仇恨。为了解决此问题，先前的数据集通常仅包含匹配已知的“讨厌字”的推文。然而，将数据限制为预定义的词汇表可能排除我们寻求模型的现实世界现象的部分。第二个挑战是仇恨言论的定义往往是高度不同和主观的。具有多种讨论仇恨言论的注释者可能不仅可能不同意彼此不同意，而且还努力符合指定的标签指南。我们的重点识别是仇恨语音的罕见和主体性类似于信息检索（IR）中的相关性。此连接表明，可以有效地应用创建IR测试集合的良好方法，以创建更好的基准数据集以进行仇恨语音。为了智能和有效地选择要注释的推文，我们应用{\ em汇集}和{em主动学习}的标准IR技术。为了提高注释的一致性和价值，我们应用{\ EM任务分解}和{\ EM注释器理由}技术。我们在Twitter上共享一个用于仇恨语音检测的新基准数据集，其提供比以前的数据集更广泛的仇恨覆盖。在这些更广泛形式的仇恨中测试时，我们还表现出现有检测模型的准确性的戏剧性降低。注册器理由我们不仅可以证明标签决策证明，而且还可以在建模中实现未来的双重监督和/或解释生成的工作机会。我们的方法的进一步细节可以在补充材料中找到。

越来越多的监督委员会和监管机构试图监视和管理对人们生活做出决定的算法。先前的工作已经探讨了人们如何认为应该做出算法的决策，但是对诸如社会人工学或直接经验之类的个人因素如何以决策情景的方式影响了他们的道德观点。我们通过探索人们对程序算法公平的一个方面的看法（在算法决定中使用特定功能的公平性）迈出了填补这一空白的一步，这与他们的（i）人口统计学（年龄，教育，性别，种族，政治观点，政治观点，政治观点， ）和（ii）算法决策方案的个人经历。我们发现，具有算法决策背景的政治观点和个人经验会极大地影响对使用不同特征进行保释决策的公平性的看法。利用我们的结果，我们讨论了对利益相关者参与和算法监督的影响，包括需要考虑在构成监督和监管机构时考虑多样性的多个维度。

情绪分析中最突出的任务是为文本分配情绪，并了解情绪如何在语言中表现出来。自然语言处理的一个重要观察结果是，即使没有明确提及情感名称，也可以通过单独参考事件来隐式传达情绪。在心理学中，被称为评估理论的情感理论类别旨在解释事件与情感之间的联系。评估可以被形式化为变量，通过他们认为相关的事件的人们的认知评估来衡量认知评估。其中包括评估事件是否是新颖的，如果该人认为自己负责，是否与自己的目标以及许多其他人保持一致。这样的评估解释了哪些情绪是基于事件开发的，例如，新颖的情况会引起惊喜或不确定后果的人可能引起恐惧。我们在文本中分析了评估理论对情绪分析的适用性，目的是理解注释者是否可以可靠地重建评估概念，如果可以通过文本分类器预测，以及评估概念是否有助于识别情感类别。为了实现这一目标，我们通过要求人们发短信描述触发特定情绪并披露其评估的事件来编译语料库。然后，我们要求读者重建文本中的情感和评估。这种设置使我们能够衡量是否可以纯粹从文本中恢复情绪和评估，并为判断模型的绩效指标提供人体基准。我们将文本分类方法与人类注释者的比较表明，两者都可以可靠地检测出具有相似性能的情绪和评估。我们进一步表明，评估概念改善了文本中情绪的分类。

大型语言模型会产生类似人类的文本，这些文本推动了越来越多的应用。但是，最近的文献以及越来越多的现实世界观察表明，这些模型可以产生有毒，有偏见，不真实或其他有害的语言。尽管正在进行评估语言模型危害的工作，但要远见卓识转换出可能出现的危害可能会引起严格的基准。为了促进这种翻译，我们概述了六种表征有害文本的方式，这些方法在设计新基准时值得明确考虑。然后，我们将这些特征用作镜头来识别现有基准中的趋势和差距。最后，我们将它们应用于视角API的案例研究，这是一种毒性分类器，被广泛用于HARS基准。我们的特征提供了一块桥梁，可以在远见和有效评估之间转化。

随着人工智能系统变得越来越强大和普遍，人们对机器的道德或缺乏道德的关注变得越来越关注。然而，向机器讲授道德是一项艰巨的任务，因为道德仍然是人类中最激烈的争论问题之一，更不用说AI了。但是，部署到数百万用户的现有AI系统已经在做出充满道德影响的决策，这构成了一个看似不可能的挑战：教学机器的道德意义，而人类继续努力努力。为了探索这一挑战，我们介绍了Delphi，这是一个基于深层神经网络的实验框架，直接训练了描述性道德判断，例如，“帮助朋友”通常是不错的，而“帮助朋友传播假新闻”不是。经验结果提供了对机器伦理的承诺和局限性的新见解。面对新的道德情况，德尔菲（Delphi）表现出强大的概括能力，而现成的神经网络模型表现出明显差的判断，包括不公正的偏见，证实了对明确教学机器的道德意义的必要性。然而，德尔菲并不完美，表现出对普遍性偏见和不一致的敏感性。尽管如此，我们还是展示了不完美的Delphi的积极用例，包括在其他不完美的AI系统中将其用作组件模型。重要的是，我们根据著名的道德理论来解释Delphi的运营化，这使我们提出了重要的未来研究问题。

使用深度学习来产生类似人类的文本的自回归语言模型已变得越来越普遍。这样的模型为智能健康，金融和自动驾驶等领域的流行虚拟助手提供动力。尽管这些大语言模型的参数正在改善，但担心这些模型可能对社会中的所有亚组都没有平等。尽管对跨学科的AI公平性进行了越来越多的讨论，但缺乏系统的指标来评估公平在对话系统中的意义以及如何使不同人群参与评估循环。本文基于审议民主和科学技术研究的理论，提出了一个分析框架，以解开人类对话中的公平意义。使用此框架，我们进行了一项审计研究，以研究GPT-3如何应对有关关键科学和社会主题的不同亚人群的反应：气候变化和黑人生活问题（BLM）运动。我们的语料库包括在性别，种族和种族，教育水平，英语作为第一语言的GPT-3和3290个人之间的超过20,000轮对话，以及对问题的看法。我们发现，在观点和教育少数群体中，对GPT-3的用户经验实质上较差；但是，这两个小组获得了最大的知识增长，改变了聊天后对BLM和气候变化工作的态度改变。我们将这些用户的经验划分为对话差异，发现GPT-3在对教育和舆论少数群体群体做出反应时，与对多数群体的反应相比，它使用了更多的负面表达。我们讨论了我们的发现对集中多样性，公平和包容性的审议对话AI系统的含义。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

我们生活中情绪的重要性和普及性使得情感计算了一个非常重要和充满活力的工作。自动情感识别（AER）和情感分析的系统可以是巨大进展的促进者（例如，改善公共卫生和商业），而且还有巨大伤害的推动者（例如，用于抑制持不同政见者和操纵选民）。因此，情感计算社区必须积极地与其创作的道德后果搞。在本文中，我已经从AI伦理和情感认可文学中综合和组织信息，以提出与AER相关的五十个道德考虑因素。值得注意的是，纸张捏出了隐藏在如何框架的假设，并且在经常对数据，方法和评估的选择中的选择。特别关注在隐私和社会群体上的AER对AER的影响。沿途，关键建议是针对负责任的航空制作的。纸张的目标是促进和鼓励更加思考为什么自动化，如何自动化，以及如何在建立AER系统之前判断成功。此外，该纸张作为情感认可的有用介绍文件（补充调查文章）。

\ textbf {攻击性内容警告}：本文仅包含进攻性语言，仅用于提供阐明这项研究的示例，并且不反映作者的意见。请注意，这些例子是令人反感的，可能会导致您困扰。识别\ textit {仇恨言语}的主观性使其成为一项复杂的任务。 NLP中的不同和不完整的定义也反映了这一点。我们提出\ textit {仇恨言论}标准，以法律和社会科学的观点开发，目的是帮助研究人员创建有关五个方面的更精确的定义和注释指南：（1）目标群体，（2）优势，（3）（3）肇事者特征，（4）否定组参考的类型和（5）潜在后果/效果的类型。可以对定义进行构建，从而涵盖更广泛或更狭窄的现象。因此，可以在指定标准或使其打开的情况下做出有意识的选择。我们认为，目标开发人员的目标和确切的任务应确定\ textit {仇恨言语}的范围的定义。我们从\ url {hatespeechdata.com}概述了英语数据集的属性，该属性可能有助于为特定方案选择最合适的数据集。

This paper investigates how hate speech varies in systematic ways according to the identities it targets. Across multiple hate speech datasets annotated for targeted identities, we find that classifiers trained on hate speech targeting specific identity groups struggle to generalize to other targeted identities. This provides empirical evidence for differences in hate speech by target identity; we then investigate which patterns structure this variation. We find that the targeted demographic category (e.g. gender/sexuality or race/ethnicity) appears to have a greater effect on the language of hate speech than does the relative social power of the targeted identity group. We also find that words associated with hate speech targeting specific identities often relate to stereotypes, histories of oppression, current social movements, and other social contexts specific to identities. These experiments suggest the importance of considering targeted identity, as well as the social contexts associated with these identities, in automated hate speech classification.

计算幽默检测系统很少对幽默反应的主观性进行建模，或者考虑对幽默的替代反应 - 即犯罪。我们分析了不同年龄段的男性和女性注释者的大量幽默和犯罪评级数据集。我们发现女性比男性更强烈地联系这两个概念，她们倾向于给出较低的幽默评分和更高的进攻得分。我们还发现，幽默与犯罪之间的相关性随着年龄的增长而增加。尽管幽默发现没有性别或年龄差异，但女性和较旧的注释者表示，她们比男性更频繁地理解笑话文本。我们讨论对计算幽默检测和下游任务的影响。

中国城乡地区建模差分应力表达可以更好地了解城市化对心理福祉的影响，在过去二十年中迅速发展的国家。本文研究了使用等级混合效应模型从329个县中超过65,000名用户在中国城乡压力的经验和表达的语言差异。我们分析了微博职位中的短语，题目主题和心理语言学的选择，提及压力，以更好地了解中国城乡社区心理压力的评价差异;然后我们将它们与盖子的大规模民意调查进行了比较。在控制社会经济和性别差异之后，我们发现农村社区倾向于表达情感和个人主题，如关系，健康和机会，而在城市地区的用户使用相对，时间和外部主题，如工作，政治和经济学。这些差异存在于对GDP和城市化的控制之外，表明在非常具体的环境中农村和城市居民之间的基本不同的生活方式，可以说是具有不同的压力来源。我们在盖洛普民意调查中找到了与城市化的身体，金融和社会健康的腐败趋势。

We survey 146 papers analyzing "bias" in NLP systems, finding that their motivations are often vague, inconsistent, and lacking in normative reasoning, despite the fact that analyzing "bias" is an inherently normative process. We further find that these papers' proposed quantitative techniques for measuring or mitigating "bias" are poorly matched to their motivations and do not engage with the relevant literature outside of NLP. Based on these findings, we describe the beginnings of a path forward by proposing three recommendations that should guide work analyzing "bias" in NLP systems. These recommendations rest on a greater recognition of the relationships between language and social hierarchies, encouraging researchers and practitioners to articulate their conceptualizations of "bias"-i.e., what kinds of system behaviors are harmful, in what ways, to whom, and why, as well as the normative reasoning underlying these statements-and to center work around the lived experiences of members of communities affected by NLP systems, while interrogating and reimagining the power relations between technologists and such communities. Anne H. Charity Hudley. 2017. Language and Racialization. In Ofelia García, Nelson Flores, and Massimiliano Spotti, editors, The Oxford Handbook of Language and Society. Oxford University Press. Won Ik Cho, Ji Won Kim, Seok Min Kim, and Nam Soo Kim. 2019. On measuring gender bias in translation of gender-neutral pronouns. In Proceedings of the Workshop on Gender Bias in Natural Language Processing, pages 173-181, Florence, Italy.

计算机视觉（CV）取得了显着的结果，在几个任务中表现优于人类。尽管如此，如果不正确处理，可能会导致重大歧视，因为CV系统高度依赖于他们所用的数据，并且可以在此类数据中学习和扩大偏见。因此，理解和发现偏见的问题至关重要。但是，没有关于视觉数据集中偏见的全面调查。因此，这项工作的目的是：i）描述可能在视觉数据集中表现出来的偏差； ii）回顾有关视觉数据集中偏置发现和量化方法的文献； iii）讨论现有的尝试收集偏见视觉数据集的尝试。我们研究的一个关键结论是，视觉数据集中发现和量化的问题仍然是开放的，并且在方法和可以解决的偏见范围方面都有改进的余地。此外，没有无偏见的数据集之类的东西，因此科学家和从业者必须意识到其数据集中的偏见并使它们明确。为此，我们提出了一个清单，以在Visual DataSet收集过程中发现不同类型的偏差。

尽管试图提高政治性别平等，但全球努力仍在努力确保女性的同等代表。这很可能与对权威妇女的性别偏见有关。在这项工作中，我们介绍了在线政治讨论中出现的性别偏见的全面研究。为此，我们在有关男性和女性政客的对话中收集了1000万条有关Reddit的评论，这使得对自动性别偏见检测进行了详尽的研究。我们不仅讨论了厌恶女性的语言，还解决了其他偏见的表现，例如以看似积极的情绪和主导地位归因于女性政客或描述符归因的差异的形式的仁慈性别歧视。最后，我们对调查语言和语言外暗示的政客进行了多方面的性别偏见研究。我们评估了5种不同类型的性别偏见，评估社交媒体语言和话语中存在的覆盖范围，组合，名义，感性和词汇偏见。总体而言，我们发现，与以前的研究相反，覆盖范围和情感偏见表明对女性政客的公共兴趣平等。名义和词汇分析的结果并没有明显的敌对或仁慈的性别歧视，这表明这种兴趣不像男性政客那样专业或尊重。女性政客通常以其名字命名，并与他们的身体，衣服或家庭有关。这是一种与男性相似的治疗方法。在现在被禁止的极右翼子列表中，这种差异最大，尽管性别偏见的差异仍然出现在右和左倾的子列表中。我们将策划的数据集释放给公众以进行未来研究。

我们建议并探讨可以将语言模型作为社会科学研究中特定人类亚人群的有效代理进行研究的可能性。人工智能工具的实践和研究应用有时受到有问题的偏见（例如种族主义或性别歧视）的限制，这些偏见通常被视为模型的统一特性。我们表明，一个这样的工具中的“算法偏见”（GPT-3语言模型）既是细粒度又是人口统计相关的，这意味着适当的条件会导致其准确地仿真来自各种人类的响应分布亚组。我们将此属性称为“算法忠诚度”，并在GPT-3中探索其范围。我们通过将模型调节在美国进行的多项大型调查中的数千个社会人口统计背景故事中调节，从而创建“硅样本”。然后，我们比较硅和人类样品，以证明GPT-3中包含的信息远远超出了表面相似性。它是细微的，多方面的，并反映了特征人类态度的思想，态度和社会文化背景之间的复杂相互作用。我们建议，具有足够算法的忠诚度的语言模型构成了一种新颖而有力的工具，可以促进各种学科的人类和社会的理解。

媒体覆盖范围对公众对事件的看法具有实质性影响。媒体框架事件的方式可以显着改变对社会的信仰和看法。尽管如此，众所周知，几乎所有媒体网点都以偏见的方式报告新闻。虽然可以通过改变单词选择或省略信息来引入这种偏差，但是偏差的感知也很大程度上取决于读者的个人背景。因此，媒体偏差是一个非常复杂的构造，用于识别和分析。尽管媒体偏见是许多研究的主题，但之前的评估策略过于简化，缺乏重叠和实证评估。因此，本研究旨在开发一种可以用作可靠标准来评估物品偏差的规模。为了命名一个例子：如果我们要问，打算衡量新闻文章中的偏见，“文章有多偏见？”或者我们应该改用，“文章是如何对待美国总统的？”。我们进行了文献搜索，以查找有关先前对该主题的文本看法的相关问题。在一个多迭代过程中，我们首先总结并缩小了这些问题，以结束关于偏见的完整和代表可能的问题类型。最终组由25个问题组成，答案格式不同，使用语义差异的17个问题，以及六个感受评级。我们在190条文章中测试了每个问题，总体上有663名参与者来确定问题衡量文章的感知偏见的程度。我们的研究结果表明，21项最终物品适合，可靠，以测量媒体偏差的看法。我们在http://bias -question-tree.gipplab.org/上发布最后一组问题。