已经开发出各种工具和实践来支持从业者识别，评估和减轻AI系统造成的公平相关危害。然而，现有研究突出了这些工具和实践的预期设计与特定背景下的使用之间的差距，包括由组织因素在塑造公平工作中发挥的作用引起的差距。在本文中，我们研究了一个这样的实践的这些差距：AI系统的分类评估，旨在揭示人口统计组之间的表现差异。通过在三个技术公司的十支队伍中进行半结构化访谈和三十三名艾尔从业人员，我们在设计分列的评估时，我们识别从业者的流程，挑战，并对支持的需求。我们发现从业者在选择绩效指标时面临挑战，识别最相关的直接利益相关者和在其上进行重点的人口统计集团，并收集其进行分类评估的数据集。更一般地说，我们识别对公平工作的影响，这些工作缺乏与直接利益相关者的订婚，优先考虑通过边缘化群体的客户，以及以规模部署AI系统的驱动器。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

教育技术，以及他们部署的学校教育系统，制定了特定的意识形态，了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果，已经制定了各种方法来评估和减轻AI的有害影响。然而，我们争辩于本文认为，在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统（RE）生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头，以批判性地审查了几个普遍研究的和广泛采用的教育AI类别，并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景，为教育ai提供更公平的未来。

值得信赖的人工智能（AI）已成为一个重要的话题，因为在AI系统及其创造者中的信任已经丢失。研究人员，公司和政府具有远离技术开发，部署和监督的边缘化群体的长期和痛苦的历史。结果，这些技术对小群体的有用甚至有害。我们争辩说，渴望信任的任何AI开发，部署和监测框架必须纳入女权主义，非剥削参与性设计原则和强大，外部和持续监测和测试。我们还向考虑到透明度，公平性和问责制的可靠性方面的重要性，特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金，支持和赋予Grassroots组织，如AI Queer等基层组织开始，因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此，我们分享了对AI的性别方法，进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论，提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。

在进行研究，设计和系统开发时，HCI研究人员一直在将注意力从个人用户转移到社区。但是，我们的领域尚未建立对社区合并研究方法的挑战，利益和承诺的凝聚力，系统的理解。我们对47个计算研究论文进行了系统的综述和主题分析，讨论了与社区的参与性研究，以开发过去二十年来，以开发技术文物和系统。从这篇评论中，我们确定了与项目演变相关的七个主题：从建立社区伙伴关系到维持结果。我们的发现表明，这些项目的特征是几个紧张关系，其中许多与研究人员的力量和位置以及计算研究环境有关，相对于社区伙伴。我们讨论了我们的发现的含义，并提供方法论建议，以指导HCI，并更广泛地计算研究中心社区的实践。

在软件项目中引入机器学习（ML）组件创造了软件工程师与数据科学家和其他专家合作。虽然合作可以始终具有挑战性，但ML介绍了探索性模型开发过程的额外挑战，需要额外的技能和知识，测试ML系统的困难，需要连续演化和监测，以及非传统质量要求，如公平性和解释性。通过采访来自28个组织的45名从业者，我们确定了在建立和将ML系统部署到生产时面临的关键合作挑战。我们报告了生产ML系统的开发中的共同合作点，以获得要求，数据和集成以及相应的团队模式和挑战。我们发现，这些挑战中的大部分挑战围绕通信，文档，工程和流程以及收集建议以解决这些挑战。

随着各种公开的AI伦理原则的共识，差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构（CSIRO）的研究人员和工程师的实践和经验，他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括：隐私保护和安全，可靠性和安全性，透明度和解释性，公平性，竞争性，责任，人以人为本的价值观和人类，社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后，提供了一系列组织响应，以支持实施高级AI道德原则。

我们生活中情绪的重要性和普及性使得情感计算了一个非常重要和充满活力的工作。自动情感识别（AER）和情感分析的系统可以是巨大进展的促进者（例如，改善公共卫生和商业），而且还有巨大伤害的推动者（例如，用于抑制持不同政见者和操纵选民）。因此，情感计算社区必须积极地与其创作的道德后果搞。在本文中，我已经从AI伦理和情感认可文学中综合和组织信息，以提出与AER相关的五十个道德考虑因素。值得注意的是，纸张捏出了隐藏在如何框架的假设，并且在经常对数据，方法和评估的选择中的选择。特别关注在隐私和社会群体上的AER对AER的影响。沿途，关键建议是针对负责任的航空制作的。纸张的目标是促进和鼓励更加思考为什么自动化，如何自动化，以及如何在建立AER系统之前判断成功。此外，该纸张作为情感认可的有用介绍文件（补充调查文章）。

机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。

组织依靠机器学习工程师（MLE）来操作ML，即部署和维护生产中的ML管道。操作ML或MLOP的过程包括（i）数据收集和标记的连续循环，（ii）实验以改善ML性能，（iii）在多阶段部署过程中评估，以及（iv）监视（iv）性能下降。当一起考虑这些责任似乎令人震惊 - 任何人如何进行MLOP，没有解决的挑战，对工具制造商有什么影响？我们对在包括聊天机器人，自动驾驶汽车和金融在内的许多应用程序中工作的18个MLE进行了半结构化的民族志访谈。我们的访谈暴露了三个变量，这些变量控制了生产ML部署的成功：速度，验证和版本。我们总结了成功实验，部署和维持生产绩效的共同实践。最后，我们讨论了受访者的痛点和反图案，对工具设计产生了影响。

对AI系统的分类评估，其中系统性能分别为不同的人分别评估和报告，在概念上简单。然而，他们的设计涉及各种选择。其中一些选择会影响将获得的结果，从而产生可以绘制的结论;其他人影响了有益和有害的影响 - 将分列的评估将对人们进行分类，包括其数据用于进行评估的人员。我们认为，更深入的了解这些选择将使研究人员和从业者能够设计仔细和决定性的分类评估。我们还争辩说，更好地记录这些选择，以及所做的潜在考虑因素和权衡，将在解释评估的结果和结论时帮助别人。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.

随着数据驱动的系统越来越大规模部署，对历史上边缘化的群体的不公平和歧视结果引起了道德问题，这些群体在培训数据中的代表性不足。作为回应，围绕AI的公平和包容性的工作呼吁代表各个人口组的数据集。在本文中，我们对可访问性数据集中的年龄，性别和种族和种族的代表性进行了分析 - 数据集 - 来自拥有的数据集，这些数据集来自拥有的人。残疾和老年人 - 这可能在减轻包含AI注入的应用程序的偏见方面发挥重要作用。我们通过审查190个数据集的公开信息来检查由残疾人来源的数据集中的当前表示状态，我们称这些可访问性数据集为止。我们发现可访问性数据集代表不同的年龄，但具有性别和种族表示差距。此外，我们研究了人口统计学变量的敏感和复杂性质如何使分类变得困难和不一致（例如，性别，种族和种族），标记的来源通常未知。通过反思当前代表残疾数据贡献者的挑战和机会，我们希望我们的努力扩大了更多可能将边缘化社区纳入AI注入系统的可能性。

根据1,870家公司的Rackspace技术的最近调查，总共34％的AI研究和开发项目失败或被遗弃。我们提出了一项新的战略框架，Aistrom，使管理者基于彻底的文献综述，创建一个成功的AI战略。这提供了一种独特而综合的方法，可以通过实施过程中的各种挑战引导经理和牵头开发人员。在Aistrom框架中，我们首先识别顶部N潜在项目（通常为3-5）。对于每个人，彻底分析了七个重点区域。这些领域包括创建一个数据策略，以考虑独特的跨部门机器学习数据要求，安全性和法律要求。然后，Aistrom指导经理思考如何鉴于AI人才稀缺的跨学科人工智能（AI）实施团队。一旦建立了AI团队战略，它需要在组织内，跨部门或作为单独的部门定位。其他考虑因素包括AI作为服务（AIAAS）或外包开发。看着新技术，我们必须考虑偏见，黑匣子模型的合法性等挑战，并保持循环中的人类。接下来，与任何项目一样，我们需要基于价值的关键性能指标（KPI）来跟踪和验证进度。根据公司的风险策略，SWOT分析（优势，劣势，机会和威胁）可以帮助进一步分类入住项目。最后，我们应该确保我们的战略包括持续的雇员的持续教育，以实现采用文化。这种独特综合的框架提供了有价值的，经理和铅开发商的工具。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

在公共危机时期，寻求信息对于人们的自我保健和福祉至关重要。广泛的研究调查了经验理解和技术解决方案，以促进受影响地区的家庭公民寻求信息。但是，建立有限的知识是为了支持需要在其东道国发生危机的国际移民。当前的论文对居住在日本和美国（n = 14）的两名中国移民（n = 14）进行了访谈研究。参与者反思了他们在共同大流行期间寻求经验的信息。反思补充了两周的自我追踪，参与者保持了相关信息寻求实践的记录。我们的数据表明，参与者经常绕开语言绕道，或访问普通话资源以获取有关其东道国疫情爆发的信息。他们还进行了战略性利用普通话信息，以进行选择性阅读，交叉检查以及对日语或英语的共同信息的上下文化解释。尽管这种做法增强了参与者对共同相关信息收集和感官的有效性，但他们有时会通过有时认识的方式使人们处于不利地位。此外，参与者缺乏对审查以移民为导向的信息的认识或偏爱，尽管该信息可用，这些信息是由东道国公共当局发布的。在这些发现的基础上，我们讨论了改善国际移民在非本地语言和文化环境中寻求共同相关信息的解决方案。我们主张包容性危机基础设施，这些基础设施将吸引以当地语言流利程度，信息素养和利用公共服务的经验的不同水平的人们。

Several policy options exist, or have been proposed, to further responsible artificial intelligence (AI) development and deployment. Institutions, including U.S. government agencies, states, professional societies, and private and public sector businesses, are well positioned to implement these policies. However, given limited resources, not all policies can or should be equally prioritized. We define and review nine suggested policies for furthering responsible AI, rank each policy on potential use and impact, and recommend prioritization relative to each institution type. We find that pre-deployment audits and assessments and post-deployment accountability are likely to have the highest impact but also the highest barriers to adoption. We recommend that U.S. government agencies and companies highly prioritize development of pre-deployment audits and assessments, while the U.S. national legislature should highly prioritize post-deployment accountability. We suggest that U.S. government agencies and professional societies should highly prioritize policies that support responsible AI research and that states should highly prioritize support of responsible AI education. We propose that companies can highly prioritize involving community stakeholders in development efforts and supporting diversity in AI development. We advise lower levels of prioritization across institutions for AI ethics statements and databases of AI technologies or incidents. We recognize that no one policy will lead to responsible AI and instead advocate for strategic policy implementation across institutions.

负责任的AI被广泛认为是我们时代最大的科学挑战之一，也是释放AI市场并增加采用率的关键。为了应对负责任的AI挑战，最近已经发布了许多AI伦理原则框架，AI系统应该符合这些框架。但是，没有进一步的最佳实践指导，从业者除了真实性之外没有什么。同样，在算法级别而不是系统级的算法上进行了重大努力，主要集中于数学无关的道德原则（例如隐私和公平）的一部分。然而，道德问题在开发生命周期的任何步骤中都可能发生，从而超过AI算法和模型以外的系统的许多AI，非AI和数据组件。为了从系统的角度操作负责任的AI，在本文中，我们采用了一种面向模式的方法，并根据系统的多媒体文献综述（MLR）的结果提出了负责任的AI模式目录。与其呆在道德原则层面或算法层面上，我们专注于AI系统利益相关者可以在实践中采取的模式，以确保开发的AI系统在整个治理和工程生命周期中负责。负责的AI模式编目将模式分为三组：多层次治理模式，可信赖的过程模式和负责任的逐设计产品模式。这些模式为利益相关者实施负责任的AI提供了系统性和可行的指导。

最近十年表明，人们对机器人作为福祉教练的兴趣越来越大。但是，尚未提出针对机器人设计作为促进心理健康的教练的凝聚力和全面的准则。本文详细介绍了基于基于扎根理论方法的定性荟萃分析的设计和道德建议，该方法是通过三项以用户为中心的涉及机器人福祉教练的三个不同的以用户为中心进行的，即：（1）与参与性设计研究一起进行的。 11名参与者由两位潜在用户组成，他们与人类教练一起参加了简短的专注于解决方案的实践研究，以及不同学科的教练，（2）半结构化的个人访谈数据，这些数据来自20名参加积极心理学干预研究的参与者借助机器人福祉教练胡椒，（3）与3名积极心理学研究的参与者以及2名相关的福祉教练进行了一项参与式设计研究。在进行主题分析和定性荟萃分析之后，我们将收集到收敛性和不同主题的数据整理在一起，并从这些结果中提炼了一套设计准则和道德考虑。我们的发现可以在设计机器人心理福祉教练时考虑到关键方面的关键方面。