机器学习（ML）技术在教育方面越来越普遍，从预测学生辍学，到协助大学入学以及促进MOOC的兴起。考虑到这些新颖用途的快速增长，迫切需要调查ML技术如何支持长期以来的教育原则和目标。在这项工作中，我们阐明了这一复杂的景观绘制，以对教育专家的访谈进行定性见解。这些访谈包括对过去十年中著名应用ML会议上发表的ML教育（ML4ED）论文的深入评估。我们的中心研究目标是批判性地研究这些论文的陈述或暗示教育和社会目标如何与他们解决的ML问题保持一致。也就是说，技术问题的提出，目标，方法和解释结果与手头的教育问题保持一致。我们发现，在ML生命周期的两个部分中存在跨学科的差距，并且尤其突出：从教育目标和将预测转换为干预措施的ML问题的提出。我们使用这些见解来提出扩展的ML生命周期，这也可能适用于在其他领域中使用ML。我们的工作加入了越来越多的跨教育和ML研究的荟萃分析研究，以及对ML社会影响的批判性分析。具体而言，它填补了对机器学习的主要技术理解与与学生合作和政策合作的教育研究人员的观点之间的差距。

教育技术，以及他们部署的学校教育系统，制定了特定的意识形态，了解有关知识的重要事项以及学习者应该如何学习。作为人工智能技术 - 在教育和超越 - 可能导致边缘社区的不公平结果，已经制定了各种方法来评估和减轻AI的有害影响。然而，我们争辩于本文认为，在AI模型中的性能差异的基础上评估公平的主导范式是面对教育AI系统（RE）生产的系统性不公平。我们在批判理论和黑色女权主义奖学金中汲取了结构性不公正的镜头，以批判性地审查了几个普遍研究的和广泛采用的教育AI类别，并探讨了他们如何融入和重现结构不公正和不公平的历史遗产和不公平的历史遗产。他们模型绩效的奇偶阶段。我们关闭了替代愿景，为教育ai提供更公平的未来。

值得信赖的人工智能（AI）已成为一个重要的话题，因为在AI系统及其创造者中的信任已经丢失。研究人员，公司和政府具有远离技术开发，部署和监督的边缘化群体的长期和痛苦的历史。结果，这些技术对小群体的有用甚至有害。我们争辩说，渴望信任的任何AI开发，部署和监测框架必须纳入女权主义，非剥削参与性设计原则和强大，外部和持续监测和测试。我们还向考虑到透明度，公平性和问责制的可靠性方面的重要性，特别是考虑对任何值得信赖的AI系统的核心价值观的正义和转移权力。创建值得信赖的AI通过资金，支持和赋予Grassroots组织，如AI Queer等基层组织开始，因此AI领域具有多样性和纳入可信和有效地发展的可信赖AI。我们利用AI的专家知识Queer通过其多年的工作和宣传来讨论以及如何以及如何在数据集和AI系统中使用如何以及如何在数据集和AI系统中使用以及沿着这些线路的危害。基于此，我们分享了对AI的性别方法，进一步提出了Queer认识论并分析它可以带来AI的好处。我们还讨论了如何在愿景中讨论如何使用此Queer认识论，提出与AI和性别多样性和隐私和酷儿数据保护相关的框架。

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

随着各种公开的AI伦理原则的共识，差距仍然可以随时采用设计和开发负责任的AI系统。我们研究了来自澳大利亚国家科学研究机构（CSIRO）的研究人员和工程师的实践和经验，他们参与设计和开发AI系统的一系列目的。半结构化访谈用于检查参与者的做法如何与澳大利亚政府提出的一套高级AI伦理原则涉及并对齐。原则包括：隐私保护和安全，可靠性和安全性，透明度和解释性，公平性，竞争性，责任，人以人为本的价值观和人类，社会与环境福祉。研究了研究人员和工程师的见解以及在原则的实际应用中为它们提供的挑战。最后，提供了一系列组织响应，以支持实施高级AI道德原则。

Recommender systems can strongly influence which information we see online, e.g., on social media, and thus impact our beliefs, decisions, and actions. At the same time, these systems can create substantial business value for different stakeholders. Given the growing potential impact of such AI-based systems on individuals, organizations, and society, questions of fairness have gained increased attention in recent years. However, research on fairness in recommender systems is still a developing area. In this survey, we first review the fundamental concepts and notions of fairness that were put forward in the area in the recent past. Afterward, through a review of more than 150 scholarly publications, we present an overview of how research in this field is currently operationalized, e.g., in terms of general research methodology, fairness measures, and algorithmic approaches. Overall, our analysis of recent works points to specific research gaps. In particular, we find that in many research works in computer science, very abstract problem operationalizations are prevalent, and questions of the underlying normative claims and what represents a fair recommendation in the context of a given application are often not discussed in depth. These observations call for more interdisciplinary research to address fairness in recommendation in a more comprehensive and impactful manner.

这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此，我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战，这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题，旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作，包括决策者，建模者和潜在影响社区的成员，以严格评估数据驱动的算法的特定设计的合理性和使用系统。

数据对于机器学习（ML）模型的开发和评估至关重要。但是，在部署所得模型时，使用有问题或不适当的数据集可能会造成危害。为了通过对数据集进行更故意的反思和创建过程的透明度来鼓励负责任的练习，研究人员和从业人员已开始倡导增加数据文档，并提出了几个数据文档框架。但是，几乎没有研究这些数据文档框架是否满足创建和消费数据集的ML从业者的需求。为了解决这一差距，我们着手了解ML从业人员的数据文档感知，需求，挑战和Desiderata，目的是推导设计要求，以便为将来的数据文档框架提供信息。我们对一家大型国际技术公司的14名ML从业者进行了一系列半结构化访谈。我们让他们回答从数据集的数据表中提取的问题列表（Gebru，2021）。我们的发现表明，目前的数据文档方法在很大程度上是临时的，而且本质上是近视的。参与者表达了对数据文档框架的需求，可以适应其上下文，并将其集成到现有的工具和工作流程中，并尽可能自动化。尽管事实上，数据文档框架通常是从负责人的AI的角度出发的，但参与者并未在他们被要求回答的问题与负责的AI含义之间建立联系。此外，参与者通常会在数据集消费者的需求中优先考虑，并提供了不熟悉其数据集可能需要知道的信息。基于这些发现，我们为将来的数据文档框架得出了七个设计要求。

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。

已经开发出各种工具和实践来支持从业者识别，评估和减轻AI系统造成的公平相关危害。然而，现有研究突出了这些工具和实践的预期设计与特定背景下的使用之间的差距，包括由组织因素在塑造公平工作中发挥的作用引起的差距。在本文中，我们研究了一个这样的实践的这些差距：AI系统的分类评估，旨在揭示人口统计组之间的表现差异。通过在三个技术公司的十支队伍中进行半结构化访谈和三十三名艾尔从业人员，我们在设计分列的评估时，我们识别从业者的流程，挑战，并对支持的需求。我们发现从业者在选择绩效指标时面临挑战，识别最相关的直接利益相关者和在其上进行重点的人口统计集团，并收集其进行分类评估的数据集。更一般地说，我们识别对公平工作的影响，这些工作缺乏与直接利益相关者的订婚，优先考虑通过边缘化群体的客户，以及以规模部署AI系统的驱动器。

Advocates of algorithmic techniques like data mining argue that these techniques eliminate human biases from the decision-making process. But an algorithm is only as good as the data it works with. Data is frequently imperfect in ways that allow these algorithms to inherit the prejudices of prior decision makers. In other cases, data may simply reflect the widespread biases that persist in society at large. In still others, data mining can discover surprisingly useful regularities that are really just preexisting patterns of exclusion and inequality. Unthinking reliance on data mining can deny historically disadvantaged and vulnerable groups full participation in society. Worse still, because the resulting discrimination is almost always an unintentional emergent property of the algorithm's use rather than a conscious choice by its programmers, it can be unusually hard to identify the source of the problem or to explain it to a court. This Essay examines these concerns through the lens of American antidiscrimination law-more particularly, through Title

在数字治疗干预的背景下，例如互联网交付的认知行为治疗（ICBT）用于治疗抑郁和焦虑，广泛的研究表明，人类支持者或教练的参与如何协助接受治疗的人，改善用户参与治疗并导致更有效的健康结果而不是不受支持的干预措施。该研究旨在最大限度地提高这一人类支持的影响和结果，研究了通过AI和机器学习领域（ML）领域的最新进展提供的新机遇如何有助于有效地支持ICBT支持者的工作实践。本文报告了采访研究的详细调查结果，与15个ICBT支持者加深了解其现有的工作实践和信息需求，旨在有意义地向抑郁和焦虑治疗的背景下提供有用，可实现的ML申请。分析贡献（1）一组六个主题，总结了ICBT支持者在为其精神卫生客户提供有效，个性化反馈方面的策略和挑战;并回应这些学习，（2）对于ML方法如何帮助支持和解决挑战和信息需求，为每个主题提供具体机会。它依赖于在支持者LED客户审查实践中引入新的机器生成的数据见解的潜在社会，情感和务实含义的思考。

在进行研究，设计和系统开发时，HCI研究人员一直在将注意力从个人用户转移到社区。但是，我们的领域尚未建立对社区合并研究方法的挑战，利益和承诺的凝聚力，系统的理解。我们对47个计算研究论文进行了系统的综述和主题分析，讨论了与社区的参与性研究，以开发过去二十年来，以开发技术文物和系统。从这篇评论中，我们确定了与项目演变相关的七个主题：从建立社区伙伴关系到维持结果。我们的发现表明，这些项目的特征是几个紧张关系，其中许多与研究人员的力量和位置以及计算研究环境有关，相对于社区伙伴。我们讨论了我们的发现的含义，并提供方法论建议，以指导HCI，并更广泛地计算研究中心社区的实践。

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

ML社区认识到预期和减轻基准研究的潜在负面影响的重要性。在该立场论文中，我们认为，需要更多的关注，这需要对ML基准的技术和科学核心的道德风险领域。我们确定了人类智商和ML基准之间被忽视的结构相似性。人类智能和ML基准在设定标准以描述，评估和比较与智能相关的任务的标准方面具有相似之处。这使我们能够从ML基准社区考虑需要考虑的女权主义哲学哲学哲学中解开课程。最后，我们概述了基准研究伦理和伦理评论的实用建议。

人类服务系统做出关键决策，影响社会中的个人。美国儿童福利系统做出了这样的决定，从筛查热线报告的报告报告，涉嫌虐待或忽视儿童保护性调查，使儿童接受寄养，再到将儿童返回永久家庭环境。这些对儿童生活的复杂而有影响力的决定取决于儿童福利决策者的判断。儿童福利机构一直在探索使用包括机器学习（ML）的经验，数据信息的方法来支持这些决策的方法。本文描述了ML支持儿童福利决策的概念框架。 ML框架指导儿童福利机构如何概念化ML可以解决的目标问题；兽医可用的管理数据用于构建ML；制定和开发ML规格，以反映机构正在进行的相关人群和干预措施；随着时间的流逝，部署，评估和监视ML作为儿童福利环境，政策和实践变化。道德考虑，利益相关者的参与以及避免框架的影响和成功的共同陷阱。从摘要到具体，我们描述了该框架的一种应用，以支持儿童福利决策。该ML框架虽然以儿童福利为中心，但可以推广用于解决其他公共政策问题。

Incivility remains a major challenge for online discussion platforms, to such an extent that even conversations between well-intentioned users can often derail into uncivil behavior. Traditionally, platforms have relied on moderators to -- with or without algorithmic assistance -- take corrective actions such as removing comments or banning users. In this work we propose a complementary paradigm that directly empowers users by proactively enhancing their awareness about existing tension in the conversation they are engaging in and actively guides them as they are drafting their replies to avoid further escalation. As a proof of concept for this paradigm, we design an algorithmic tool that provides such proactive information directly to users, and conduct a user study in a popular discussion platform. Through a mixed methods approach combining surveys with a randomized controlled experiment, we uncover qualitative and quantitative insights regarding how the participants utilize and react to this information. Most participants report finding this proactive paradigm valuable, noting that it helps them to identify tension that they may have otherwise missed and prompts them to further reflect on their own replies and to revise them. These effects are corroborated by a comparison of how the participants draft their reply when our tool warns them that their conversation is at risk of derailing into uncivil behavior versus in a control condition where the tool is disabled. These preliminary findings highlight the potential of this user-centered paradigm and point to concrete directions for future implementations.

残疾人在医疗保健，就业和政府政策等各个领域的各种复杂的决策过程中受到各种复杂的决策。这些环境通常已经不透明他们影响的人并缺乏充分的残疾观点代表，它迅速采用人工智能（AI）技术来用于数据分析以告知决策，从而增加因不当或不公平的算法而造成的伤害风险增加。本文介绍了一个通过残疾镜头进行严格检查AI数据分析技术的框架，并研究了AI技术设计师选择的残疾定义如何影响其对残疾分析对象的影响。我们考虑了三种残疾的概念模型：医学模型，社会模型和关系模型；并展示在每个模型下设计的AI技术如何差异很大，以至于与彼此不相容和矛盾。通过讨论有关医疗保健和政府残疾福利中AI分析的常见用例，我们说明了技术设计过程中的特定考虑因素和决策点，这些因素和决策点影响了这些环境中的电力动态和包容性，并有助于确定其对边缘化或支持的方向。我们提出的框架可以作为对AI技术的深入批判性检查的基础，并开发用于残疾相关的AI分析的设计实践。

Xenophobia is one of the key drivers of marginalisation, discrimination, and conflict, yet many prominent machine learning (ML) fairness frameworks fail to comprehensively measure or mitigate the resulting xenophobic harms. Here we aim to bridge this conceptual gap and help facilitate safe and ethical design of artificial intelligence (AI) solutions. We ground our analysis of the impact of xenophobia by first identifying distinct types of xenophobic harms, and then applying this framework across a number of prominent AI application domains, reviewing the potential interplay between AI and xenophobia on social media and recommendation systems, healthcare, immigration, employment, as well as biases in large pre-trained models. These help inform our recommendations towards an inclusive, xenophilic design of future AI systems.