人工智能（AI）系统越来越多地用于提供建议以促进人类决策。尽管大量工作探讨了如何优化AI系统以产生准确且公平的建议以及如何向人类决策者提供算法建议，但在这项工作中，我们提出了一个不同的基本问题：何时应该提供建议？由于当前不断提供算法建议的局限性的限制，我们提出了以双向方式与人类用户互动的AI系统的设计。我们的AI系统学习使用过去的人类决策为政策提供建议。然后，对于新案例，学识渊博的政策利用人类的意见来确定算法建议将是有用的案例，以及人类最好单独决定的情况。我们通过使用美国刑事司法系统的数据对审前释放决策进行大规模实验来评估我们的方法。在我们的实验中，要求参与者评估被告违反其释放条款的风险，如果释放，并受到不同建议方法的建议。结果表明，与固定的非交互式建议方法相比，我们的交互式辅助方法可以在需要时提供建议，并显着改善人类决策。我们的方法在促进人类学习，保留人类决策者的互补优势以及对建议的更积极反应方面具有额外的优势。

尽管Ai在各个领域的超人表现，但人类往往不愿意采用AI系统。许多现代AI技术中缺乏可解释性的缺乏可令人伤害他们的采用，因为用户可能不相信他们不理解的决策过程的系统。我们通过一种新的实验调查这一主张，其中我们使用互动预测任务来分析可解释性和结果反馈对AI信任的影响和AI辅助预测任务的人类绩效。我们发现解释性导致了不强大的信任改进，而结果反馈具有明显更大且更可靠的效果。然而，这两个因素对参与者的任务表现产生了适度的影响。我们的研究结果表明（1）接受重大关注的因素，如可解释性，在越来越多的信任方面可能比其他结果反馈的因素效果，而（2）通过AI系统增强人类绩效可能不是在AI中增加信任的简单问题。 ，随着增加的信任并不总是与性能同样大的改进相关联。这些调查结果邀请了研究界不仅关注产生解释的方法，而且还专注于确保在实践中产生影响和表现的技巧。

人为决策的合作努力实现超出人类或人工智能表现的团队绩效。但是，许多因素都会影响人类团队的成功，包括用户的领域专业知识，AI系统的心理模型，对建议的信任等等。这项工作检查了用户与三种模拟算法模型的互动，所有这些模型都具有相似的精度，但对其真正的正面和真实负率进行了不同的调整。我们的研究检查了在非平凡的血管标签任务中的用户性能，参与者表明给定的血管是流动还是停滞。我们的结果表明，虽然AI-Assistant的建议可以帮助用户决策，但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显着影响整体团队的整体绩效。新手用户有所改善，但不能达到AI的准确性。高度熟练的用户通常能够识别何时应遵循AI建议，并通常保持或提高其性能。与AI相似的准确性水平的表演者在AI建议方面是最大的变化。此外，我们发现用户对AI的性能亲戚的看法也对给出AI建议时的准确性是否有所提高产生重大影响。这项工作提供了有关与人类协作有关的因素的复杂性的见解，并提供了有关如何开发以人为中心的AI算法来补充用户在决策任务中的建议。

目的：我们研究使用机器学习（ML）模型的可解释的累入预测，并在预测能力，稀疏性和公平性方面分析性能。与以前的作品不同，本研究列举了输出概率而不是二进制预测的可解释模型，并使用定量公平定义来评估模型。本研究还研究了模型是否可以横跨地理位置概括。方法：我们在佛罗里达州和肯塔基州的两个不同的刑事核查数据集上生成了黑盒和可解释的ML模型。我们将这些模型的预测性能和公平与目前用于司法系统中使用的两种方法进行了比较，以预测审前常规率：Arnold PSA和Compas。我们评估了所有模型的预测性能，可以在两次跨越两次预测六种不同类型犯罪的模型。结果：几种可解释的ML模型可以预测常规和黑盒ML模型，比Compas或Arnold PSA更准确。这些模型在实践中可能有用。类似于Arnold PSA，这些可解释模型中的一些可以作为一个简单的表格写入。其他可以使用一组可视化显示。我们的地理分析表明ML模型应分开培训，以便单独的位置并随时间更新。我们还为可​​解释模型提供了公平分析。结论：可解释的机器学习模型可以在预测准确性和公平性方面表现，也可以表现，也可以表现，也可以执行不可解释的方法和目前使用的风险评估尺度。机器学习模型对于单独培训，可以更准确地进行不同的位置，并保持最新。

最近的工作表明，当AI的预测不可靠时，可以学会推迟人类的选择性预测系统的潜在好处，特别是提高医疗保健等高赌注应用中AI系统的可靠性。然而，大多数事先工作假定当他们解决预测任务时，人类行为仍然保持不变，作为人类艾队团队的一部分而不是自己。我们表明，通过执行实验来规定在选择性预测的背景下量化人AI相互作用的实验并非如此。特别是，我们研究将不同类型信息传送给人类的影响，了解AI系统的决定推迟。使用现实世界的保护数据和选择性预测系统，可以在单独工作的人体或AI系统上提高预期准确性，我们表明，这种消息传递对人类判断的准确性产生了重大影响。我们的结果研究了消息传递策略的两个组成部分：1）人类是否被告知AI系统的预测和2）是否被告知选择性预测系统的决定推迟。通过操纵这些消息传递组件，我们表明，通过通知人类推迟的决定，可以显着提高人类的性能，但不透露对AI的预测。因此，我们表明，考虑在设计选择性预测系统时如何传送到人类的决定是至关重要的，并且必须使用循环框架仔细评估人类-AI团队的复合精度。

人工智能算法越来越多地被公共机构作为决策助手，并承诺克服人类决策者的偏见。同时，他们可能会在人类算法中引入新的偏见。在心理学和公共行政文献上，我们调查了两个关键偏见：即使面对来自其他来源的警告信号（自动化偏见）的警告信号，对算法建议过度依赖，并选择性地采用算法建议时，这与刻板印象相对应（Selective Adherence）。我们通过在荷兰瓦中进行的三项实验研究评估这些研究，讨论了我们发现对公共部门决策在自动化时代的影响。总体而言，我们的研究表明，对已经脆弱和处境不利的公民自动化自动化的潜在负面影响。

在许多现实世界的背景下，成功的人类合作要求人类有效地将补充信息来源整合到AI信息的决策中。但是，实际上，人类决策者常常缺乏对AI模型与自己有关的信息的了解。关于如何有效沟通不可观察的指南，几乎没有可用的准则：可能影响结果但模型无法使用的功能。在这项工作中，我们进行了一项在线实验，以了解以及如何显式交流潜在相关的不可观念，从而影响人们在做出预测时如何整合模型输出和无法观察到的。我们的发现表明，提示有关不可观察的提示可以改变人类整合模型输出和不可观察的方式，但不一定会改善性能。此外，这些提示的影响可能会根据决策者的先前领域专业知识而有所不同。我们通过讨论对基于AI的决策支持工具的未来研究和设计的影响来结束。

工人花费大量时间学习如何做出正确的决定。但是，评估给定决策的功效可能很复杂 - 例如，决策结果通常是长期的，并且以复杂的方式与原始决策有关。令人惊讶的是，即使学习良好的决策策略很困难，它们通常可以以简单明了的形式表达。为了关注顺序决策，我们设计了一种新颖的机器学习算法，该算法能够从跟踪数据中提取“最佳实践”，并以可解释的“提示”的形式向人类传达其见解。我们的算法选择了最能弥合人类工人所采取的行动与最佳政策所采取的行动之间差距的提示，以说明行动对实现更高绩效的影响的方式。我们通过一系列参与者管理虚拟厨房的一系列随机对照实验来评估我们的方法。我们的实验表明，我们算法产生的提示可以显着改善相对于直观基准的人类性能。此外，我们讨论了许多经验见解，这些见解可以帮助告知针对人类界面的算法设计。例如，我们发现参与者不仅盲目地遵循我们的技巧的证据。相反，他们将他们与自己的经验结合在一起，以发现改善性能的其他策略。

Objectives: Discussions of fairness in criminal justice risk assessments typically lack conceptual precision. Rhetoric too often substitutes for careful analysis. In this paper, we seek to clarify the tradeoffs between different kinds of fairness and between fairness and accuracy.Methods: We draw on the existing literatures in criminology, computer science and statistics to provide an integrated examination of fairness and accuracy in criminal justice risk assessments. We also provide an empirical illustration using data from arraignments.Results: We show that there are at least six kinds of fairness, some of which are incompatible with one another and with accuracy.Conclusions: Except in trivial cases, it is impossible to maximize accuracy and fairness at the same time, and impossible simultaneously to satisfy all kinds of fairness. In practice, a major complication is different base rates across different legally protected groups. There is a need to consider challenging tradeoffs.

业务分析（BA）的广泛采用带来了财务收益和提高效率。但是，当BA以公正的影响为决定时，这些进步同时引起了人们对法律和道德挑战的不断增加。作为对这些关注的回应，对算法公平性的新兴研究涉及算法输出，这些算法可能会导致不同的结果或其他形式的对人群亚组的不公正现象，尤其是那些在历史上被边缘化的人。公平性是根据法律合规，社会责任和效用是相关的；如果不充分和系统地解决，不公平的BA系统可能会导致社会危害，也可能威胁到组织自己的生存，其竞争力和整体绩效。本文提供了有关算法公平的前瞻性，注重BA的评论。我们首先回顾有关偏见来源和措施的最新研究以及偏见缓解算法。然后，我们对公用事业关系的详细讨论进行了详细的讨论，强调经常假设这两种构造之间经常是错误的或短视的。最后，我们通过确定企业学者解决有效和负责任的BA的关键的有影响力的公开挑战的机会来绘制前进的道路。

解释已被框起来是更好，更公平的人类决策的基本特征。在公平的背景下，这一点尚未得到适当的研究，因为先前的工作主要根据他们对人们的看法的影响进行了评估。但是，我们认为，要促进更公正的决定，它们必须使人类能够辨别正确和错误的AI建议。为了验证我们的概念论点，我们进行了一项实证研究，以研究解释，公平感和依赖行为之间的关系。我们的发现表明，解释会影响人们的公平感，这反过来又影响了依赖。但是，我们观察到，低公平的看法会导致AI建议的更多替代，无论它们是正确还是错。这（i）引起了人们对现有解释对增强分配公平性的有用性的怀疑，并且（ii）为为什么不必将感知作为适当依赖的代理而被混淆的重要案例。

机器学习显着增强了机器人的能力，使他们能够在人类环境中执行广泛的任务并适应我们不确定的现实世界。机器学习各个领域的最新作品强调了公平性的重要性，以确保这些算法不会再现人类的偏见并导致歧视性结果。随着机器人学习系统在我们的日常生活中越来越多地执行越来越多的任务，了解这种偏见的影响至关重要，以防止对某些人群的意外行为。在这项工作中，我们从跨学科的角度进行了关于机器人学习公平性的首次调查，该研究跨越了技术，道德和法律挑战。我们提出了偏见来源的分类法和由此产生的歧视类型。使用来自不同机器人学习域的示例，我们研究了不公平结果和减轻策略的场景。我们通过涵盖不同的公平定义，道德和法律考虑以及公平机器人学习的方法来介绍该领域的早期进步。通过这项工作，我们旨在为公平机器人学习中的开创性发展铺平道路。

随着人工智能的兴起，算法已经变得更好地从培训数据中学习基本模式，包括基于性别，种族等基于性别的社会偏见。部署此类算法对招聘，医疗保健，执法等领域的部署已经提高了严重的领域。对机器学习算法中的公平，问责制，信任和解释性的关注。为了减轻这个问题，我们提出了D-Bias，这是一种视觉交互式工具，它体现了人类在循环AI方法，以审核和减轻表格数据集的社交偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系，并作为注入域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平指标来检测对群体（例如女性或亚组）的偏见。此后，用户可以通过在不公平的因果边缘作用来减轻偏见。对于每种相互作用，例如弱化/删除有偏见的因果边缘，系统使用一种新方法来模拟基于当前因果模型的新（cla依）数据集。用户可以在视觉上评估其相互作用对不同公平指标，公用事业指标，数据失真和基础数据分布的影响。一旦满足，他们就可以下载依据的数据集并将其用于任何下游应用程序以进行更公正的预测。我们通过对3个数据集进行实验以及一项正式的用户研究来评估D偏差。我们发现，与不同公平指标的基线偏差方法相比，D偏差有助于显着降低偏差，同时几乎没有数据失真和效用较小的损失。此外，我们基于人类的方法极大地超过了关于信任，解释性和问责制的自动方法。

Teaser: How seemingly trivial experiment design choices to simplify the evaluation of human-ML systems can yield misleading results.

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

机器学习（ML）越来越多地用于支持高风险的决策，这是由于其相对于人类评估的优势预测能力的承诺而欠的趋势。但是，决策目标与观察到的作为训练ML模型的标签的结果中捕获的内容之间经常存在差距。结果，机器学习模型可能无法捕获决策标准的重要维度，从而阻碍了他们的决策支持。在这项工作中，我们探讨了历史专家决策作为组织信息系统中通常可用的丰富（但不完美）的信息来源，并表明它可以利用它来弥合决策目标与算法目标之间的差距。当数据中的每个案例都由单个专家评估并提出基于影响函数的方法作为解决此问题的解决方案时，我们会间接考虑估计专家一致性的问题。然后，我们将估计的专家一致性通过培训时间标签合并方法纳入预测模型。这种方法使ML模型可以在有推断的专家一致性和观察标签的情况下向专家学习。我们还提出了通过混合和延期模型来利用推断一致性的替代方法。在我们的经验评估中，专注于儿童虐待热线筛查的背景下，我们表明（1）有一些高风险案例，其风险是专家考虑的，但在目标标签中没有完全捕获用于培训已部署模型和培训的目标标签（2）提出的方法可显着提高这些情况的精度。

Prior work has identified a resilient phenomenon that threatens the performance of human-AI decision-making teams: overreliance, when people agree with an AI, even when it is incorrect. Surprisingly, overreliance does not reduce when the AI produces explanations for its predictions, compared to only providing predictions. Some have argued that overreliance results from cognitive biases or uncalibrated trust, attributing overreliance to an inevitability of human cognition. By contrast, our paper argues that people strategically choose whether or not to engage with an AI explanation, demonstrating empirically that there are scenarios where AI explanations reduce overreliance. To achieve this, we formalize this strategic choice in a cost-benefit framework, where the costs and benefits of engaging with the task are weighed against the costs and benefits of relying on the AI. We manipulate the costs and benefits in a maze task, where participants collaborate with a simulated AI to find the exit of a maze. Through 5 studies (N = 731), we find that costs such as task difficulty (Study 1), explanation difficulty (Study 2, 3), and benefits such as monetary compensation (Study 4) affect overreliance. Finally, Study 5 adapts the Cognitive Effort Discounting paradigm to quantify the utility of different explanations, providing further support for our framework. Our results suggest that some of the null effects found in literature could be due in part to the explanation not sufficiently reducing the costs of verifying the AI's prediction.

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

“算法公平性”的新兴领域提供了一种用于推理算法预测和决策的公平的一组新颖的方法。甚至作为算法公平已经成为提高域名在此类公共政策中平等的努力的突出成分，它也面临着显着的限制和批评。最基本的问题是称为“公平性不可能”的数学结果（公平的数学定义之间的不相容性）。此外，满足公平标准的许多算法实际上加剧了压迫。这两个问题呼吁质疑算法公平是否可以在追求平等中发挥富有成效的作用。在本文中，我将这些问题诊断为算法公平方法的乘积，并提出了该领域的替代路径。 “正式算法公平”的主导方法遭受了基本限制：它依赖于狭窄的分析框架，这些分析框架仅限于特定决策过程，孤立于这些决定的背景。鉴于这种缺点，我借鉴了法律和哲学的实质性平等的理论，提出了一种替代方法：“实质性算法公平。”实质性算法公平性采用更广泛的范围来分析公平性，超出特定决策点，以考虑社会等级，以及算法促进的决策的影响。因此，实质性算法公平表明，改革，使压迫压迫和逃避公平的不可能性。此外，实质性算法公平呈现出算法公平领域的新方向：远离“公平性”的正式数学模型，并朝着算法促进平等的实质性评估。

这项工作旨在将有效性考虑到有关是否以及如何在高风险域中构建数据驱动算法的审议。为此，我们将关键概念从有效性理论转化为预测算法。我们描述了问题制定和数据问题中的共同挑战，这些问题危害了预测算法的有效性。我们将这些问题提炼成一系列高级问题，旨在促进和记录有关预测任务和数据适用性的合法性的思考。这项贡献为共同设计有效性协议的基础与现实世界中的利益相关者合作，包括决策者，建模者和潜在影响社区的成员，以严格评估数据驱动的算法的特定设计的合理性和使用系统。