Metric Elicitation (ME) is a framework for eliciting classification metrics that better align with implicit user preferences based on the task and context. The existing ME strategy so far is based on the assumption that users can most easily provide preference feedback over classifier statistics such as confusion matrices. This work examines ME, by providing a first ever implementation of the ME strategy. Specifically, we create a web-based ME interface and conduct a user study that elicits users' preferred metrics in a binary classification setting. We discuss the study findings and present guidelines for future research in this direction.

度量启发是最新的框架，用于启发分类性能指标，可以根据任务和上下文最好地反映隐性用户偏好。但是，可用的启发策略仅限于预测率的线性（或准线性）函数，这实际上对包括公平性在内的许多应用可能是限制的。本文制定了一种策略，以引发由二次功能定义的更灵活的多类指标，旨在更好地反映人类的偏好。我们展示了它在启发基于二次违规的集体 - fair量指标中的应用。我们的策略仅需要相对的偏好反馈，对噪声是强大的，并且达到了近乎最佳的查询复杂性。我们将此策略进一步扩展到启发多项式指标，从而扩大了用例以进行度量启发。

随着AI系统表现出越来越强烈的预测性能，它们的采用已经在许多域中种植。然而，在刑事司法和医疗保健等高赌场域中，由于安全，道德和法律问题，往往是完全自动化的，但是完全手工方法可能是不准确和耗时的。因此，对研究界的兴趣日益增长，以增加人力决策。除了为此目的开发AI技术之外，人民AI决策的新兴领域必须采用实证方法，以形成对人类如何互动和与AI合作做出决定的基础知识。为了邀请和帮助结构研究努力了解理解和改善人为 - AI决策的研究，我们近期对本课题的实证人体研究的文献。我们总结了在三个重要方面的100多篇论文中的研究设计选择：（1）决定任务，（2）AI模型和AI援助要素，以及（3）评估指标。对于每个方面，我们总结了当前的趋势，讨论了现场当前做法中的差距，并列出了未来研究的建议。我们的调查强调了开发共同框架的需要考虑人类 - AI决策的设计和研究空间，因此研究人员可以在研究设计中进行严格的选择，研究界可以互相构建并产生更广泛的科学知识。我们还希望这项调查将成为HCI和AI社区的桥梁，共同努力，相互塑造人类决策的经验科学和计算技术。

深度神经网络（DNN）在解释图像数据方面取得了令人印象深刻的进步，因此可以在某种程度上可以在某种程度上使用它们，以在自动驾驶（例如自动驾驶）中使用它们。从道德的角度来看，AI算法应考虑到街道上的物体或受试者的脆弱性，范围从“完全没有”，例如这条路本身，是行人的“高脆弱性”。考虑到这一点的一种方法是定义一个语义类别与另一个语义类别的混淆成本，并使用基于成本的决策规则来解释概率，即DNN的输出。但是，如何定义成本结构是一个开放的问题，应该负责谁来执行此操作，从而定义了AI-Algorithms实际上将“看到”。作为一个可能的答案，我们遵循一种参与式方法，并建立在线调查，要求公众定义成本结构。我们介绍了调查设计和获取的数据以及评估，该评估还区分了视角（汽车乘客与外部交通参与者）和性别。使用基于仿真的$ f $检验，我们发现两组之间存在很大的显着差异。这些差异对在与自动驾驶汽车的安全临界距离内的可靠检测有后果。我们讨论与这种方法相关的道德问题，并从心理学的角度讨论了从人机相互作用到调查出现的问题。最后，我们在AI安全领域的行业领导者对基于调查的元素在自动驾驶中的AI功能设计中的适用性进行了评论。

机器学习（ML）方法可以有效地分析数据，识别其中的模式并做出高质量的预测。良好的预测通常与无法以人类可读的方式呈现检测到的模式一起进行。技术发展最近导致了可解释的人工智能（XAI）技术，旨在打开此类黑盒，并使人类能够从检测到的模式中获得新的见解。我们研究了XAI在特定见解可能对消费者行为产生重大影响的领域，即用电。知道对个人电力消耗的特定反馈触发了资源保护，我们从电力消耗时间序列中创建了五个可视化，考虑到现有的特定领域的设计知识，从电力消耗时间序列中获得了五个可视化。我们对152名参与者进行的实验评估表明，人类可以通过XAI可视化表现出的模式来吸收，但是这种可视化应遵循已知的可视化模式，以便用户妥善理解。

主动学习允许使用更少的标签培训机器学习模型，同时保持与传统监督学习相似的性能。活跃的学习者选择最有用的数据点，请求其标签并进行重新训练。尽管这种方法很有希望，但它提出了一个问题，即如何确定模型何时“足够好”，而没有传统评估所需的其他标签。以前，已经提出了不同的停止标准，以确定最佳的停止点。然而，最优性只能表示为准确性和标签数量之间的域依赖性权衡，并且在所有应用中，没有任何标准均优越。作为进一步的并发症，对特定现实世界应用程序的标准进行比较将要求从业者收集其目标的其他标记数据，以避免使用主动学习。这项工作使从业人员可以通过提供可行的建议来采用积极的学习，以便为给定的现实世界中最好的停止标准。我们对基于池的主动学习的停止标准进行了第一个大规模比较，使用成本度量来量化我们评估的所有停止标准的准确性/标签权衡，公开实施以及评估停止停止的开源框架标准。我们的研究使从业人员能够利用最适合其领域的停止标准，从而大大降低标签成本。

现实世界的语义或基于知识的系统，例如在生物医学领域，可能会变得大而复杂。因此，对此类系统知识库中故障的本地化和修复的工具支持对于它们的实际成功至关重要。相应地，近年来提出了许多知识库调试方法，尤其是基于本体的系统。基于查询的调试是一种相似的交互式方法，它通过向知识工程师提出一系列问题来定位观察到的问题的真正原因。存在这种方法的具体实现，例如本体论编辑器的OntodeBug插件prof \'eg \'e。为了验证新提出的方法比现有方法有利，研究人员通常依靠基于模拟的比较。但是，这种评估方法有一定的局限性，并且通常无法完全告知我们方法的真实性。因此，我们进行了不同的用户研究，以评估基于查询的本体调试的实际价值。研究的一个主要见解是，所考虑的交互方法确实比基于测试案例的替代算法调试更有效。我们还观察到，用户经常在此过程中犯错误，这突出了对用户需要回答的查询的仔细设计的重要性。

自动错误通常涉及培训数据和学习过程，调试机器学习模型很难。如果我们没有关于模型如何实际工作的线索，这变得更加困难。在这项调查中，我们审查了利用解释的论文使人类提供反馈和调试NLP模型。我们称这个问题解释为基础的人类调试（EBHD）。特别是，我们沿着EBHD的三个维度（错误上下文，工作流程和实验设置）分类和讨论现有工作，编译EBHD组件如何影响反馈提供商的调查结果，并突出可能是未来的研究方向的打开问题。

Teaser: How seemingly trivial experiment design choices to simplify the evaluation of human-ML systems can yield misleading results.

概率模型告知越来越广泛的商业和政策决策最终是人们的。最近的算法，计算和软件框架开发进步促进了贝叶斯概率模型的扩散，其通过其联合分布而不是点估计来表征未观察的参数。虽然他们可以授权决策者探索复杂的查询并在理论上执行什么样式的调理，因此需要适当的可视化和交互式工具来最大化用户的理解和理性决策在不确定性下。在本文中，提出了一种对贝叶斯模型的定量评估的协议，并引入实现该协议的软件框架，以支持评估实践中的标准化，并促进再现性。我们说明了对用户学习的评估和分析工作流程，探讨了制作Boxpots和假设结果情节互动可以增加理解或合理性，并在未来寻求进行类似研究的研究人员的设计指导方针得出。

As machine learning algorithms start to get integrated into the decision-making process of companies and organizations, insurance products are being developed to protect their owners from liability risk. Algorithmic liability differs from human liability since it is based on a single model compared to multiple heterogeneous decision-makers and its performance is known a priori for a given set of data. Traditional actuarial tools for human liability do not take these properties into consideration, primarily focusing on the distribution of historical claims. We propose, for the first time, a quantitative framework to estimate the risk exposure of insurance contracts for machine-driven liability, introducing the concept of algorithmic insurance. Specifically, we present an optimization formulation to estimate the risk exposure of a binary classification model given a pre-defined range of premiums. We adjust the formulation to account for uncertainty in the resulting losses using robust optimization. Our approach outlines how properties of the model, such as accuracy, interpretability, and generalizability, can influence the insurance contract evaluation. To showcase a practical implementation of the proposed framework, we present a case study of medical malpractice in the context of breast cancer detection. Our analysis focuses on measuring the effect of the model parameters on the expected financial loss and identifying the aspects of algorithmic performance that predominantly affect the risk of the contract.

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

Explainable AI (XAI) is widely viewed as a sine qua non for ever-expanding AI research. A better understanding of the needs of XAI users, as well as human-centered evaluations of explainable models are both a necessity and a challenge. In this paper, we explore how HCI and AI researchers conduct user studies in XAI applications based on a systematic literature review. After identifying and thoroughly analyzing 85 core papers with human-based XAI evaluations over the past five years, we categorize them along the measured characteristics of explanatory methods, namely trust, understanding, fairness, usability, and human-AI team performance. Our research shows that XAI is spreading more rapidly in certain application domains, such as recommender systems than in others, but that user evaluations are still rather sparse and incorporate hardly any insights from cognitive or social sciences. Based on a comprehensive discussion of best practices, i.e., common models, design choices, and measures in user studies, we propose practical guidelines on designing and conducting user studies for XAI researchers and practitioners. Lastly, this survey also highlights several open research directions, particularly linking psychological science and human-centered XAI.

机器学习（ML）可解释性技术可以揭示数据中的不良模式，这些模型模型开发以做出预测 - 一旦部署就会​​造成危害。但是，如何采取行动解决这些模式并不总是很清楚。在ML与人类计算机互动研究人员，医师和数据科学家之间的合作中，我们开发了GAM Changer，这是第一个互动系统，可帮助域专家和数据科学家轻松，负责任地编辑通用的添加剂模型（GAM）和修复有问题的模式。借助新颖的交互技术，我们的工具将可解释性置于行动中 - 使用户能够分析，验证和使模型行为与知识和价值相结合。医师已经开始使用我们的工具来调查和修复肺炎和败血症的风险预测模型，以及在不同领域工作的7位数据科学家的评估突出显示我们的工具易于使用，满足他们的模型编辑需求，并适合他们当前的工作流程。我们的工具以现代网络技术为基础，在用户的网络浏览器或计算笔记本电脑中本地运行，从而降低了使用的障碍。 GAM Changer可在以下公共演示链接中获得：https：//interpret.ml/gam-changer。

人类使用未知的相似性函数在未标记的数据集中天生测量实例之间的距离。距离指标只能作为相似实例信息检索相似性的代理。从人类注释中学习良好的相似性功能可以提高检索的质量。这项工作使用深度度量学习来从很少的大型足球轨迹数据集中学习这些用户定义的相似性功能。我们将基于熵的活跃学习方法从三重矿山开采进行了最新的工作，以收集易于招募的人，但仍来自人类参与者提供信息的注释，并利用它们来训练深度卷积网络，以概括为看不见的样本。我们的用户研究表明，与以前依赖暹罗网络的深度度量学习方法相比，我们的方法提高了信息检索的质量。具体而言，我们通过分析参与者的响应效率来阐明被动抽样启发式方法和主动学习者的优势和缺点。为此，我们收集准确性，算法时间的复杂性，参与者的疲劳和时间响应，定性自我评估和陈述以及混合膨胀注释者的影响及其对模型性能和转移学习的一致性。

分析分类模型性能对于机器学习从业人员来说是一项至关重要的任务。尽管从业者经常使用从混乱矩阵中得出的基于计数的指标，例如准确性，许多应用程序，例如天气预测，体育博彩或患者风险预测，但依赖分类器的预测概率而不是预测标签。在这些情况下，从业者关注的是产生校准模型，即输出反映真实分布的模型的模型。通常通过静态可靠性图在视觉上分析模型校准，但是，由于所需的强大聚合，传统的校准可视化可能会遭受各种缺陷。此外，基于计数的方法无法充分分析模型校准。我们提出校准，这是一个解决上述问题的交互性可靠性图。校准构造一个可靠性图，该图表可抵抗传统方法中的缺点，并允许进行交互式子组分析和实例级检查。我们通过在现实世界和合成数据上的用例中证明了校准的实用性。我们通过与常规分析模型校准的数据科学家进行思考实验的结果来进一步验证校准。

本文介绍了一种使用旨在解决现实世界应用中CDSS的低适用性和可扩展性问题的数据驱动的预测模型来构建一致和适用的临床决策支持系统（CDSS）的方法。该方法基于域特定和数据驱动的支持程序的三种特定于域和数据驱动的支持程序，该程序将被纳入临床业务流程，具有更高的信任和预测结果和建议的解释性。在考虑的三个阶段，监管策略，数据驱动模式和解释程序被集成，以实现与决策者的自然域特定的互动，具有智能决策支持焦点的连续缩小。该提出的方法能够实现更高水平的自动化，可扩展性和CDSS的语义解释性。该方法是在软件解决方案中实现的，并在T2DM预测中进行了测试，使我们能够改善已知的临床尺度（例如FindRisk），同时保持与现有应用程序类似的特定问题的推理界面。这种继承与三分阶段的方法一起提供了更高的解决方案兼容性，并导致数据驱动的解决方案在现实案件中的信任，有效和解释应用。

人为决策的合作努力实现超出人类或人工智能表现的团队绩效。但是，许多因素都会影响人类团队的成功，包括用户的领域专业知识，AI系统的心理模型，对建议的信任等等。这项工作检查了用户与三种模拟算法模型的互动，所有这些模型都具有相似的精度，但对其真正的正面和真实负率进行了不同的调整。我们的研究检查了在非平凡的血管标签任务中的用户性能，参与者表明给定的血管是流动还是停滞。我们的结果表明，虽然AI-Assistant的建议可以帮助用户决策，但用户相对于AI的基线性能和AI错误类型的补充调整等因素会显着影响整体团队的整体绩效。新手用户有所改善，但不能达到AI的准确性。高度熟练的用户通常能够识别何时应遵循AI建议，并通常保持或提高其性能。与AI相似的准确性水平的表演者在AI建议方面是最大的变化。此外，我们发现用户对AI的性能亲戚的看法也对给出AI建议时的准确性是否有所提高产生重大影响。这项工作提供了有关与人类协作有关的因素的复杂性的见解，并提供了有关如何开发以人为中心的AI算法来补充用户在决策任务中的建议。

Incivility remains a major challenge for online discussion platforms, to such an extent that even conversations between well-intentioned users can often derail into uncivil behavior. Traditionally, platforms have relied on moderators to -- with or without algorithmic assistance -- take corrective actions such as removing comments or banning users. In this work we propose a complementary paradigm that directly empowers users by proactively enhancing their awareness about existing tension in the conversation they are engaging in and actively guides them as they are drafting their replies to avoid further escalation. As a proof of concept for this paradigm, we design an algorithmic tool that provides such proactive information directly to users, and conduct a user study in a popular discussion platform. Through a mixed methods approach combining surveys with a randomized controlled experiment, we uncover qualitative and quantitative insights regarding how the participants utilize and react to this information. Most participants report finding this proactive paradigm valuable, noting that it helps them to identify tension that they may have otherwise missed and prompts them to further reflect on their own replies and to revise them. These effects are corroborated by a comparison of how the participants draft their reply when our tool warns them that their conversation is at risk of derailing into uncivil behavior versus in a control condition where the tool is disabled. These preliminary findings highlight the potential of this user-centered paradigm and point to concrete directions for future implementations.

越来越多的研究进行了人类主题评估，以研究为用户提供机器学习模型的解释是否可以帮助他们制定实际现实世界中的用例。但是，运行的用户研究具有挑战性且昂贵，因此每个研究通常只评估有限的不同设置，例如，研究通常只评估一些任意选择的解释方法。为了应对这些挑战和援助用户研究设计，我们介绍了用用例的模拟评估（Simevals）。 SIMEVALS涉及培训算法剂，以输入信息内容（例如模型解释），这些信息内容将在人类学科研究中提交给每个参与者，以预测感兴趣的用例的答案。算法代理的测试集精度提供了衡量下游用例信息内容的预测性。我们对三种现实世界用例（正向模拟，模型调试和反事实推理）进行全面评估，以证明Simevals可以有效地确定哪种解释方法将为每个用例提供帮助。这些结果提供了证据表明，Simevals可用于有效筛选一组重要的用户研究设计决策，例如在进行潜在昂贵的用户研究之前，选择应向用户提供哪些解释。