随着机器学习（ML）系统变得越来越普遍，有必要在部署之前审核这些系统的偏见。最近的研究开发了算法，以有效地以可解释的，表现不佳的数据（或切片）的形式有效地识别相互偏见。但是，这些解决方案及其见解是有限的，而没有用于视觉理解和与这些算法结果相互作用的工具。我们提出了Visual Auditor，这是一种交互式可视化工具，用于审核和汇总模型偏差。视觉审核员通过提供可解释的交叉偏差概述（检查由多个功能定义的人群，有问题的数据切片之间的关系以及在模型中表现不佳和表现表现不佳之间的比较之间存在的详细信息）来协助模型验证。我们的开源工具直接在计算笔记本和Web浏览器中运行，使模型审核可访问并易于集成到当前的ML开发工作流中。一项与Fiddler AI的域专家合作的观察用户研究强调，我们的工具可以帮助ML实践者识别和理解模型偏见。
translated by 谷歌翻译
在本文中，我们提出了DendroMap，这是一种新颖的方法，用于互动地探索用于机器学习的大规模图像数据集（ML）。 ML从业人员通常通过使用降低降低技术（例如T-SNE）生成图像的网格或将图像的高维表示分为2-D来探索图像数据集。但是，两种方法都没有有效地扩展到大型数据集，因为图像是无效组织的，并且相互作用不足。为了应对这些挑战，我们通过适应Treemaps（一种众所周知的可视化技术）来开发树突。树突图通过从图像的高维表示中提取层次群集结构来有效地组织图像。它使用户能够理解数据集的整体分布，并在多个抽象级别上进行交互放大到特定的兴趣领域。我们使用广泛使用的图像数据集进行深度学习的案例研究表明，用户可以通过检查图像的多样性，确定表现不佳的子组并分析分类错误，从而发现有关数据集和训练模型的见解。我们进行了一项用户研究，该研究通过将其与T-SNE的网状版本进行比较，评估了树突图在分组和搜索任务中的有效性，并发现参与者更喜欢DendroMap。 DendroMap可在https://div-lab.github.io/dendromap/上获得。
translated by 谷歌翻译
给定数千种同样准确的机器学习（ML）模型，用户如何在其中选择？最近的ML技术使领域专家和数据科学家能够为稀疏决策树生成完整的Rashomon设置，这是一套几乎最理想的可解释的ML模型。为了帮助ML从业者识别具有此Rashomon集合中理想属性的模型，我们开发了Timbertrek，这是第一个交互式可视化系统，该系统总结了数千个稀疏决策树的规模。两种用法方案突出了Timbertrek如何使用户能够轻松探索，比较和策划与域知识和价值观保持一致的模型。我们的开源工具直接在用户的计算笔记本和Web浏览器中运行，从而降低了创建更负责任的ML模型的障碍。Timbertrek可在以下公共演示链接中获得：https：//poloclub.github.io/timbertrek。
translated by 谷歌翻译
随着人工智能的兴起，算法已经变得更好地从培训数据中学习基本模式，包括基于性别，种族等基于性别的社会偏见。部署此类算法对招聘，医疗保健，执法等领域的部署已经提高了严重的领域。对机器学习算法中的公平，问责制，信任和解释性的关注。为了减轻这个问题，我们提出了D-Bias，这是一种视觉交互式工具，它体现了人类在循环AI方法，以审核和减轻表格数据集的社交偏见。它使用图形因果模型来表示数据集中不同特征之间的因果关系，并作为注入域知识的媒介。用户可以通过识别因果网络中的不公平因果关系并使用一系列公平指标来检测对群体（例如女性或亚组）的偏见。此后，用户可以通过在不公平的因果边缘作用来减轻偏见。对于每种相互作用，例如弱化/删除有偏见的因果边缘，系统使用一种新方法来模拟基于当前因果模型的新（cla依）数据集。用户可以在视觉上评估其相互作用对不同公平指标，公用事业指标，数据失真和基础数据分布的影响。一旦满足，他们就可以下载依据的数据集并将其用于任何下游应用程序以进行更公正的预测。我们通过对3个数据集进行实验以及一项正式的用户研究来评估D偏差。我们发现，与不同公平指标的基线偏差方法相比，D偏差有助于显着降低偏差，同时几乎没有数据失真和效用较小的损失。此外，我们基于人类的方法极大地超过了关于信任，解释性和问责制的自动方法。
translated by 谷歌翻译
机器学习（ML）生命周期涉及一系列迭代步骤，从有效的收集和准备数据，包括复杂的特征工程流程，对结果的演示和改进，各种步骤中的各种算法选择。特征工程尤其可以对ML非常有益，导致许多改进，例如提高预测结果，降低计算时间，减少过度噪音，并提高培训期间所采取的决策背后的透明度。尽管如此，虽然存在多个视觉分析工具来监控和控制ML生命周期的不同阶段（特别是与数据和算法相关的阶段），但功能工程支持仍然不足。在本文中，我们提出了FightEnvi，一种专门设计用于协助特征工程过程的视觉分析系统。我们建议的系统可帮助用户选择最重要的功能，将原始功能转换为强大的替代方案，并进行不同的特征生成组合。此外，数据空间切片允许用户探索本地和全局尺度上的功能的影响。 Feationenvi利用多种自动特征选择技术;此外，它目视指导用户有统计证据的关于每个特征的影响（或功能的子集）。最终结果是通过多种验证度量评估的重新设计的重新设计特征。用两种用例和案例研究证明了FeatureenVI的有用性和适用性。我们还向评估我们系统的有效性以及评估我们系统的有效性的观众报告反馈。
translated by 谷歌翻译
在每日新兴科学调查和发现的世界中，跨行业的机器学习的多产推出对于熟悉ML潜力的人来说令人惊讶。这种伦理集中研究的一致性既不是对源于同一申请的偏见和不公平问题的回应而产生的。对抗算法偏差的技术的公平研究现在比以往任何时候都更加支持。大部分公平研究已经开始生产工具，即机器学习从业者可以在设计其算法时审核偏差。尽管如此，在实践中缺乏应用这些公平解决方案。该系统审查提供了已经定义的算法偏置问题的深入摘要，并提出了公平解决空间。此外，本综述提供了对溶液空间的深入崩溃，自释放以来出现的溶液空间以及机器学习从业者，公平研究人员和机构利益攸关方提出的需求的分类。这些需求已经组织并向各方组织并解决了其实施，包括公平研究人员，产生ML算法的组织以及机器学习从业者自己。这些发现可以在未来使用，以弥合从业者和公平专家之间的差距，并告知创建可用的展示展示率工具包。
translated by 谷歌翻译
机器学习（ML）可解释性技术可以揭示数据中的不良模式，这些模型模型开发以做出预测 - 一旦部署就会造成危害。但是，如何采取行动解决这些模式并不总是很清楚。在ML与人类计算机互动研究人员，医师和数据科学家之间的合作中，我们开发了GAM Changer，这是第一个互动系统，可帮助域专家和数据科学家轻松，负责任地编辑通用的添加剂模型（GAM）和修复有问题的模式。借助新颖的交互技术，我们的工具将可解释性置于行动中 - 使用户能够分析，验证和使模型行为与知识和价值相结合。医师已经开始使用我们的工具来调查和修复肺炎和败血症的风险预测模型，以及在不同领域工作的7位数据科学家的评估突出显示我们的工具易于使用，满足他们的模型编辑需求，并适合他们当前的工作流程。我们的工具以现代网络技术为基础，在用户的网络浏览器或计算笔记本电脑中本地运行，从而降低了使用的障碍。 GAM Changer可在以下公共演示链接中获得：https：//interpret.ml/gam-changer。
translated by 谷歌翻译
装袋和升压是在机器学习（ml）中的两个流行的集合方法，产生许多单独的决策树。由于这些方法的固有组合特性，它们通常以预测性能更优于单决定树或其他ML模型。然而，为每个决策树生成许多决定路径，增加了模型的整体复杂性，并阻碍了其在需要值得信赖和可解释的决策的域中的域，例如金融，社会护理和保健。因此，随着决策的数量升高，袋装和升降算法（例如随机森林和自适应升压）的解释性降低。在本文中，我们提出了一种视觉分析工具，该工具旨在帮助用户通过彻底的视觉检查工作流程从这种ML模型中提取决策，包括选择一套鲁棒和不同的模型（源自不同的集合学习算法），选择重要的功能根据他们的全球贡献，决定哪些决定对于全球解释（或本地，具体案件）是必不可少的。结果是基于多个模型的协议和用户出口的探索手动决策的最终决定。最后，我们通过用例，使用场景和用户学习评估患者的适用性和有效性。
translated by 谷歌翻译
使用计算笔记本（例如，Jupyter Notebook），数据科学家根据他们的先前经验和外部知识（如在线示例）合理化他们的探索性数据分析（EDA）。对于缺乏关于数据集或问题的具体了解的新手或数据科学家，有效地获得和理解外部信息对于执行EDA至关重要。本文介绍了eDassistant，一个jupyterlab扩展，支持EDA的原位搜索示例笔记本电脑和有用的API的推荐，由搜索结果的新颖交互式可视化供电。代码搜索和推荐是由最先进的机器学习模型启用的，培训在线收集的EDA笔记本电脑的大型语料库。进行用户学习，以调查埃迪卡斯特和数据科学家的当前实践（即，使用外部搜索引擎）。结果证明了埃迪斯坦特的有效性和有用性，与会者赞赏其对EDA的顺利和环境支持。我们还报告了有关代码推荐工具的几种设计意义。
translated by 谷歌翻译
解释性学者通过手动采样文档，应用代码以及将代码精炼和整理成类别，直到出现有意义的主题，从而从文本语料库中产生知识。鉴于大量的语料库，机器学习可以帮助扩展此数据采样和分析，但先前的研究表明，专家通常关注算法可能破坏或推动解释性奖学金。我们采用以人为本的设计方法来解决围绕机器辅助解释性研究的关注，以构建学术研究，该研究将机器中的集群算法纳入了脚手架解释性文本分析。随着学者将代码应用于文档和完善它们，所得编码的模式用作结构化元数据，该元数据限制了从语料库推断出的层次文档和单词簇。这些集群的交互式可视化可以帮助学者们战略性地对文档进行进一步的洞察力进行洞察力。 Scholastic证明了采用熟悉隐喻的以人为中心的算法设计和可视化如何通过交互式主题建模和文档群集来支持归纳和解释性研究方法。
translated by 谷歌翻译
图形神经网络（GNNS）是一类强大的机器学习工具，可以模拟节点关系，用于制定节点或链接的预测。GNN开发人员依靠预测的定量度量来评估GNN，但类似于许多其他神经网络，他们很难了解GNN是否真正学习如预期的图形的特征。我们提出了一种对应于其节点嵌入（AKA潜像）的输入图的方法，稍后用于预测的GNN的公共组件。我们摘要数据和任务，并开发一个名为corgie的交互式多视图界面，以实例化抽象。作为Corgie的关键功能，我们提出了K-Hop图布局，以显示啤酒花和它们的聚类结构中的拓扑邻居。为了评估Corgie的功能和可用性，我们展示了如何在两种使用情况下使用Corgie，并使用五个GNN专家进行案例研究。
translated by 谷歌翻译
在线众包平台使对算法输出进行评估变得容易，并提出诸如“哪个图像更好，A或B？”之类的问题的调查，在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的，并且可能有害和误导。我们认为，在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性，我们提供了用户体验研究（UXR），人类计算机互动（HCI）和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法（例如，需要调查），但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后，我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到，并非每项研究贡献都需要用户研究，而且根本没有研究比不小心进行的研究更好。
translated by 谷歌翻译
最近在可解释的机器学习中的进展（ML）研究表明，模型利用数据中的不良模式来进行预测，这可能导致部署危害。但是，尚不清楚我们如何解决这些模型。我们介绍了我们正在进行的工作，游戏改变者，一个开源交互式系统，以帮助数据科学家和领域专家轻松且负责任地编辑其广义添加剂模型（Gams）。通过新颖的可视化技术，我们的工具将可解释性投入到行动 - 使人类用户能够分析，验证和对齐模型行为与他们的知识和价值。使用现代Web技术建造，我们的工具在用户的计算笔记本或Web浏览器中在本地运行，而无需额外计算资源，降低屏障以创建更负责的ML模型。Gam更换器可在https://interpret.ml/gam-changer中获得。
translated by 谷歌翻译
在理想的世界中，部署的机器学习模式将增强我们的社会。我们希望这些模型能够提供对每个人受益的无偏见和道德决策。然而，这并非总是如此;问题从数据策核流程到模型的部署时出现。继续使用偏见的数据集和流程将对社区产生不利影响并提高成本来解决问题。在这项工作中，我们通过决策过程，研究人员需要在他们的项目之前，期间和之后考虑研究和社区的更广泛影响。在本文中，我们遵守部署AI往往被忽视的关键决策，争论使用公平取证来发现系统中的偏见和公平问题，请断言负责任的人类循环将问责部署的系统，最后，反思了探索具有有害社会影响的研究议程的必要性。我们检查视觉隐私研究，并绘制可以广泛应用于人工智能的课程。我们的目标是提供对机器学习管道的系统分析，以获得视觉隐私和偏见问题。通过这个管道，我们希望培养利益相关者（例如，研究人员，建模者，公司）意识，因为这些问题在各种机器学习阶段传播。
translated by 谷歌翻译
如今，由于最近在人工智能（AI）和机器学习（ML）中的近期突破，因此，智能系统和服务越来越受欢迎。然而，机器学习不仅满足软件工程，不仅具有有希望的潜力，而且还具有一些固有的挑战。尽管最近的一些研究努力，但我们仍然没有明确了解开发基于ML的申请和当前行业实践的挑战。此外，目前尚不清楚软件工程研究人员应将其努力集中起来，以更好地支持ML应用程序开发人员。在本文中，我们报告了一个旨在了解ML应用程序开发的挑战和最佳实践的调查。我们合成从80名从业者（以不同的技能，经验和应用领域）获得的结果为17个调查结果;概述ML应用程序开发的挑战和最佳实践。参与基于ML的软件系统发展的从业者可以利用总结最佳实践来提高其系统的质量。我们希望报告的挑战将通知研究界有关需要调查的主题，以改善工程过程和基于ML的申请的质量。
translated by 谷歌翻译
机器学习（ML）系统的开发和部署可以用现代工具轻松执行，但该过程通常是匆忙和意思是结束的。缺乏勤奋会导致技术债务，范围蠕变和未对准的目标，模型滥用和失败，以及昂贵的后果。另一方面，工程系统遵循明确定义的流程和测试标准，以简化高质量，可靠的结果的开发。极端是航天器系统，其中关键任务措施和鲁棒性在开发过程中根深蒂固。借鉴航天器工程和ML的经验（通过域名通过产品的研究），我们开发了一种经过验证的机器学习开发和部署的系统工程方法。我们的“机器学习技术准备水平”（MLTRL）框架定义了一个原则的过程，以确保强大，可靠和负责的系统，同时为ML工作流程流线型，包括来自传统软件工程的关键区别。 MLTRL甚至更多，MLTRL为跨团队和组织的人们定义了一个人工智能和机器学习技术的人员。在这里，我们描述了通过生产化和部署在医学诊断，消费者计算机视觉，卫星图像和粒子物理学等领域，以通过生产和部署在基本研究中开发ML方法的几个现实世界使用情况的框架和阐明。
translated by 谷歌翻译
过去十年已经看到人工智能（AI）的显着进展，这导致了用于解决各种问题的算法。然而，通过增加模型复杂性并采用缺乏透明度的黑匣子AI模型来满足这种成功。为了响应这种需求，已经提出了说明的AI（Xai）以使AI更透明，从而提高关键结构域中的AI。虽然有几个关于Xai主题的Xai主题的评论，但在Xai中发现了挑战和潜在的研究方向，这些挑战和研究方向被分散。因此，本研究为Xai组织的挑战和未来的研究方向提出了系统的挑战和未来研究方向：（1）基于机器学习生命周期的Xai挑战和研究方向，基于机器的挑战和研究方向阶段：设计，开发和部署。我们认为，我们的META调查通过为XAI地区的未来探索指导提供了XAI文学。
translated by 谷歌翻译
生成对抗网络（GAN）在许多应用领域中广泛采用，例如数据预处理，图像编辑和创造力支持。但是，GAN的“黑匣子”性质可防止非专家用户控制模型生成的数据，并产生大量的先前工作，该工作集中在算法驱动的方法上，以提取编辑说明以控制GAN。补充，我们提出了一个Ganzilla：用户驱动的工具，该工具使用户能够使用经典的散点/收集技术来迭代地发现指示，以实现其编辑目标。在与12名参与者的一项研究中，Ganzilla用户能够发现（i）编辑图像匹配提供的示例（封闭任务）的说明，并且（ii）遇到了一个高级目标，例如使脸更加快乐，而同时又实现了。显示个人之间的多样性（开放式任务）。
translated by 谷歌翻译
In this chapter, we review and discuss the transformation of AI technology in HCI/UX work and assess how AI technology will change how we do the work. We first discuss how AI can be used to enhance the result of user research and design evaluation. We then discuss how AI technology can be used to enhance HCI/UX design. Finally, we discuss how AI-enabled capabilities can improve UX when users interact with computing systems, applications, and services.
translated by 谷歌翻译
尽管机器学习取得了巨大进步（ML），但数据不平衡的培训仍然在许多现实世界中构成挑战。在解决此问题的一系列不同技术中，采样算法被视为有效的解决方案。但是，问题更为根本，许多作品强调了实例硬度的重要性。这个问题是指管理不安全或可能嘈杂的实例的重要性，这些实例更可能被错误分类并作为分类绩效不佳的根本原因。本文介绍了Hardvis，这是一种视觉分析系统，旨在处理实例硬度，主要在分类场景中。我们提出的系统协助用户在视觉上比较数据类型的不同分布，根据局部特征选择实例类型，这些实例后来将受主动采样方法的影响，并验证来自底漆或过采样技术的建议对ML模型有益。此外，我们允许用户找到和采样轻松且难以对所有课程的培训实例进行分类，而不是统一地采样/过采样。用户可以从不同角度探索数据子集以决定所有这些参数，而HardVis则跟踪其步骤并评估模型在测试集中分别评估模型的预测性能。最终结果是一个均衡的数据集，可增强ML模型的预测能力。通过假设使用情况和用例证明了Hardvis的功效和有效性。最后，我们还研究了系统的有用，基于我们从ML专家那里收到的反馈。
translated by 谷歌翻译