AdaNet是一个基于TensorFlow的轻量级(Abadi等,2015)框架,可以自动学习高质量的集合,只需要很少的专家干预。我们的框架受到AdaNet算法的启发(Cortes等,2017),它融合了神经网络的结构作为子网的集合。我们将其设计为:(1)与现有的TensorFlow生态系统集成,(2)可提供的默认搜索空间,以便在新数据集上表现良好;(3)提供灵活的API以在可用时利用专家信息,以及(4)通过分布式CPU有效加速培训,GPU和TPU硬件。代码isopen-source,可从以下网址获得:https://github.com/tensorflow/adanet。
translated by 谷歌翻译
寻找最佳的神经网络架构需要大量的时间,资源和人力资源。这些挑战部分地通过自然架构搜索(NAS)来解决,其能够找到最佳卷积层或小区,然后将其用作网络的构建块。但是,一旦找到一个好的构建块,仍然需要手动设计将最终体系结构组合为在预定义参数预算约束下的多个块的组合。常见的解决方案是将这些块堆叠到单个塔中并调整宽度和深度以填充参数预算。然而,这些单塔架构可能不是最佳的。相反,在本文中,我们提出了AdaNAS算法,它使用集合技术将神经网络自动组合成一个较小网络的集合。此外,我们引入了一种基于知识蒸馏的新技术,使用以前的集合作为教师来训练较小的网络。我们的实验表明,网络集合可以在单个神经网络上提高准确性,同时保持相同数量的参数。我们的模型与最先进的onCIFAR-10实现了可比较的结果,并在CIFAR-100上树立了最新的先进技术。
translated by 谷歌翻译
机器学习(ML)系统扩大社会不公平和不公平的可能性越来越受到人们的欢迎和学术界的关注。近期工作的激增主要集中在开发算法工具以评估和减轻这种不公平性。但是,如果这些工具要对工业实践产生积极影响,那么通过了解现实世界的需求来了解其设计至关重要。通过35次半结构式访谈和267名ML从业者的匿名调查,我们首次系统地调查了商业产品团队面临的挑战和需求,以支持不公平的ML系统。我们确定了行业从业者所面临的挑战与公平的ML研究文献中提出的解决方案之间的一致性和脱节。基于这些发现,我们强调了未来ML和HCI研究的指导,这些研究将更好地解决行业实践者的需求。
translated by 谷歌翻译
机密文本语料库以多种形式存在,但不允许任意共享。我们将探讨如何使用隐私保护文本分析来使用此类私有语料库。我们使用适当的隐私保护技术(包括同态加密,Rademacher运算符和安全计算)构建典型的文本处理应用程序。我们从Rademacher运算符中为二元分类器设置了初步材料,然后构造了基本文本处理方法来匹配这些二元分类器。
translated by 谷歌翻译
数字助理的许多流行形式因素 - 例如Amazon Echo,AppleHomepod或Google Home ---使用户能够仅基于语音模式与辅助对话进行对话。缺少用户可以阅读文本或观看支持图像或视频的屏幕呈现出独特的挑战。为了满足用户的信息需求,我们认为答案的呈现需要针对这种仅语音交互进行优化。在本文中,我们提出了一项评估韵律修改有用性的任务,目的是仅提供语音问题。我们描述了acrowd-sourcing设置,我们从多个维度评估这些修改的质量,这些维度对应于用户的信息性,自然性和可用性,以识别答案的关键部分。此外,我们提出了一组简单的韵律修改,使用各种声学提示突出了答案的重要部分。
translated by 谷歌翻译
我们考虑马尔可夫决策过程中的非政策评估问题。非政策评估的任务是使用不同的行为政策生成的数据评估一个政策的预期回报。重要性评估是一种用于非政策评估的技术,可以重新调整政策后的重量,以解决两种政策之间回报可能性的差异。在本文中,我们使用估计行为策略研究重要性抽样,其中行为策略估计来自用于计算重要性抽样估计的相同数据集。我们发现,与使用真实行为策略的重要性抽样或使用从单独数据集估计的行为策略相比,此策略通常会降低非政策评估的均方误差。我们的实证结果也扩展到重要抽样的其他流行变体,并表明即使真正的行为政策是马尔可夫,估计非马尔可夫行为政策也可以进一步降低均方误差。
translated by 谷歌翻译
目前,没有标准的方法来确定数据集的创建方式,以及它所代表的特征,动机和潜在的偏差。为了解决这个问题,我们提出了数据集数据表的概念,与公共数据集一起使用的ashort文档,商业API和预训练模型。该提案的目标是在创建者和用户之间实现更好的沟通,并帮助AI社区实现更大的透明度和问责制。通过类比,在计算机硬件中,从最简单的组件(例如电阻器)到最复杂的微处理器芯片,它已成为行业标准,数据表包括标准操作特性,测试结果,推荐用法和其他信息。我们概述了数据表中数据表应该回答的一些问题。这些问题集中在收集训练数据的时间,地点和方式,推荐的用例,以及以人为中心的数据集中,关于受试者的人口统计和适用的同意的信息。我们开发了两个知名数据集的数据表原型:The Wild中的Labeled Faces和Pang \和Lee Polarity Dataset。
translated by 谷歌翻译
我们提出了一种在二元分类设置中实现公平性的系统方法。虽然我们专注于两个众所周知的公平性定量定义,但我们的方法包含许多其他先前研究过的定义作为特殊情况。关键思想是将公平分类减少到成本敏感的分类问题序列,其解决方案产生具有受期望约束的最低(经验)误差的随机分类器。我们引入了两个缩减,它们适用于对成本敏感的分类器的任何表示,并且与各种数据集的先前基线相比有利,同时克服了它们的一些缺点。
translated by 谷歌翻译
尽管有关创建可解释的机器学习方法的文献越来越多,但很少有关于它们对最终用户的影响的实验研究。我们提出了一系列大规模,随机,预注册的实验,其中参与者被展示出功能相同的模型,这些模型仅在影响可解释性的两个因素中变化:输入特征的数量和模型透明度(清晰或黑盒子)。显示具有少量特征的清晰模型的参与者能够更好地模拟模型的预测。然而,与操纵可解释性时的预期相反,我们发现在不同条件下多种信任度量没有显着差异。更令人惊讶的是,增加的透明度阻碍了人们在模型犯错误时发现的能力。这些发现强调了研究如何向人们呈现模型以及凭经验验证可解释模型对最终用户实现其预期效果的重要性。
translated by 谷歌翻译
对于自治代理人来说,执行不良政策可能代价高昂或极其危险。对于这样的代理,期望在不执行所述策略的情况下确定任何给定策略的性能的置信区间下限。当前用于使用重要性采样的精确高可信度非策略评估的方法需要大量数据来实现更低的限制。现有的基于模型的方法仅解决离散状态空间中的问题。由于精确界限对于许多域而言是难以处理的,因此我们对非常有效的近似界限进行严格的安全保证。在此背景下,我们提出了两种自举离开策略评估方法,这些方法使用学习的MDP转换模型,以便在连续和离散状态空间中使用有限数据估计政策性能的较低置信界限。由于模型的直接使用可能会引入偏差,因此我们推导出模型偏差的理论上限,当模型转换函数用i.i.d估算时。轨迹。这种限制拓宽了我们对基于模型的方法具有高偏差的条件的理解。最后,我们对所提出的方法进行了评估,并分析了不同的自举离开策略置信区间方法成功和失败的设置。
translated by 谷歌翻译