机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
我们应用数值方法结合有限差分时域(FDTD)模拟,利用新颖的多保真高斯过程方法,利用五维参数空间上的多目标品质因数优化等离子体镜面滤色器的传输特性。我们将这些结果与传统的无导数全局搜索算法进行比较,例如(单保真)高斯过程优化方案和粒子群优化 - 纳米光子学社区中常用的方法,这是在Lumerical商业光子学软件中实现的。我们在几个预先收集的现实数据集上展示了各种数值优化方法的性能,并表明通过廉价模拟适当地交易廉价信息源,可以更有效地优化具有固定预算的传输属性。
translated by 谷歌翻译
当出现具有不同成本的多个相互依赖的信息源时,我们如何有效地收集信息以优化未知功能?例如,在优化机器人系统时,智能地交换计算机模拟和真实的机器人测试可以带来显着的节省。现有方法,例如基于多保真GP-UCB或基于熵搜索的方法,或者对不同保真度的交互作出简单假设,或者使用缺乏理论保证的简单启发法。在本文中,我们研究多保真贝叶斯优化与多输出之间的复杂结构依赖关系,并提出了MF-MI-Greedy,这是一个解决这个问题的原理算法框架。特别是,我们使用基于共享潜在结构的加性高斯过程来模拟不同的保真度。目标函数。然后,我们使用成本敏感的互信息增益进行有效的贝叶斯全局优化。我们提出一个简单的遗憾概念,其中包含不同保真度的成本,并证明MF-MI-Greedy实现了低度遗憾。我们在合成数据集和真实数据集上展示了我们算法的强大经验性能。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
我们从组合搜索空间的演示中研究了学习良好搜索策略的问题。我们提出了回顾性模仿学习,在经过专家的初步培训后,通过学习自己的回顾性解决方案来提高自身。也就是说,当策略在出错和回溯后最终在搜索树中达到可行的解决方案时,它会通过删除回溯来建立一个改进的搜索跟踪到解​​决方案,然后用于进一步训练策略。我们的方法的一个关键特征是它可以迭代地扩展或转移到比最初的专家演示更大的问题尺寸,从而大大扩展其适用性,超越传统的模仿学习。 Weshowes我们的方法在两个任务上的有效性:合成mazesolving和基于整数程序的风险感知路径规划。
translated by 谷歌翻译
即插即用(PnP)是一种非凸面框架,它将现代化的先驱(如BM3D或基于深度学习的降噪器)集成到ADMM或其他近端算法中。 PnP的一个优点是,当没有足够的数据进行端到端训练时,可以使用预训练的加速器。尽管最近已经广泛研究了PNP并取得了很大的经验成功,但理论分析甚至解决了最基本的收敛问题。在本文中,我们理论上建立了PNP-FBS和PnP-ADMM的收敛,在一定的Lipschitz条件下,在降噪器上不使用递减步长。然后我们提出真实的光谱正态化,这是一种训练基于深度学习的降噪器的技术,以满足所提出的Lipschitz条件。最后,我们提出验证该理论的实验结果。
translated by 谷歌翻译
由于不准确的检测和识别,自主车辆可能做出错误的决定。因此,智能车辆可以将自己的数据与其他车辆相结合,提高感知能力,从而提高检测精度和驾驶安全性。然而,多车协同感知要求现实世界场景的整合和原始传感器数据交换的流量远远超过现有车载网络的带宽。据我们所知,我们是第一个对原始数据级合作感知进行研究的人。提高自驾系统的检测能力。在这项工作中,依靠LiDAR 3D点云,我们完成了从连接车辆的不同位置和角度收集的传感器数据。提出了一种基于点云的三维物体检测方法,用于对齐点云的多样性。 KITTI和我们收集的数据集的实验结果表明,所提出的系统通过扩展感知区域优于感知,提高了检测精度并促进了增强结果。最重要的是,我们证明可以通过现有的车载网络技术传输用于协作感知的pointclouds数据。
translated by 谷歌翻译
引入内在奖励来模拟人类智能如何运作,这通常通过内在动机的游戏来评估,即没有外在奖励的游戏,但是用外在奖励进行评估。然而,在这种非常具有挑战性的内在动机游戏环境下,现有的内在奖励方法都不能达到人类水平的表现。在这项工作中,我们提出了一种新颖的狂妄自大驱动的内在奖励(大奖励),据我们所知,这是第一种在内在动机游戏中实现可比较的人类表现的方法。超级奖励的出发来自于婴儿的智力在他们试图获得对环境中的实体的更多控制时的发展;因此,超级奖励旨在最大化特定环境中代理人的实体控制能力。为了形成大型奖励,提出了一种关系转换模型来弥合直接控制和潜在控制之间的差距。实验研究表明,超级奖励可以(i)大大超越最先进的内在奖励方法,(ii)通常达到与Ex-PPO和专业人类级别得分相同的表现水平; (iii)在与外在进展相结合时也具有优越的表现。
translated by 谷歌翻译
图神经网络(GNNs)受到越来越多的关注,部分归功于它们在许多节点和图形分类任务中的优越性能。然而,对于它们的学习和学习图形功能的复杂性缺乏了解。在这项工作中,我们首先提出了图形特征网络(GFN),一个简单的轻量级神经网络,在一组图形增强特征上定义。然后,我们建议将图形分类上的GNN解剖为两部分:1)图形过滤,其中执行基于图形的邻域聚合;以及2)集合函数,其中组成一组隐藏节点特征用于预测。为了分别测试这两个部分的重要性,我们通过线性化GNN的图形过滤部分来证明和利用GFN可以导出的连接。根据经验,我们对常见的图表分类基准进行了评估。令我们惊讶的是,我们发现,尽管有简化,但GFN可以匹配或超过最近提出的GNN产生的最佳精度,只需要一小部分计算成本。我们的结果为GNN学习的功能和当前评估它们的基准提供了新的视角。
translated by 谷歌翻译
机器学习和计算机科学中的许多凸问题共享相同的形式:\ begin {align *} \ min_ {x} \ sum_ {i} f_i(A_i x + b_i),\ end {align *}其中$ f_i $是凸函数on $ \ mathbb {R} ^ {n_i} $,常数为$ n_i $,$ A_i \ in \ mathbb {R} ^ {n_i \ times d} $,$ b_i \ in \ mathbb {R} ^ {n_i} $和$ \ sum_i n_i = n $。这个问题推广了线性规划,包括许多问题,经验风险最小化。在本文中,我们给出了一个运行intime \ begin {align *}的算法O ^ *((n ^ {\ omega} + n ^ {2.5 - \ alpha / 2} + n ^ {2+ 1/6}) \ log(n / \ delta))\ end {align *}其中$ \ omega $是matrixmultiplication的指数,$ \ alpha $是矩阵乘法的双指数,$ \ delta $是相对精度。请注意,运行时只对条件数或其他数据相关参数具有对数依赖性,并且这些参数在$ \ delta $中捕获。对于当前绑定的$ \ omega \ sim 2.38 $ [Vassilevska Williams'12,Le Gall'14]和$ \ alpha \ sim 0.31 $ [Le Gall,Urrutia'18],我们的运行时$ O ^ *(n ^ {\ omega} \ log(n / \ delta))$匹配当前最佳解决密集最小二乘回归问题,这是我们考虑的问题的一个特例。最近,[Alman'18]证明了目前所有已知的技术都无法提供低于$ 2.168 $的更好的$ \ omega $,这比$ 2 + 1/6 $更大。我们的结果推广了当前矩阵乘法时间[Cohen,Lee,Song'19]中线性程序的最新结果,以解决更广泛的问题。我们的算法提出了两个与[Cohen,Lee,Song'19]不同的概念:$ \ bullet $我们给出一个鲁棒的确定性中心路径方法,而前一个是随机中心路径,它通过randomsparse向量更新权重。 $ \ bullet $我们提出了一种有效的数据结构,即使权重更新向量密集,也能维持内点方法的中心路径。
translated by 谷歌翻译