机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
我们应用数值方法结合有限差分时域(FDTD)模拟,利用新颖的多保真高斯过程方法,利用五维参数空间上的多目标品质因数优化等离子体镜面滤色器的传输特性。我们将这些结果与传统的无导数全局搜索算法进行比较,例如(单保真)高斯过程优化方案和粒子群优化 - 纳米光子学社区中常用的方法,这是在Lumerical商业光子学软件中实现的。我们在几个预先收集的现实数据集上展示了各种数值优化方法的性能,并表明通过廉价模拟适当地交易廉价信息源,可以更有效地优化具有固定预算的传输属性。
translated by 谷歌翻译
当出现具有不同成本的多个相互依赖的信息源时,我们如何有效地收集信息以优化未知功能?例如,在优化机器人系统时,智能地交换计算机模拟和真实的机器人测试可以带来显着的节省。现有方法,例如基于多保真GP-UCB或基于熵搜索的方法,或者对不同保真度的交互作出简单假设,或者使用缺乏理论保证的简单启发法。在本文中,我们研究多保真贝叶斯优化与多输出之间的复杂结构依赖关系,并提出了MF-MI-Greedy,这是一个解决这个问题的原理算法框架。特别是,我们使用基于共享潜在结构的加性高斯过程来模拟不同的保真度。目标函数。然后,我们使用成本敏感的互信息增益进行有效的贝叶斯全局优化。我们提出一个简单的遗憾概念,其中包含不同保真度的成本,并证明MF-MI-Greedy实现了低度遗憾。我们在合成数据集和真实数据集上展示了我们算法的强大经验性能。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
我们从组合搜索空间的演示中研究了学习良好搜索策略的问题。我们提出了回顾性模仿学习,在经过专家的初步培训后,通过学习自己的回顾性解决方案来提高自身。也就是说,当策略在出错和回溯后最终在搜索树中达到可行的解决方案时,它会通过删除回溯来建立一个改进的搜索跟踪到解​​决方案,然后用于进一步训练策略。我们的方法的一个关键特征是它可以迭代地扩展或转移到比最初的专家演示更大的问题尺寸,从而大大扩展其适用性,超越传统的模仿学习。 Weshowes我们的方法在两个任务上的有效性:合成mazesolving和基于整数程序的风险感知路径规划。
translated by 谷歌翻译
从不同平台获得的对相同对象的多组测量可以反映所研究系统的部分互补信息。对这些数据集的综合分析不仅为我们提供了更深入理解所研究系统的机会,而且还引入了一些新的统计挑战。首先,在所有或一些数据集中共同的信息分离以及特定于每个数据集的信息是有问题的。此外,这些数据集通常是定量和离散(二进制或类别)数据类型的混合,而常用的数据融合方法要求alldata集是定量的。在本文中,我们提出了一个指数族同时成分分析(ESCA)模型来解决多个数据集的潜在混合数据类型问题。此外,加载矩阵的结构化稀疏模式是通过几乎无偏的组凹入性来诱导的,以解开多个数据集的全局,局部公共和不同信息。基于Majorization-Minimization的算法被推导出所提出的模型。推导出解析解用于在每次迭代中更新模型的所有参数,并且算法将在每次迭代中单调地减少目标函数。对于模型选择,实施基于收益值的交叉验证程序。使用综合模拟以及来自慢性淋巴细胞白血病(CLL)研究的实际数据的分析来评估所提出的方法与其他方法相比的优点。
translated by 谷歌翻译
我们考虑使用随机梯度下降来学习两层神经网络。该学习动力学的平均场描述通过在$ R ^ D $中的概率分布空间的演化来近似网络权重的演化(其中$ D $是与每个神经元相关联的参数的数量)。这种演化可以通过部分微分方程来定义,或者等效地定义为概率分布的Wasserstein空间中的梯度流。早期的工作表明(在一些规律性假设下),一旦隐藏单位的数量远大于维度$ D $,平均字段描述就是准确的。在本文中,我们建立了更强大和更一般的近似保证。首先,我们表明隐藏单元的数量只需要大于依赖于数据规律性的数量,并且与维度无关。接下来,我们将此分析推广到无限激活函数的情况,这是早期边界未涵盖的。我们将结果扩展到噪声随机梯度下降。最后,我们证明了核岭回归可以作为平均场分析的特殊限制来恢复。
translated by 谷歌翻译
深度模型,通常是深度神经网络,具有数百万个参数,准确地分析医疗数据,但这是一种耗时的方法。然而,能源成本效率和计算效率对于开发和部署移动设备的先决条件非常重要,这是连接医疗保健领域的主流趋势。
translated by 谷歌翻译
分解机器(FM)是一种流行的机器学习模型,用于捕获二阶特征交互。 FM及其广义版本的最佳学习保证尚未开发。对于$ d $维度输入的$ k $广义FM,先前最着名的采样复杂度是高斯分布下的$ \ mathcal {O} [k ^ {3} d \ cdot \ mathrm {polylog}(kd)] $与信息理论下限$ \ mathcal {O}(kd)$相比,这个界限是次优的。在这项工作中,我们的目标是收紧这种对optimaland的界限,将分析推广到亚高斯分布。我们证明,当输入数据满足所谓的$ \ tau $ -Moment Invertible Property时,广义FM的采样复杂度可以提高到$ \ mathcal {O} [k ^ {2} d \ cdot \ mathrm {polylog}( KD)/ \ tau蛋白^ {2}] $。当在广义FM中排除第二个自相互作用项时,可以将约束改进到最优$ \ mathcal {O} [kd \ cdot \ mathrm {polylog}(kd)] $直到对数因子。我们的分析还表明,传统调频中的正半正约束是多余的,因为它不会改善采样复杂度,同时使模型难以优化。我们评估了改进的FM模型在实时高精度GPS信号校准任务中验证其优越性。
translated by 谷歌翻译
赋予具有特定人格特质的对话系统对于提供更像人类的对话至关重要。然而,由于通过语言表达形成的人格形象的挑战以及缺乏大规模的人工标签对话数据,这一研究问题仍然远未得到充分研究。在本文中,我们研究了在对话生成中加入明确的人格特质来提供个性化的对话问题。为此,首先,我们构建了PersonalDialog,这是一个包含来自大量发言者的各种特征的大型多媒体数据集。该数据集由来自8.47M发言者的20.83M会话和56.25M话语组成。每个话语与标记有年龄,性别,位置,兴趣标签等特征的发言者相关联。设计了几个匿名方案以保护每个发言者的隐私。这个大规模的数据集不仅可以促进个性化对话生成的研究,还可以促进社会语言学或社会科学的其他研究。其次,为了研究人格特质如何被捕获和解决印度对话的产生,我们提出了人格感知的对话生成模型,其序列顺序为学习框架。使用特征融合模块嵌入显式人格特征(由键值对构成)。在解码过程中,设计了两种技术,即人格感知注意力和能量感知偏差,以捕获和解决与特征相关的信息。实验表明,我们的模型能够解决不同背景下的性质问题。案例研究还显示了这个具有挑战性的研究问
translated by 谷歌翻译