Bayesian optimization is a sample-efficient approach to global optimization that relies on theoretically motivated value heuristics (acquisition functions) to guide its search process. Fully maximizing acquisition functions produces the Bayes' decision rule, but this ideal is difficult to achieve since these functions are frequently non-trivial to optimize. This statement is especially true when evaluating queries in parallel, where acquisition functions are routinely non-convex, high-dimensional, and intractable. We first show that acquisition functions estimated via Monte Carlo integration are consistently amenable to gradient-based optimization. Subsequently, we identify a common family of acquisition functions, including EI and UCB, whose properties not only facilitate but justify use of greedy approaches for their maximization.
translated by 谷歌翻译
随着深网越来越多地应用于适用于移动设备的应用,一个基本的困境变得明显:深度学习的趋势是使模型成长以吸收不断增加的数据集大小;然而,移动设备设计的内存非常少,无法存储大型模型。我们提出了一种新颖的网络架构HashedNets,它利用内部网络的固有冗余来大幅减少模型尺寸。 HashedNets使用低成本散列函数将连接权重随机分组到散列桶中,同一散列桶中的所有连接共享一个参数值。这些参数经过调整,以便在训练期间使用标准backprop调整HashedNets权重共享架构。我们的散列过程不会引入额外的内存开销,我们在几个基准数据集上演示HashedNets大大缩小了神经网络的存储要求,同时大部分保留了泛化性能。
translated by 谷歌翻译
我们开发了一种卷积神经网络(CNN),它可以首次对液氩时间投影室(LArTPC)记录的图像数据中的物体进行像素级预测。我们描述了为培训该网络而开发的网络设计,培训技术和软件工具。这项工作的目的是为MicroBooNE探测器开发一个完整的基于深度神经网络的数据构建链。我们使用MicroBooNEcollection平面图像显示网络在实际LArTPC数据上的有效性的第一次演示。演示用于停止μ子和$ \ nu_ \ mu $充电电流中性π介数数据样本。
translated by 谷歌翻译
低秩张量完成问题旨在从具有许多实际应用的有限观测中恢复张量。由于易于优化,凸起的重叠核范数已经普遍用于完成。然而,它过分惩罚顶级奇异值并导致偏差估计。在本文中,我们建议使用非凸正则化器,它可以较少惩罚大的奇异值,而不是凸一个强度完成。然而,由于新的正则化器是非凸的并且彼此重叠,现有的算法要么太慢,要么遭受巨大的存储器成本。为了解决这些问题,我们开发了一种高效且可扩展的算法,该算法基于近端平均(PA)算法,用于解决实际问题。与PA算法的直接使用相比,所提出的算法更快地运行命令并且需要更少的空间。我们利用加速技术进一步提出了所提出的算法,并且仍然保证了对关键点的收敛性。通过各种其他张量完成方法对所提方法进行了实验比较。实验结果表明,该算法速度快,可以产生更好的恢复性能。
translated by 谷歌翻译
方差减少已经普遍用于随机优化。它主要假设数据集是有限的。然而,当数据在数据增加中随机噪声估算时,扰动数据集基本上是无限的。最近,引入随机MISO(S-MISO)算法来解决这种预期的风险最小化问题。虽然它比SGD收敛得快,但是需要大量的存储器。在这篇文章中,我们提出了两种类似SGD的算法,用于随机扰动的预期风险最小化,即随机样本平均梯度(SSAG)和随机SAGA(S-SAGA)。 SSAG的存储器成本不依赖于样本大小,而S-SAGA的存储器成本与无扰动数据的方差减少方法相同。逻辑回归和AUC最大化的理论分析和实验结果表明,SSAG的收敛速度快于具有可比空间要求的SGD,而S-SAGA在迭代复杂度和存储方面均优于S-MISO。
translated by 谷歌翻译
我们提出了一种联合视听模型,用于隔离来自诸如其他扬声器和背景噪声的混合声音的单个语音信号。仅使用音频作为输入来解决该任务是极具挑战性的,并且不提供分离的语音信号与视频中的扬声器的关联。在本文中,我们提出了一个基于网络的深层模型,它结合了视觉和听觉信号来解决这一任务。视觉特征用于将音频“聚焦”在场景中的所需扬声器上并提高音频分离质量。为了训练我们的联合视听模型,我们介绍了AVSpeech,这是一个由来自网络的数千小时视频片段组成的新数据集。我们展示了我们的方法对经典语音分离任务的适用性,以及涉及激烈访谈,嘈杂的酒吧和尖叫儿童的真实场景,只要求用户在视频中指定他们想要隔离的人的面孔。在混合语音的情况下,我们的方法显示出优于现有技术的仅音频语音分离的优势。此外,我们的模型与扬声器无关(训练有效,适用于任何扬声器),比最近的扬声器视觉分离方法产生更好的结果,这些方法取决于扬声器(需要为每个感兴趣的扬声器训练单独的模型)。
translated by 谷歌翻译
集合方法 - 特别是基于决策树的方法 - 最近在各种机器学习环境中表现出优异的性能。我们引入了许多现有决策树方法的概括,称为“随机投影森林”(RPF),它是使用(可能是数据相关和随机)线性投影的任何决策林。使用这个框架,我们引入了一个名为“Lumberjack”的特殊情况,使用非常稀疏的randomprojection,即一小部分特征的线性组合.Lumberjack在RandomForests,Gradient Boosted Trees和其他方法上获得统计上显着提高的准确性。用于分类的标准基准测试,具有不同的尺寸,样本大小和类别数量。为了说明Lumberjack如何,为什么以及何时优于其他方法,我们在矢量,图像和非线性流形中进行了广泛的模拟实验。 Lumberjack通常比现有的决策树集合产生更好的性能,同时降低计算效率和可扩展性,并保持可解释性。伐木工人可以很容易地融入其他集合方法,例如加强以获得潜在的相似收益。
translated by 谷歌翻译
算法配置器是一种自动化方法,用于优化算法的参数以解决一类问题。我们评估一个简单随机局部搜索配置器(ParamRLS)的性能,用于调整RLS $ _k $算法的邻域大小$ k $。我们将性能测量为确定参数最佳值所需的预期配置评估数。我们分析截止时间$ \ kappa $(评估问题实例的配置的时间)对查找最佳参数值所需的预期配置评估次数的影响,我们使用最佳找到的适应值比较配置(ParamRLS-F) )或优化时间(ParamRLS-T)。我们考虑为Ridge函数类(Ridge *)的变体调整RLS $ _k $,其中每个参数值的性能在运行期间不会改变,而对于OneMax函数类,其中较长的运行有利于较小的$ k $。我们严格证明ParamRLS-F可以为任何$ \ kappa $有效地为Ridge *调整RLS $ _k $,而ParamRLS-T至少需要aquadratic。对于OneMax,ParamRLS-F将$ k = 1 $标识为线性$ \ kappa $的最佳值,而ParamRLS-T需要$ \ kappa $至少$ \ Omega(n \ log n)$。对于较小的$ \ kappa $ ParamRLS -F标识$ k> 1 $表现更好而paramRLS-T返回随机均匀选择的$ k $。
translated by 谷歌翻译
我们提出了一种合成数据生成的任务感知方法。我们的框架采用可训练的合成器网络,通过评估“目标”网络的优势和劣势,优化产生意义的训练样本。合成器和目标网络以对抗性方式进行训练,其中每个网络的更新目标是超越另一个。另外,我们通过将其与在真实世界图像上训练的鉴别器配对来确保合成器生成真实数据。此外,为了使目标分类器对于混合人工制品不变,我们将这些人工制品引入训练图像的背景区域,以使目标不会过度拟合。我们通过将其应用于不同的目标网络(包括AffNIST上的分类网络)和不同数据集上的两个物体检测网络(SSD,Faster-RCNN)来证明我们的方法的功效。在AffNISTbenchmark上,我们的方法能够超越基线结果,只需要一半的训练样例。在VOC人员检测基准测试中,由于我们的数据增加,我们显示了高达2.7%的改进。类似地,在GMU检测基准上,我们报告mAP在基线方法中的性能提升为3.5%,优于先前的技术方法,在特定类别上达到7.5%。
translated by 谷歌翻译
图像合成是电影制作和图像编辑的关键步骤,旨在对前景对象进行处理并将其与新背景相结合。当背景为纯蓝色或绿色时,使用色度键控可以在工作室中轻松完成自动图像合成。然而,具有复杂背景的自然场景中的图像合成仍然是一项繁琐的任务,需要经验丰富的艺术家手工细分。为了在自然场景中实现自动合成,我们提出了一种完全自动化的方法,该方法集成了实例分割和图像消光过程,以生成可用于图像编辑任务的高质量语义遮罩。我们的方法既可以作为现有实例分割算法的改进,也可以作为全自动语义图像消光方法。它将自动图像合成技术(如色度键控)扩展到具有复杂自然背景的场景,而无需进行有形的用户交互。我们的方法的输出可以被认为是精确的实例分割和具有语义含义的alpha遮罩。与现有方法相比,我们提供的实验结果显示出改进的性能结果。
translated by 谷歌翻译