深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于模拟真实世界数据是必不可少的,并且可以通过将相关变量结合到模型来从DGP生成。先前关于DGP模型的工作已经引入了加性和使用变分推理,其中使用稀疏高斯过程和平均场高斯的组合用于近似后验。加性噪声衰减信号,并且高斯形式的变分布可能导致后验不准确。我们将噪声变量作为潜在协变量,并提出一种新颖的重要性加权目标,它利用分析结果并提供一种权衡计算的机制以提高准确性。我们的研究结果表明,重要加权目标在实践中运作良好,并且始终优于经典变分推理,尤其是对于更深层次的模型。
translated by 谷歌翻译
差异隐私关注预测质量,同时测量对信息包含在数据中的个人的隐私影响。我们考虑与引起结构化稀疏性的规则制定者的差异私人风险最小化问题。已知这些正则化器是凸的,但它们通常是不可微分的。我们分析了标准的不同私有算法,例如输出扰动,Frank-Wolfe和目标扰动。输出扰动是一种差异私有算法,众所周知,它可以很好地降低强凸的风险。以前的工作已经导出了与维度无关的超额风险界限。在本文中,我们假设一类特定的凸但非光滑正则化器,它们导致广义线性模型的结构化稀疏性和损失函数。我们还考虑差异私有Frank-Wolfeal算法来优化风险最小化问题的双重性。我们得出这两种算法的过度风险界限。两个边界都取决于双范数的单位球的高斯宽度。我们还表明,风险最小化问题的客观扰动等同于双优化问题的输出扰动。这是在差异隐私的背景下分析风险最小化问题的双重优化问题的第一部作品。
translated by 谷歌翻译
Bayesian optimization is a sample-efficient approach to global optimization that relies on theoretically motivated value heuristics (acquisition functions) to guide its search process. Fully maximizing acquisition functions produces the Bayes' decision rule, but this ideal is difficult to achieve since these functions are frequently non-trivial to optimize. This statement is especially true when evaluating queries in parallel, where acquisition functions are routinely non-convex, high-dimensional, and intractable. We first show that acquisition functions estimated via Monte Carlo integration are consistently amenable to gradient-based optimization. Subsequently, we identify a common family of acquisition functions, including EI and UCB, whose properties not only facilitate but justify use of greedy approaches for their maximization.
translated by 谷歌翻译
在许多实际应用中学习小数据集是关键的,其中数据收集是耗时的或昂贵的,例如机器人,动画实验或药物设计。元学习是通过将学习概念从一组训练任务推广到看不见但相关的任务来提高学习算法的数据效率的一种方法。通常,任务之间的这种关系是硬编码的,或者以某种其他方式依赖于人类的专业知识。在本文中,我们将元学习框架化为层次潜变量模型,并从数据中自动推断任务之间的关系。我们在基于模型的强化学习环境中应用我们的框架,并通过识别新任务与最小任务与最小数据相关的新任务,有效地推广了新的任务。与强大的基线相比,这使得解决任务所需的平均交互时间缩短了60%。
translated by 谷歌翻译
Off-the-shelf Gaussian Process (GP) covariance functions encode smoothnessassumptions on the structure of the function to be modeled. To model complexand non-differentiable functions, these smoothness assumptions are often toorestrictive. One way to alleviate this limitation is to find a differentrepresentation of the data by introducing a feature space. This feature spaceis often learned in an unsupervised way, which might lead to datarepresentations that are not useful for the overall regression task. In thispaper, we propose Manifold Gaussian Processes, a novel supervised method thatjointly learns a transformation of the data into a feature space and a GPregression from the feature space to observed space. The Manifold GP is a fullGP and allows to learn data representations, which are useful for the overallregression task. As a proof-of-concept, we evaluate our approach on complexnon-smooth functions where standard GPs perform poorly, such as step functionsand robotics tasks with contacts.
translated by 谷歌翻译
贝叶斯优化(BO)是寻求昂贵的黑盒功能的全局优化的强大方法,并且已被证明成功地用于微调机器学习模型的超参数。贝叶斯优化例程涉及学习响应表面并最大化分数以选择在下一次迭代中要查询的最有价值的输入。这些关键步骤受到维数灾难的影响,因此贝叶斯优化不会超出10-20个参数。在这项工作中,我们解决了这个问题,并提出了一种高维BO方法,它可以学习输入空间的非线性低维流形。我们通过在高斯过程的协方差函数中嵌入的多层神经网络来实现这一点。作为监督回归解决方案的副产品,这种方法适用于无监督降维。这也允许在贝叶斯框架中利用高斯过程模型的数据效率。我们还引入了基于多输出高斯过程的从流形到高维空间的非线性映射,并通过边际似然最大化联合训练端到端。我们证明了这种本质上的低维优化在高维BO文献中优于最近的基线。在60维度的一组基准函数上。
translated by 谷歌翻译
条件密度估计(CDE)模型处理估计条件分布。对分配施加的条件是模型的输入。 CDE是一项具有挑战性的任务,因为模型复杂性,代表性能力和过度拟合之间存在根本的权衡。在这项工作中,我们建议用潜在变量扩展模型的输入,并使用高斯过程(GP)将这个增强的输入映射到条件分布的样本上。我们的贝叶斯方法允许对小数据集进行建模,但我们也提供了使用随机变分推理将其应用于大数据的机制。我们的方法可用于在稀疏数据区域中对densitieseven进行建模,并允许在条件之间共享学习结构。我们说明了我们的模型在各种现实问题上的有效性和广泛适用性,例如出租车下降的时空密度估计,非高斯噪声建模,以及对全方位图像的少量学习。
translated by 谷歌翻译
高斯过程(GP)为功能的推理提供了强大的非参数框架。尽管有吸引人的理论,但它的超线性计算和记忆复杂性已经提出了长期的挑战。最先进的稀疏变分推理方法将建模精度与复杂性进行交易。然而,这些方法的复杂性仍然在基础函数的数量上仍然是超线性的,这意味着稀疏的GP方法只有在使用小型模型时才能从大型数据集中学习。最近,提出了一种解耦方法,消除了对GP的均值和协方差函数建模的复杂性之间的不必要的耦合。它实现了平均参数数量的线性复杂性,因此可以建模表达后验均值函数。虽然有希望,但这种方法由于调节和非凸性而受到优化困难的影响。在这项工作中,我们提出了一种替代的解耦参数化。它采用平均函数的正交基来模拟标准耦合方法无法学习的残差。因此,我们的方法扩展而不是取代耦合方法,以达到严格更好的性能。这种结构允许直接自然的梯度更新规则,因此可以利用在解耦期间丢失的信息流的结构来加速学习。根据经验,我们的算法在多个实验中表现出明显更快的收敛。
translated by 谷歌翻译
生物进化提供了复杂和微妙的适应性的创造性源泉,通常令发现它们的科学家感到惊讶。然而,因为进化是一种超越其发生的基质的算法过程,所以进化的创造力不仅限于自然。实际上,数字进化领域的许多研究人员已经观察到他们的进化算法和有机体颠覆了他们的意图,在他们的代码中暴露了未被识别的局部,产生了意想不到的适应性,或者表现出与自然界中的结果一致的结果。这些故事通常会在这些数字世界中通过进化来揭示创造力,但它们很少符合标准的科学叙事。相反,它们通常被视为仅仅被克服的障碍,而不是需要自己研究的结果。故事本身通过口头传统在研究人员之间进行交易,但信息传播方式效率低下,容易出错和直接损失。而且,这些故事往往只与实践者共享这一事实意味着许多自然科学家并没有意识到有趣的数字生物是多么有趣,他们的进化是多么自然。据我们所知,此前没有出版过这类轶事的集合。本文是研究人员在人工生命和进化计算领域的众包产品,他们提供了这类案件的第一手资料。因此,它可以作为一个经过实际检验的书面文集,收集科学上重要的,甚至是有趣的故事。在这样做的同时,我们在这里也有大量的证据表明,进化意外的存在和重要性超越了自然界,并且可能确实是所有复杂演化系统的通用属性。
translated by 谷歌翻译