深度高斯过程(DGP)可以模拟复杂的边缘密度以及复杂的映射。非高斯边缘对于模拟真实世界数据是必不可少的,并且可以通过将相关变量结合到模型来从DGP生成。先前关于DGP模型的工作已经引入了加性和使用变分推理,其中使用稀疏高斯过程和平均场高斯的组合用于近似后验。加性噪声衰减信号,并且高斯形式的变分布可能导致后验不准确。我们将噪声变量作为潜在协变量,并提出一种新颖的重要性加权目标,它利用分析结果并提供一种权衡计算的机制以提高准确性。我们的研究结果表明,重要加权目标在实践中运作良好,并且始终优于经典变分推理,尤其是对于更深层次的模型。
translated by 谷歌翻译
条件密度估计(CDE)模型处理估计条件分布。对分配施加的条件是模型的输入。 CDE是一项具有挑战性的任务,因为模型复杂性,代表性能力和过度拟合之间存在根本的权衡。在这项工作中,我们建议用潜在变量扩展模型的输入,并使用高斯过程(GP)将这个增强的输入映射到条件分布的样本上。我们的贝叶斯方法允许对小数据集进行建模,但我们也提供了使用随机变分推理将其应用于大数据的机制。我们的方法可用于在稀疏数据区域中对densitieseven进行建模,并允许在条件之间共享学习结构。我们说明了我们的模型在各种现实问题上的有效性和广泛适用性,例如出租车下降的时空密度估计,非高斯噪声建模,以及对全方位图像的少量学习。
translated by 谷歌翻译
高斯过程(GP)为功能的推理提供了强大的非参数框架。尽管有吸引人的理论,但它的超线性计算和记忆复杂性已经提出了长期的挑战。最先进的稀疏变分推理方法将建模精度与复杂性进行交易。然而,这些方法的复杂性仍然在基础函数的数量上仍然是超线性的,这意味着稀疏的GP方法只有在使用小型模型时才能从大型数据集中学习。最近,提出了一种解耦方法,消除了对GP的均值和协方差函数建模的复杂性之间的不必要的耦合。它实现了平均参数数量的线性复杂性,因此可以建模表达后验均值函数。虽然有希望,但这种方法由于调节和非凸性而受到优化困难的影响。在这项工作中,我们提出了一种替代的解耦参数化。它采用平均函数的正交基来模拟标准耦合方法无法学习的残差。因此,我们的方法扩展而不是取代耦合方法,以达到严格更好的性能。这种结构允许直接自然的梯度更新规则,因此可以利用在解耦期间丢失的信息流的结构来加速学习。根据经验,我们的算法在多个实验中表现出明显更快的收敛。
translated by 谷歌翻译
Gaussian processes (GPs) are a good choice for function approximation as theyare flexible, robust to over-fitting, and provide well-calibrated predictiveuncertainty. Deep Gaussian processes (DGPs) are multi-layer generalisations ofGPs, but inference in these models has proved challenging. Existing approachesto inference in DGP models assume approximate posteriors that forceindependence between the layers, and do not work well in practice. We present adoubly stochastic variational inference algorithm, which does not forceindependence between layers. With our method of inference we demonstrate that aDGP model can be used effectively on data ranging in size from hundreds to abillion points. We provide strong empirical evidence that our inference schemefor DGPs works well in practice in both classification and regression.
translated by 谷歌翻译
基于树的机器学习模型,例如随机森林,决策树和梯度增强树,是当今实践中使用的最流行的非线性预测模型,但是对于解释它们的预测却相对较少关注。在这里,我们通过三个主要贡献显着提高了树模型的可解性:1)基于游戏理论计算最优解释的第一个多项式时间算法。 2)一种直接测量局部特征相互作用效果的新型解释。 3)一组新的工具,用于基于每个预测的许多局部解释来理解全局模型结构。我们将这些工具应用于三个医学机器学习问题,并展示如何结合许多高质量的局部解释使我们能够代表全局结构,同时保持对原始模型的本地忠诚度。这些工具可以使我们知道i)在美国一般人群中识别高幅度但低频率的非线性死亡率因素,ii)突出显示具有共同风险特征的不同群体子群,iii)识别慢性肾病危险因素之间的非线性相互作用, iv)通过识别哪些特征随着时间的推移降低模型的性能来监控部署在医院中的机器学习模型。鉴于基于树的机器学习模型的普及,这些对其可解释性的改进对于广泛的领域具有影响。
translated by 谷歌翻译
本文针对紧密编队飞行中的固定翼无人机进行了鲁棒的协同编队控制,以节约能源。开发了Anovel协同控制方法。虚拟结构的概念用于解决在编队飞行中为大量无人机设计虚拟领导者的难度。为了改善瞬态性能,期望的轨迹通过一​​组协同滤波器以产生平滑的参考信号,即虚拟引导的状态。由于无人机之间的空气动力学耦合导致的模型不确定性是使用不确定性和干扰观察器来估计和补偿的。因此,整个设计包含三个主要部分:用于运动规划的协同过滤器,基线协同控制以及不确定性和干扰观察。所提出的地层控制器至少可以确保地层跟踪的最终有界控制性能。如果满足某些条件,则可以获得渐近地层跟踪控制。本文的主要贡献在于两个方面:1)从虚拟结构概念的角度解决虚拟领导者设计的难点; 2)提出了一种机器人协同控制器,用于大量无人机在其间进行气动耦合的近距离飞行。将使用近地层飞行中的五个UAV的数值模拟来证明所提出的设计的效率。
translated by 谷歌翻译
本文研究了鲁棒非线性闭合编队控制问题。该研究旨在通过领导飞机产生的尾涡,在空气动力学影响下实现飞行器动态飞行操作的精确位置控制。一个关键的问题是控制鲁棒性,确保位置误差的有界性受到不确定性和扰动的精确调节。本文开发了一种鲁棒的非线性编队控制算法,以实现精确的近地层跟踪控制。所提出的控制算法由基线控制器和干扰观察器组成。采用基线控制律来稳定近距离编队飞行的非线性动力学,同时引入扰动观测器来补偿系统不确定性和与信息相关的空气动力学扰动。可以保证位置控制性能在期望的有界范围内,以使用所提出的设计为紧密编队的从动飞机收获足够的减阻。通过两架飞机的紧密编队飞行的数值模拟来证明所提出的设计的功效。
translated by 谷歌翻译
基准数据集在机器学习研究中至关重要,正如存在使其公开可用的存储库数量所表明的那样。虽然其中许多可用于流挖掘上下文,但是不太明显哪些数据集可用于评估数据流集群算法。我们注意到,经典的Covertype数据集的大小在流挖掘中很有吸引力,但不幸的是它专门用于分类。在这里,我们详细介绍了将Covertype数据集转换为适合无监督学习的数据集的过程,我们将其称为Wilderness Area数据集。我们的定量分析使我们得出结论,Wilderness Area数据集更适合于无监督学习,而不是原始的Covertype数据集。
translated by 谷歌翻译
我们使用acommon任务框架解决蛋白质二级结构预测的问题。这导致了基于最先进的构建块的神经架构的多个想法的引入,这是第一次在这个任务中使用。我们采用原则性机器学习方法,提供真实,无偏见的性能测量,纠正应用领域中长期存在的错误。我们专注于第二层结构的Q8分辨率,这是一个不断改进方法的活跃领域。我们使用强预测器的集合来实现70.7%的准确度(使用CB6133过滤训练集的CB513测试集)。这些结果在统计上与现有顶级预测因子的结果不同。本着可重复研究的精神,我们提供数据,模型和代码,旨在为培训和测试集的纯度提供金标准。这些良好的实践降低了该领域的进入障碍,并促进了可重复的,可扩展的研究。
translated by 谷歌翻译
从显微镜图像中自动检测细胞和定位是生物医学研究和临床实践中的重要任务。在本文中,我们设计了一种新的小区检测和定位算法,它结合了深度卷积神经网络(CNN)和压缩感知(CS)或稀疏编码(SC),用于端到端训练。我们还首次推导出了反向传播规则,该规则适用于训练任何算法实现稀疏代码恢复层。在算法背后的关键观察是细胞检测任务是点对象检测任务计算机视觉,其中细胞中心(即,点对象)仅占据图像中像素总数的一小部分。因此,我们可以应用压缩感知(或等效稀疏编码)来紧凑地表示投影空间中的可变数量的单元。然后,CNN从输入显微镜图像中回归该压缩矢量。由于SC / CS恢复算法(L1优化)可以从CNN的输出恢复稀疏的小区位置。我们对端到端的整个处理流程进行培训,并证明端到端培训可以提供相对于单独处理CNN和CS恢复层的规范范式的准确性改进。 Ouralgorithm设计还自然地考虑了训练模型的整体平均形式,以进一步提高细胞检测的准确性。我们在基准数据集上验证了算法并取得了优异的性能。
translated by 谷歌翻译