大多数物理过程具有结构性属性,例如恒定的能量,卷和其他不变性随着时间的推移。当这种动态系统的学习模型时,尊重这些不变性是至关重要的,以确保准确的预测和物理上有意义的行为。引人注目地,高斯过程中的最先进的方法(GP)动态模型学习没有解决这个问题。另一方面,经典的数值积分器专门设计用于通过时间保持这些关键特性。我们建议将GPS的优势与具有用于动态系统的结构保留数值积分器的功能近似器,例如跳动 - 库特拉方法。这些集成商假设访问地面真理动态,并要求对基于学习的场景中未知的中间和未知的中间和未来时间步骤进行评估。这使得GP动力学的直接推动,具有嵌入式数字方案,棘爪。我们的主要技术贡献是评估隐式定义的runge-Kutta转换概率。简而言之,我们介绍了一种用于GP回归的隐式层,其嵌入到基于变分的推断的模型学习方案中。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
高斯过程回归通常用于学习未知系统并指定学习模型的不确定性。当使用高斯过程回归学习未知系统时,通常考虑的方法包括在应用一些标准离散化之后学习残差动态,但这可能不适合手头的系统。变形积分器是一种不太常见的离散化方法,因为它们保持底层系统的物理性质,例如节能或明确限制的满足。在这项工作中,我们提出了用于机械系统的标称动态的变形积分器和高斯过程回归学习残留动态的组合。我们将我们的方法扩展到具有已知运动限制的系统,并在预测不确定性上提供正式的界限。该方法的模拟评估显示了根据理论结果的理想节能特性,并证明了治疗受限动力系统的能力。
translated by 谷歌翻译
最近的机器学习进展已直接从数据中直接提出了对未知连续时间系统动力学的黑盒估计。但是,较早的作品基于近似ODE解决方案或点估计。我们提出了一种新型的贝叶斯非参数模型,该模型使用高斯工艺直接从数据中直接从数据中推断出未知ODE系统的后代。我们通过脱钩的功能采样得出稀疏的变异推断,以表示矢量场后代。我们还引入了一种概率的射击增强,以从任意长的轨迹中有效推断。该方法证明了计算矢量场后代的好处,预测不确定性得分优于多个ODE学习任务的替代方法。
translated by 谷歌翻译
本文提出了一种用于系统识别(ID)的概率贝叶斯公式,并使用随机动态模型对不可分割的哈密顿系统进行了估计。非分离的哈密顿系统是来自不同科学和工程应用的模型,例如天体物理学,机器人技术,涡流动力学,带电的粒子动力学和量子力学。数值实验表明,与最先进的方法相比,所提出的方法以更高的精度和预测性不确定性降低了动态系统。结果进一步表明,在可能存在稀疏和嘈杂的测量的情况下,准确的预测远远超出了训练时间间隔,这为提出的方法提供了鲁棒性和概括性。定量益处是预测准确性,相对误差少于10%的相对误差超过12倍,比基于基准问题的基于最小二乘的方法长12倍。
translated by 谷歌翻译
非线性状态空间模型是一种强大的工具,可以在复杂时间序列中描述动态结构。在一个流的媒体设置中,当一次处理一个样本的情况下,状态的同时推断及其非线性动力学在实践中提出了重大挑战。我们开发了一个小说在线学习框架,利用变分推理和顺序蒙特卡罗,这使得灵活和准确的贝叶斯联合过滤。我们的方法提供了滤波后的近似,这可以任意地接近针对广泛的动态模型和观察模型的真正滤波分布。具体地,所提出的框架可以使用稀疏高斯过程有效地近似于动态的后验,允许潜在动力学的可解释模型。每个样本的恒定时间复杂性使我们的方法能够适用于在线学习场景,适用于实时应用。
translated by 谷歌翻译
对应用机器学习来研究动态系统有一波兴趣。特别地,已经应用神经网络来解决运动方程,因此追踪系统的演变。与神经网络和机器学习的其他应用相反,动态系统 - 根据其潜在的对称 - 具有诸如能量,动量和角动量的不变性。传统的数值迭代方法通常违反这些保护法,在时间上传播误差,并降低方法的可预测性。我们介绍了一个汉密尔顿神经网络,用于解决控制动态系统的微分方程。这种无监督的模型是学习解决方案,可以相同地满足哈密尔顿方程,因此哈密尔顿方程式满足。一旦优化了,所提出的架构被认为是一种杂项单元,因为引入了高效的参数的解决方案。另外,通过共享网络参数并选择适当的激活函数的选择大大提高了网络的可预测性。派生错误分析,并指出数值误差取决于整体网络性能。然后采用辛结构来解决非线性振荡器的方程和混沌HENON-HENEL动态系统。在两个系统中,杂项欧拉集成商需要两个订单比HAMILTONIAN网络更多的评估点,以便在预测的相空间轨迹中获得相同的数值误差顺序。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中,我们在简单的质量弹簧系统和更复杂,更现实的系统上强调方法,具有多个内部和外部端口,包括具有多个连接储罐的系统。我们量化各种条件下的性能,并表明施加不同的假设会极大地影响性能,突出该方法的优势和局限性。我们证明,哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差,并在删除偏差时仍然提供有效的模型。最后,我们提出了一种对称的高级整合方案,以改善稀疏和嘈杂数据的训练。
translated by 谷歌翻译
The kernel function and its hyperparameters are the central model selection choice in a Gaussian proces (Rasmussen and Williams, 2006). Typically, the hyperparameters of the kernel are chosen by maximising the marginal likelihood, an approach known as Type-II maximum likelihood (ML-II). However, ML-II does not account for hyperparameter uncertainty, and it is well-known that this can lead to severely biased estimates and an underestimation of predictive uncertainty. While there are several works which employ a fully Bayesian characterisation of GPs, relatively few propose such approaches for the sparse GPs paradigm. In this work we propose an algorithm for sparse Gaussian process regression which leverages MCMC to sample from the hyperparameter posterior within the variational inducing point framework of Titsias (2009). This work is closely related to Hensman et al. (2015b) but side-steps the need to sample the inducing points, thereby significantly improving sampling efficiency in the Gaussian likelihood case. We compare this scheme against natural baselines in literature along with stochastic variational GPs (SVGPs) along with an extensive computational analysis.
translated by 谷歌翻译
动态系统的建模和仿真是许多控制方法的必要步骤。使用基于参数的基于参数的技术来建模现代系统,例如软机器人或人机交互,由于系统动态的复杂性,通常是挑战甚至不可行的。相比之下,数据驱动方法只需要最少的先验知识和规模,并以系统的复杂性规模。特别地,高斯过程动态模型(GPDMS)为复杂动态的建模提供了非常有前途的结果。然而,这些GP模型的控制特性刚刚稀疏地研究,这导致了建模和控制方案中的“黑箱”处理。此外,GPDMS对预测目的的采样,尊重其非参数性的非公平性,使得理论分析具有挑战性。在本文中,我们呈现近似的GPDM,它是马尔可夫的并分析它们的控制理论特性。其中,分析了近似的误差,提供了轨迹的界限条件。结果用数字示例说明,该数值示例显示近似模型的功率,而计算时间显着降低。
translated by 谷歌翻译
从非正规化概率分布的抽样是机器学习中的基本问题,包括贝叶斯建模,潜在因子推断和基于能源的模型训练。在几十年的研究之后,尽管收敛缓慢,但MCMC的变化仍然是抽样的默认方法。辅助神经模型可以学习加速MCMC,但训练额外模型的开销可能是禁止的。我们通过具有非牛顿势头的新的汉密尔顿动态提出了对这个问题的根本不同的方法。与MCMC蒙特卡洛等MCMC接近相比,不需要随机步骤。相反,在扩展状态空间中提出的确定性动态精确地对能量函数指定的目标分布,在ergodicity的假设下。或者,可以将动态解释为在没有训练的情况下对指定的能量模型进行采样的标准化流程。所提出的能量采样哈密尔顿(ESH)动态有一个简单的形式,可以用现有的颂歌解决,但我们推出了一个专业的求解器,它表现出更好的性能。 ESH Dynamics会收敛于其MCMC竞争对手的速度更快,更稳定地培训神经网络能量模型。
translated by 谷歌翻译
在本文中,我们关注将基于能量的模型(EBM)作为运动优化的指导先验的问题。 EBM是一组神经网络,可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性,它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起,从而使它们成为良好的候选者,以将数据驱动的先验集成在运动优化问题中。在这项工作中,我们提出了一组所需的建模和算法选择,以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处,以将它们与基于梯度的优化器一起使用,并提供一组EBM架构,以学习用于操纵任务的可通用分布。我们提出了多种情况,可以将EBM集成以进行运动优化,并评估学到的EBM的性能,以指导模拟和真实机器人实验的指导先验。
translated by 谷歌翻译
在本章中,我们确定了基本的几何结构,这些几何结构是采样,优化,推理和自适应决策问题的基础。基于此识别,我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明,在这些领域中自然出现了广泛的几何理论,范围从测量过程,信息差异,泊松几何和几何整合。具体而言,我们解释了(i)如何利用汉密尔顿系统的符合性几何形状,使我们能够构建(加速)采样和优化方法,(ii)希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器,(iii)(iii)(iii)保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中,我们强调了这些领域之间的丰富联系。例如,推论借鉴了抽样和优化,并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述,而不是技术讨论,可以在本文中的参考文献中找到。
translated by 谷歌翻译
Data-driven modeling has become a key building block in computational science and engineering. However, data that are available in science and engineering are typically scarce, often polluted with noise and affected by measurement errors and other perturbations, which makes learning the dynamics of systems challenging. In this work, we propose to combine data-driven modeling via operator inference with the dynamic training via roll outs of neural ordinary differential equations. Operator inference with roll outs inherits interpretability, scalability, and structure preservation of traditional operator inference while leveraging the dynamic training via roll outs over multiple time steps to increase stability and robustness for learning from low-quality and noisy data. Numerical experiments with data describing shallow water waves and surface quasi-geostrophic dynamics demonstrate that operator inference with roll outs provides predictive models from training trajectories even if data are sampled sparsely in time and polluted with noise of up to 10%.
translated by 谷歌翻译
隐式过程(IPS)代表一个灵活的框架,可用于描述各种模型,从贝叶斯神经网络,神经抽样器和数据生成器到许多其他模型。 IP还允许在功能空间上进行大致推断。公式的这种变化解决了参数空间的固有退化问题近似推断,即参数数量及其在大型模型中的强大依赖性。为此,文献中先前的作品试图采用IPS来设置先验并近似产生的后部。但是,这被证明是一项具有挑战性的任务。现有的方法可以调整先前的IP导致高斯预测分布,该分布未能捕获重要的数据模式。相比之下,通过使用另一个IP近似后验过程产生灵活预测分布的方法不能将先前的IP调整到观察到的数据中。我们在这里建议第一个可以实现这两个目标的方法。为此,我们依赖于先前IP的诱导点表示,就像在稀疏高斯过程中所做的那样。结果是一种可扩展的方法,用于与IP的近似推断,可以将先前的IP参数调整到数据中,并提供准确的非高斯预测分布。
translated by 谷歌翻译
高斯过程状态空间模型通过在转换功能上放置高斯过程来以原则方式捕获复杂的时间依赖性。这些模型具有自然的解释,作为离散的随机微分方程,但困难的长期序列的推断是困难的。快速过渡需要紧密离散化,而慢速转换需要在长副图层上备份梯度。我们提出了一种由多个组件组成的新型高斯过程状态空间架构,每个组件都培训不同的分辨率,以对不同时间尺度进行模拟效果。组合模型允许在自适应刻度上进行时间进行时间,为具有复杂动态的任意长序列提供有效推断。我们在半合成数据和发动机建模任务上基准我们的新方法。在这两个实验中,我们的方法对其最先进的替代品仅比单一时间级运行的最先进的替代品。
translated by 谷歌翻译
最近,对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中,哈密顿系统是一种优雅而紧凑的形式主义,该动力学由一个标量功能,哈密顿量完全决定。解决方案轨迹通常受到约束,以在线性矢量空间的子序列上进化。在这项工作中,我们提出了新的方法,以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。
translated by 谷歌翻译
有效推论是一种数学框架,它起源于计算神经科学,作为大脑如何实现动作,感知和学习的理论。最近,已被证明是在不确定性下存在国家估算和控制问题的有希望的方法,以及一般的机器人和人工代理人的目标驱动行为的基础。在这里,我们审查了最先进的理论和对国家估计,控制,规划和学习的积极推断的实现;描述当前的成就,特别关注机器人。我们展示了相关实验,以适应,泛化和稳健性而言说明其潜力。此外,我们将这种方法与其他框架联系起来,并讨论其预期的利益和挑战:使用变分贝叶斯推理具有功能生物合理性的统一框架。
translated by 谷歌翻译
我们制定自然梯度变推理(VI),期望传播(EP),和后线性化(PL)作为牛顿法用于优化贝叶斯后验分布的参数扩展。这种观点明确地把数值优化框架下的推理算法。我们表明,通用近似牛顿法从优化文献,即高斯 - 牛顿和准牛顿方法(例如,该BFGS算法),仍然是这种“贝叶斯牛顿”框架下有效。这导致了一套这些都保证以产生半正定协方差矩阵,不像标准VI和EP新颖算法。我们统一的观点提供了新的见解各种推理方案之间的连接。所有提出的方法适用于具有高斯事先和非共轭的可能性,这是我们与(疏)高斯过程和状态空间模型展示任何模型。
translated by 谷歌翻译