Even though neural networks enjoy widespread use, they still struggle to learn the basic laws of physics. How might we endow them with better inductive biases? In this paper, we draw inspiration from Hamiltonian mechanics to train models that learn and respect exact conservation laws in an unsupervised manner. We evaluate our models on problems where conservation of energy is important, including the two-body problem and pixel observations of a pendulum. Our model trains faster and generalizes better than a regular neural network. An interesting side effect is that our model is perfectly reversible in time. Ideal mass-spring system Noisy observations Baseline NN Prediction Prediction Hamiltonian NN Figure 1: Learning the Hamiltonian of a mass-spring system. The variables q and p correspond to position and momentum coordinates. As there is no friction, the baseline's inner spiral is due to model errors. By comparison, the Hamiltonian Neural Network learns to exactly conserve a quantity that is analogous to total energy. Preprint. Under review.

学习动态是机器学习（ML）的许多重要应用的核心，例如机器人和自主驾驶。在这些设置中，ML算法通常需要推理使用高维观察的物理系统，例如图像，而不访问底层状态。最近，已经提出了几种方法将从经典机制的前沿集成到ML模型中，以解决图像的物理推理的挑战。在这项工作中，我们清醒了这些模型的当前功能。为此，我们介绍一套由17个数据集组成的套件，该数据集基于具有呈现各种动态的物理系统的视觉观测。我们对几种强大的基线进行了彻底的和详细比较了物理启发方法的主要类别。虽然包含物理前沿的模型通常可以学习具有所需特性的潜在空间，但我们的结果表明这些方法无法显着提高标准技术。尽管如此，我们发现使用连续和时间可逆动力学的使用效益所有课程的模型。

最近提出的一类模型试图使用哈密顿力学所通知的前沿，从高维观察中学习潜在动态的潜在动态。虽然这些模型在机器人或自主驾驶等领域具有重要潜在应用，但目前没有好方法来评估它们的性能：现有方法主要依赖于图像重建质量，这并不总是反映学习潜在动态的质量。在这项工作中，我们经验突出了现有措施的问题，并制定了一套新措施，包括依赖母亲哈密顿动态的二进制指标，我们称之为符号度量或次称。我们的措施利用了汉密尔顿动态的已知属性，并且更符合模型捕获潜在动态的能力而不是重建误差。使用Symetric，我们识别一组架构选择，可以显着提高先前提出的模型的性能，用于从像素，Hamiltonian生成网络（HGN）从像素推断潜在动态。与原始HGN不同，新的HGN ++能够在某些数据集中发现具有物理有意义的潜伏的可解释的相位空间。此外，它在不同范围的13个数据集上的卷展栏上是稳定的，在一个不同的13个数据集上产生基本上无限长度的卷展栏，在数据集的子集上没有质量下降。

物理学的美在于，通常在变化的系统（称为运动常数）中保守数量。找到运动的常数对于理解系统的动力学很重要，但通常需要数学水平和手动分析工作。在本文中，我们提出了一个神经网络，该网络可以同时了解系统的动力学和来自数据的运动常数。通过利用发现的运动常数，它可以对动态产生更好的预测，并且可以比基于哈密顿的神经网络在更广泛的系统上工作。此外，我们方法的训练进展可以用作系统中运动常数数量的指示，该系统可用于研究新型物理系统。

基于哈密顿配方的混合机器学习最近已成功证明了简单的机械系统。在这项工作中，我们在简单的质量弹簧系统和更复杂，更现实的系统上强调方法，具有多个内部和外部端口，包括具有多个连接储罐的系统。我们量化各种条件下的性能，并表明施加不同的假设会极大地影响性能，突出该方法的优势和局限性。我们证明，哈米尔顿港神经网络可以扩展到具有州依赖性端口的更高维度。我们考虑学习具有已知和未知外部端口的系统。哈米尔顿港的公式允许检测偏差，并在删除偏差时仍然提供有效的模型。最后，我们提出了一种对称的高级整合方案，以改善稀疏和嘈杂数据的训练。

能量保护是许多物理现象和动态系统的核心。在过去的几年中，有大量作品旨在预测使用神经网络的动力系统运动轨迹，同时遵守能源保护法。这些作品中的大多数受到古典力学的启发，例如哈密顿和拉格朗日力学以及神经普通微分方程。尽管这些作品已被证明在特定领域中分别很好地工作，但缺乏统一的方法，该方法通常不适用，而无需对神经网络体系结构进行重大更改。在这项工作中，我们旨在通过提供一种简单的方法来解决此问题，该方法不仅可以应用于能源持持势的系统，还可以应用于耗散系统，通过在不同情况下以不同的情况在不同情况下以正规化术语形式包括不同的归纳偏见。损失功能。所提出的方法不需要更改神经网络体系结构，并且可以构成验证新思想的基础，因此表明有望在这个方向上加速研究。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

在许多现实世界中，当不二维测量值时，可能会提供自由旋转3D刚体（例如卫星）的图像观察。但是，图像数据的高维度排除了学习动力学和缺乏解释性的使用，从而降低了标准深度学习方法的有用性。在这项工作中，我们提出了一个物理知识的神经网络模型，以估计和预测图像序列中的3D旋转动力学。我们使用多阶段预测管道实现了这一目标，该管道将单个图像映射到潜在表示同构为$ \ Mathbf {so}（3）$，从潜在对计算角速度，并使用Hamiltonian Motion使用Hamiltonian运动方程来预测未来的潜在状态博学的哈密顿人的代表。我们证明了方法对新的旋转刚体数据集的功效，该数据集具有旋转立方体和矩形棱镜序列，并具有均匀且不均匀的密度。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

我们提出KeyCLD，这是一个从图像中学习拉格朗日动态的框架。学到的关键点代表图像中的语义标志性，可以直接代表状态动力学。将这种状态解释为笛卡尔坐标，并与明确的自动限制相结合，允许用约束的拉格朗日表达动力学。我们的方法显式地对动能和势能进行了建模，从而允许基于能量的控制。我们是第一个从DM_Control Pendulum，Cartpole和Acrobot环境中的图像中展示Lagrangian动力学学习的人。这是从现实世界图像中学习拉格朗日动力学的迈出的一步，因为以前的文学作品仅适用于在空背景上具有单色形状的简约图像。请参阅我们的项目页面以获取代码和其他结果：https：//rdaems.github.io/keycld/

Recent studies to learn physical laws via deep learning attempt to find the shared representation of the given system by introducing physics priors or inductive biases to the neural network. However, most of these approaches tackle the problem in a system-specific manner, in which one neural network trained to one particular physical system cannot be easily adapted to another system governed by a different physical law. In this work, we use a meta-learning algorithm to identify the general manifold in neural networks that represents Hamilton's equation. We meta-trained the model with the dataset composed of five dynamical systems each governed by different physical laws. We show that with only a few gradient steps, the meta-trained model adapts well to the physical system which was unseen during the meta-training phase. Our results suggest that the meta-trained model can craft the representation of Hamilton's equation in neural networks which is shared across various dynamical systems with each governed by different physical laws.

In this thesis, we consider two simple but typical control problems and apply deep reinforcement learning to them, i.e., to cool and control a particle which is subject to continuous position measurement in a one-dimensional quadratic potential or in a quartic potential. We compare the performance of reinforcement learning control and conventional control strategies on the two problems, and show that the reinforcement learning achieves a performance comparable to the optimal control for the quadratic case, and outperforms conventional control strategies for the quartic case for which the optimal control strategy is unknown. To our knowledge, this is the first time deep reinforcement learning is applied to quantum control problems in continuous real space. Our research demonstrates that deep reinforcement learning can be used to control a stochastic quantum system in real space effectively as a measurement-feedback closed-loop controller, and our research also shows the ability of AI to discover new control strategies and properties of the quantum systems that are not well understood, and we can gain insights into these problems by learning from the AI, which opens up a new regime for scientific research.

引力$ n $ -body问题在天体物理学中，预测在彼此相互重力下预测$ N $天体的运动，通常是数值解决的，因为没有已知的一般分析解决方案为N> 2$。可以通过神经网络（NN）准确解决$ N $ -body问题？NN可以观察能源和轨道角动量的长期保护吗？灵感来自Wistom＆Holman（1991）的互相映射，我们提出了一种神经价值的N $ -Body Integrator，用于将哈密尔顿人分成双身体部位，分析可解决，以及我们近似与NN近似的互动部分。我们的神经效果$ n $ -body代码以10 ^ {5} $步骤集成了一般的三体系，而不从从传统$ n $ -body集成商获得的地面真理动态转移。此外，它通过成功预测没有任何培训集的N $ -body系统的演变而表现出良好的归纳偏差。

深度学习模型能够近似一个特定的动力系统，但在学习通用动力学方面挣扎，在该动态系统中，动态系统遵守了相同的物理定律，但包含不同数量的元素（例如，双重和三铅系统）。为了缓解这个问题，我们提出了模块化拉​​格朗日网络（ModLanet），这是一个具有模块化和物理诱导偏置的结构神经网络框架。该框架使用模块化对每个元素的能量进行建模，然后通过拉格朗日力学构建目标动态系统。模块化有益于重复训练的网络和减少网络和数据集的规模。结果，我们的框架可以从更简单的系统的动力学中学习，并扩展到更复杂的框架，使用其他相关的物理信息神经网络是不可行的。我们研究了使用小型培训数据集建模双体螺旋形或三体系统的框架，与同行相比，我们的模型实现了最佳的数据效率和准确性性能。我们还将模型重新组织为建模多体型和多体系统的扩展，展示了我们框架的可重复使用功能。

最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。

热力学可以看作是高认知水平上物理学的表达。因此，最近在许多领域中实现了其作为帮助机器学习程序获得准确和可信度的预测的潜在偏见。我们回顾热力学如何在学习过程中提供有用的见解。同时，我们研究了要描述给定现象的规模之类的方面的影响，对于此描述的相关变量的选择或可用于学习过程的不同技术。

合并适当的归纳偏差在从数据的学习动态中发挥着关键作用。通过将拉格朗日或哈密顿的动态编码到神经网络架构中，越来越多的工作已经探索了在学习动态中实施节能的方法。这些现有方法基于微分方程，其不允许州中的不连续性，从而限制了一个人可以学习的系统。然而，实际上，大多数物理系统，例如腿机器人和机器人操纵器，涉及联系和碰撞，这在各州引入了不连续性。在本文中，我们介绍了一种可微分的接触型号，可以捕获接触机械：无摩擦/摩擦，以及弹性/无弹性。该模型还可以适应不等式约束，例如关节角度的限制。拟议的联系模式通过允许同时学习联系和系统性质来扩展拉格朗日和哈密顿神经网络的范围。我们在具有不同恢复系数和摩擦系数的一系列具有挑战性的2D和3D物理系统上展示了这一框架。学习的动态可以用作用于下游梯度的优化任务的可分解物理模拟器，例如规划和控制。

从非正规化概率分布的抽样是机器学习中的基本问题，包括贝叶斯建模，潜在因子推断和基于能源的模型训练。在几十年的研究之后，尽管收敛缓慢，但MCMC的变化仍然是抽样的默认方法。辅助神经模型可以学习加速MCMC，但训练额外模型的开销可能是禁止的。我们通过具有非牛顿势头的新的汉密尔顿动态提出了对这个问题的根本不同的方法。与MCMC蒙特卡洛等MCMC接近相比，不需要随机步骤。相反，在扩展状态空间中提出的确定性动态精确地对能量函数指定的目标分布，在ergodicity的假设下。或者，可以将动态解释为在没有训练的情况下对指定的能量模型进行采样的标准化流程。所提出的能量采样哈密尔顿（ESH）动态有一个简单的形式，可以用现有的颂歌解决，但我们推出了一个专业的求解器，它表现出更好的性能。 ESH Dynamics会收敛于其MCMC竞争对手的速度更快，更稳定地培训神经网络能量模型。

In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.

机器学习的进展（ML）源于数据可用性，计算资源的组合，以及对电感偏差的适当编码。有用的偏差经常利用预测问题的对称性，例如依赖于翻译设备的卷积网络。自动发现这些有用的对称具有大大提高ML系统性能的可能性，但仍然是一个挑战。在这项工作中，我们专注于连续的预测问题，并采取灵感来自Noether定理，以减少发现归纳偏差到Meta学习的有用保守数量的问题。我们提出了挪威网络：在预测函数内优化了Meta学习保存损失的新型架构。我们在理论和实验上示出了Noether网络提高了预测质量，提供了一种用于在顺序问题中发现感应偏差的一般框架。