Units equivariance (or units covariance) is the exact symmetry that follows from the requirement that relationships among measured quantities of physics relevance must obey self-consistent dimensional scalings. Here, we express this symmetry in terms of a (non-compact) group action, and we employ dimensional analysis and ideas from equivariant machine learning to provide a methodology for exactly units-equivariant machine learning: For any given learning task, we first construct a dimensionless version of its inputs using classic results from dimensional analysis, and then perform inference in the dimensionless space. Our approach can be used to impose units equivariance across a broad range of machine learning methods which are equivariant to rotations and other groups. We discuss the in-sample and out-of-sample prediction accuracy gains one can obtain in contexts like symbolic regression and emulation, where symmetry is important. We illustrate our approach with simple numerical examples involving dynamical systems in physics and ecology.
translated by 谷歌翻译
部分微分方程（PDE）参见在科学和工程中的广泛使用，以将物理过程的模拟描述为标量和向量场随着时间的推移相互作用和协调。由于其标准解决方案方法的计算昂贵性质，神经PDE代理已成为加速这些模拟的积极研究主题。但是，当前的方法并未明确考虑不同字段及其内部组件之间的关系，这些关系通常是相关的。查看此类相关场的时间演变通过多活动场的镜头，使我们能够克服这些局限性。多胎场由标量，矢量以及高阶组成部分组成，例如双分数和三分分射线。 Clifford代数可以描述它们的代数特性，例如乘法，加法和其他算术操作。据我们所知，本文介绍了此类多人表示的首次使用以及Clifford的卷积和Clifford Fourier在深度学习的背景下的转换。由此产生的Clifford神经层普遍适用，并将在流体动力学，天气预报和一般物理系统的建模领域中直接使用。我们通过经验评估克利福德神经层的好处，通过在二维Navier-Stokes和天气建模任务以及三维Maxwell方程式上取代其Clifford对应物中常见的神经PDE代理中的卷积和傅立叶操作。克利福德神经层始终提高测试神经PDE代理的概括能力。
translated by 谷歌翻译
量子机学习（QML）模型旨在从量子状态中编码的数据中学习。最近，已经表明，几乎没有归纳偏差的模型（即，对模型中嵌入的问题没有假设）可能存在训练性和概括性问题，尤其是对于大问题。因此，开发编码与当前问题有关的信息的方案是至关重要的。在这项工作中，我们提出了一个简单但功能强大的框架，其中数据中的基本不向导用于构建QML模型，该模型通过构造尊重这些对称性。这些所谓的组不变模型产生的输出在对称组$ \ mathfrak {g} $的任何元素的动作下保持不变。我们提出了理论结果，基于$ \ mathfrak {g} $ - 不变型模型的设计，并通过几个范式QML分类任务来体现其应用程序，包括$ \ mathfrak {g} $是一个连续的谎言组，也是一个lie group，也是一个。离散对称组。值得注意的是，我们的框架使我们能够以一种优雅的方式恢复文献的几种知名算法，并发现了新的算法。综上所述，我们期望我们的结果将有助于为QML模型设计采用更多几何和群体理论方法铺平道路。
translated by 谷歌翻译
群体模棱两可（例如，SE（3）均衡性）是科学的关键物理对称性，从经典和量子物理学到计算生物学。它可以在任意参考转换下实现强大而准确的预测。鉴于此，已经为将这种对称性编码为深神经网络而做出了巨大的努力，该网络已被证明可以提高下游任务的概括性能和数据效率。构建模棱两可的神经网络通常会带来高计算成本以确保表现力。因此，如何更好地折衷表现力和计算效率在模棱两可的深度学习模型的设计中起着核心作用。在本文中，我们提出了一个框架来构建可以有效地近似几何量的se（3）等效图神经网络。受差异几何形状和物理学的启发，我们向图形神经网络介绍了局部完整帧，因此可以将以给定订单的张量信息投射到框架上。构建本地框架以形成正常基础，以避免方向变性并确保完整性。由于框架仅是由跨产品操作构建的，因此我们的方法在计算上是有效的。我们在两个任务上评估我们的方法：牛顿力学建模和平衡分子构象的产生。广泛的实验结果表明，我们的模型在两种类型的数据集中达到了最佳或竞争性能。
translated by 谷歌翻译
我们为$ S_N $-Quivariant Quantum卷积电路，建立并大大概括了Jordan的置力量子计算（PQC）形式主义的理论框架。我们表明量子电路是傅里叶空间神经架构的自然选择，其在计算$ S_N $ -Fourier系数的矩阵元素中，与在对称组上的最佳已知的经典快速傅里叶变换（FFT）相比计算的超级指数加速。特别是，我们利用Okounkov-Vershik方法来证明Harrow的陈述（Ph.D.论文2005 P.160）在$ \ OperatorName {su}（d）$ - 和$ s_n $-frirep基地之间并建立$ s_n $-arequivariant卷积量子交替使用年轻Jucys-Murphy（YJM）元素的ans {\“a} tze（$ s_n $ -cqa）。我们证明了$ s_n $ -cqa是密集的，因此在每美元内表达S_N $-Frirep块，其可以作为潜在的未来量子机器学习和优化应用成为普遍模型。我们的方法提供了另一种方法来证明量子近似优化算法（QAOA）的普遍性，从表示理论的角度来看。我们的框架可以自然地应用于全局$ \ Operatorname {su}（d）$对称性的各种问题。我们展示了数值模拟以展示ANS {\“A} TEE的有效性，以找到标志结构$ j_1 $ - $ j_2 $反铁磁性Heisenberg模型在矩形和矩形状态Kagome格子。我们的工作确定了特定机器学习问题的量子优势，并提供了庆祝的Okounkov-Vershik的表示理论的第一次应用于机器学习和量子物理学。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。
translated by 谷歌翻译
量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。
translated by 谷歌翻译
对称考虑对于用于提供原子配置的有效数学表示的主要框架的核心，然后在机器学习模型中用于预测与每个结构相关的特性。在大多数情况下，模型依赖于以原子为中心的环境的描述，并且适合于学习可以分解成原子贡献的原子特性或全局观察到。然而，许多与量子机械计算相关的数量 - 最值得注意的是，以原子轨道基础写入时的单粒子哈密顿矩阵 - 与单个中心无关，但结构中有两个（或更多个）原子。我们讨论一系列结构描述符，以概括为N中心案例的非常成功的原子居中密度相关特征，特别是如何应用这种结构，以有效地学习（有效）单粒子汉密尔顿人的矩阵元素以原子为中心的轨道基础。这些N中心的特点是完全的，不仅在转换和旋转方面，而且还就与原子相关的指数的排列而言 - 并且适合于构建新类的对称适应的机器学习模型分子和材料的性质。
translated by 谷歌翻译
我们设计了一种新型的前馈神经网络。相对于统一组$ u（n）$，它是均等的。输入和输出可以是$ \ mathbb {c}^n $的向量，并具有任意尺寸$ n $。我们的实施中不需要卷积层。我们避免因傅立叶样转换中的高阶项截断而导致错误。可以使用简单的计算有效地完成每一层的实现。作为概念的证明，我们已经对原子运动动力学的预测给出了经验结果，以证明我们的方法的实用性。
translated by 谷歌翻译
Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。
translated by 谷歌翻译
十年自2010年以来，人工智能成功一直处于计算机科学和技术的最前沿，传染媒介空间模型已经巩固了人工智能最前沿的位置。与此同时，量子计算机已经变得更加强大，主要进步的公告经常在新闻中。这些区域的基础的数学技术比有时意识到更多的共同之处。传染媒介空间在20世纪30年代的量子力学的公理心脏上采取了位置，这一采用是从矢量空间的线性几何形状推导逻辑和概率的关键动机。粒子之间的量子相互作用是使用张量产品进行建模的，其也用于表达人工神经网络中的物体和操作。本文介绍了这些常见的数学区域中的一些，包括如何在人工智能（AI）中使用的示例，特别是在自动推理和自然语言处理（NLP）中。讨论的技术包括矢量空间，标量产品，子空间和含义，正交投影和否定，双向矩阵，密度矩阵，正算子和张量产品。应用领域包括信息检索，分类和含义，建模字传感和歧义，知识库的推断和语义构成。其中一些方法可能会在量子硬件上实现。该实施中的许多实际步骤都处于早期阶段，其中一些已经实现了。解释一些常见的数学工具可以帮助AI和量子计算中的研究人员进一步利用这些重叠，识别和沿途探索新方向。
translated by 谷歌翻译
监督运营商学习是一种新兴机器学习范例，用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法，LOCA（学习操作员耦合注意力），激励了最近的注意机制的成功。在我们的体系结构中，输入函数被映射到有限的一组特征，然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合，LOCA能够明确地学习目标输出功能中的相关性，使我们能够近似非线性运算符，即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上，我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中，评估LOCA的表现，以及黑盒气候预测问题。通过这些场景，我们展示了最先进的准确性，对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播，即使对于分发超出预测任务。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
包括协调性信息，例如位置，力，速度或旋转在计算物理和化学中的许多任务中是重要的。我们介绍了概括了等级图形网络的可控e（3）的等值图形神经网络（Segnns），使得节点和边缘属性不限于不变的标量，而是可以包含相协同信息，例如矢量或张量。该模型由可操纵的MLP组成，能够在消息和更新功能中包含几何和物理信息。通过可操纵节点属性的定义，MLP提供了一种新的Activation函数，以便与可转向功能字段一般使用。我们讨论我们的镜头通过等级的非线性卷曲镜头讨论我们的相关工作，进一步允许我们引脚点点的成功组件：非线性消息聚集在经典线性（可操纵）点卷积上改善;可操纵的消息在最近发送不变性消息的最近的等价图形网络上。我们展示了我们对计算物理学和化学的若干任务的方法的有效性，并提供了广泛的消融研究。
translated by 谷歌翻译
In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.
translated by 谷歌翻译
现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题
translated by 谷歌翻译
Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译
基于签名的技术使数学洞察力洞悉不断发展的数据的复杂流之间的相互作用。这些见解可以自然地转化为理解流数据的数值方法，也许是由于它们的数学精度，已被证明在数据不规则而不是固定的情况下分析流的数据以及数据和数据的尺寸很有用样本量均为中等。了解流的多模式数据是指数的：$ d $ d $的字母中的$ n $字母中的一个单词可以是$ d^n $消息之一。签名消除了通过采样不规则性引起的指数级噪声，但仍然存在指数量的信息。这项调查旨在留在可以直接管理指数缩放的域中。在许多问题中，可伸缩性问题是一个重要的挑战，但需要另一篇调查文章和进一步的想法。这项调查描述了一系列环境集足够小以消除大规模机器学习的可能性，并且可以有效地使用一小部分免费上下文和原则性功能。工具的数学性质可以使他们对非数学家的使用恐吓。本文中介绍的示例旨在弥合此通信差距，并提供从机器学习环境中绘制的可进行的工作示例。笔记本可以在线提供这些示例中的一些。这项调查是基于伊利亚·雪佛兰（Ilya Chevryev）和安德烈·科米利津（Andrey Kormilitzin）的早期论文，它们在这种机械开发的较早时刻大致相似。本文说明了签名提供的理论见解是如何在对应用程序数据的分析中简单地实现的，这种方式在很大程度上对数据类型不可知。
translated by 谷歌翻译