我们提出了一种简单的方法来通过人工神经网络的回归来识别数据集中的连续谎言对称。我们的提案利用了在输入变量上的无限对称转换下输出变量的$ \ Mathcal {O}（\ epsilon ^ 2）$缩放。随着后期对称转换的影响，该方法不依赖于数据集的完整表示空间或排放的采样，并且最小化了错误识别的可能性。我们在SU（3） - 对称（非）线性$ \ SIGMA $模型中展示了我们的方法。
translated by 谷歌翻译
我们将机器学习应用于寻找数值卡拉比市度量的问题。我们在使用Donaldson算法计算近似Ricci-FLAN度量的学习近似Ricci-Flat度量，以更加准确的“最佳”度量标准的“最佳”的“最佳”指标来扩展。我们表明，机器学习能够预测只有一个小型训练数据样本的Calabi-yau度量的K \“Ahler潜力。
translated by 谷歌翻译
最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。
translated by 谷歌翻译
在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
现有的等分性神经网络需要先前了解对称组和连续组的离散化。我们建议使用Lie代数（无限发电机）而不是谎言群体。我们的模型，Lie代数卷积网络（L-Chir）可以自动发现对称性，并不需要该组的离散化。我们展示L-CONC可以作为构建任何组的建筑块，以构建任何组的馈电架构。CNN和图表卷积网络都可以用适当的组表示为L-DIV。我们发现L-CONC和物理学之间的直接连接：（1）组不变损失概括场理论（2）欧拉拉格朗法令方程测量鲁棒性，（3）稳定性导致保护法和挪威尔特。这些连接开辟了新的途径用于设计更多普遍等级的网络并将其应用于物理科学中的重要问题
translated by 谷歌翻译
Gauge Theory plays a crucial role in many areas in science, including high energy physics, condensed matter physics and quantum information science. In quantum simulations of lattice gauge theory, an important step is to construct a wave function that obeys gauge symmetry. In this paper, we have developed gauge equivariant neural network wave function techniques for simulating continuous-variable quantum lattice gauge theories in the Hamiltonian formulation. We have applied the gauge equivariant neural network approach to find the ground state of 2+1-dimensional lattice gauge theory with U(1) gauge group using variational Monte Carlo. We have benchmarked our approach against the state-of-the-art complex Gaussian wave functions, demonstrating improved performance in the strong coupling regime and comparable results in the weak coupling regime.
translated by 谷歌翻译
In my previous article I mentioned for the first time that a classical neural network may have quantum properties as its own structure may be entangled. The question one may ask now is whether such a quantum property can be used to entangle other systems? The answer should be yes, as shown in what follows.
translated by 谷歌翻译
基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。
translated by 谷歌翻译
Understanding the functional principles of information processing in deep neural networks continues to be a challenge, in particular for networks with trained and thus non-random weights. To address this issue, we study the mapping between probability distributions implemented by a deep feed-forward network. We characterize this mapping as an iterated transformation of distributions, where the non-linearity in each layer transfers information between different orders of correlation functions. This allows us to identify essential statistics in the data, as well as different information representations that can be used by neural networks. Applied to an XOR task and to MNIST, we show that correlations up to second order predominantly capture the information processing in the internal layers, while the input layer also extracts higher-order correlations from the data. This analysis provides a quantitative and explainable perspective on classification.
translated by 谷歌翻译
了解特征学习如何影响概括是现代深度学习理论的最重要目标之一。在这里，我们研究了学习表示的能力如何影响一类简单模型的概括性能：深贝叶斯线性神经网络接受了非结构化高斯数据的训练。通过将深层随机特征模型与所有训练所有层的深网进行比较，我们将提供详细的表征宽度，深度，数据密度和先验不匹配之间的相互作用。我们表明，在存在标签噪声的情况下，这两种模型都显示出样本的双重变化行为。如果有狭窄的瓶颈层，那么随机特征模型还可以显示模型的双重变化，而深网不显示这些分歧。随机特征模型可以具有特定的宽度，这些宽度对于在给定的数据密度下是最佳的概括，同时使神经网络尽可能宽或狭窄始终是最佳的。此外，我们表明，对内核限制学习曲线的前阶校正无法区分所有培训所有层的随机特征模型和深层网络。综上所述，我们的发现开始阐明建筑细节如何影响这种简单的深层回归模型类别的概括性能。
translated by 谷歌翻译
深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。
translated by 谷歌翻译
量子机学习（QML）模型旨在从量子状态中编码的数据中学习。最近，已经表明，几乎没有归纳偏差的模型（即，对模型中嵌入的问题没有假设）可能存在训练性和概括性问题，尤其是对于大问题。因此，开发编码与当前问题有关的信息的方案是至关重要的。在这项工作中，我们提出了一个简单但功能强大的框架，其中数据中的基本不向导用于构建QML模型，该模型通过构造尊重这些对称性。这些所谓的组不变模型产生的输出在对称组$ \ mathfrak {g} $的任何元素的动作下保持不变。我们提出了理论结果，基于$ \ mathfrak {g} $ - 不变型模型的设计，并通过几个范式QML分类任务来体现其应用程序，包括$ \ mathfrak {g} $是一个连续的谎言组，也是一个lie group，也是一个。离散对称组。值得注意的是，我们的框架使我们能够以一种优雅的方式恢复文献的几种知名算法，并发现了新的算法。综上所述，我们期望我们的结果将有助于为QML模型设计采用更多几何和群体理论方法铺平道路。
translated by 谷歌翻译
我们使用深神经网络来机器学习各种尺寸的结不变之间的相关性。感兴趣的三维不变性是琼斯多项式$ j（q）$，四维不变性是khovanov多项式$ \ text {kh}（q，t）$，平滑的切片属$ g $，以及拉斯穆森的$ s $-invariant。我们发现双层前馈神经网络可以从$ \ text {kh}（q，-q ^ {-4}）$大于99美元的$准确性。通过现在的DISPROVER骑士移动猜想，在结理论中存在对这种性能的理论解释，这些表现在我们的数据集中的所有结遵守。更令人惊讶的是，我们发现类似于$ \ text {kh}（q，-q ^ {-2}）$的类似表现，这表明Khovanov与李同源理论之间的新关系。网络从$ \ text {kh}（q，t）$以同样高的准确度预测到$ g $，我们讨论了机器学习$ s $的程度，而不是$ g $，因为有一般不平等$ | S | \ Leq 2G $。 Jones多项式作为三维不变性，并不明显与$ S $或$ G $相关，但网络从$ j（q）$之前预测，网络达到大于95美元的$准确性。此外，通过在统一的根部评估$ j（q）$来实现类似的准确度。这表明与SU（2）$ CHERN-SIMONS理论的关系，我们审查了Khovanov同源性的仪表理论建设，这可能与解释网络的性能相关。
translated by 谷歌翻译
神经网络的可解释性及其潜在的理论行为仍然是一个开放的学习领域，即使在实际应用的巨大成功之后，特别是在深度学习的出现。在这项工作中，提出了NN2Poly：一种理论方法，允许获得提供已经训练的深神经网络的替代表示的多项式。这扩展了ARXIV中提出的先前想法：2102.03865，其仅限于单个隐藏层神经网络，以便在回归和分类任务中使用任意深度前馈神经网络。本文的目的是通过在每层的激活函数上使用泰勒膨胀来实现，然后使用若干组合性质，允许识别所需多项式的系数。讨论了实现本理论方法时的主要计算限制，并介绍了NN2POLY工作所必需的神经网络权重的约束的示例。最后，呈现了一些模拟，得出结论，使用NN2Poly可以获得给定神经网络的表示，并且在所获得的预测之间具有低误差。
translated by 谷歌翻译
最近，对具有神经网络的物理系统建模和计算的兴趣越来越多。在古典力学中，哈密顿系统是一种优雅而紧凑的形式主义，该动力学由一个标量功能，哈密顿量完全决定。解决方案轨迹通常受到约束，以在线性矢量空间的子序列上进化。在这项工作中，我们提出了新的方法，以准确地逼近其解决方案的示例数据信息的约束机械系统的哈密顿功能。我们通过使用明确的谎言组集成商和其他经典方案来关注学习策略中约束的重要性。
translated by 谷歌翻译
相分离在相关电子材料的新功能的出现中起着核心作用。混合相位的结构强烈依赖于非平衡相位分离动态，这迄今为止尚未系统地研究，特别是在理论方面。借助现代机器学习方法，我们展示了Falicov-Kimball模型的第一型大型动力学蒙特卡罗模拟，这是规范强烈相关的电子系统之一。我们发现一个不寻常的相位分离场景，其中域粗化在两个不同的尺度同时发生：棋盘簇的生长在较小的长度尺度和超级集群的扩展，这是相同标志的棋盘集群的聚合，更大规模。我们表明超级集群的出现是由于子分子对称的隐藏动态破裂。被阻止棋盘图案和超集群的生长被示出由相关诱导的自捕集机制产生。类似于本工作中报告的玻璃状行为可能是用于其他相关电子系统的通用。
translated by 谷歌翻译
我们审查了一种名为晶格计的新颖的神经网络架构，称为格子仪表的卷积神经网络（L-CNNS），可以应用于格子仪表理论中的通用机器学习问题，同时完全保留了规格对称性。我们讨论了用于明确构建规格的规范的衡量标准的概念，该卷大式卷积层和双线性层。使用看似简单的非线性回归任务比较L-CNNS和非成型CNN的性能，其中L-CNNS在与其非成型对应物相比，L-CNNS展示了概括性并在预测中实现了高度的准确性。
translated by 谷歌翻译
机器学习最近被出现为研究复杂现象的有希望的方法，其特征是丰富的数据集。特别地，以数据为中心的方法为手动检查可能错过的实验数据集中自动发现结构的可能性。在这里，我们介绍可解释的无监督监督的混合机学习方法，混合相关卷积神经网络（Hybrid-CCNN），并将其应用于使用基于Rydberg Atom阵列的可编程量子模拟器产生的实验数据。具体地，我们应用Hybrid-CCNN以通过可编程相互作用分析在方形格子上的新量子阶段。初始无监督的维度降低和聚类阶段首先揭示了五个不同的量子相位区域。在第二个监督阶段，我们通过培训完全解释的CCNN来细化这些相界并通过训练每个阶段提取相关的相关性。在条纹相中的每个相捕获量子波动中专门识别的特征空间加权和相关的相关性并鉴定两个先前未检测到的相，菱形和边界有序相位。这些观察结果表明，具有机器学习的可编程量子模拟器的组合可用作有关相关量子态的详细探索的强大工具。
translated by 谷歌翻译
我们调查人工神经网络的损失表面Hessians的局部光谱统计数据，在那里我们发现跨多个网络架构和数据集的高斯正交集合统计数据非常一致。这些结果阐述了随机矩阵理论对神经网络建模的适用性，并提出了在深度学习中损失表面研究中的先前未被识别的作用。通过这些观察的启发，我们提出了一种新颖的神经网络的真正损失表面模型，与我们的观察结果一致，这允许Hessian光谱密度在实践中广泛观察到具有秩的退化性和异常值，并预测损失梯度的独立性越来越长重量空间中距离的函数。我们进一步调查了神经网络中真正损失表面的重要性，并与以前的工作相比，找到了定位全球最小值的指数硬度对实现最新性能的实际后果。
translated by 谷歌翻译
Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.
translated by 谷歌翻译