We apply the Hierarchical Autoregressive Neural (HAN) network sampling algorithm to the two-dimensional $Q$-state Potts model and perform simulations around the phase transition at $Q=12$. We quantify the performance of the approach in the vicinity of the first-order phase transition and compare it with that of the Wolff cluster algorithm. We find a significant improvement as far as the statistical uncertainty is concerned at a similar numerical effort. In order to efficiently train large neural networks we introduce the technique of pre-training. It allows to train some neural networks using smaller system sizes and then employing them as starting configurations for larger system sizes. This is possible due to the recursive construction of our hierarchical approach. Our results serve as a demonstration of the performance of the hierarchical approach for systems exhibiting bimodal distributions. Additionally, we provide estimates of the free energy and entropy in the vicinity of the phase transition with statistical uncertainties of the order of $10^{-7}$ for the former and $10^{-3}$ for the latter based on a statistics of $10^6$ configurations.

我们提供了对神经马尔可夫链蒙特卡罗模拟中的自相关的深度研究，该版本的传统大都会算法采用神经网络来提供独立的建议。我们使用二维ising模型说明了我们的想法。我们提出了几次自相关时间的估算，其中一些灵感来自于为大都市独立采样器导出的分析结果，我们将其与逆温度$ \ Beta $的函数进行比较和研究。基于我们提出替代损失功能，并研究其对自动系列的影响。此外，我们调查对自动相关时间的神经网络培训过程中强加系统对称（$ Z_2 $和/或翻译）的影响。最终，我们提出了一种包含局部热浴更新的方案。讨论了上述增强功能的影响为16美元16美元旋转系统。我们的调查结果摘要可以作为实施更复杂模型的神经马尔可夫链蒙特卡罗模拟的指导。

复杂的高尺寸概率分布的高效采样是计算科学中的核心任务。机器学习方法，如自动增加神经网络，与马尔可夫链蒙特卡罗采样一起使用，为这种分布提供良好的近似，但遭受内在偏差或高方差。在这封信中，我们提出了一种方法来使这种近似不偏不倚，方差低。我们的方法使用物理对称和可变大小的群集更新，它利用自回归分解的结构。我们测试我们的古典自旋系统的第一阶和二阶相变的方法，显示其对关键系统和亚稳态存在的可行性。

标准化流量是一类深生成模型，比传统的蒙特卡洛模拟更有效地为晶格场理论提供了有希望的途径。在这项工作中，我们表明，随机归一化流的理论框架，其中神经网络层与蒙特卡洛更新结合在一起，与基于jarzynski平等的不平衡模拟的基础相同，这些模拟最近已被部署以计算计算晶格计理论的自由能差异。我们制定了一种策略，以优化这种扩展类别的生成模型的效率和应用程序的示例。

基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。

我们训练神经形态硬件芯片以通过变分能最小化近似Quantum旋转模型的地面状态。与使用马尔可夫链蒙特卡罗进行样品生成的变分人工神经网络相比，这种方法具有优点：神经形态器件以快速和固有的并行方式产生样品。我们开发培训算法，并将其应用于横向场介绍模型，在中等系统尺寸下显示出良好的性能（$ n \ LEQ 10 $）。系统的普遍开心研究表明，较大系统尺寸的可扩展性主要取决于样品质量，该样品质量受到模拟神经芯片上的参数漂移的限制。学习性能显示阈值行为作为ansatz的变分参数的数量的函数，大约为50美元的隐藏神经元，足以表示关键地位，最高$ n = 10 $。网络参数的6 + 1位分辨率不会限制当前设置中的可达近似质量。我们的工作为利用神经形态硬件的能力提供了一种重要的一步，以解决量子数量问题中的维数诅咒。

受限的玻尔兹曼机器（RBMS）提供了一种用于无监督的机器学习的多功能体系结构，原则上可以以任意准确性近似任何目标概率分布。但是，RBM模型通常由于其计算复杂性而无法直接访问，并调用了Markov-Chain采样以分析学习概率分布。因此，对于培训和最终应用，希望拥有既准确又有效的采样器。我们强调，这两个目标通常相互竞争，无法同时实现。更具体地说，我们确定并定量地表征了RBM学习的三个制度：独立学习，精度提高而不会失去效率；相关学习，较高的精度需要较低的效率；和退化，精度和效率都不再改善甚至恶化。这些发现基于数值实验和启发式论点。

罕见事件计算研究中的一个中心对象是委员会函数。尽管计算成本高昂，但委员会功能编码涉及罕见事件的过程的完整机械信息，包括反应率和过渡状态合奏。在过渡路径理论（TPT）的框架下，最近的工作[1]提出了一种算法，其中反馈回路融合了一个神经网络，该神经网络将委员会功能建模为重要性采样，主要是伞形采样，该摘要收集了自适应训练所需的数据。在这项工作中，我们显示需要进行其他修改以提高算法的准确性。第一个修改增加了监督学习的要素，这使神经网络通过拟合从短分子动力学轨迹获得的委员会值的样本均值估计来改善其预测。第二个修改用有限的温度字符串（FTS）方法代替了基于委员会的伞采样，该方法可以在过渡途径的区域中进行均匀抽样。我们测试了具有非凸电势能的低维系统的修改，可以通过分析或有限元方法找到参考解决方案，并显示如何将监督学习和FTS方法组合在一起，从而准确地计算了委员会功能和反应速率。我们还为使用FTS方法的算法提供了错误分析，使用少数样品在训练过程中可以准确估算反应速率。然后将这些方法应用于未知参考溶液的分子系统，其中仍然可以获得委员会功能和反应速率的准确计算。

我们考虑受限制的Boltzmann机器（RBMS）在非结构化的数据集上培训，由虚构的数据集进行，该数据集由明确的模糊但不可用的“原型”，我们表明，RBM可以学习原型的临界样本大小，即机器可以成功播放作为一种生成模型或作为分类器，根据操作程序。通常，评估关键的样本大小（可能与数据集的质量相关）仍然是机器学习中的一个开放问题。在这里，限制随机理论，其中浅网络就足够了，大母细胞场景是正确的，我们利用RBM和Hopfield网络之间的正式等价，以获得突出区域中突出区域的神经架构的相图控制参数（即，原型的数量，训练集的训练集的神经元数量，大小和质量的数量），其中可以实现学习。我们的调查是通过基于无序系统的统计学机械的分析方法领导的，结果通过广泛的蒙特卡罗模拟进一步证实。

在神经网络的文献中，Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序（即仅经历过一次形成突触矩阵的确定模式）。但是，机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力（例如，由这些原型的模糊示例制成），以制作自己的不可用原型的代表。在这里，给定一个示例示例，我们定义了一个有监督的学习协议，通过该协议可以通过该协议来推断原型，并检测到正确的控制参数（包括数据集的大小和质量）以描绘系统性能的相图。我们还证明，对于无结构数据集，配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器，这表明了最佳且可解释的培训例程。最后，这种方法被推广到结构化的数据集：我们在分析的数据集中突出显示了一个准剥离组织（让人联想到复制对称性 - 对称性），因此，我们为其（部分）分开，为其（部分）删除层引入了一个附加的“复制性隐藏层”，该证明可以将MNIST分类从75％提高到95％，并提供有关深度体系结构的新观点。

我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。

We present a neural flow wavefunction, Gauge-Fermion FlowNet, and use it to simulate 2+1D lattice compact quantum electrodynamics with finite density dynamical fermions. The gauge field is represented by a neural network which parameterizes a discretized flow-based transformation of the amplitude while the fermionic sign structure is represented by a neural net backflow. This approach directly represents the $U(1)$ degree of freedom without any truncation, obeys Guass's law by construction, samples autoregressively avoiding any equilibration time, and variationally simulates Gauge-Fermion systems with sign problems accurately. In this model, we investigate confinement and string breaking phenomena in different fermion density and hopping regimes. We study the phase transition from the charge crystal phase to the vacuum phase at zero density, and observe the phase seperation and the net charge penetration blocking effect under magnetic interaction at finite density. In addition, we investigate a magnetic phase transition due to the competition effect between the kinetic energy of fermions and the magnetic energy of the gauge field. With our method, we further note potential differences on the order of the phase transitions between a continuous $U(1)$ system and one with finite truncation. Our state-of-the-art neural network approach opens up new possibilities to study different gauge theories coupled to dynamical matter in higher dimensions.

优化在离散变量上的高度复杂的成本/能源功能是不同科学学科和行业的许多公开问题的核心。一个主要障碍是在硬实例中的某些变量子集之间的出现，导致临界减慢或集体冻结了已知的随机本地搜索策略。通常需要指数计算工作来解冻这种变量，并探索配置空间的其他看不见的区域。在这里，我们通过开发自适应梯度的策略来介绍一个量子启发的非本球非识别蒙特卡罗（NMC）算法，可以有效地学习成本函数的关键实例的几何特征。该信息随行使用，以构造空间不均匀的热波动，用于以各种长度尺度集体未填充变量，规避昂贵的勘探与开发权衡。我们将算法应用于两个最具挑战性的组合优化问题：随机k可满足（K-SAT）附近计算阶段转换和二次分配问题（QAP）。我们在专业的确定性求解器和通用随机求解器上观察到显着的加速和鲁棒性。特别是，对于90％的随机4-SAT实例，我们发现了最佳专用确定性算法无法访问的解决方案，该算法（SP）具有最强的10％实例的解决方案质量的大小提高。我们还通过最先进的通用随机求解器（APT）显示出在最先进的通用随机求解器（APT）上的时间到溶液的两个数量级改善。

我们介绍了Netket的版本3，机器学习工具箱适用于许多身体量子物理学。Netket围绕神经网络量子状态构建，并为其评估和优化提供有效的算法。这个新版本是基于JAX的顶部，一个用于Python编程语言的可差分编程和加速的线性代数框架。最重要的新功能是使用机器学习框架的简明符号来定义纯Python代码中的任意神经网络ANS \“凝固的可能性，这允许立即编译以及渐变的隐式生成自动化。Netket 3还带来了GPU和TPU加速器的支持，对离散对称组的高级支持，块以缩放多程度的自由度，Quantum动态应用程序的驱动程序，以及改进的模块化，允许用户仅使用部分工具箱是他们自己代码的基础。

我们研究限制的Boltzmann机器（RBM）提取的特征当它在各种温度下旋转模型的自旋配置时训练。使用训练的RBM，我们获得了自旋配置的迭代重建（RBM流量）的流程，并在某些情况下发现流程接近阶段转换点$ T = T_C $ IN ISING模型。由于在重建配置中强调提取的特征，因此在这种固定点处的配置应该除了提取的特征之外。然后，我们研究了固定点对各种参数的依赖性，并猜测RBM流程的固定点处于相位过渡点的状态。我们还通过分析训练RBM的重量矩阵来提供猜想的支持证据。

基于采样的推理技术是现代宇宙学数据分析的核心;然而，这些方法与维度不良，通常需要近似或顽固的可能性。在本文中，我们描述了截短的边际神经比率估计（TMNRE）（即所谓的基于模拟的推断的新方法）自然避免了这些问题，提高了$（i）$效率，$（ii）$可扩展性和$ （iii）推断后的后续后续的可信度。使用宇宙微波背景（CMB）的测量，我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗（MCMC）方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是，所需数量的样本有效地独立于滋扰参数的数量。此外，称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具，特别是在扩展宇宙学的背景下，其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算，我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。

在随机抽样方法中，马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中，我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明，偏离目标稳态分布的偏差特征是定位过渡的函数，这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差，而误差是通过不完整的收敛引入的，并区分了两个方案，其中弛豫机制分别受扩散和排斥分别受到限制。

无监督的机器学习的目的是删除复杂的高维数据的表示形式，从而解释数据中的重要潜在因素以及操纵它们以生成具有理想功能的新数据。这些方法通常依赖于对抗方案，在该方案中，对代表进行调整以避免歧视者能够重建特定的数据信息（标签）。我们提出了一种简单，有效的方法，即在无需培训对抗歧视器的情况下解开表示形式，并将我们的方法应用于受限的玻尔兹曼机器（RBM），这是最简单的基于代表的生成模型之一。我们的方法依赖于在训练过程中引入对权重的足够约束，这使我们能够将有关标签的信息集中在一小部分潜在变量上。该方法的有效性在MNIST数据集，二维ISING模型和蛋白质家族的分类法上说明了。此外，我们还展示了我们的框架如何从数据的对数模型中计算成本，与其表示形式的删除相关。

了解复杂分子过程的动力学通常与长期稳定状态之间不经常过渡的研究有关。进行此类罕见事件采样的标准方法是使用轨迹空间中的随机步行生成过渡路径的集合。然而，这伴随着随后访问的路径之间的较强相关性和在平行采样过程中的内在难度之间存在很强的相关性。我们建议基于神经网络生成的配置的过渡路径采样方案。这些是采用归一化流量获得的，即能够从给定分布中生成非相关样品的神经网络类。使用这种方法，不仅删除了访问的路径之间的相关性，而且采样过程很容易平行。此外，通过调节归一化流，可以将配置的采样转向感兴趣的区域。我们表明，这允许解决过渡区域的热力学和动力学。

To simulate bosons on a qubit- or qudit-based quantum computer, one has to regularize the theory by truncating infinite-dimensional local Hilbert spaces to finite dimensions. In the search for practical quantum applications, it is important to know how big the truncation errors can be. In general, it is not easy to estimate errors unless we have a good quantum computer. In this paper we show that traditional sampling methods on classical devices, specifically Markov Chain Monte Carlo, can address this issue with a reasonable amount of computational resources available today. As a demonstration, we apply this idea to the scalar field theory on a two-dimensional lattice, with a size that goes beyond what is achievable using exact diagonalization methods. This method can be used to estimate the resources needed for realistic quantum simulations of bosonic theories, and also, to check the validity of the results of the corresponding quantum simulations.