估计自由能，以及其他热力学可观察，是格子田间理论中的关键任务。最近，已经指出，可以在这种情况下使用深生成的模型。至关重要的是，这些模型允许在参数空间中的给定点处直接估计自由能。这与基于Markov链条的现有方法形成对比，这些方法通常需要通过参数空间集成。在这一贡献中，我们将审查这种基于机器学习的估算方法。我们将详细讨论模式崩溃问题和大纲缓解技术，这些技术特别适用于有限温度的应用。

我们提出了一种算法，以估计反向和前向kullback-leibler差异的路径梯度，以明显可逆地归一流。与标准的总梯度估计器相比，所得的路径梯度估计器可直接实施，具有较低的差异，不仅可以提高训练的速度更快，而且导致总体近似结果更好。我们还证明，路径梯度训练不太容易受到模式折叠的影响。鉴于我们的结果，我们期望路径梯度估计器将成为训练归一化流量的新标准方法。

我们提出了一种新型的机器学习方法，用于从晶格量子场理论的高维概率分布中取样。我们的建议不是迄今为止用于此任务的深层体系结构，而是基于单个神经效果层，并结合了问题的完整对称性。我们在$ \ phi^4 $理论上测试了我们的模型，这表明它系统地优于先前提出的采样效率基于流动的方法，并且对于较大的晶格而言，改进尤其明显。与以前的基线模型相比，我们将关键指标（有效样本量）提高了，从1％到91％，尺寸为$ 32 \ times 32 $。我们还证明，我们的模型可以成功学习一个连续的理论家庭，并且可以将学习结果转移到更大的晶格中。与传统的基于MCMC的方法相比，这种概括能力进一步突出了机器学习方法的潜在优势。

标准化流量是一类深生成模型，比传统的蒙特卡洛模拟更有效地为晶格场理论提供了有希望的途径。在这项工作中，我们表明，随机归一化流的理论框架，其中神经网络层与蒙特卡洛更新结合在一起，与基于jarzynski平等的不平衡模拟的基础相同，这些模拟最近已被部署以计算计算晶格计理论的自由能差异。我们制定了一种策略，以优化这种扩展类别的生成模型的效率和应用程序的示例。

我们提出了连续重复的退火流传输蒙特卡洛（CRAFT），该方法结合了顺序的蒙特卡洛（SMC）采样器（本身是退火重要性采样的概括）与使用归一化流量的变异推断。直接训练了归一化的流量，可用于使用KL差异进行每个过渡，以在退火温度之间运输。使用归一化流/SMC近似值估算了此优化目标。我们从概念上展示并使用多个经验示例，这些示例可以改善退火流运输蒙特卡洛（Arbel等，2021），并在其上建造，也可以在基于马尔可夫链蒙特卡洛（MCMC）基于基于的随机归一化流（Wu等人。2020）。通过将工艺纳入粒子MCMC中，我们表明，这种学识渊博的采样器可以在具有挑战性的晶格场理论示例中获得令人印象深刻的准确结果。

我们提出了一种连续的标准化流量，用于从物理学中量子域理论的高尺寸概率分布采样。与迄今为止此任务的深度架构相比，我们的提案基于浅设计并包含问题的对称性。我们在$ \ PHI ^ 4 $理论上测试我们的模型，表明它系统地优于采样效率的REALNV基准，其两个增加对于较大格子的差异。在我们考虑的最大格子上，大小为32美元，我们改善了一个关键的公制，有效的样本量，从1％到66％w.r.t.Realnvp基线。

基于标准化流的算法是由于有希望的机器学习方法，以便以可以使渐近精确的方式采样复杂的概率分布。在格子场理论的背景下，原则上的研究已经证明了这种方法对标量理论，衡量理论和统计系统的有效性。这项工作开发了能够使用动力学蜕皮的基于流动的理论采样的方法，这对于应用于粒子物理标准模型和许多冷凝物系的晶格场理论研究是必要的。作为一种实践演示，这些方法应用于通过Yukawa相互作用耦合到标量场的无大量交错的费米子的二维理论的现场配置的采样。

最近的工作已经为简单的高斯分布建立了一个路径梯度估计量，并认为该路径梯度在变化分布接近确切目标分布的状态下尤其有益。但是，在许多应用中，这种制度无法通过简单的高斯分布来达到。在这项工作中，我们通过提出一个途径梯度估计量来克服这一关键限制，以使连续归一化流的表达性变异家族更加表现力。我们概述了一种有效的算法来计算该估计器并通过经验建立其出色的性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

差异化地图是现场转换，其雅可比决定簇精确地取消了该动作中的交互术语，从而通过对样本的分布的确定性转换提供理论的表示。最近，由Albergo，Kanwar和Shanahan [Arxiv：1904.12072的原则上的原则研究证明了差异地图的近似可以是一类可逆的，可视的，称为\ TexitIT的神经模型的机器学习{归一化流量}。通过确保可以有效地计算Jacobian决定蛋白，可以通过从简单的分布和通过网络传递它们来执行来自感兴趣理论的渐近精确采样。从理论上的角度来看，这种方法可能比传统马尔可夫链蒙特卡罗采样技术变得更加效率，自相关性严重减少采样效率，因为一种接近连续箱限制。主要警告是，尚未理解模型的规模和训练成本如何规模。作为第一步，我们使用二维$ \ PHI ^ 4 $进行了探索性缩放研究，最高可达20美元$ 20 $莱迪思网站。虽然我们的研究范围仅限于特定的模型架构和培训算法，但初始结果绘制了一个有趣的画面，其中培训成本确实非常快。我们描述了较差的缩放候选人解释，并概述了我们的意图，以澄清未来的工作情况。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。

标准化流是可易处理的密度模型，可以近似复杂的目标分布，例如物理系统的玻尔兹曼分布。但是，当前的训练流量要么具有寻求模式的行为，要么使用昂贵的MCMC模拟事先生成的目标样本，要么使用具有很高差异的随机损失。为了避免这些问题，我们以退火重要性采样（AIS）增强流量，并最大程度地减少覆盖$ \ alpha $ -divergence的质量，并使用$ \ alpha = 2 $，从而最大程度地减少了重要性的重量差异。我们的方法是流动性Bootstrap（Fab），使用AIS在流动较差的目标区域中生成样品，从而促进了新模式的发现。我们以AIS的最小差异分布来定位，以通过重要性抽样来估计$ \ alpha $ -Divergence。我们还使用优先的缓冲区来存储和重复使用AIS样本。这两个功能显着提高了Fab的性能。我们将FAB应用于复杂的多模式目标，并表明我们可以在以前的方法失败的情况下非常准确地近似它们。据我们所知，我们是第一个仅使用非均衡目标密度学习丙氨酸二肽分子的玻璃体分布，而无需通过分子动力学（MD）模拟生成的样品：FAB与通过最大可能性训练更好的效果，而不是通过最大可能性产生的结果。在MD样品上使用100倍的目标评估。在重新获得重要权重的样品后，我们获得了与地面真相几乎相同的二面角的无偏直方图。

归一化流量是灵活的，参数化分布，可用于通过重要性采样从难治性分布中的预期近似。然而，目前的基于流动的方法受到挑战目标的限制，其中它们患有模式寻求行为或在训练损失中的高方差，或依赖于目标分布的样本，这可能不可用。为了解决这些挑战，我们将流量与退火重点采样（AIS）相结合，同时使用$ \ Alpha $ - 在新颖的培训程序中使用$ \ Alpha $ - 作为我们的目标，在培训程序Fab（Flow AIS Bootstrap）中。因此，流动和AI以自动启动方式彼此改进。我们展示了FAB可以用于对复杂的目标分布产生准确的近似，包括Boltzmann分布，在前一种基于流基的方法失败的问题中。

我们提供了对神经马尔可夫链蒙特卡罗模拟中的自相关的深度研究，该版本的传统大都会算法采用神经网络来提供独立的建议。我们使用二维ising模型说明了我们的想法。我们提出了几次自相关时间的估算，其中一些灵感来自于为大都市独立采样器导出的分析结果，我们将其与逆温度$ \ Beta $的函数进行比较和研究。基于我们提出替代损失功能，并研究其对自动系列的影响。此外，我们调查对自动相关时间的神经网络培训过程中强加系统对称（$ Z_2 $和/或翻译）的影响。最终，我们提出了一种包含局部热浴更新的方案。讨论了上述增强功能的影响为16美元16美元旋转系统。我们的调查结果摘要可以作为实施更复杂模型的神经马尔可夫链蒙特卡罗模拟的指导。

桥梁采样是一种强大的蒙特卡洛方法，用于估计标准化常数的比率。引入了各种方法以提高其效率。这些方法旨在通过对它们应用适当的转换而不更改标准化常数来增加密度之间的重叠。在本文中，我们首先给出了最佳桥梁估计器的渐近相对平方误差（RMSE）的新估计器，通过等效地估计两个密度之间的$ f $差异。然后，我们利用此框架，并根据二元式转换提出$ f $ -gan桥估计器（$ f $ -GB），该框架将一个密度映射到另一个密度，并最小化最佳桥梁估计器的渐近RMSE相对于密度。通过使用$ f $ gan之间的密度之间的特定$ f $ divergence来选择这种转换。从某种意义上说，在任何给定的候选转换中，$ f $ -GB估算器可以渐近地实现比桥梁估算器低于或等于由任何其他转换的密度低的RMSE，我们显示出$ f $ -GB是最佳的。数值实验表明，$ f $ -GB在模拟和现实世界中的现有方法优于现有方法。此外，我们讨论了桥梁估计器如何自然来自$ f $ divergence估计的问题。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Quasiparticle有效质量$ M ^ \ AST $互动电子是Fermi液体理论中的基本量。然而，在几十年后，均匀电子气体的有效质量仍然难以捉摸。新开发的神经规范变换方法Arxiv：2105.08644提供了通过直接计算低温热熵来提取电子气体的有效质量的原则方法。该方法使用两种生成神经网络模拟变分许多电子密度矩阵：用于电坐标的动量占用和标准化流动的自回归模型。我们的计算揭示了二维旋转偏振电子气中有效质量的抑制，其比在低密度强耦合区域中的先前报告更加明显。该预测要求在二维电子气体实验中验证。

Score based approaches to sampling have shown much success as a generative algorithm to produce new samples from a target density given a pool of initial samples. In this work, we consider if we have no initial samples from the target density, but rather $0^{th}$ and $1^{st}$ order oracle access to the log likelihood. Such problems may arise in Bayesian posterior sampling, or in approximate minimization of non-convex functions. Using this knowledge alone, we propose a Monte Carlo method to estimate the score empirically as a particular expectation of a random variable. Using this estimator, we can then run a discrete version of the backward flow SDE to produce samples from the target density. This approach has the benefit of not relying on a pool of initial samples from the target density, and it does not rely on a neural network or other black box model to estimate the score.

The choice of approximate posterior distribution is one of the core problems in variational inference. Most applications of variational inference employ simple families of posterior approximations in order to allow for efficient inference, focusing on mean-field or other simple structured approximations. This restriction has a significant impact on the quality of inferences made using variational methods. We introduce a new approach for specifying flexible, arbitrarily complex and scalable approximate posterior distributions. Our approximations are distributions constructed through a normalizing flow, whereby a simple initial density is transformed into a more complex one by applying a sequence of invertible transformations until a desired level of complexity is attained. We use this view of normalizing flows to develop categories of finite and infinitesimal flows and provide a unified view of approaches for constructing rich posterior approximations. We demonstrate that the theoretical advantages of having posteriors that better match the true posterior, combined with the scalability of amortized variational approaches, provides a clear improvement in performance and applicability of variational inference.

这项工作介绍了使用伪层作为费米子决定因素的随机估计量的费米子晶状体理论中基于流动采样的量规均值架构。这是最先进的晶格场理论计算中的默认方法，这使得对流向模型在QCD等理论的实际应用至关重要。还概述了通过标准技术（例如/奇数预处理和HasenBusch分解）来改进基于流的采样方法的方法。提供了二维U（1）和SU（3）具有$ n_f = 2 $ FERMIONS的量规理论的数值演示。