Recently, studies on machine learning have focused on methods that use symmetry implicit in a specific manifold as an inductive bias. In particular, approaches using Grassmann manifolds have been found to exhibit effective performance in fields such as point cloud and image set analysis. However, there is a lack of research on the construction of general learning models to learn distributions on the Grassmann manifold. In this paper, we lay the theoretical foundations for learning distributions on the Grassmann manifold via continuous normalizing flows. Experimental results show that the proposed method can generate high-quality samples by capturing the data structure. Further, the proposed method significantly outperformed state-of-the-art methods in terms of log-likelihood or evidence lower bound. The results obtained are expected to usher in further research in this field of study.

本文介绍了欧几里德对称的生成模型：E（n）等分反的归一化流量（E-NFS）。为了构建E-NFS，我们采用鉴别性E（n）图神经网络，并将它们集成为微分方程，以获得可逆的等式功能：连续时间归一化流量。我们展示了E-NFS在诸如DW4和LJ13的粒子系统中的文献中的基础和现有方法，以及QM9的分子在对数似然方面。据我们所知，这是第一次流动，共同生成3D中的分子特征和位置。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

扩散模型是图像产生和似然估计的最新方法。在这项工作中，我们将连续的时间扩散模型推广到任意的Riemannian流形，并得出了可能性估计的变异框架。在计算上，我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外，在概括欧几里得案例时，我们证明，最大化该变异的下限等效于Riemannian得分匹配。从经验上讲，我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力，例如球体，Tori，双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。

我们对通过歧管（例如球形，Tori和其他隐式表面）描述的复杂几何形状的学习生成模型感兴趣。现有（欧几里德）生成模型的当前延伸仅限于特定几何形状，并且通常遭受高计算成本。我们介绍了Moser Flow（MF），是连续标准化流量（CNF）系列内的一类新的生成型号。 MF还通过解决方案产生CNF，然而，与其他CNF方法不同，其模型（学习）密度被参数化，因为源（先前）密度减去神经网络（NN）的发散。分歧是局部线性差分操作员，易于近似和计算歧管。因此，与其他CNFS不同，MF不需要在训练期间通过颂歌求解器调用或反向。此外，将模型密度明确表示为NN的发散而不是作为颂歌的解决方案有助于学习高保真密度。从理论上讲，我们证明了MF在合适的假设下构成了通用密度近似器。经验上，我们首次证明了流动模型的使用从一般曲面采样，并在挑战地球和气候的挑战性几何形状和现实世界基准中实现了密度估计，样本质量和培训复杂性的显着改善科学。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

连续归一化流（CNF）是一类生成模型，可以通过求解普通的微分方程（ODE）将先验分布转换为模型分布。我们建议通过最大程度地减少概率路径差异（PPD）来训练CNF，这是CNF产生的概率密度路径与目标概率密度路径之间的新型差异家族。 PPD是使用对数质量保护公式制定的，该公式是线性的一阶部分微分方程，将对数目标概率和CNF的定义向量场进行配方。 PPD比现有方法具有多个关键好处：它避免了在迭代中解决颂歌的需求，很容易应用于歧管数据，比例到高维度，并与大型目标路径兼容，该目标路径在有限的时间内插值纯噪声和数据。从理论上讲，PPD显示为结合经典概率差异。从经验上讲，我们表明，通过最小化PPD实现最新的CNF在现有的低维歧管基准上获得了最新的可能性和样品质量，并且是生成模型以扩展到中度高维歧管的第一个示例。

生成建模旨在揭示产生观察到的数据的潜在因素，这些数据通常可以被建模为自然对称性，这些对称性是通过不变和对某些转型定律等效的表现出来的。但是，当前代表这些对称性的方法是在需要构建模棱两可矢量场的连续正式化流中所掩盖的 - 抑制了它们在常规的高维生成建模域（如自然图像）中的简单应用。在本文中，我们专注于使用离散层建立归一化流量。首先，我们从理论上证明了对紧凑空间的紧凑型组的模棱两可的图。我们进一步介绍了三个新的品牌流：$ g $ - 剩余的流量，$ g $ - 耦合流量和$ g $ - inverse自动回旋的回旋流量，可以提升经典的残留剩余，耦合和反向自动性流量，并带有等效的地图， $。从某种意义上说，我们证明$ g $ equivariant的差异性可以通过$ g $ - $ residual流量映射，我们的$ g $ - 剩余流量也很普遍。最后，我们首次在诸如CIFAR-10之类的图像数据集中对我们的理论见解进行了补充，并显示出$ G $ equivariant有限的有限流量，从而提高了数据效率，更快的收敛性和提高的可能性估计。

我们提出了一个利用归一化流的拓扑非平凡流形的学习概率分布的框架。当前的方法集中在对欧几里得空间同质形态的流形上，在学习模型上执行强大的结构先验或不容易扩展到高维度的操作。相比之下，我们的方法通过将多个局部模型“粘合”一起学习数据歧管上的分布，从而定义了数据歧管的开放覆盖。我们证明了我们的方法在已知流形的合成数据以及未知拓扑的较高维歧管上的效率，在许多任务中，我们的方法在许多任务中表现出更好的样品效率和竞争性或优越的性能。

这项工作引入了3D分子生成的扩散模型，该模型与欧几里得转化一样。我们的e（3）e象扩散模型（EDM）学会了通过均衡网络的扩散过程，该网络共同在连续（原子坐标）和分类特征（原子类型）上共同运行。此外，我们提供了一种概率分析，该分析使用我们的模型接受了分子的可能性计算。在实验上，所提出的方法显着优于先前关于生成样品质量和训练时效率的3D分子生成方法。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

线性神经网络层的模棱两可。在这项工作中，我们放宽了肩variance条件，只有在投影范围内才是真实的。特别是，我们研究了投射性和普通的肩那样的关系，并表明对于重要的例子，这些问题实际上是等效的。3D中的旋转组在投影平面上投影起作用。在设计用于过滤2D-2D对应的网络时，我们在实验上研究了旋转肩位的实际重要性。完全模型的模型表现不佳，虽然简单地增加了不变的特征，从而在强大的基线产量中得到了改善，但这似乎并不是由于改善的均衡性。

事实证明，与对称性的对称性在深度学习研究中是一种强大的归纳偏见。关于网格处理的最新著作集中在各种天然对称性上，包括翻译，旋转，缩放，节点排列和仪表变换。迄今为止，没有现有的体系结构与所有这些转换都不相同。在本文中，我们提出了一个基于注意力的网格数据的架构，该体系结构与上述所有转换相似。我们的管道依赖于相对切向特征的使用：一种简单，有效，等效性的替代品，可作为输入作为输入。有关浮士德和TOSCA数据集的实验证实，我们提出的架构在这些基准测试中的性能提高了，并且确实是对各种本地/全球转换的均等，因此具有强大的功能。

Riemannian优化是解决优化问题的原则框架，其中所需的最佳被限制为光滑的歧管$ \ Mathcal {M} $。在此框架中设计的算法通常需要对歧管的几何描述，该描述通常包括切线空间，缩回和成本函数的梯度。但是，在许多情况下，由于缺乏信息或棘手的性能，只能访问这些元素的子集（或根本没有）。在本文中，我们提出了一种新颖的方法，可以在这种情况下执行近似Riemannian优化，其中约束歧管是$ \ r^{d} $的子手机。至少，我们的方法仅需要一组无噪用的成本函数$（\ x_ {i}，y_ {i}）\ in {\ mathcal {m}} \ times \ times \ times \ times \ times \ mathbb {r} $和内在的歧管$ \ MATHCAL {M} $的维度。使用样品，并利用歧管-MLS框架（Sober和Levin 2020），我们构建了缺少的组件的近似值，这些组件娱乐可证明的保证并分析其计算成本。如果某些组件通过分析给出（例如，如果成本函数及其梯度明确给出，或者可以计算切线空间），则可以轻松地适应该算法以使用准确的表达式而不是近似值。我们使用我们的方法分析了基于Riemannian梯度的方法的全球收敛性，并从经验上证明了该方法的强度，以及基于类似原理的共轭梯度类型方法。

潜在变量模型（LVM）的无监督学习被广泛用于表示机器学习中的数据。当这样的模型反映了地面真理因素和将它们映射到观察的机制时，有理由期望它们允许在下游任务中进行概括。但是，众所周知，如果不在模型类上施加限制，通常无法实现此类可识别性保证。非线性独立组件分析是如此，其中LVM通过确定性的非线性函数将统计上独立的变量映射到观察。几个伪造解决方案的家庭完全适合数据，但是可以在通用环境中构建与地面真相因素相对应的。但是，最近的工作表明，限制此类模型的功能类别可能会促进可识别性。具体而言，已经提出了在Jacobian矩阵中收集的部分衍生物的函数类，例如正交坐标转换（OCT），它们强加了Jacobian柱的正交性。在目前的工作中，我们证明了这些转换的子类，共形图，是可识别的，并提供了新颖的理论结果，这表明OCT具有防止虚假解决方案家族在通用环境中破坏可识别性的特性。

标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

The essential variety is an algebraic subvariety of dimension $5$ in real projective space $\mathbb{R}\mathrm{P}^{8}$ which encodes the relative pose of two calibrated pinhole cameras. The $5$-point algorithm in computer vision computes the real points in the intersection of the essential variety with a linear space of codimension $5$. The degree of the essential variety is $10$, so this intersection consists of 10 complex points in general. We compute the expected number of real intersection points when the linear space is random. We focus on two probability distributions for linear spaces. The first distribution is invariant under the action of the orthogonal group $\mathrm{O}(9)$ acting on linear spaces in $\mathbb{R}\mathrm{P}^{8}$. In this case, the expected number of real intersection points is equal to $4$. The second distribution is motivated from computer vision and is defined by choosing 5 point correspondences in the image planes $\mathbb{R}\mathrm{P}^2\times \mathbb{R}\mathrm{P}^2$ uniformly at random. A Monte Carlo computation suggests that with high probability the expected value lies in the interval $(3.95 - 0.05,\ 3.95 + 0.05)$.

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.

计算科学和统计推断中的许多应用都需要计算有关具有未知归一化常数的复杂高维分布以及这些常数的估计。在这里，我们开发了一种基于从简单的基本分布生成样品，沿着速度场生成的流量运输的方法，并沿这些流程线执行平均值。这种非平衡重要性采样（NEIS）策略是直接实施的，可用于具有任意目标分布的计算。在理论方面，我们讨论了如何将速度场定制到目标，并建立所提出的估计器是一个完美的估计器，具有零变化。我们还通过将基本分布映射到目标上，通过传输图绘制了NEIS和方法之间的连接。在计算方面，我们展示了如何使用深度学习来代表神经网络，并将其训练为零方差最佳。这些结果在高维示例上进行了数值说明，我们表明训练速度场可以将NEIS估计量的方差降低至6个数量级，而不是Vanilla估计量。我们还表明，NEIS在这些示例上的表现要比NEAL的退火重要性采样（AIS）更好。

标准化流动，扩散归一化流量和变形自动置换器是强大的生成模型。在本文中，我们提供了一个统一的框架来通过马尔可夫链处理这些方法。实际上，我们考虑随机标准化流量作为一对马尔可夫链，满足一些属性，并表明许多用于数据生成的最先进模型适合该框架。马尔可夫链的观点使我们能够将确定性层作为可逆的神经网络和随机层作为大都会加速层，Langevin层和变形自身偏移，以数学上的声音方式。除了具有Langevin层的密度的层，扩散层或变形自身形式，也可以处理与确定性层或大都会加热器层没有密度的层。因此，我们的框架建立了一个有用的数学工具来结合各种方法。