我们对通过歧管（例如球形，Tori和其他隐式表面）描述的复杂几何形状的学习生成模型感兴趣。现有（欧几里德）生成模型的当前延伸仅限于特定几何形状，并且通常遭受高计算成本。我们介绍了Moser Flow（MF），是连续标准化流量（CNF）系列内的一类新的生成型号。 MF还通过解决方案产生CNF，然而，与其他CNF方法不同，其模型（学习）密度被参数化，因为源（先前）密度减去神经网络（NN）的发散。分歧是局部线性差分操作员，易于近似和计算歧管。因此，与其他CNFS不同，MF不需要在训练期间通过颂歌求解器调用或反向。此外，将模型密度明确表示为NN的发散而不是作为颂歌的解决方案有助于学习高保真密度。从理论上讲，我们证明了MF在合适的假设下构成了通用密度近似器。经验上，我们首次证明了流动模型的使用从一般曲面采样，并在挑战地球和气候的挑战性几何形状和现实世界基准中实现了密度估计，样本质量和培训复杂性的显着改善科学。

连续归一化流（CNF）是一类生成模型，可以通过求解普通的微分方程（ODE）将先验分布转换为模型分布。我们建议通过最大程度地减少概率路径差异（PPD）来训练CNF，这是CNF产生的概率密度路径与目标概率密度路径之间的新型差异家族。 PPD是使用对数质量保护公式制定的，该公式是线性的一阶部分微分方程，将对数目标概率和CNF的定义向量场进行配方。 PPD比现有方法具有多个关键好处：它避免了在迭代中解决颂歌的需求，很容易应用于歧管数据，比例到高维度，并与大型目标路径兼容，该目标路径在有限的时间内插值纯噪声和数据。从理论上讲，PPD显示为结合经典概率差异。从经验上讲，我们表明，通过最小化PPD实现最新的CNF在现有的低维歧管基准上获得了最新的可能性和样品质量，并且是生成模型以扩展到中度高维歧管的第一个示例。

扩散模型是图像产生和似然估计的最新方法。在这项工作中，我们将连续的时间扩散模型推广到任意的Riemannian流形，并得出了可能性估计的变异框架。在计算上，我们提出了计算可能性估计中需要的黎曼分歧的新方法。此外，在概括欧几里得案例时，我们证明，最大化该变异的下限等效于Riemannian得分匹配。从经验上讲，我们证明了Riemannian扩散模型在各种光滑的歧管上的表达能力，例如球体，Tori，双曲线和正交组。我们提出的方法在所有基准测试基准上实现了新的最先进的可能性。

Normalizing Flows are generative models which produce tractable distributions where both sampling and density evaluation can be efficient and exact. The goal of this survey article is to give a coherent and comprehensive review of the literature around the construction and use of Normalizing Flows for distribution learning. We aim to provide context and explanation of the models, review current state-of-the-art literature, and identify open questions and promising future directions.

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

我们提出了一个利用归一化流的拓扑非平凡流形的学习概率分布的框架。当前的方法集中在对欧几里得空间同质形态的流形上，在学习模型上执行强大的结构先验或不容易扩展到高维度的操作。相比之下，我们的方法通过将多个局部模型“粘合”一起学习数据歧管上的分布，从而定义了数据歧管的开放覆盖。我们证明了我们的方法在已知流形的合成数据以及未知拓扑的较高维歧管上的效率，在许多任务中，我们的方法在许多任务中表现出更好的样品效率和竞争性或优越的性能。

Recently, studies on machine learning have focused on methods that use symmetry implicit in a specific manifold as an inductive bias. In particular, approaches using Grassmann manifolds have been found to exhibit effective performance in fields such as point cloud and image set analysis. However, there is a lack of research on the construction of general learning models to learn distributions on the Grassmann manifold. In this paper, we lay the theoretical foundations for learning distributions on the Grassmann manifold via continuous normalizing flows. Experimental results show that the proposed method can generate high-quality samples by capturing the data structure. Further, the proposed method significantly outperformed state-of-the-art methods in terms of log-likelihood or evidence lower bound. The results obtained are expected to usher in further research in this field of study.

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

在$ \ mathbb {r}^n $中观察到的自然数据通常被限制为$ m $ dimensional歧管$ \ mathcal {m} $，其中$ m <n $。当前的生成模型通过通过神经网络$ f_ \ theta映射$ m $二维潜在变量来表示此流形：\ mathbb {r}^m \ to \ mathbb {r}^n $。我们称之为Pushforward模型的此类过程产生了一个直接的限制：通常不能以单个参数化表示歧管，这意味着尝试这样做的方法将导致计算不稳定性或无法在歧管内学习概率密度。为了解决这个问题，我们建议将$ \ mathcal {m} $建模为神经隐式歧管：神经网络的零零。为了了解$ \ Mathcal {M} $中的数据分布，我们引入了受限的基于能量的模型，该模型使用Langevin Dynamics的约束变体来训练和示例在学习的歧管中。可以用歧管的算术来操纵所得模型，该模型使从业者可以采用工会和模型歧管的交叉点。在有关合成和自然数据的实验中，我们表明，受约束的EBM可以比推送模型更准确地学习具有复杂拓扑的歧管支配分布。

归一化的流提供了一种优雅的生成建模方法，可以有效地采样和确切的数据分布的密度评估。但是，当在低维歧管上支持数据分布或具有非平凡的拓扑结构时，当前技术的表现性有显着局限性。我们介绍了一个新的统计框架，用于学习局部正常流的混合物作为数据歧管上的“图表图”。我们的框架增强了最近方法的表现力，同时保留了标准化流的签名特性，他们承认了精确的密度评估。我们通过量化自动编码器（VQ-AE）学习了数据歧管图表的合适地图集，并使用条件流量学习了它们的分布。我们通过实验验证我们的概率框架可以使现有方法更好地模拟数据分布，而不是复杂的歧管。

我们介绍了CheBlieset，一种对（各向异性）歧管的组成的方法。对基于GRAP和基于组的神经网络的成功进行冲浪，我们利用了几何深度学习领域的最新发展，以推导出一种新的方法来利用数据中的任何各向异性。通过离散映射的谎言组，我们开发由各向异性卷积层（Chebyshev卷积），空间汇集和解凝层制成的图形神经网络，以及全球汇集层。集团的标准因素是通过具有各向异性左不变性的黎曼距离的图形上的等级和不变的运算符来实现的。由于其简单的形式，Riemannian公制可以在空间和方向域中模拟任何各向异性。这种对Riemannian度量的各向异性的控制允许平衡图形卷积层的不变性（各向异性度量）的平衡（各向异性指标）。因此，我们打开大门以更好地了解各向异性特性。此外，我们经验证明了在CIFAR10上的各向异性参数的存在（数据依赖性）甜点。这一关键的结果是通过利用数据中的各向异性属性来获得福利的证据。我们还评估了在STL10（图像数据）和ClimateNet（球面数据）上的这种方法的可扩展性，显示了对不同任务的显着适应性。

由于其成功在从稀疏的输入图像集合中合成了场景的新颖视图，最近越来越受欢迎。到目前为止，通过通用密度函数建模了神经体积渲染技术的几何形状。此外，使用通向嘈杂的任意水平函数的任意水平集合来提取几何形状本身，通常是低保真重建。本文的目标是改善神经体积渲染中的几何形象和重建。我们通过将体积密度建模为几何形状来实现这一点。这与以前的工作与体积密度的函数建模几何。更详细地，我们将音量密度函数定义为Laplace的累积分发功能（CDF）应用于符号距离功能（SDF）表示。这种简单的密度表示有三个好处：（i）它为神经体积渲染过程中学到的几何形状提供了有用的电感偏差; （ii）它促进了缺陷近似误差的束缚，导致观看光线的准确采样。精确的采样对于提供几何和光线的精确耦合非常重要; （iii）允许高效无监督的脱位形状和外观在体积渲染中。将此新密度表示应用于具有挑战性的场景多视图数据集生产了高质量的几何重建，表现优于相关的基线。此外，由于两者的解剖学，场景之间的切换形状和外观是可能的。

标准化流是生成模型，其通过从简单的基本分布到复杂的目标分布的可逆性转换提供易于变换的工艺模型。然而，该技术不能直接模拟支持未知的低维歧管的数据，在诸如图像数据之类的现实世界域中的公共发生。最近的补救措施的尝试引入了击败归一化流量的中央好处的几何并发症：精确密度估计。我们通过保形嵌入流量来恢复这种福利，这是一种设计流动与贸易密度的流动的流动的框架。我们争辩说，使用培训保育嵌入的标准流量是模型支持数据的最自然的方式。为此，我们提出了一系列保形构建块，并在具有合成和实际数据的实验中应用它们，以证明流动可以在不牺牲贸易可能性的情况下模拟歧管支持的分布。

Denoising diffusions are state-of-the-art generative models which exhibit remarkable empirical performance and come with theoretical guarantees. The core idea of these models is to progressively transform the empirical data distribution into a simple Gaussian distribution by adding noise using a diffusion. We obtain new samples whose distribution is close to the data distribution by simulating a "denoising" diffusion approximating the time reversal of this "noising" diffusion. This denoising diffusion relies on approximations of the logarithmic derivatives of the noised data densities, known as scores, obtained using score matching. Such models can be easily extended to perform approximate posterior simulation in high-dimensional scenarios where one can only sample from the prior and simulate synthetic observations from the likelihood. These methods have been primarily developed for data on $\mathbb{R}^d$ while extensions to more general spaces have been developed on a case-by-case basis. We propose here a general framework which not only unifies and generalizes this approach to a wide class of spaces but also leads to an original extension of score matching. We illustrate the resulting class of denoising Markov models on various applications.

本文介绍了一组数字方法，用于在不变（弹性）二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说，我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上，我们为表面集的统计形状分析开发了工具，包括用于估算Karcher均值并在形状群体上执行切线PCA的方法，以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方，这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性，同时还可以使我们能够与多用途算法相比，使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是，我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中，说明了我们的数值管道的不同好处。

在形状分析中，基本问题之一是在计算这些形状之间的（地球）距离之前对齐曲线或表面。为了找到最佳的重新训练，实现这种比对的是一项计算要求的任务，它导致了在差异组上的优化问题。在本文中，我们通过组成基本差异性来解决近似问题，构建了定向性扩散的近似值。我们提出了一种在Pytorch中实施的实用算法，该算法既适用于未参考的曲线和表面。我们得出了通用近似结果，并获得了获得的差异形态成分的Lipschitz常数的边界。

我们引入了一个神经隐式框架，该框架利用神经网络的可区分特性和点采样表面的离散几何形状，以将它们作为神经隐含函数的级别集近似。为了训练神经隐式函数，我们提出了近似签名距离函数的损失功能，并允许具有高阶导数的术语，例如曲率的主要方向之间的对齐方式，以了解更多几何细节。在训练过程中，我们考虑了基于点采样表面的曲率的不均匀采样策略，以优先考虑点更多的几何细节。与以前的方法相比，这种抽样意味着在保持几何准确性的同时更快地学习。我们还介绍了神经表面（例如正常矢量和曲率）的分析差异几何公式。

Dexterous and autonomous robots should be capable of executing elaborated dynamical motions skillfully. Learning techniques may be leveraged to build models of such dynamic skills. To accomplish this, the learning model needs to encode a stable vector field that resembles the desired motion dynamics. This is challenging as the robot state does not evolve on a Euclidean space, and therefore the stability guarantees and vector field encoding need to account for the geometry arising from, for example, the orientation representation. To tackle this problem, we propose learning Riemannian stable dynamical systems (RSDS) from demonstrations, allowing us to account for different geometric constraints resulting from the dynamical system state representation. Our approach provides Lyapunov-stability guarantees on Riemannian manifolds that are enforced on the desired motion dynamics via diffeomorphisms built on neural manifold ODEs. We show that our Riemannian approach makes it possible to learn stable dynamical systems displaying complicated vector fields on both illustrative examples and real-world manipulation tasks, where Euclidean approximations fail.

我们研究具有流形结构的物理系统的langevin动力学$ \ MATHCAL {M} \ subset \ Mathbb {r}^p $，基于收集的样品点$ \ {\ Mathsf {x} _i \} _ {_i \} _ {i = 1} ^n \ subset \ mathcal {m} $探测未知歧管$ \ mathcal {m} $。通过扩散图，我们首先了解反应坐标$ \ {\ MATHSF {y} _i \} _ {i = 1}^n \ subset \ subset \ mathcal {n} $对应于$ \ {\ {\ mathsf {x} _i _i \ \ \ \ \ _i \ \ \ \ {x} } _ {i = 1}^n $，其中$ \ mathcal {n} $是$ \ mathcal {m} $的歧义diffeomorphic，并且与$ \ mathbb {r}^\ ell $ insometryally嵌入了$ \ ell $，带有$ \ ell \ ell \ ell \ ell \ el \ ell \ el \ el \ ell \ el \ LL P $。在$ \ Mathcal {n} $上的诱导Langevin动力学在反应坐标方面捕获了缓慢的时间尺度动力学，例如生化反应的构象变化。要构建$ \ Mathcal {n} $上的Langevin Dynamics的高效稳定近似，我们利用反应坐标$ \ MATHSF {y} n effertold $ \ Mathcal {n} $上的歧管$ \ Mathcal {n} $上的相应的fokker-planck方程$。我们为此Fokker-Planck方程提出了可实施的，无条件稳定的数据驱动的有限卷方程，该方程将自动合并$ \ Mathcal {n} $的歧管结构。此外，我们在$ \ Mathcal {n} $上提供了有限卷方案的加权$ L^2 $收敛分析。所提出的有限体积方案在$ \ {\ Mathsf {y} _i \} _ {i = 1}^n $上导致Markov链，并具有近似的过渡概率和最近的邻居点之间的跳跃速率。在无条件稳定的显式时间离散化之后，数据驱动的有限体积方案为$ \ Mathcal {n} $上的Langevin Dynamics提供了近似的Markov进程，并且近似的Markov进程享有详细的平衡，Ergodicity和其他良好的属性。

Wasserstein-Fisher-Rao（WFR）距离是一个指标家族，用于评估两种ra措施的差异，这同时考虑了运输和重量的变化。球形WFR距离是WFR距离的投影版本，以实现概率措施，因此配备了WFR的ra尺度空间可以在概率测量的空间中，用球形WFR视为公式锥。与Wasserstein距离相比，在球形WFR下对大地测量学的理解尚不清楚，并且仍然是持续的研究重点。在本文中，我们开发了一个深度学习框架，以计算球形WFR指标下的大地测量学，并且可以采用学习的大地测量学来生成加权样品。我们的方法基于球形WFR的Benamou-Brenier型动态配方。为了克服重量变化带来的边界约束的困难，将基于反向映射的kullback-leibler（KL）发散术语引入成本函数。此外，引入了使用粒子速度的新的正则化项，以替代汉密尔顿 - 雅各比方程的动态公式中的潜力。当用于样品生成时，与先前的流量模型相比，与给定加权样品的应用相比，我们的框架可能对具有给定加权样品的应用有益。