大部分计算机生成的动画是通过用钻机来操纵网格创建的。尽管这种方法可以很好地对动物（例如动物）进行动画化的态度，但它的灵活性有限，可以使结构较低的自由形式对象进行动画化。我们介绍了WaseSplines，这是一种基于连续标准化流量和最佳运输的最新进展，用于对非结构化密度进行动画化的新型推理方法。关键思想是训练代表密钥帧之间运动的神经参数化速度场。然后，通过通过速度字段推进密钥帧来计算轨迹。我们解决了另一个Wasserstein Barycenter插值问题，以确保严格遵守关键框架。我们的工具可以通过各种基于PDE的正规化器来对轨迹进行风格化轨迹，从而创造出不同的视觉效果。我们在各种关键框架插值问题上演示了我们的工具，以制作时间连接动画而无需嵌入或索具。

We introduce an optimal transport-based model for learning a metric tensor from cross-sectional samples of evolving probability measures on a common Riemannian manifold. We neurally parametrize the metric as a spatially-varying matrix field and efficiently optimize our model's objective using a simple alternating scheme. Using this learned metric, we can nonlinearly interpolate between probability measures and compute geodesics on the manifold. We show that metrics learned using our method improve the quality of trajectory inference on scRNA and bird migration data at the cost of little additional cross-sectional data.

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

平均场游戏（MFGS）是针对具有大量交互代理的系统的建模框架。他们在经济学，金融和游戏理论中有应用。标准化流（NFS）是一个深层生成模型的家族，通过使用可逆映射来计算数据的可能性，该映射通常通过使用神经网络进行参数化。它们对于密度建模和数据生成很有用。尽管对这两种模型进行了积极的研究，但很少有人注意到两者之间的关系。在这项工作中，我们通过将NF的训练视为解决MFG来揭示MFGS和NFS之间的联系。这是通过根据试剂轨迹重新解决MFG问题的实现，并通过流量体系结构对所得MFG的离散化进行参数化。通过这种联系，我们探讨了两个研究方向。首先，我们采用表达的NF体系结构来准确地求解高维MFG，以避开传统数值方法中维度的诅咒。与其他深度学习方法相比，我们的基于轨迹的公式编码神经网络中的连续性方程，从而更好地近似人口动态。其次，我们对NFS进行运输成本的培训正规，并显示了控制模型Lipschitz绑定的有效性，从而获得了更好的概括性能。我们通过对各种合成和现实生活数据集的全面实验来展示数值结果。

Wasserstein-Fisher-Rao（WFR）距离是一个指标家族，用于评估两种ra措施的差异，这同时考虑了运输和重量的变化。球形WFR距离是WFR距离的投影版本，以实现概率措施，因此配备了WFR的ra尺度空间可以在概率测量的空间中，用球形WFR视为公式锥。与Wasserstein距离相比，在球形WFR下对大地测量学的理解尚不清楚，并且仍然是持续的研究重点。在本文中，我们开发了一个深度学习框架，以计算球形WFR指标下的大地测量学，并且可以采用学习的大地测量学来生成加权样品。我们的方法基于球形WFR的Benamou-Brenier型动态配方。为了克服重量变化带来的边界约束的困难，将基于反向映射的kullback-leibler（KL）发散术语引入成本函数。此外，引入了使用粒子速度的新的正则化项，以替代汉密尔顿 - 雅各比方程的动态公式中的潜力。当用于样品生成时，与先前的流量模型相比，与给定加权样品的应用相比，我们的框架可能对具有给定加权样品的应用有益。

A normalizing flow (NF) is a mapping that transforms a chosen probability distribution to a normal distribution. Such flows are a common technique used for data generation and density estimation in machine learning and data science. The density estimate obtained with a NF requires a change of variables formula that involves the computation of the Jacobian determinant of the NF transformation. In order to tractably compute this determinant, continuous normalizing flows (CNF) estimate the mapping and its Jacobian determinant using a neural ODE. Optimal transport (OT) theory has been successfully used to assist in finding CNFs by formulating them as OT problems with a soft penalty for enforcing the standard normal distribution as a target measure. A drawback of OT-based CNFs is the addition of a hyperparameter, $\alpha$, that controls the strength of the soft penalty and requires significant tuning. We present JKO-Flow, an algorithm to solve OT-based CNF without the need of tuning $\alpha$. This is achieved by integrating the OT CNF framework into a Wasserstein gradient flow framework, also known as the JKO scheme. Instead of tuning $\alpha$, we repeatedly solve the optimization problem for a fixed $\alpha$ effectively performing a JKO update with a time-step $\alpha$. Hence we obtain a "divide and conquer" algorithm by repeatedly solving simpler problems instead of solving a potentially harder problem with large $\alpha$.

本文旨在解决多视图设置下图像变形的新任务，该任务将两组多视图像作为输入，并生成中间渲染，不仅在两个输入集之间表现出平滑的过渡，还可以确保在不同视图的视觉一致性之间任何过渡状态。为了实现这一目标，我们提出了一种称为多视频再生变形的新颖方法，该方法将变形过程制定为优化，以求解刚性转换和最佳传输插值。鉴于源场和目标场景的多视图输入图像，我们首先学习了一个体积表示，该图表为每个场景的几何形状和外观建模以实现新视图的渲染。然后，通过求解瓦斯林指标的两个体积表示之间的最佳运输来获得两个场景之间的变形。我们的方法不依赖用户指定的对应关系或2D/3D输入网格，并且我们不假定源场和目标场景的任何预定义类别。所提出的一致性插值方案直接在多视图图像上起作用，以产生多视图自由形式变形的新颖且视觉上合理的效果。

在这里，我们提出了一种称为歧管插值最佳传输流量（MIOFLOW）的方法，该方法从零星时间点上采集的静态快照样品中学习随机，连续的种群动力学。 Mioflow结合了动态模型，流动学习和通过训练神经普通微分方程（神经ode）的最佳运输，以在静态种群快照之间插值，以通过具有歧管地面距离的最佳运输来惩罚。此外，我们通过在自动编码器的潜在空间中运行我们称为Geodesic AutoCododer（GAE）来确保流量遵循几何形状。在GAE中，正规化了点之间的潜在空间距离，以匹配我们定义的数据歧管上的新型多尺度测量距离。我们表明，这种方法优于正常流，Schr \“ Odinger Bridges和其他旨在根据人群之间插值的噪声流向数据的生成模型。从理论上讲，我们将这些轨迹与动态最佳运输联系起来。我们评估了我们的评估使用分叉和合并的模拟数据，以及来自胚胎身体分化和急性髓样白血病的SCRNA-SEQ数据。

本文介绍了一组数字方法，用于在不变（弹性）二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说，我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上，我们为表面集的统计形状分析开发了工具，包括用于估算Karcher均值并在形状群体上执行切线PCA的方法，以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方，这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性，同时还可以使我们能够与多用途算法相比，使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是，我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中，说明了我们的数值管道的不同好处。

We investigate the parameterization of deep neural networks that by design satisfy the continuity equation, a fundamental conservation law. This is enabled by the observation that any solution of the continuity equation can be represented as a divergence-free vector field. We hence propose building divergence-free neural networks through the concept of differential forms, and with the aid of automatic differentiation, realize two practical constructions. As a result, we can parameterize pairs of densities and vector fields that always exactly satisfy the continuity equation, foregoing the need for extra penalty methods or expensive numerical simulation. Furthermore, we prove these models are universal and so can be used to represent any divergence-free vector field. Finally, we experimentally validate our approaches by computing neural network-based solutions to fluid equations, solving for the Hodge decomposition, and learning dynamical optimal transport maps.

标准化流量（NF）是基于可能性的强大生成模型，能够在表达性和拖延性之间进行折衷，以模拟复杂的密度。现已建立的研究途径利用了最佳运输（OT），并寻找Monge地图，即源和目标分布之间的努力最小的模型。本文介绍了一种基于Brenier的极性分解定理的方法，该方法将任何受过训练的NF转换为更高效率的版本而不改变最终密度。我们通过学习源（高斯）分布的重新排列来最大程度地减少源和最终密度之间的OT成本。由于Euler的方程式，我们进一步限制了导致估计的Monge图的路径，将估计的Monge地图放在量化量的差异方程的空间中。所提出的方法导致几种现有模型的OT成本降低的平滑流动，而不会影响模型性能。

Normalizing flows provide a general mechanism for defining expressive probability distributions, only requiring the specification of a (usually simple) base distribution and a series of bijective transformations. There has been much recent work on normalizing flows, ranging from improving their expressive power to expanding their application. We believe the field has now matured and is in need of a unified perspective. In this review, we attempt to provide such a perspective by describing flows through the lens of probabilistic modeling and inference. We place special emphasis on the fundamental principles of flow design, and discuss foundational topics such as expressive power and computational trade-offs. We also broaden the conceptual framing of flows by relating them to more general probability transformations. Lastly, we summarize the use of flows for tasks such as generative modeling, approximate inference, and supervised learning.

人口动态是对生物种群大小的时间和空间变化的研究，是人口生态学的主要部分。分析人口动态的主要困难之一是，由于实验成本或测量限制，我们只能从固定点观察值中获得粗略的时间间隔的观察数据。最近，已经提出，通过使用连续归一化流（CNF）和动态最佳运输来对种群动力学进行建模，以从观察到的人群中推断样品轨迹。尽管CNF中的样本行为是确定性的，但生物系统中的实际样本以本质上随机但方向性的方式移动。此外，当样本从点A中的点移动到动力学系统中B点B时，其轨迹通常遵循最小动作的原理，在该原理中，相应的动作具有最小的可能值。为了满足样品轨迹的这些要求，我们制定了Lagrangian Schr \“ Odinger Bridge（LSB）问题，并提议将其近似于使用神经SDE和正则化解决。我们还开发了一个模型体系结构，可以更快地计算。实验结果表明，该结果表明，该模型表明，提出的方法即使对于高维数据也可以有效地近似人口级动力学，并且使用拉格朗日引入的先验知识使我们能够估算具有随机行为的单个样本的轨迹。

综合照片 - 现实图像和视频是计算机图形的核心，并且是几十年的研究焦点。传统上，使用渲染算法（如光栅化或射线跟踪）生成场景的合成图像，其将几何形状和材料属性的表示为输入。统称，这些输入定义了实际场景和呈现的内容，并且被称为场景表示（其中场景由一个或多个对象组成）。示例场景表示是具有附带纹理的三角形网格（例如，由艺术家创建），点云（例如，来自深度传感器），体积网格（例如，来自CT扫描）或隐式曲面函数（例如，截短的符号距离）字段）。使用可分辨率渲染损耗的观察结果的这种场景表示的重建被称为逆图形或反向渲染。神经渲染密切相关，并将思想与经典计算机图形和机器学习中的思想相结合，以创建用于合成来自真实观察图像的图像的算法。神经渲染是朝向合成照片现实图像和视频内容的目标的跨越。近年来，我们通过数百个出版物显示了这一领域的巨大进展，这些出版物显示了将被动组件注入渲染管道的不同方式。这种最先进的神经渲染进步的报告侧重于将经典渲染原则与学习的3D场景表示结合的方法，通常现在被称为神经场景表示。这些方法的一个关键优势在于它们是通过设计的3D-一致，使诸如新颖的视点合成捕获场景的应用。除了处理静态场景的方法外，我们还涵盖了用于建模非刚性变形对象的神经场景表示...

动态MRI可以捕获具有高对比度的软组织器官中的时间解剖变化，但是获得的序列通常遭受有限的体积覆盖，这使得器官形状轨迹的高分辨率重建在时间研究中的主要挑战。由于腹部器官形状的变异性跨越时间和受试者，本研究的目的是朝向3D致密速度测量来完全覆盖整个表面并提取有意义的特征，其特征在于观察到的器官变形并实现临床作用或决定。我们在深呼吸运动期间提出了一种用于表征膀胱表面动力学的管道。对于紧凑的形状表示，首先使用重建的时间体积来使用LDDMM框架建立专用的动态4D网状序列。然后，我们从诸如网格伸长和失真的机械参数执行器官动力学的统计表征。由于我们将器官引用作为非平面，因此我们还使用平均曲率变化为度量来量化表面演变。然而，曲率的数值计算强烈地取决于表面参数化。为了应对这一依赖性，我们采用了一种用于表面变形分析的新方法。独立于参数化并最小化测地曲线的长度，通过最小化Dirichlet能量，它使表面曲线平滑地朝向球体。 eulerian PDE方法用于从曲线缩短流中导出形状描述符。使用Laplace Beltrami操作员特征函数来计算各个运动模式之间的接口，用于球形映射。用于提取用于局部控制的模拟形状轨迹的表征相关曲线的应用演示了所提出的形状描述符的稳定性。

考虑随时间演变的粒子群，通过快照监测，使用在连续时间戳的群体内采样的粒子。仅提供对这些快照的访问，我们可以重建这些粒子的单个轨迹吗？这个问题在我们时代的许多重要科学挑战中，特别是单细胞基因组学。在本文中，我们建议将人口动态模拟为欧洲因果乔丹 - 古德莱尔 - 奥托（JKO）的措施的实现：JKO计划陷入困境，即在时间T + 1的人口采取的新配置是交易的新配置在它减少能量的情况下，群体的更好配置，同时保持关闭（在Wasserstein距离）到在T.中观察到的先前配置。我们在这项工作中的目标是学习这样的能源给定数据。为此，我们提出了JKONET，一种计算的神经结构（以端到端可分子的方式），JKO流量给出了参数化能量和初始配置点。与更直接的前进方法相比，我们展示了JKONET配件程序的良好性能和稳健性。

深度学习替代模型已显示出在解决部分微分方程（PDE）方面的希望。其中，傅立叶神经操作员（FNO）达到了良好的准确性，并且与数值求解器（例如流体流量）上的数值求解器相比要快得多。但是，FNO使用快速傅立叶变换（FFT），该变换仅限于具有均匀网格的矩形域。在这项工作中，我们提出了一个新框架，即Geo-Fno，以解决任意几何形状的PDE。 Geo-FNO学会将可能不规则的输入（物理）结构域变形为具有均匀网格的潜在空间。具有FFT的FNO模型应用于潜在空间。所得的GEO-FNO模型既具有FFT的计算效率，也具有处理任意几何形状的灵活性。我们的Geo-FNO在其输入格式，，即点云，网格和设计参数方面也很灵活。我们考虑了各种PDE，例如弹性，可塑性，Euler和Navier-Stokes方程，以及正向建模和逆设计问题。与标准数值求解器相比，与标准数值求解器相比，Geo-fno的价格比标准数值求解器快两倍，与在现有基于ML的PDE求解器（如标准FNO）上进行直接插值相比，Geo-fno更准确。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

我们提出了整流的流程，这是一种令人惊讶的简单学习方法（神经）的普通微分方程（ODE）模型，用于在两个经验观察到的分布\ pi_0和\ pi_1之间运输，因此为生成建模和域转移提供了统一的解决方案，以及其他各种任务。涉及分配运输。整流流的想法是学习ode，以遵循尽可能多的连接从\ pi_0和\ pi_1的直径。这是通过解决直接的非线性最小二乘优化问题来实现的，该问题可以轻松地缩放到大型模型，而无需在标准监督学习之外引入额外的参数。直径是特殊的，因此是特殊的，因为它们是两个点之间的最短路径，并且可以精确模拟而无需时间离散，因此可以在计算上产生高效的模型。我们表明，从数据（称为整流）中学习的整流流的过程将\ pi_0和\ pi_1的任意耦合转变为新的确定性耦合，并证明是非侵入的凸面运输成本。此外，递归应用矫正使我们能够获得具有越来越直的路径的流动序列，可以在推理阶段进行粗略的时间离散化来准确地模拟。在实证研究中，我们表明，整流流对图像产生，图像到图像翻译和域的适应性表现出色。特别是，在图像生成和翻译上，我们的方法几乎产生了几乎直流的流，即使是单个Euler离散步骤，也会产生高质量的结果。