The dynamics of a turbulent flow tend to occupy only a portion of the phase space at a statistically stationary regime. From a dynamical systems point of view, this portion is the attractor. The knowledge of the turbulent attractor is useful for two purposes, at least: (i) We can gain physical insight into turbulence (what is the shape and geometry of the attractor?), and (ii) it provides the minimal number of degrees of freedom to accurately describe the turbulent dynamics. Autoencoders enable the computation of an optimal latent space, which is a low-order representation of the dynamics. If properly trained and correctly designed, autoencoders can learn an approximation of the turbulent attractor, as shown by Doan, Racca and Magri (2022). In this paper, we theoretically interpret the transformations of an autoencoder. First, we remark that the latent space is a curved manifold with curvilinear coordinates, which can be analyzed with simple tools from Riemann geometry. Second, we characterize the geometrical properties of the latent space. We mathematically derive the metric tensor, which provides a mathematical description of the manifold. Third, we propose a method -- proper latent decomposition (PLD) -- that generalizes proper orthogonal decomposition of turbulent flows on the autoencoder latent space. This decomposition finds the dominant directions in the curved latent space. This theoretical work opens up computational opportunities for interpreting autoencoders and creating reduced-order models of turbulent flows.

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.

动态模型是我们理解和预测自然系统行为的能力。无论是从第一原理推导还是从观察数据开发的动力模型，它们都基于我们选择状态变量。状态变量的选择是由便利性和直觉驱动的，在数据​​驱动的情况下，观察到的变量通常被选择为状态变量。这些变量的维度（以及动态模型）可以任意大，从而掩盖了系统的基本行为。实际上，这些变量通常是高度冗余的，并且该系统是由一组潜在的内在变量集驱动的。在这项研究中，我们将流形的数学理论与神经网络的代表能力相结合，以开发一种方法，该方法直接从时间序列数据中学习了系统的内在状态变量，还可以学习其动力学的预测模型。我们方法的区别在于，它有能力将数据减少到其居住的非线性流形的固有维度。从流形理论中的图表和地图集的概念可以实现这种能力，从而使歧管由缝制在一起的贴片的集合表示，这是获得内在维度的必要表示。我们在几个具有低维行为的高维系统上证明了这种方法。最终的框架提供了开发最低维度的动态模型的能力，从而捕获了系统的本质。

Dexterous and autonomous robots should be capable of executing elaborated dynamical motions skillfully. Learning techniques may be leveraged to build models of such dynamic skills. To accomplish this, the learning model needs to encode a stable vector field that resembles the desired motion dynamics. This is challenging as the robot state does not evolve on a Euclidean space, and therefore the stability guarantees and vector field encoding need to account for the geometry arising from, for example, the orientation representation. To tackle this problem, we propose learning Riemannian stable dynamical systems (RSDS) from demonstrations, allowing us to account for different geometric constraints resulting from the dynamical system state representation. Our approach provides Lyapunov-stability guarantees on Riemannian manifolds that are enforced on the desired motion dynamics via diffeomorphisms built on neural manifold ODEs. We show that our Riemannian approach makes it possible to learn stable dynamical systems displaying complicated vector fields on both illustrative examples and real-world manipulation tasks, where Euclidean approximations fail.

本文探讨了一个问题：如何从数据中识别减少的订单模型。有三种将数据与模型联系起来的方法：不变叶，不变歧管和自动编码器。除非使用循环系统中的硬件，否则不变的歧管不能安装到数据中。自动编码器仅标识数据所在的相空间的一部分，这不一定是不变的歧管。因此，对于离线数据，唯一的选择是不变的叶面。我们注意到，Koopman本征函数也定义了不变的叶子，但是它们受到线性和产生的单一岩的假设的限制。寻找不变的叶面需要近似高维函数。我们提出了两种解决方案。如果寻求准确的降级模型，则使用稀疏的多项式近似，具有稀疏分层张量的多项式系数。如果寻求不变的歧管，作为叶的叶片，则可以通过低维多项式近似所需的高维函数。可以将这两种方法组合在一起以找到准确的减少订单模型和不变歧管。我们还分析了在机械系统中典型的焦点类型平衡的情况下，降低的订单模型。我们注意到，由不变叶叶定义的非线性坐标系和不变的歧管扭曲了瞬时频率和阻尼比，我们是正确的。通过示例，我们说明了不变叶和歧管的计算，同时表明，Koopman eigenfunctions和AutoCododer无法在相同条件下捕获准确的减少订单模型。

机器学习中的一个基本问题是从低维潜在空间$ \ MATHCAL {y} $找到映射$ f $到高维观察空间$ \ MATHCAL {x} $。深层神经网络等现代工具能够代表一般的非线性映射。学习者可以轻松找到完美适合所有观察结果的映射。但是，这样的映射通常不被认为是好的，因为它不够简单并且可以过度合适。如何定义简单性？我们试图对非线性映射$ f $施加的信息量进行正式定义。直观地，我们测量了回溯几何形状和潜在空间的内在几何形状之间的局部差异。我们的定义基于信息几何形状，并且独立于经验观察，也不是特定的参数化。我们证明其基本属性，并与相关的机器学习方法讨论关系。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

由于其与线性主成分分析（PCA）相比，通过AutoEncoders的非线性主成分分析（NLPCA）通过自动化系统引起了动态系统社区的注意力。这些模型减少方法在应用于由于对称性的存在而展示具有全局不变样品的数据集时经历潜在空间的维度的增加。在这项研究中，我们在AutoEncoder中介绍了一种新颖的机器学习，它使用空间变压器网络和暹罗网络分别考虑连续和离散的对称。空间变压器网络发现连续平移或旋转的最佳变化，使得不变样本在周期性方向上对齐。同样，暹罗网络在离散移位和反射下不变的样本。因此，所提出的对称感知的AutoEncoder是不变的，到预定的输入变换，指示底层物理系统的动态。该嵌入可以与线性和非线性还原方法一起使用，我们将对称感知PCA（S-PCA）和对称感知NLPCA（S-NLPCA）采用。我们将建议的框架应用于3个流体流动问题：汉堡方程，流过一步漫射器的流程和kolmogorov流程的模拟，展示了表现出仅连续对称的情况的能力，只能离散对称或两者的组合。

AutoEncoder技术在减少秩序建模中发现越来越常见的用途作为创建潜在空间的手段。这种缩小的订单表示为与时间序列预测模型集成时的非线性动力系统提供了模块化数据驱动建模方法。在这封信中，我们提出了一个非线性适当的正交分解（POD）框架，它是一个端到端的Galerkin的模型，组合AutoEncoders，用于动态的长短期内存网络。通过消除由于Galerkin模型的截断导致的投影误差，所提出的非流体方法的关键推动器是在POD系数的全级扩展和动态发展的潜空间之间的非线性映射的运动结构。我们测试我们的模型减少对流主导系统的框架，这通常是针对减少订单模型的具有挑战性。我们的方法不仅提高了准确性，而且显着降低了培训和测试的计算成本。

本文介绍了一组数字方法，用于在不变（弹性）二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说，我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上，我们为表面集的统计形状分析开发了工具，包括用于估算Karcher均值并在形状群体上执行切线PCA的方法，以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方，这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性，同时还可以使我们能够与多用途算法相比，使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是，我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中，说明了我们的数值管道的不同好处。

我们提供了概率分布的Riemannian歧管上的经典力学的信息几何公式，该分布是具有双翼连接的仿射歧管。在非参数形式主义中，我们考虑了有限的样本空间上的全套正概率函数，并以统计歧管上的切线和cotangent空间为特定的表达式提供了一种，就希尔伯特束结构而言，我们称之统计捆绑包。在这种情况下，我们使用规范双对的平行传输来计算一维统计模型的速度和加速度，并在束上定义了Lagrangian和Hamiltonian力学的连贯形式主义。最后，在一系列示例中，我们展示了我们的形式主义如何为概率单纯性加速自然梯度动力学提供一个一致的框架，为在优化，游戏理论和神经网络中的直接应用铺平了道路。

期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

我们介绍了一种算法，用于计算采样歧管的测量测量算法，其依赖于对采样数据的植物嵌入的曲线图的模拟。我们的方法利用经典的结果在半导体分析和量子古典对应中，并形成用于学习数据集的歧管的技术的基础，随后用于高维数据集的非线性维度降低。我们以基于CoVID-19移动数据的聚类演示，从模型歧管中采样数据采样的数据，并通过集群演示来说明新的算法。最后，我们的方法揭示了数据采样和量化提供的离散化之间有趣的连接。

最近，与神经网络的时间相关微分方程的解决方案最近引起了很多关注。核心思想是学习控制解决方案从数据演变的法律，该数据可能会被随机噪声污染。但是，与其他机器学习应用相比，通常对手头的系统了解很多。例如，对于许多动态系统，诸如能量或（角度）动量之类的物理量是完全保守的。因此，神经网络必须从数据中学习这些保护定律，并且仅由于有限的训练时间和随机噪声而被满足。在本文中，我们提出了一种替代方法，该方法使用Noether的定理将保护定律本质地纳入神经网络的体系结构。我们证明，这可以更好地预测三个模型系统：在三维牛顿引力潜能中非偏见粒子的运动，Schwarzschild指标中庞大的相对论粒子的运动和两个相互作用的粒子在四个相互作用的粒子系统中的运动方面。

功能空间中的监督学习是机器学习研究的一个新兴领域，并应用了复杂物理系统（例如流体流，固体力学和气候建模）的预测。通过直接学习无限尺寸函数空间之间的地图（运算符），这些模型能够学习目标函数的离散不变表示。一种常见的方法是将此类目标函数表示为从数据中学到的基础元素的线性组合。但是，在一个简单的方案中，即使目标函数形成低维的子手机，也需要大量的基础元素才能进行准确的线性表示。在这里，我们提出了Nomad，这是一个新型的操作员学习框架，该框架具有一个非线性解码器图，能够学习功能空间中非线性子手机的有限尺寸表示。我们表明，该方法能够准确地学习溶液歧管的低维表示，而偏微分方程的表现优于较大尺寸的线性模型。此外，我们将最先进的操作员学习方法进行比较，并在复杂的流体动力学基准上进行学习，并以明显较小的模型尺寸和训练成本实现竞争性能。

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

我们开发了包含几何信息和拓扑信息的数据驱动方法，以从观察值中学习非线性动力学的简约表示。我们开发了使用与变异自动编码器（VAE）相关的训练策略来学习一般歧管潜在空间动力学的非线性状态空间模型的方法。我们的方法称为几何动力学（GD）变化自动编码器（GD-VAE）。我们根据包括一般多层感知器（MLP），卷积神经网络（CNNS）和转置CNN（T-CNN）在内的深层神经网络体系结构学习系统状态和进化的编码器和分解器。由参数化的PDE和物理学引起的问题的促进，我们研究了我们在学习非线性汉堡方程，约束机械系统和反应扩散系统的空间场的低维表示任务方面的性能。 GD-VAE提供了用于获取表示涉及动态任务的表示形式的方法。

机器学习正迅速成为科学计算的核心技术，并有许多机会推进计算流体动力学领域。从这个角度来看，我们强调了一些潜在影响最高的领域，包括加速直接数值模拟，以改善湍流闭合建模，并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域，这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。

数据驱动的降级模型通常无法对沿坐标敏感的高维非线性系统进行准确的预测，因为这种坐标通常经常被截断，例如，通过正确的正交分解，核心成分分析和自动范围。这种系统在剪切主导的流体流中经常遇到，在剪切主导的流体流中，非正常性在障碍的生长中起着重要作用。为了解决这些问题，我们采用来自活跃子空间的想法来查找模型减少的坐标的低维系统，以平衡伴随的信息，以了解该系统的敏感性与沿轨迹的状态方差的敏感性。所得的方法是使用伴随快照（Cobras）称为协方差平衡降低，与平衡截断与状态和基于伴随的梯度协方差矩阵取代了系统gramians并遵守相同的关键转换定律。在这里，提取的坐标与可用于构建彼得罗夫 - 盖尔金还原模型的倾斜投影相关。我们提供了一种有效的基于快照的计算方法，类似于平衡的正交分解。这也导致观察到，可以单独依靠状态和梯度样品的内部产品来计算还原的坐标，从而使我们能够通过用核函数替换内部产品来找到丰富的非线性坐标。在这些坐标中，可以使用回归来学习减少的模型。我们演示了这些技术，并与简单但具有挑战性的三维系统和轴对称喷气流仿真进行比较，并具有$ 10^5 $状态变量。