我们提供了概率分布的Riemannian歧管上的经典力学的信息几何公式，该分布是具有双翼连接的仿射歧管。在非参数形式主义中，我们考虑了有限的样本空间上的全套正概率函数，并以统计歧管上的切线和cotangent空间为特定的表达式提供了一种，就希尔伯特束结构而言，我们称之统计捆绑包。在这种情况下，我们使用规范双对的平行传输来计算一维统计模型的速度和加速度，并在束上定义了Lagrangian和Hamiltonian力学的连贯形式主义。最后，在一系列示例中，我们展示了我们的形式主义如何为概率单纯性加速自然梯度动力学提供一个一致的框架，为在优化，游戏理论和神经网络中的直接应用铺平了道路。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

机器学习中的许多新的发展都与基于梯度的优化方法相连。最近，已经使用变分透视研究了这些方法。这已经开辟了使用几何集成引入变分和辛方法的可能性。特别是，在本文中，我们引入了变分集成商，使我们能够导出不同的优化方法。使用汉密尔顿和拉格朗日 - 德尔尔堡的原则，我们在一对一的对应中获得了两个各自的优化方法的一个家庭，即概括Polyak的厚球和众所周知的Nesterov加速梯度方法，其中第二个是模仿行为的第二个对应首先减少经典动量方法的振荡。然而，由于考虑的系统是明确时间依赖的，因此自主系统的杂交的保存仅在这里发生在纤维上。几个实验举例说明结果。

在本章中，我们确定了基本的几何结构，这些几何结构是采样，优化，推理和自适应决策问题的基础。基于此识别，我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明，在这些领域中自然出现了广泛的几何理论，范围从测量过程，信息差异，泊松几何和几何整合。具体而言，我们解释了（i）如何利用汉密尔顿系统的符合性几何形状，使我们能够构建（加速）采样和优化方法，（ii）希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器，（iii）（iii）（iii）保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中，我们强调了这些领域之间的丰富联系。例如，推论借鉴了抽样和优化，并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述，而不是技术讨论，可以在本文中的参考文献中找到。

我们为Nesterov在概率空间中加速的梯度流提供了一个框架，以设计有效的平均田间马尔可夫链蒙特卡洛（MCMC）贝叶斯逆问题算法。在这里，考虑了四个信息指标的示例，包括Fisher-Rao Metric，Wasserstein-2 Metric，Kalman-Wasserstein Metric和Stein Metric。对于Fisher-Rao和Wasserstein-2指标，我们都证明了加速梯度流的收敛性。在实施中，我们建议使用重新启动技术的Wasserstein-2，Kalman-Wasseintein和Stein加速梯度流的抽样效率离散算法。我们还制定了一种内核带宽选择方法，该方法从布朗动物样品中学习了密度对数的梯度。与最先进的算法相比，包括贝叶斯逻辑回归和贝叶斯神经网络在内的数值实验显示了所提出方法的强度。

指数族在机器学习中广泛使用，包括连续和离散域中的许多分布（例如，通过SoftMax变换，Gaussian，Dirichlet，Poisson和分类分布）。这些家庭中的每个家庭的分布都有固定的支持。相比之下，对于有限域而言，最近在SoftMax稀疏替代方案（例如Sparsemax，$ \ alpha $ -entmax和Fusedmax）的稀疏替代方案中导致了带有不同支持的分布。本文基于几种技术贡献，开发了连续分布的稀疏替代方案：首先，我们定义了$ \ omega $ regultion的预测图和任意域的Fenchel-young损失（可能是无限或连续的）。对于线性参数化的家族，我们表明，Fenchel-Young损失的最小化等效于统计的矩匹配，从而概括了指数家族的基本特性。当$ \ omega $是带有参数$ \ alpha $的Tsallis negentropy时，我们将获得````trabormed rompential指数）''，其中包括$ \ alpha $ -entmax和sparsemax和sparsemax（$ \ alpha = 2 $）。对于二次能量函数，产生的密度为$ \ beta $ -Gaussians，椭圆形分布的实例，其中包含特殊情况，即高斯，双重量级，三人级和epanechnikov密度，我们为差异而得出了差异的封闭式表达式， Tsallis熵和Fenchel-Young损失。当$ \ Omega $是总变化或Sobolev正常化程序时，我们将获得Fusedmax的连续版本。最后，我们引入了连续的注意机制，从\ {1、4/3、3/3、3/2、2 \} $中得出有效的梯度反向传播算法。使用这些算法，我们证明了我们的稀疏连续分布，用于基于注意力的音频分类和视觉问题回答，表明它们允许参加时间间隔和紧凑区域。

我们提出了一种基于langevin扩散的算法，以在球体的产物歧管上进行非凸优化和采样。在对数Sobolev不平等的情况下，我们根据Kullback-Leibler Divergence建立了有限的迭代迭代收敛到Gibbs分布的保证。我们表明，有了适当的温度选择，可以保证，次级最小值的次数差距很小，概率很高。作为一种应用，我们考虑了使用对角线约束解决半决赛程序（SDP）的burer- monteiro方法，并分析提出的langevin算法以优化非凸目标。特别是，我们为Burer建立了对数Sobolev的不平等现象 - 当没有虚假的局部最小值时，但在鞍点下，蒙蒂罗问题。结合结果，我们为SDP和最大切割问题提供了全局最佳保证。更确切地说，我们证明了Langevin算法在$ \ widetilde {\ omega}（\ epsilon^{ - 5}）$ tererations $ tererations $ \ widetilde {\ omega}（\ omega}中，具有很高的概率。

我们提出了一种几何多级优化方法，该方法平滑地包含了框约束。给定一个受限的优化问题，我们考虑了具有不同离散水平的模型的层次结构。更精细的型号准确但计算昂贵，而更粗的型号则不太准确，但计算便宜。在良好级别上工作时，多级优化将基于搜索方向计算搜索方向，该模型会加快良好级别的更新。此外，利用层次结构引起的几何形状保留了更新的可行性。特别是，我们的方法扩展了多移民方法的经典组成部分，例如限制和延长延长我们约束的riemannian结构。

马尔可夫链蒙特卡洛方法用于从复杂分布和估计归一化常数采样的方法，通常会模拟沿着退火路径的一系列中间分布的样品，该路径桥梁在可缝隙的初始分布和目标密度之间桥接。先前的工作已经使用准算术手段构建了退火路径，并将所得的中间密度解释为最小化对终点的预期差异。我们在单调的密度函数嵌入下使用布雷格曼的分歧对这种“质心”属性进行了全面分析，从而将诸如Amari和Renyi的$ {\ alpha} $ - divergences等共同差异相关联，$ {（\ alpha，\ beta） } $ - 分歧，以及沿着退火路径的中间密度的詹森 - 香农脱落。我们的分析强调了使用Zhang 2004的Rho-Tau Bregman Divergence框架; 2013年的Rho-Tau Bregman Divergence框架之间的参数族之间的相互作用和分歧函数。

我们将最初在多维扩展和降低多元数据的降低领域发展为功能设置。我们专注于经典缩放和ISOMAP - 在这些领域中起重要作用的原型方法 - 并在功能数据分析的背景下展示它们的使用。在此过程中，我们强调了环境公制扮演的关键作用。

在自然界中，对称治理规律，而对称打破纹理。在人工神经网络中，对称性是一种中央设计原则，可以在世界上有效地捕获规律，但对称性破裂的作用并不充分理解。在这里，我们开发了一个理论框架，用于研究神经网络中的“学习动态几何”，并揭示了现代神经网络效率和稳定性的明确对称性的关键机制。为了构建这种理解，我们使用连续时间拉格朗日制剂模拟梯度下降的离散学习动态，其中学习规则对应于动能，并且损耗函数对应于势能。然后，我们识别“动力学对称性破坏”（KSB），当动能明确地破坏潜在功能的对称性时的条件。我们概括了物理中已知的定理，以考虑KSB，并导致Noether费用的结果：“Noether的学习动态”（NLD）。最后，我们将NLD应用于具有归一化层的神经网络，并揭示了KSB如何引入“隐式自适应优化”的机制，建立由归一化层和RMSProp引起的学习动态之间的类比。总体而言，通过拉格朗日力学的镜头，我们建立了一个理论基础，以发现神经网络的学习动态的几何设计原则。

有限维概率单纯x中的聚类分类分布是处理归一化直方图的许多应用中的基本任务。传统上，概率单位的差分几何结构已经通过（i）将Riemannian公制矩阵设定为分类分布的Fisher信息矩阵，或（ii）定义由平滑异化性引起的二元信息 - 几何结构衡量标准，kullback-leibler发散。在这项工作中，我们介绍了群集任务一种新颖的计算型友好框架，用于在几何上建模概率单纯x：{\ em hilbert simplex几何}。在Hilbert Simplex几何形状中，距离是不可分离的Hilbert公制距离，其满足与多光镜边界描述的距离水平集功能的信息单调性的特性。我们表明，Aitchison和Hilbert Simplex的距离分别是关于$ \ ell_2 $和变化规范的标准化对数表示的距离。我们讨论了这些不同的统计建模的利弊，并通过基于基于中心的$ k $ -means和$ k $ -center聚类的基准这些不同的几何形状。此外，由于可以在欧几里德空间的任何有界凸形子集上定义规范希尔伯特距离，因此我们还考虑了与FR \“Obenius和Log-Det分歧相比的相关矩阵的椭圆形的几何形状并研究其聚类性能。

在形状分析中，基本问题之一是在计算这些形状之间的（地球）距离之前对齐曲线或表面。为了找到最佳的重新训练，实现这种比对的是一项计算要求的任务，它导致了在差异组上的优化问题。在本文中，我们通过组成基本差异性来解决近似问题，构建了定向性扩散的近似值。我们提出了一种在Pytorch中实施的实用算法，该算法既适用于未参考的曲线和表面。我们得出了通用近似结果，并获得了获得的差异形态成分的Lipschitz常数的边界。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

本文介绍了一组数字方法，用于在不变（弹性）二阶Sobolev指标的设置中对3D表面进行Riemannian形状分析。更具体地说，我们解决了代表为3D网格的参数化或未参数浸入式表面之间的测量学和地球距离的计算。在此基础上，我们为表面集的统计形状分析开发了工具，包括用于估算Karcher均值并在形状群体上执行切线PCA的方法，以及计算沿表面路径的平行传输。我们提出的方法从根本上依赖于通过使用Varifold Fidelity术语来为地球匹配问题提供轻松的变异配方，这使我们能够在计算未参数化表面之间的地理位置时强制执行重新训练的独立性，同时还可以使我们能够与多用途算法相比，使我们能够将表面与vare表面进行比较。采样或网状结构。重要的是，我们演示了如何扩展放松的变分框架以解决部分观察到的数据。在合成和真实的各种示例中，说明了我们的数值管道的不同好处。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

Jensen-Shannon Divergence是无界的Kullback-Leibler Divergence的著名界面对称性，可测量总的Kullback-Leibler差异与平均混合物分布。但是，高斯分布之间的詹森 - 香农差异在封闭式中不可用。为了绕过这个问题，我们使用抽象方式提出了Jensen-Shannon（JS）差异的概括，当根据分布的参数家族选择均值时，该抽象方式会产生封闭形式的表达式。更普遍地，我们使用从抽象手段得出的广义统计混合物来定义任何距离的JS隔离化。特别是，我们首先表明几何平均值非常适合指数族，并报告了（i）（i）同一指数家族概率密度之间的几何詹森 - 香农（Jensen-Shannon）的两种封闭式公式，以及（ii）几何学反向kullback-leibler发散的JS对称。作为第二个说明示例，我们表明，谐波平均值非常适合cauchy分布，并报告了缩放尺度分布之间的谐波詹森 - 香农差异的封闭式公式。我们还定义了矩阵（例如量子Jensen-Shannon Diverences）之间的广义詹森 - 香农差异，并考虑了这些新颖的詹森 - 香农分歧的聚类。

在高维度中整合时间依赖性的fokker-planck方程的选择方法是通过集成相关的随机微分方程来生成溶液中的样品。在这里，我们介绍了基于整合描述概率流的普通微分方程的替代方案。与随机动力学不同，该方程式在以后的任何时候都会从初始密度将样品从溶液中的样品推到样品。该方法具有直接访问数量的优势，这些数量挑战仅估算仅给定解决方案的样品，例如概率电流，密度本身及其熵。概率流程方程取决于溶液对数的梯度（其“得分”），因此A-Priori未知也是如此。为了解决这种依赖性，我们用一个深神网络对分数进行建模，该网络通过根据瞬时概率电流传播一组粒子来实现，该网络可以在直接学习中学习。我们的方法是基于基于得分的生成建模的最新进展，其重要区别是训练程序是独立的，并且不需要来自目标密度的样本才能事先可用。为了证明该方法的有效性，我们考虑了相互作用粒子系统物理学的几个示例。我们发现该方法可以很好地缩放到高维系统，并准确匹配可用的分析解决方案和通过蒙特卡洛计算的力矩。

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.