学习和分析统计模型的一种常见方法是考虑模型参数空间中的操作。但是，如果我们在参数空间中进行优化，并且在参数空间和基础统计模型空间之间没有一对一的映射会发生什么？这些情况经常发生在包括统计混合物或随机神经网络的分层模型中，据说这些模型是单数的。奇异模型在机器学习中揭示了几个重要且研究的问题，例如由于吸引者行为而导致学习轨迹的收敛速度的降低。在这项工作中，我们提出了一种参数空间的相对重新聚集技术，该技术产生了一种从单数模型中提取常规子模型的一般方法。我们的方法在训练过程中实施了模型可识别性，并研究了在相对参数化下为高斯混合模型（GMM）的梯度下降和期望最大化的学习动力学，显示了更快的实验收敛性和围绕奇异性的动态的改善。将分析扩展到GMM之外，我们进一步分析了在相对重新聚体化及其对概括误差的影响下的Fisher信息矩阵，并显示该方法如何应用于更复杂的模型，例如深层神经网络。

在分析参数统计模型时，有用的方法包括在几何上建模参数空间。然而，即使对于统计混合物或随机深度神经网络等非常简单且常用的分层模型，歧管的平滑度呈呈现在参数空间中的非平滑邻域的奇异点。这些奇异模型已经在学习动态的背景下进行了分析，其中奇点可以充当学习轨迹上的吸引子，因此，对模型的收敛速度产生负面影响。我们提出了一种通过使用Stratifolds，来自代数拓扑的概念来规避奇点引起的问题的一般方法，以正式模拟奇异参数空间。我们使用特定的Stratifolds配备了分辨率的特定方法来构造奇异空间的平滑歧管近似。我们经验证明，使用（自然）梯度下降在平滑歧管近似而不是奇异空间允许我们避免吸引子行为，从而提高学习中的收敛速度。

为什么深神经网络（DNN）受益于非常高的维度参数空间？他们的巨大参数复杂性与实践中的惊人表演是使用标准常规模型理论的更具迷恋和无法解释的。在这项工作中，我们提出了一种几何风味的信息 - 理论方法来研究这种现象。即，我们通过考虑Fisher信息矩阵的显着尺寸的数量来介绍神经网络模型的参数空间的局部变化维度，并使用奇异半riemannian几何框架将参数空间模拟作为歧管的参数空间。我们推出模型复杂度措施，其基于奇点分析产生深度神经网络模型的简短描述长度，因此尽管有大量参数，但是尽管有大量的参数，但是尽管有大量的参数来解释DNN的良好性能。

量子哈密顿学习和量子吉布斯采样的双重任务与物理和化学中的许多重要问题有关。在低温方案中，这些任务的算法通常会遭受施状能力，例如因样本或时间复杂性差而遭受。为了解决此类韧性，我们将量子自然梯度下降的概括引入了参数化的混合状态，并提供了稳健的一阶近似算法，即量子 - 固定镜下降。我们使用信息几何学和量子计量学的工具证明了双重任务的数据样本效率，因此首次将经典Fisher效率的开创性结果推广到变异量子算法。我们的方法扩展了以前样品有效的技术，以允许模型选择的灵活性，包括基于量子汉密尔顿的量子模型，包括基于量子的模型，这些模型可能会规避棘手的时间复杂性。我们的一阶算法是使用经典镜下降二元性的新型量子概括得出的。两种结果都需要特殊的度量选择，即Bogoliubov-Kubo-Mori度量。为了从数值上测试我们提出的算法，我们将它们的性能与现有基准进行了关于横向场ISING模型的量子Gibbs采样任务的现有基准。最后，我们提出了一种初始化策略，利用几何局部性来建模状态的序列（例如量子 - 故事过程）的序列。我们从经验上证明了它在实际和想象的时间演化的经验上，同时定义了更广泛的潜在应用。

期望 - 最大化（EM）算法是一种简单的元叠加，当观察到的数据中缺少测量值或数据由可观察到的数据组成时，它已多年来用作统计推断的方法。它的一般属性进行了充分的研究，而且还有无数方法将其应用于个人问题。在本文中，我们介绍了$ em $ $ and算法，EM算法的信息几何公式及其扩展和应用程序以及各种问题。具体而言，我们将看到，可以制定一个异常稳定推理算法，用于计算通道容量的算法，概率单纯性的参数估计方法，特定的多变量分析方法，例如概率模型中的主要组件分析和模态回归中的主成分分析，基质分解和学习生成模型，这些模型最近从几何学角度引起了深度学习的关注。

Helmholtz机器（HMS）是由两个Sigmoid信念网络（SBN）组成的一类生成模型，分别用作编码器和解码器。这些模型通常是使用称为唤醒 - 睡眠（WS）的两步优化算法对这些模型进行的，并且最近通过改进版本（例如重新恢复的尾流（RWS）和双向Helmholtz Machines（BIHM））进行了改进版本。 SBN中连接的局部性在与概率模型相关的Fisher信息矩阵中诱导稀疏性，并以细粒粒度的块状结构的形式引起。在本文中，我们利用自然梯度利用该特性来有效地训练SBN和HMS。我们提出了一种新颖的算法，称为“自然重新唤醒”（NRWS），该算法与其标准版本的几何适应相对应。以类似的方式，我们还引入了天然双向Helmholtz机器（NBIHM）。与以前的工作不同，我们将展示如何有效地计算自然梯度，而无需引入Fisher信息矩阵结构的任何近似值。在文献中进行的标准数据集进行的实验表明，NRW和NBIHM不仅在其非几何基准方面，而且在HMS的最先进培训算法方面都具有一致的改善。在训练后，汇聚速度以及对数可能达到的对数似然的值量化了改进。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

我们提供了概率分布的Riemannian歧管上的经典力学的信息几何公式，该分布是具有双翼连接的仿射歧管。在非参数形式主义中，我们考虑了有限的样本空间上的全套正概率函数，并以统计歧管上的切线和cotangent空间为特定的表达式提供了一种，就希尔伯特束结构而言，我们称之统计捆绑包。在这种情况下，我们使用规范双对的平行传输来计算一维统计模型的速度和加速度，并在束上定义了Lagrangian和Hamiltonian力学的连贯形式主义。最后，在一系列示例中，我们展示了我们的形式主义如何为概率单纯性加速自然梯度动力学提供一个一致的框架，为在优化，游戏理论和神经网络中的直接应用铺平了道路。

In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

在本章中，我们确定了基本的几何结构，这些几何结构是采样，优化，推理和自适应决策问题的基础。基于此识别，我们得出了利用这些几何结构来有效解决这些问题的算法。我们表明，在这些领域中自然出现了广泛的几何理论，范围从测量过程，信息差异，泊松几何和几何整合。具体而言，我们解释了（i）如何利用汉密尔顿系统的符合性几何形状，使我们能够构建（加速）采样和优化方法，（ii）希尔伯特亚空间和Stein操作员的理论提供了一种通用方法来获得可靠的估计器，（iii）（iii）（iii）保留决策的信息几何形状会产生执行主动推理的自适应剂。在整个过程中，我们强调了这些领域之间的丰富联系。例如，推论借鉴了抽样和优化，并且自适应决策通过推断其反事实后果来评估决策。我们的博览会提供了基本思想的概念概述，而不是技术讨论，可以在本文中的参考文献中找到。

结构化参数空间的自然梯度下降（NGD）（例如，低级CovariRces）是由于困难的Fisher矩阵计算而在计算上具有挑战性。我们通过使用\ emph {local-parameter坐标}来解决此问题，以获取灵活且高效的NGD方法，适用于各种结构化参数化。我们显示了四个应用程序，我们的方法（1）概括指数自然进化策略，（2）恢复现有的牛顿样算法，（3）通过矩阵组产生新的结构化二阶算法，（4）给出了新的算法高斯和基于Wishart的分布的协方差。我们展示了深度学习，变分推论和进化策略的一系列问题。我们的工作为可扩展结构化几何方法开辟了新的方向。

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

深度神经网络被广泛用于解决多个科学领域的复杂问题，例如语音识别，机器翻译，图像分析。用于研究其理论特性的策略主要依赖于欧几里得的几何形状，但是在过去的几年中，已经开发了基于Riemannian几何形状的新方法。在某些开放问题的动机中，我们研究了歧管之间的特定地图序列，该序列的最后一个歧管配备了riemannian指标。我们研究了序列的其他歧管和某些相关商的结构引起的槽撤回。特别是，我们表明，最终的riemannian度量的回调到该序列的任何歧管是一个退化的riemannian度量，诱导了伪模空间的结构，我们表明，该伪仪的kolmogorov商均产生了平滑的歧管，这是基础的，这是基础，这是基础的基础。特定垂直束的空间。我们研究了此类序列图的理论属性，最终我们着重于实施实际关注神经网络的流形之间的地图，并介绍了本文第一部分中引入的几何框架的某些应用。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

近年来，监督学习环境的几个结果表明，古典统计学习 - 理论措施，如VC维度，不充分解释深度学习模型的性能，促使在无限宽度和迭代制度中的工作摆动。但是，对于超出监督环境之外的神经网络成功几乎没有理论解释。在本文中，我们认为，在一些分布假设下，经典学习 - 理论措施可以充分解释转导造型中的图形神经网络的概括。特别是，我们通过分析节点分类问题图卷积网络的概括性特性，对神经网络的性能进行严格分析神经网络。虽然VC维度确实导致该设置中的琐碎泛化误差界限，但我们表明转导变速器复杂性可以解释用于随机块模型的图形卷积网络的泛化特性。我们进一步使用基于转换的Rademacher复杂性的泛化误差界限来展示图形卷积和网络架构在实现较小的泛化误差方面的作用，并在图形结构可以帮助学习时提供洞察。本文的调查结果可以重新新的兴趣在学习理论措施方面对神经网络的概括，尽管在特定问题中。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

我们研究通过应用具有多个初始化的梯度上升方法来源的估计器的统计特性。我们派生了该估算器的目标的人口数量，并研究了从渐近正常性和自举方法构成的置信区间（CIS）的性质。特别是，我们通过有限数量的随机初始化来分析覆盖范围。我们还通过反转可能性比率测试，得分测试和WALD测试来调查CI，我们表明所得到的CIS可能非常不同。即使MLE是棘手的，我们也提出了一种两个样本测试程序。此外，我们在随机初始化下分析了EM算法的性能，并通过有限数量的初始化导出了CI的覆盖范围。

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。