我们为通过连续时间（非策略）梯度下降而训练的分类器建立了一个崩解的Pac-bayesian结合。与Pac-Bayesian环境中的标准配置相反，我们的结果适用于确定性的培训算法，以随机初始化为条件，而无需任何$ \ textit {de-randomisation} $ step。我们对我们提出的界限的主要特征进行了广泛的讨论，并在分析和经验上研究了它在线性模型上的行为，从而找到了有希望的结果。

这项工作讨论了如何通过链接技术导致监督学习算法的预期概括误差的上限。通过开发一个一般的理论框架，我们根据损失函数的规律性及其链式对应物建立二元性界限，这可以通过将损失从损失从其梯度提升到其梯度来获得。这使我们能够根据Wasserstein距离和其他概率指标重新衍生从文献中绑定的链式相互信息，并获得新颖的链接信息理论理论范围。我们在一些玩具示例中表明，链式的概括结合可能比其标准对应物明显更紧，尤其是当算法选择的假设的分布非常集中时。关键字：概括范围；链信息理论范围；相互信息；瓦斯堡的距离； Pac-Bayes。

我们专注于具有单个隐藏层的特定浅神经网络，即具有$ l_2 $ normalistization的数据以及Sigmoid形状的高斯错误函数（“ ERF”）激活或高斯错误线性单元（GELU）激活。对于这些网络，我们通过Pac-Bayesian理论得出了新的泛化界限。与大多数现有的界限不同，它们适用于具有确定性或随机参数的神经网络。当网络接受Mnist和Fashion-Mnist上的香草随机梯度下降训练时，我们的界限在经验上是无效的。

在本文中，我们调查了问题：给定少数DataPoints，例如n = 30，可以严格的CAG-Bayes和测试集界限进行紧张吗？对于这种小型数据集，测试集界限通过从培训程序中扣留数据而产生不利影响泛化性能。在这种环境中，Pac-Bayes界限尤其吸引力，因为它们使用所有数据的能力同时学习后部并结合其泛化风险。我们专注于i.i.d.具有有界损失的数据，并考虑Germain等人的通用Pac-Bayes定理。虽然已知定理恢复许多现有的PAC-Bayes界，但目前尚不清楚他们的框架中最有束缚的终结。对于一个固定的学习算法和数据集，我们表明最紧密的绑定与Catoni考虑的绑定相一致;并且，在更自然的数据集发行情况下，我们在期望中获得最佳界限的下限。有趣的是，如果后部等于先前，则这个下限会恢复绑定的Chernoff测试集。此外，为了说明这些界限有多紧，我们研究了合成的一维分类任务，其中它是可行的 - 学习绑定的先前和形状，以便最有效地优化最佳界限。我们发现，在这种简单，受控的场景中，Pac-Bayes界竞争与可比常用的Chernoff测试集合界限具有竞争​​力。然而，最清晰的测试集界仍然导致泛化误差比我们考虑的Pac-Bayes所界限更好地保证。

我们通过Pac-Bayes概括界的镜头研究冷后效应。我们认为，在非反应环境中，当训练样本的数量相对较小时，应考虑到冷后效应的讨论，即大概贝叶斯推理并不能容易地提供对样本外数据的性能的保证。取而代之的是，通过泛化结合更好地描述了样本外误差。在这种情况下，我们探讨了各种推理与PAC-Bayes目标的ELBO目标之间的联系。我们注意到，虽然Elbo和Pac-Bayes目标相似，但后一个目标自然包含温度参数$ \ lambda $，不限于$ \ lambda = 1 $。对于回归和分类任务，在各向同性拉普拉斯与后部的近似值的情况下，我们展示了这种对温度参数的PAC-bayesian解释如何捕获冷后效应。

我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

深度重新结合因实现最新的机器学习任务而被认可。但是，这些体系结构的出色性能取决于培训程序，需要精心制作以避免消失或爆炸梯度，尤其是随着深度$ l $的增加。关于如何减轻此问题，尚无共识，尽管广泛讨论的策略在于将每一层的输出缩放为$ \ alpha_l $。我们在概率环境中显示标准I.I.D.初始化，唯一的非平凡动力学是$ \ alpha_l = 1/\ sqrt {l} $（其他选择导致爆炸或身份映射）。该缩放因子在连续的时间限制中对应于神经随机微分方程，这与广泛的解释相反，即深度重新连接是神经普通微分方程的离散化。相比之下，在后一种制度中，具有特定相关初始化和$ \ alpha_l = 1/l $获得稳定性。我们的分析表明，与层指数的函数之间的缩放比例和规律性之间存在很强的相互作用。最后，在一系列实验中，我们表现出由这两个参数驱动的连续范围，这在训练之前和之后会共同影响性能。

我们从统计学习理论的角度调查分类生物神经网络的功能，以简化的设置为具有身份激活功能的连续时间随机经常性神经网络（RNN）。在纯粹的随机（鲁棒）制度中，我们提供了具有高概率的概括误差，从而表明经验风险最低限度是最典型的假设。我们表明RNNS保留了作为攻击培训和分类任务的唯一信息的路径的部分签名。我们认为这些RNNS很容易培训和强大，并在合成和实际数据的数值实验中培训和稳健。我们还在准确性和稳健性之间表现出权衡现象。

我们使用边缘赋予易于思考Pac-Bayesian界的一般配方，临界成分是我们随机预测集中在某种程度上集中。我们开发的工具直接导致各种分类器的裕度界限，包括线性预测 - 一个类，包括升高和支持向量机 - 单隐藏层神经网络，具有异常\（\ ERF \）激活功能，以及深度释放网络。此外，我们延伸到部分易碎的预测器，其中只去除一些随机性，让我们延伸到我们预测器的浓度特性否则差的情况。

我们为研究通过将噪声注入隐藏状态而训练的经常性神经网络（RNN）提供了一般框架。具体地，我们考虑RNN，其可以被视为由输入数据驱动的随机微分方程的离散化。该框架允许我们通过在小噪声制度中导出近似显式规范器来研究一般噪声注入方案的隐式正则化效果。我们发现，在合理的假设下，这种隐含的正规化促进了更平坦的最小值;它偏向具有更稳定动态的模型;并且，在分类任务中，它有利于具有较大分类余量的模型。获得了全局稳定性的充分条件，突出了随机稳定的现象，其中噪音注入可以在训练期间提高稳定性。我们的理论得到了经验结果支持，证明RNN对各种输入扰动具有改善的鲁棒性。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

我们研究了对分类器的有限集合的多数投票的概括特性，通过PAC-Bayes理论证明了基于利润的概括界。这些为许多分类任务提供了最先进的保证。我们的中心结果利用了Zantedeschi等人最近研究的Dirichlet后期。[2021]用于培训投票分类器；与这项工作相反，我们的界限适用于通过利润率使用的非随机票。我们的贡献使Schapire等人提出的“边缘理论”的辩论增加了观点。[1998]用于集合分类器的概括。

We study a natural extension of classical empirical risk minimization, where the hypothesis space is a random subspace of a given space. In particular, we consider possibly data dependent subspaces spanned by a random subset of the data, recovering as a special case Nystrom approaches for kernel methods. Considering random subspaces naturally leads to computational savings, but the question is whether the corresponding learning accuracy is degraded. These statistical-computational tradeoffs have been recently explored for the least squares loss and self-concordant loss functions, such as the logistic loss. Here, we work to extend these results to convex Lipschitz loss functions, that might not be smooth, such as the hinge loss used in support vector machines. This unified analysis requires developing new proofs, that use different technical tools, such as sub-gaussian inputs, to achieve fast rates. Our main results show the existence of different settings, depending on how hard the learning problem is, for which computational efficiency can be improved with no loss in performance.

通过使一组基本预测因素投票根据一些权重，即对某些概率分布来获得聚合预测器。根据一些规定的概率分布，通过在一组基本预测器中采样来获得随机预测器。因此，聚合和随机预测器的共同之处包括最小化问题，而是通过对预测器集的概率分布来定义。在统计学习理论中，有一套工具旨在了解此类程序的泛化能力：Pac-Bayesian或Pac-Bayes界。由于D. Mcallester的原始Pac-Bayes界，这些工具在许多方向上得到了大大改善（例如，我们将描述社区错过的O. Catoni的定位技术的简化版本，后来被重新发现“相互信息界“）。最近，Pac-Bayes的界限受到相当大的关注：例如，在2017年的Pac-Bayes上有研讨会，“（几乎）50种贝叶斯学习：Pac-Bayesian趋势和见解”，由B. Guedj，F组织。 。巴赫和P.Merain。这一最近成功的原因之一是通过G. Dziugaite和D. Roy成功地将这些限制应用于神经网络。对Pac-Bayes理论的初步介绍仍然缺失。这是一种尝试提供这样的介绍。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

长期存在的辩论围绕着相关的假设，即低曲率的最小值更好地推广，而SGD则不鼓励曲率。我们提供更完整和细微的观点，以支持两者。首先，我们表明曲率通过两种新机制损害了测试性能，除了已知的参数搭配机制外，弯曲和偏置曲线除了偏置和偏置。尽管曲率不是，但对测试性能的三个曲率介导的贡献是重复的，尽管曲率不是。移位横向的变化是连接列车和测试局部最小值的线路，由于数据集采样或分布位移而差异。尽管在训练时间的转移尚不清楚，但仍可以通过最大程度地减少总体曲率来减轻横向横向。其次，我们得出了一种新的，明确的SGD稳态分布，表明SGD优化了与火车损失相关的有效潜力，并且SGD噪声介导了这种有效潜力的深层与低外生区域之间的权衡。第三，将我们的测试性能分析与SGD稳态相结合，表明，对于小的SGD噪声，移位膜可能是三种机制中最重要的。我们的实验证实了狂热对测试损失的影响，并进一步探索了SGD噪声与曲率之间的关系。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

In a series of recent theoretical works, it was shown that strongly overparameterized neural networks trained with gradient-based methods could converge exponentially fast to zero training loss, with their parameters hardly varying. In this work, we show that this "lazy training" phenomenon is not specific to overparameterized neural networks, and is due to a choice of scaling, often implicit, that makes the model behave as its linearization around the initialization, thus yielding a model equivalent to learning with positive-definite kernels. Through a theoretical analysis, we exhibit various situations where this phenomenon arises in non-convex optimization and we provide bounds on the distance between the lazy and linearized optimization paths. Our numerical experiments bring a critical note, as we observe that the performance of commonly used non-linear deep convolutional neural networks in computer vision degrades when trained in the lazy regime. This makes it unlikely that "lazy training" is behind the many successes of neural networks in difficult high dimensional tasks.

广义贝叶斯推理使用损失函数而不是可能性的先前信仰更新，因此可以用于赋予鲁棒性，以防止可能的错误规范的可能性。在这里，我们认为广泛化的贝叶斯推论斯坦坦差异作为损失函数的损失，由应用程序的可能性含有难治性归一化常数。在这种情况下，斯坦因差异来避免归一化恒定的评估，并产生封闭形式或使用标准马尔可夫链蒙特卡罗的通用后出版物。在理论层面上，我们显示了一致性，渐近的正常性和偏见 - 稳健性，突出了这些物业如何受到斯坦因差异的选择。然后，我们提供关于一系列棘手分布的数值实验，包括基于内核的指数家庭模型和非高斯图形模型的应用。