We consider stochastic gradient descents on the space of large symmetric matrices of suitable functions that are invariant under permuting the rows and columns using the same permutation. We establish deterministic limits of these random curves as the dimensions of the matrices go to infinity while the entries remain bounded. Under a "small noise" assumption the limit is shown to be the gradient flow of functions on graphons whose existence was established in arXiv:2111.09459. We also consider limits of stochastic gradient descents with added properly scaled reflected Brownian noise. The limiting curve of graphons is characterized by a family of stochastic differential equations with reflections and can be thought of as an extension of the classical McKean-Vlasov limit for interacting diffusions. The proofs introduce a family of infinite-dimensional exchangeable arrays of reflected diffusions and a novel notion of propagation of chaos for large matrices of interacting diffusions.

Wassersein梯度流通概率措施在各种优化问题中发现了许多应用程序。它们通常由于由涉及梯度型电位的一些平均场相互作用而发展的可交换粒子系统的连续极限。然而，在许多问题中，例如在多层神经网络中，所谓的粒子是在节点可更换的大图上的边缘权重。已知这样的大图可以收敛到连续的限制，称为Graphons，因为它们的大小增长到无穷大。我们表明，边缘权重的合适功能的欧几里德梯度流量会聚到可以被适当地描述为梯度流的曲线上的曲线给出的新型连续轴限制，或者更重要的是最大斜率的曲线。我们的设置涵盖了诸如同性恋功能和标量熵的石墨源上的几种自然功能，并详细介绍了示例。

显示了最佳的收敛速率，显示了对保守随机偏微分方程的平均场限制对解决方案解决方案解决方案解决方案的收敛。作为第二个主要结果，该SPDE的定量中心极限定理再次得出，并以最佳的收敛速率得出。该结果尤其适用于在过叠层化的，浅的神经网络中与SPDES溶液中随机梯度下降动力学的平均场缩放率的收敛性。结果表明，在限制SPDE中包含波动可以提高收敛速度，并保留有关随机梯度下降的波动的信息。

了解随机梯度下降（SGD）的隐式偏见是深度学习的关键挑战之一，尤其是对于过度透明的模型，损失功能的局部最小化$ l $可以形成多种多样的模型。从直觉上讲，SGD $ \ eta $的学习率很小，SGD跟踪梯度下降（GD），直到它接近这种歧管为止，梯度噪声阻止了进一步的收敛。在这样的政权中，Blanc等人。 （2020）证明，带有标签噪声的SGD局部降低了常规术语，损失的清晰度，$ \ mathrm {tr} [\ nabla^2 l] $。当前的论文通过调整Katzenberger（1991）的想法提供了一个总体框架。它原则上允许使用随机微分方程（SDE）描述参数的限制动力学的SGD围绕此歧管的正规化效应（即“隐式偏见”）的正则化效应，这是由损失共同确定的功能和噪声协方差。这产生了一些新的结果：（1）与Blanc等人的局部分析相比，对$ \ eta^{ - 2} $ steps有效的隐性偏差进行了全局分析。 （2020）仅适用于$ \ eta^{ - 1.6} $ steps和（2）允许任意噪声协方差。作为一个应用程序，我们以任意大的初始化显示，标签噪声SGD始终可以逃脱内核制度，并且仅需要$ o（\ kappa \ ln d）$样本用于学习$ \ kappa $ -sparse $ -sparse yroverparame parametrized linearized Linear Modal in $ \ Mathbb {r}^d $（Woodworth等，2020），而GD在内核制度中初始化的GD需要$ \ omega（d）$样本。该上限是最小值的最佳，并改善了先前的$ \ tilde {o}（\ kappa^2）$上限（Haochen等，2020）。

本文涉及由马尔可夫噪声驱动的随机近似的收敛和渐近统计：$$ \ theta_ {n + 1} = \ theta_n + \ alpha_ {n + 1} f（\ theta_n，\ phi_ {n + 1}）\， ，\ quad n \ ge 0，$$，其中每个$ \ theta_n \ in \ re ^ d $，$ \ {\ phi_n \} $是一般状态空间x上的马尔可夫链，静止分配$ \ pi $和$ f：\ re ^ d \ times \ text {x} \ to \ re ^ d $。除了在$ f $的标准lipschitz边界，以及消失的步骤大小序列$ \ {\ alpha_n \ \} $的条件外，假设相关ode是全局渐近稳定的静止点表示$ \ theta ^ * $ ，其中$ \ bar f（\ theta）= e [f（\ theta，\ phi）] $ with $ \ phi \ sim \ pi $。而且，ode @ $ \ infty $ virect with advoore字段，$$ \ bar f_ \ idty（\ theta）：= \ lim_ {r \ to \ infty} r ^ { - 1} \ bar f（r \ theta）\ ,, \ qquad \ theta \ in \ re ^ d，$$是渐近稳定的。主要贡献总结如下：（i）如果$ \ phi $是几何ergodic，则序列$ \ theta $是融合的，并且在$ f $兼容兼容的界限。剩余的结果是在马尔可夫链的更强大假设下建立：Donsker-varadhan Lyapunov漂移条件的稍微弱版本（DV3）。 （ii）为联合过程$ \ {\ theta_n，\ phi_n \} $构建Lyapunov函数，这意味着$ \ {\ theta_n \} $ in $ l_4 $的融合。 （iii）建立了功能性CLT，以及归一化误差$ z_n：=（\ theta_n- \ theta ^ *）/ \ sqrt {\ alpha_n} $的常规一维CLT。时刻界限结合了CLT暗示了归一化协方差的收敛，$$ \ lim_ {n \ to \ infty} e [z_n z_n ^ t] = \ sigma_ \ theta，$$在$ \ sigma_ \ theta $ where asbptotic协方差出现在CLT中。 （iv）提供了一个例子，其中马尔可夫链$ \ phi $是几何ergodic，但它不满足（dv3）。虽然算法收敛，但第二个时刻是无限的。

在本文中，我们将Wiener-Ito混乱分解扩展到扩散过程的类别，其漂移和扩散系数具有线性生长。通过省略混乱扩展中的正交性，我们能够证明，对于[1，\ infty）$中的$ p \ in [1，\ infty）$的每个$ p $积分功能都可以表示为基础过程的迭代积分的总和。使用此扩展的截断和（可能是随机的）神经网络的截断总和，在机器学习设置中学习了参数，我们证明，每个财务衍生物都可以在$ l^p $ sense中任意地近似。此外，可以以封闭形式计算近似财务导数的对冲策略。

连续数据的优化问题出现在，例如强大的机器学习，功能数据分析和变分推理。这里，目标函数被给出为一个（连续）索引目标函数的系列 - 相对于概率测量集成的族聚集。这些问题通常可以通过随机优化方法解决：在随机切换指标执行关于索引目标函数的优化步骤。在这项工作中，我们研究了随机梯度下降算法的连续时间变量，以进行连续数据的优化问题。该所谓的随机梯度过程包括最小化耦合与确定索引的连续时间索引过程的索引目标函数的梯度流程。索引过程是例如，反射扩散，纯跳跃过程或紧凑空间上的其他L evy过程。因此，我们研究了用于连续数据空间的多种采样模式，并允许在算法的运行时进行模拟或流式流的数据。我们分析了随机梯度过程的近似性质，并在恒定下进行了长时间行为和遍历的学习率。我们以噪声功能数据的多项式回归问题以及物理知识的神经网络在多项式回归问题中结束了随机梯度过程的适用性。

深度神经网络和其他现代机器学习模型的培训通常包括解决高维且受大规模数据约束的非凸优化问题。在这里，基于动量的随机优化算法在近年来变得尤其流行。随机性来自数据亚采样，从而降低了计算成本。此外，动量和随机性都应该有助于算法克服当地的最小化器，并希望在全球范围内融合。从理论上讲，这种随机性和动量的结合被糟糕地理解。在这项工作中，我们建议并分析具有动量的随机梯度下降的连续时间模型。该模型是一个分段确定的马尔可夫过程，它通过阻尼不足的动态系统和通过动力学系统的随机切换来代表粒子运动。在我们的分析中，我们研究了长期限制，子采样到无填充采样极限以及动量到非摩托车的限制。我们对随着时间的推移降低动量的情况特别感兴趣：直觉上，动量有助于在算法的初始阶段克服局部最小值，但禁止后来快速收敛到全球最小化器。在凸度的假设下，当降低随时间的动量时，我们显示了动力学系统与全局最小化器的收敛性，并让子采样率转移到无穷大。然后，我们提出了一个稳定的，合成的离散方案，以从我们的连续时间动力学系统中构造算法。在数值实验中，我们研究了我们在凸面和非凸测试问题中的离散方案。此外，我们训练卷积神经网络解决CIFAR-10图像分类问题。在这里，与动量相比，我们的算法与随机梯度下降相比达到了竞争性结果。

Network data are ubiquitous in modern machine learning, with tasks of interest including node classification, node clustering and link prediction. A frequent approach begins by learning an Euclidean embedding of the network, to which algorithms developed for vector-valued data are applied. For large networks, embeddings are learned using stochastic gradient methods where the sub-sampling scheme can be freely chosen. Despite the strong empirical performance of such methods, they are not well understood theoretically. Our work encapsulates representation methods using a subsampling approach, such as node2vec, into a single unifying framework. We prove, under the assumption that the graph is exchangeable, that the distribution of the learned embedding vectors asymptotically decouples. Moreover, we characterize the asymptotic distribution and provided rates of convergence, in terms of the latent parameters, which includes the choice of loss function and the embedding dimension. This provides a theoretical foundation to understand what the embedding vectors represent and how well these methods perform on downstream tasks. Notably, we observe that typically used loss functions may lead to shortcomings, such as a lack of Fisher consistency.

We study the uniform-in-time propagation of chaos for mean field Langevin dynamics with convex mean field potenital. Convergences in both Wasserstein-$2$ distance and relative entropy are established. We do not require the mean field potenital functional to bear either small mean field interaction or displacement convexity, which are common constraints in the literature. In particular, it allows us to study the efficiency of the noisy gradient descent algorithm for training two-layer neural networks.

本文涉及高维度中经验措施的收敛。我们提出了一类新的指标，并表明在这样的指标下，融合不受维度的诅咒（COD）。这样的特征对于高维分析至关重要，并且与经典指标相反（{\ it，例如，瓦斯泰尔距离）。所提出的指标源自最大平均差异，我们通过提出选择测试功能空间的特定标准来概括，以确保没有COD的属性。因此，我们将此类别称为广义最大平均差异（GMMD）。所选测试功能空间的示例包括复制的内核希尔伯特空间，巴伦空间和流动诱导的功能空间。提出了所提出的指标的三种应用：1。在随机变量的情况下，经验度量的收敛； 2. $ n $粒子系统的收敛到麦基·维拉索夫随机微分方程的解决方案； 3.构建$ \ varepsilon $ -NASH平衡，用于均质$ n $ - 玩家游戏的平均范围限制。作为副产品，我们证明，考虑到接近GMMD测量的目标分布和目标分布的一定表示，我们可以在Wasserstein距离和相对熵方面生成接近目标的分布。总体而言，我们表明，所提出的指标类是一种强大的工具，可以在没有COD的高维度中分析经验度量的收敛性。

Despite its popularity in the reinforcement learning community, a provably convergent policy gradient method for continuous space-time control problems with nonlinear state dynamics has been elusive. This paper proposes proximal gradient algorithms for feedback controls of finite-time horizon stochastic control problems. The state dynamics are nonlinear diffusions with control-affine drift, and the cost functions are nonconvex in the state and nonsmooth in the control. The system noise can degenerate, which allows for deterministic control problems as special cases. We prove under suitable conditions that the algorithm converges linearly to a stationary point of the control problem, and is stable with respect to policy updates by approximate gradient steps. The convergence result justifies the recent reinforcement learning heuristics that adding entropy regularization or a fictitious discount factor to the optimization objective accelerates the convergence of policy gradient methods. The proof exploits careful regularity estimates of backward stochastic differential equations.

我们考虑了一个通用的非线性模型，其中信号是未知（可能增加的，可能增加的特征数量）的有限混合物，该特征是由由真实非线性参数参数化的连续字典发出的。在连续或离散设置中使用高斯（可能相关）噪声观察信号。我们提出了一种网格优化方法，即一种不使用参数空间上任何离散化方案的方法来估计特征的非线性参数和混合物的线性参数。我们使用有关离网方法的几何形状的最新结果，在真实的基础非线性参数上给出最小的分离，以便可以构建插值证书函数。还使用尾部界限，用于高斯过程的上流，我们将预测误差限制为高概率。假设可以构建证书函数，我们的预测误差绑定到日志 - 因线性回归模型中LASSO预测器所达到的速率类似。我们还建立了收敛速率，以高概率量化线性和非线性参数的估计质量。

找到Reset中的参数的最佳配置是一个非凸显最小化问题，但一阶方法尽管如此，找到了过度分辨率制度的全局最优。通过将Reset的训练过程转化为梯度流部分微分方程（PDE）和检查该限制过程的收敛性能，我们研究了这种现象。假设激活函数为2美元 - 最佳或部分$ 1 $-homerence;正则Relu满足后一种条件。我们表明，如果Reset足够大，则深度和宽度根据代数上的准确性和置信水平，一阶优化方法可以找到适合培训数据的全局最小化器。

The logit outputs of a feedforward neural network at initialization are conditionally Gaussian, given a random covariance matrix defined by the penultimate layer. In this work, we study the distribution of this random matrix. Recent work has shown that shaping the activation function as network depth grows large is necessary for this covariance matrix to be non-degenerate. However, the current infinite-width-style understanding of this shaping method is unsatisfactory for large depth: infinite-width analyses ignore the microscopic fluctuations from layer to layer, but these fluctuations accumulate over many layers. To overcome this shortcoming, we study the random covariance matrix in the shaped infinite-depth-and-width limit. We identify the precise scaling of the activation function necessary to arrive at a non-trivial limit, and show that the random covariance matrix is governed by a stochastic differential equation (SDE) that we call the Neural Covariance SDE. Using simulations, we show that the SDE closely matches the distribution of the random covariance matrix of finite networks. Additionally, we recover an if-and-only-if condition for exploding and vanishing norms of large shaped networks based on the activation function.

随机梯度算法在大规模学习和推理问题中广泛用于优化和采样。但是，实际上，调整这些算法通常是使用启发式和反复试验而不是严格的，可概括的理论来完成的。为了解决理论和实践之间的这一差距，我们通过表征具有固定步长的非常通用的预处理随机梯度算法的迭代术的大样本行为来对调整参数的效果进行新的见解。在优化设置中，我们的结果表明，具有较大固定步长的迭代平均值可能会导致（局部）M-静态器的统计效率近似。在抽样环境中，我们的结果表明，通过适当的调整参数选择，限制固定协方差可以与Bernstein匹配 - 后验的von Mises限制，对模型错误指定后验的调整或MLE的渐近分布；而幼稚的调整极限与这些都不相对应。此外，我们认为可以在数据集对固定数量的通行证后获得基本独立的样本。我们使用模拟和真实数据通过多个实验来验证渐近样结果。总体而言，我们证明具有恒定步长的正确调整的随机梯度算法为获得点估计或后部样品提供了计算上有效且统计上健壮的方法。

在本文中，我们通过任意大量的隐藏层研究了全连接的前馈深度Relu Ann，我们证明了在假设不正常化的概率密度函数下，在训练中具有随机初始化的GD优化方法的风险的融合在考虑的监督学习问题的输入数据的概率分布是分段多项式，假设目标函数（描述输入数据与输出数据之间的关系）是分段多项式，并且在假设风险函数下被认为的监督学习问题至少承认至少一个常规全球最低限度。此外，在浅句的特殊情况下只有一个隐藏的层和一维输入，我们还通过证明对每个LipsChitz连续目标功能的培训来验证这种假设，风险景观中存在全球最小值。最后，在具有Relu激活的深度广域的训练中，我们还研究梯度流（GF）差分方程的解决方案，并且我们证明每个非发散的GF轨迹会聚在临界点的多项式收敛速率（在限制意义上FR \'ECHET子提让性）。我们的数学融合分析造成了来自真实代数几何的工具，例如半代数函数和广义Kurdyka-Lojasiewicz不等式，从功能分析（如Arzel \）Ascoli定理等工具，在来自非本地结构的工具中作为限制FR \'echet子分子的概念，以及具有固定架构的浅印刷ANN的实现功能的事实形成由Petersen等人显示的连续功能集的封闭子集。

我们研究了随机近似程序，以便基于观察来自ergodic Markov链的长度$ n $的轨迹来求近求解$ d -dimension的线性固定点方程。我们首先表现出$ t _ {\ mathrm {mix}} \ tfrac {n}} \ tfrac {n}} \ tfrac {d}} \ tfrac {d} {n} $的非渐近性界限。$ t _ {\ mathrm {mix $是混合时间。然后，我们证明了一种在适当平均迭代序列上的非渐近实例依赖性，具有匹配局部渐近最小的限制的领先术语，包括对参数$的敏锐依赖（d，t _ {\ mathrm {mix}}） $以高阶术语。我们将这些上限与非渐近Minimax的下限补充，该下限是建立平均SA估计器的实例 - 最优性。我们通过Markov噪声的政策评估导出了这些结果的推导 - 覆盖了所有$ \ lambda \中的TD（$ \ lambda $）算法，以便[0,1）$ - 和线性自回归模型。我们的实例依赖性表征为HyperParameter调整的细粒度模型选择程序的设计开放了门（例如，在运行TD（$ \ Lambda $）算法时选择$ \ lambda $的值）。

在一个拟合训练数据的深度神经网络（NN）中找到参数是一个非渗透优化问题，但基本的一阶优化方法（梯度下降）在许多实际情况下，具有完美拟合（零损失）的全局优化器。我们在限制性制度中检查残留神经网络（Reset）的剩余神经网络（Reset）的情况的这种现象，其中每个层（宽度）的层数（深度）和权重的数量均转到无穷大。首先，我们使用平均场限制参数来证明参数训练的梯度下降成为概率分布的梯度流，其特征在于大NN限制中的部分微分方程（PDE）。接下来，我们表明，在某些假设下，PDE的解决方案在训练时间内收敛到零损失解决方案。这些结果表明，如果Reset足够大，则reset的培训给出了近零损失。我们给出了减少给定阈值以下低于给定阈值的损失所需的深度和宽度的估计值。

在负面的感知问题中，我们给出了$ n $数据点$（{\ boldsymbol x} _i，y_i）$，其中$ {\ boldsymbol x} _i $是$ d $ -densional vector和$ y_i \ in \ { + 1，-1 \} $是二进制标签。数据不是线性可分离的，因此我们满足自己的内容，以找到最大的线性分类器，具有最大的\ emph {否定}余量。换句话说，我们想找到一个单位常规矢量$ {\ boldsymbol \ theta} $，最大化$ \ min_ {i \ le n} y_i \ langle {\ boldsymbol \ theta}，{\ boldsymbol x} _i \ rangle $ 。这是一个非凸优化问题（它相当于在Polytope中找到最大标准矢量），我们在两个随机模型下研究其典型属性。我们考虑比例渐近，其中$ n，d \ to \ idty $以$ n / d \ to \ delta $，并在最大边缘$ \ kappa _ {\ text {s}}（\ delta）上证明了上限和下限）$或 - 等效 - 在其逆函数$ \ delta _ {\ text {s}}（\ kappa）$。换句话说，$ \ delta _ {\ text {s}}（\ kappa）$是overparametization阈值：以$ n / d \ le \ delta _ {\ text {s}}（\ kappa） - \ varepsilon $一个分类器实现了消失的训练错误，具有高概率，而以$ n / d \ ge \ delta _ {\ text {s}}（\ kappa）+ \ varepsilon $。我们在$ \ delta _ {\ text {s}}（\ kappa）$匹配，以$ \ kappa \ to - \ idty $匹配。然后，我们分析了线性编程算法来查找解决方案，并表征相应的阈值$ \ delta _ {\ text {lin}}（\ kappa）$。我们观察插值阈值$ \ delta _ {\ text {s}}（\ kappa）$和线性编程阈值$ \ delta _ {\ text {lin {lin}}（\ kappa）$之间的差距，提出了行为的问题其他算法。