了解正规化的作用是统计推理中的核心问题。经验上讲，通过避免对训练数据的过度限制，良好的正则化方案通常会显着提高推断模型的质量。我们在这里考虑的是L 2和L 1的特定情况，最大后验序（MAP）推断的最大后面的成对图形模型。基于对高斯和Potts模型的高斯多变量分布和数值实验的分析计算，我们研究了训练，测试和“生成数据”（带推断模型）的可能性作为正则化强度的函数。我们特别展示了最大值，测试可能性和“生成”的可能性，这量化了所生成的样本的质量，具有显着的闭合值。发现正则化强度的最佳值大致等于在底层交互网络上传入的平方耦合的逆和亚。我们的结果似乎与所考虑的正则化方案产生的数据的真实潜在相互作用的结构无关，并且当考虑地图估计器周围的后部分布的小波动时有效。讨论了与来自同源序列中学到的蛋白质模型的与实证工作的连接。

在随机抽样方法中，马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中，我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明，偏离目标稳态分布的偏差特征是定位过渡的函数，这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差，而误差是通过不完整的收敛引入的，并区分了两个方案，其中弛豫机制分别受扩散和排斥分别受到限制。

强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。

多级分类问题的广义线性模型是现代机器学习任务的基本构建块之一。在本手稿中，我们通过具有任何凸损耗和正规化的经验风险最小化（ERM）来描述与通用手段和协方士的k $高斯的混合。特别是，我们证明了表征ERM估计的精确渐近剂，以高维度，在文献中扩展了关于高斯混合分类的几个先前结果。我们举例说明我们在统计学习中的两个兴趣任务中的两个任务：a）与稀疏手段的混合物进行分类，我们研究了$ \ ell_2 $的$ \ ell_1 $罚款的效率; b）Max-Margin多级分类，在那里我们在$ k> 2 $的多级逻辑最大似然估计器上表征了相位过渡。最后，我们讨论了我们的理论如何超出合成数据的范围，显示在不同的情况下，高斯混合在真实数据集中密切地捕获了分类任务的学习曲线。

无监督的机器学习的目的是删除复杂的高维数据的表示形式，从而解释数据中的重要潜在因素以及操纵它们以生成具有理想功能的新数据。这些方法通常依赖于对抗方案，在该方案中，对代表进行调整以避免歧视者能够重建特定的数据信息（标签）。我们提出了一种简单，有效的方法，即在无需培训对抗歧视器的情况下解开表示形式，并将我们的方法应用于受限的玻尔兹曼机器（RBM），这是最简单的基于代表的生成模型之一。我们的方法依赖于在训练过程中引入对权重的足够约束，这使我们能够将有关标签的信息集中在一小部分潜在变量上。该方法的有效性在MNIST数据集，二维ISING模型和蛋白质家族的分类法上说明了。此外，我们还展示了我们的框架如何从数据的对数模型中计算成本，与其表示形式的删除相关。

深神经网络（DNN）是用于压缩和蒸馏信息的强大工具。由于它们的规模和复杂性，通常涉及数十亿间相互作用的内部自由度，精确分析方法通常会缩短。这种情况下的共同策略是识别平均潜在的快速微观变量的不稳定行为的缓慢自由度。在这里，我们在训练结束时识别在过度参数化的深卷积神经网络（CNNS）中发生的尺度的分离。它意味着神经元预激活与几乎高斯的方式与确定性潜在内核一起波动。在对于具有无限许多频道的CNN来说，这些内核是惰性的，对于有限的CNNS，它们以分析的方式通过数据适应和学习数据。由此产生的深度学习的热力学理论产生了几种深度非线性CNN玩具模型的准确预测。此外，它还提供了新的分析和理解CNN的方法。

理论上，从理论上分析$ \ ell_ {1} $的典型学习性能 - 正规化的线性回归（$ \ ell_1 $ -linr），用于使用统计力学中的副本方法进行模型选择。对于顺磁阶段的典型随机常规图，获得了对$ \ ell_1 $ -LinR的典型样本复杂度的准确估计。值得注意的是，尽管模型拼写错误，$ \ ell_1 $ -linr是模型选择，其与$ \ ell_ {1} $ - 正常化的逻辑回归（$ \ ell_1 $ -logr），即，$ m = \ mathcal {o} \ left（\ log n \ light）$，其中$ n $是ising模型的变量数。此外，我们提供了一种有效的方法，可以准确地预测$ \ ell_1 $ -Linr的非渐近行为，以便适度$ M，N $，如精度和召回。仿真在理论预测和实验结果之间表现出相当愉快的一致性，即使对于具有许多环路的图表，也支持我们的研究结果。虽然本文主要侧重于$ \ ell_1 $ -Linr，但我们的方法很容易适用于精确地表征广泛类别的$ \ ell_ {1} $的典型学习表演 - 正常化$ M $-estimators，包括$ \ ell_1 $ - LogR和互动筛查。

我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。

贝叶斯推理允许在贝叶斯神经网络的上下文中获取有关模型参数的有用信息，或者在贝叶斯神经网络的背景下。通常的Monte Carlo方法的计算成本，用于在贝叶斯推理中对贝叶斯推理的后验法律进行线性点的数量与数据点的数量进行线性。将其降低到这一成本的一小部分的一种选择是使用Langevin动态的未经调整的离散化来诉诸Mini-Batching，在这种情况下，只使用数据的随机分数来估计梯度。然而，这导致动态中的额外噪声，因此在马尔可夫链采样的不变度量上的偏差。我们倡导使用所谓的自适应Langevin动态，这是一种改进标准惯性Langevin动态，其动态摩擦力，可自动校正迷你批次引起的增加的噪声。我们调查假设适应性Langevin的假设（恒定协方差估计梯度的恒定协方差），这在贝叶斯推理的典型模型中不满足，并在这种情况下量化小型匹配诱导的偏差。我们还展示了如何扩展ADL，以便通过考虑根据参数的当前值来系统地减少后部分布的偏置。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

A recent line of work has shown remarkable behaviors of the generalization error curves in simple learning models. Even the least-squares regression has shown atypical features such as the model-wise double descent, and further works have observed triple or multiple descents. Another important characteristic are the epoch-wise descent structures which emerge during training. The observations of model-wise and epoch-wise descents have been analytically derived in limited theoretical settings (such as the random feature model) and are otherwise experimental. In this work, we provide a full and unified analysis of the whole time-evolution of the generalization curve, in the asymptotic large-dimensional regime and under gradient-flow, within a wider theoretical setting stemming from a gaussian covariate model. In particular, we cover most cases already disparately observed in the literature, and also provide examples of the existence of multiple descent structures as a function of a model parameter or time. Furthermore, we show that our theoretical predictions adequately match the learning curves obtained by gradient descent over realistic datasets. Technically we compute averages of rational expressions involving random matrices using recent developments in random matrix theory based on "linear pencils". Another contribution, which is also of independent interest in random matrix theory, is a new derivation of related fixed point equations (and an extension there-off) using Dyson brownian motions.

学习数据分布的参数模型是一个众所周知的统计问题，在深度学习中扩大了兴趣，因此人们对其进行了新的兴趣。将问题作为一项自我监督的任务，其中数据样本与噪声样本区分开来，是最新方法的核心，从噪声对抗性估计（NCE）开始。但是，这种对比学习需要良好的噪声分布，这很难指定。因此，特定于域特异性的启发式方法被广泛使用。尽管缺少一个全面的理论，但在实践中应广泛认为，应在分布和比例方面使最佳噪声等于数据。该设置尤其是生成对抗网络（GAN）的基础。在这里，我们从经验和理论上挑战了最佳噪声的这一假设。我们表明，从渐近方差方面，偏离这一假​​设实际上会导致更好的统计估计器。特别是，最佳噪声分布不同于数据，甚至与其他家庭不同。

我们研究了重整化组（RG）和深神经网络之间的类比，其中随后的神经元层类似于沿RG的连续步骤。特别地，我们通过在抽取RG下明确计算在DIMIMATION RG下的一个和二维insing模型中的相对熵或kullback-leibler发散，以及作为深度的函数的前馈神经网络中的相对熵或kullback-leibler发散。我们观察到单调增加到参数依赖性渐近值的定性相同的行为。在量子场理论方面，单调增加证实了相对熵和C定理之间的连接。对于神经网络，渐近行为可能对机器学习中的各种信息最大化方法以及解开紧凑性和概括性具有影响。此外，虽然我们考虑的二维误操作模型和随机神经网络都表现出非差异临界点，但是对任何系统的相位结构的相对熵看起来不敏感。从这个意义上讲，需要更精细的探针以充分阐明这些模型中的信息流。

我们引入了重新定性，这是一种数据依赖性的重新聚集化，将贝叶斯神经网络（BNN）转化为后部的分布，其KL对BNN对BNN的差异随着层宽度的增长而消失。重新定义图直接作用于参数，其分析简单性补充了宽BNN在功能空间中宽BNN的已知神经网络过程（NNGP）行为。利用重新定性，我们开发了马尔可夫链蒙特卡洛（MCMC）后采样算法，该算法将BNN更快地混合在一起。这与MCMC在高维度上的表现差异很差。对于完全连接和残留网络，我们观察到有效样本量高达50倍。在各个宽度上都取得了改进，并在层宽度的重新培训和标准BNN之间的边缘。

我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病，我们引入了辅助变量以表示这种不确定性。然而，这些变量导致了高维图像数据的综合可能性，通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明，可以计算出有关模型参数的数据中的预期信息收益（EIG），而无需额外的成本。最后，我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准，我们介绍了一些基于域的能量和傅立叶的摘要统计数据，并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

教师 - 学生模型提供了一个框架，其中可以以封闭形式描述高维监督学习的典型情况。高斯I.I.D的假设然而，可以认为典型教师 - 学生模型的输入数据可以被认为过于限制，以捕获现实数据集的行为。在本文中，我们介绍了教师和学生可以在不同的空格上行动的模型的高斯协变态概括，以固定的，而是通用的特征映射。虽然仍处于封闭形式的仍然可解决，但这种概括能够捕获广泛的现实数据集的学习曲线，从而兑现师生框架的潜力。我们的贡献是两倍：首先，我们证明了渐近培训损失和泛化误差的严格公式。其次，我们呈现了许多情况，其中模型的学习曲线捕获了使用内​​核回归和分类学习的现实数据集之一，其中盒出开箱特征映射，例如随机投影或散射变换，或者与散射变换预先学习的 - 例如通过培训多层神经网络学到的特征。我们讨论了框架的权力和局限性。

我们认为越来越复杂的矩阵去噪和贝叶斯最佳设置中的文章学习模型，在挑战性的政权中，在矩阵推断出与系统尺寸线性的排名增加。这与大多数现有的文献相比，与低秩（即常数级别）制度相关的文献相反。我们首先考虑一类旋转不变的矩阵去噪，使用来自随机矩阵理论的标准技术来计算的互动信息和最小均方误差。接下来，我们分析了字典学习的更具挑战性模式。为此，我们将复制方法与随机矩阵理论一起介绍了复制品方法的新组合，共同矩阵理论，Coined光谱副本方法。它允许我们猜测隐藏表示与字典学习问题的嘈杂数据之间的相互信息的变分形式，以及定量最佳重建误差的重叠。所提出的方法从$ \ theta（n ^ 2）$（矩阵条目）到$ \ theta（n）$（特征值或奇异值）减少自由度的数量，并产生的互信息的库仑气体表示让人想起物理学中的矩阵模型。主要成分是使用Harishchandra-Itzykson-Zuber球形积分，结合新的复制对称解耦Ansatz，在特定重叠矩阵的特征值（或奇异值）的概率分布的水平上。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

In many modern applications of deep learning the neural network has many more parameters than the data points used for its training. Motivated by those practices, a large body of recent theoretical research has been devoted to studying overparameterized models. One of the central phenomena in this regime is the ability of the model to interpolate noisy data, but still have test error lower than the amount of noise in that data. arXiv:1906.11300 characterized for which covariance structure of the data such a phenomenon can happen in linear regression if one considers the interpolating solution with minimum $\ell_2$-norm and the data has independent components: they gave a sharp bound on the variance term and showed that it can be small if and only if the data covariance has high effective rank in a subspace of small co-dimension. We strengthen and complete their results by eliminating the independence assumption and providing sharp bounds for the bias term. Thus, our results apply in a much more general setting than those of arXiv:1906.11300, e.g., kernel regression, and not only characterize how the noise is damped but also which part of the true signal is learned. Moreover, we extend the result to the setting of ridge regression, which allows us to explain another interesting phenomenon: we give general sufficient conditions under which the optimal regularization is negative.