基于中心的聚类算法的最新进展通过隐式退火来打击贫穷的本地最小值，并使用一系列普遍的手段来打击。这些方法是劳埃德（Lloyd）著名的$ k $ -MEANS算法的变体，最适合于球形簇，例如由高斯数据引起的簇。在本文中，我们将这些算法的进步桥接为布雷格曼（Bregman）差异下的硬聚类的经典工作，这些工作享有指数级家庭分布的培养，因此非常适合由数据生成机制的广度引起的聚类对象。布雷格曼分歧的优雅特性使我们能够以简单透明的算法维护封闭的表单更新，此外，还引发了新的理论论点，以建立有限的样本范围，以放松在现有的艺术状态下做出的有限支持假设。此外，我们考虑对模拟实验进行彻底的经验分析和降雨数据的案例研究，发现所提出的方法在各种非高斯数据设置中都优于现有的同行方法。

在漂亮的广义框架下，过去的世纪已经广泛研究了线性预测问题。强大的统计文献中的最新进展允许我们通过手工（MOM）中位数的棱镜分析古典线性模型的强大版本。以零碎的方式结合这些方法可能导致临时程序，以及限制每个个人捐款的受限制理论结论可能不再有效。为了完全应对这些挑战，在这项研究中，我们提供了一个统一的强大框架，包括在希尔伯特空间上具有广泛的线性预测问题，与通用丢失功能相结合。值得注意的是，我们不需要对偏远数据点的分布（$ \ mathcal {o} $）的任何假设，也不需要依赖于依赖的支持的紧凑性（$ \ mathcal {i} $）。在双规范的温和条件下，我们展示了用于拼盘级别$ \ epsilon $，这些估算器达到$ O（\ max \ left \ {| \ mathcal {o} | ^ {1/2} n ^ {-1/2}，| \ mathcal {i} | ^ {1/2} n ^ {-1} n ^ { - 1} \ rick \} + \ epsilon）$，匹配文献中最着名的速率。此速率比$ O的经典速率略慢（n ^ { - 1/2}）$，表明我们需要在错误率方面支付价格以获得强大的估计。此外，我们表明，在额外的假设下，可以提高该速率以实现所​​谓的“快速速率”。

变性推理（VI）为基于传统的采样方法提供了一种吸引人的替代方法，用于实施贝叶斯推断，因为其概念性的简单性，统计准确性和计算可扩展性。然而，常见的变分近似方案（例如平均场（MF）近似）需要某些共轭结构以促进有效的计算，这可能会增加不必要的限制对可行的先验分布家族，并对变异近似族对差异进行进一步的限制。在这项工作中，我们开发了一个通用计算框架，用于实施MF-VI VIA WASSERSTEIN梯度流（WGF），这是概率度量空间上的梯度流。当专门针对贝叶斯潜在变量模型时，我们将分析基于时间消化的WGF交替最小化方案的算法收敛，用于实现MF近似。特别是，所提出的算法类似于EM算法的分布版本，包括更新潜在变量变异分布的E step以及在参数的变异分布上进行最陡峭下降的m step。我们的理论分析依赖于概率度量空间中的最佳运输理论和细分微积分。我们证明了时间限制的WGF的指数收敛性，以最大程度地减少普通大地测量学严格的凸度的通用物镜功能。我们还提供了通过使用时间限制的WGF的固定点方程从MF近似获得的变异分布的指数收缩的新证明。我们将方法和理论应用于两个经典的贝叶斯潜在变量模型，即高斯混合模型和回归模型的混合物。还进行了数值实验，以补充这两个模型下的理论发现。

现代统计应用常常涉及最小化可能是非流动和/或非凸起的目标函数。本文侧重于广泛的Bregman-替代算法框架，包括本地线性近似，镜像下降，迭代阈值，DC编程以及许多其他实例。通过广义BREGMAN功能的重新发出使我们能够构建合适的误差测量并在可能高维度下建立非凸起和非凸起和非球形目标的全球收敛速率。对于稀疏的学习问题，在一些规律性条件下，所获得的估算器作为代理人的固定点，尽管不一定是局部最小化者，但享受可明确的统计保障，并且可以证明迭代顺序在所需的情况下接近统计事实准确地快速。本文还研究了如何通过仔细控制步骤和放松参数来设计基于适应性的动力的加速度而不假设凸性或平滑度。

本文考虑了一个规范聚类问题，其中一个人从两个椭圆分布的平衡混合物中获取未标记的样本，并旨在估计标签的分类器。许多流行的方法包括PCA和K-Meanse需要混合物的各个组分在稍微球形，并且在拉伸时表现不佳。为了克服这个问题，我们提出了一个非凸面的程序寻求仿射变换，将数据转换为一维点云集中在$ -1 $和1美元之后，之后群集变得容易。我们的理论贡献是两倍：（1）我们表明，当样品大小超过维度的一些恒定倍数时，非凸损耗功能表现出理想的几何特性，以及（2）我们利用这一点，以证明这是一个有效的第一 - 订单算法在没有良好的初始化的情况下实现了近最佳统计精度。我们还提出了一般的方法，用于聚类，具有灵活的特征变换和损失目标。

我们提出了一种基于优化的基于优化的框架，用于计算差异私有M估算器以及构建差分私立置信区的新方法。首先，我们表明稳健的统计数据可以与嘈杂的梯度下降或嘈杂的牛顿方法结合使用，以便分别获得具有全局线性或二次收敛的最佳私人估算。我们在局部强大的凸起和自我协调下建立当地和全球融合保障，表明我们的私人估算变为对非私人M估计的几乎最佳附近的高概率。其次，我们通过构建我们私有M估计的渐近方差的差异私有估算来解决参数化推断的问题。这自然导致近​​似枢轴统计，用于构建置信区并进行假设检测。我们展示了偏置校正的有效性，以提高模拟中的小样本实证性能。我们说明了我们在若干数值例子中的方法的好处。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

我们调查与高斯的混合的数据分享共同但未知，潜在虐待协方差矩阵的数据。我们首先考虑具有两个等级大小的组件的高斯混合，并根据最大似然估计导出最大切割整数程序。当样品的数量在维度下线性增长时，我们证明其解决方案实现了最佳的错误分类率，直到对数因子。但是，解决最大切割问题似乎是在计算上棘手的。为了克服这一点，我们开发了一种高效的频谱算法，该算法达到最佳速率，但需要一种二次样本量。虽然这种样本复杂性比最大切割问题更差，但我们猜测没有多项式方法可以更好地执行。此外，我们收集了支持统计计算差距存在的数值和理论证据。最后，我们将MAX-CUT程序概括为$ k $ -means程序，该程序处理多组分混合物的可能性不平等。它享有相似的最优性保证，用于满足运输成本不平等的分布式的混合物，包括高斯和强烈的对数的分布。

我们考虑与高斯数据的高维线性回归中的插值学习，并在类高斯宽度方面证明了任意假设类别中的内插器的泛化误差。将通用绑定到欧几里德常规球恢复了Bartlett等人的一致性结果。（2020）对于最小规范内插器，并确认周等人的预测。（2020）在高斯数据的特殊情况下，对于近乎最小常态的内插器。我们通过将其应用于单位来证明所界限的一般性，从而获得最小L1-NORM Interpoolator（基础追踪）的新型一致性结果。我们的结果表明，基于规范的泛化界限如何解释并用于分析良性过度装备，至少在某些设置中。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

Network data are ubiquitous in modern machine learning, with tasks of interest including node classification, node clustering and link prediction. A frequent approach begins by learning an Euclidean embedding of the network, to which algorithms developed for vector-valued data are applied. For large networks, embeddings are learned using stochastic gradient methods where the sub-sampling scheme can be freely chosen. Despite the strong empirical performance of such methods, they are not well understood theoretically. Our work encapsulates representation methods using a subsampling approach, such as node2vec, into a single unifying framework. We prove, under the assumption that the graph is exchangeable, that the distribution of the learned embedding vectors asymptotically decouples. Moreover, we characterize the asymptotic distribution and provided rates of convergence, in terms of the latent parameters, which includes the choice of loss function and the embedding dimension. This provides a theoretical foundation to understand what the embedding vectors represent and how well these methods perform on downstream tasks. Notably, we observe that typically used loss functions may lead to shortcomings, such as a lack of Fisher consistency.

我们为梯度下降提供了收敛分析，以解决高斯分布中不可知的问题。与研究零偏差的设置的先前工作不同，我们考虑了当relu函数的偏见非零时更具挑战性的情况。我们的主要结果确定，从随机初始化开始，从多项式迭代梯度下降输出中，具有很高的概率，与最佳relu函数的误差相比，可以实现竞争错误保证。我们还提供有限的样本保证，这些技术将其推广到高斯以外的更广泛的边际分布。

本文提出了新的偏差不等式，其在多武装强盗模型中的自适应采样下均匀地均匀。使用给定的一维指数家庭中的kullback-leibler发散来测量偏差，并且可以一次考虑几个臂。它们是通过基于分层的每个臂鞅构造而构建的，并通过将那些鞅乘以来获得。我们的偏差不平等允许我们根据广义概率比来分析一大类连续识别问题的概要概率比，并且为臂的装置的某些功能构造紧密的置信区间。

我们以非渐近方式考虑最大似然估计（MLE）的预期对数估计（MLE）的预期似然估计（MLE）的最佳次数（MAL）的缀合物最大（MAP）的问题。令人惊讶的是，我们在文献中没有找到对这个问题的一般解决方案。特别是，当前的理论不适用于高斯或有趣的少数样本制度。在表现出问题的各个方面之后，我们显示我们可以将地图解释为在日志可能性上运行随机镜像下降（SMD）。然而，现代收敛结果不适用于指数家庭的标准例子，突出趋同文献中的孔。我们认为解决这一非常根本的问题可能会对统计和优化社区带来进展。

我们重新审视混合技术的方法，也称为拉普拉斯法，以研究通用指数家族中的浓度现象。将与家族的对数分区功能相关的Bregman差异的性质与超级木制混合物的方法相关联，我们建立了一个通用的结合，以控制家族参数与参数的有限样本估算之间的Bregman差异。我们的界限是时间均匀的，并且看起来很大，将经典信息增益扩展到指数式家庭，我们称之为Bregman信息收益。对于从业者而言，我们实例化了这本小说绑定到几个古典家庭，例如高斯，伯努利，指数，威布尔，帕雷托，帕尔托，泊松和卡方和卡方，从而产生了置信度的明确形式和布雷格曼信息的收益。我们从数值上进一步将所得的置信度界限与最先进的替代方案进行比较，以使其均匀浓度，并表明这种新颖的方法会产生竞争结果。最后，我们强调了集中界对某些说明性应用的好处。

成功的深度学习模型往往涉及培训具有比训练样本数量更多的参数的神经网络架构。近年来已经广泛研究了这种超分子化的模型，并且通过双下降现象和通过优化景观的结构特性，从统计的角度和计算视角都建立了过分统计化的优点。尽管在过上分层的制度中深入学习架构的显着成功，但也众所周知，这些模型对其投入中的小对抗扰动感到高度脆弱。即使在普遍培训的情况下，它们在扰动输入（鲁棒泛化）上的性能也会比良性输入（标准概括）的最佳可达到的性能更糟糕。因此，必须了解如何从根本上影响稳健性的情况下如何影响鲁棒性。在本文中，我们将通过专注于随机特征回归模型（具有随机第一层权重的两层神经网络）来提供超分度化对鲁棒性的作用的精确表征。我们考虑一个制度，其中样本量，输入维度和参数的数量彼此成比例地生长，并且当模型发生前列地训练时，可以为鲁棒泛化误差导出渐近精确的公式。我们的发达理论揭示了过分统计化对鲁棒性的非竞争效果，表明对于普遍训练的随机特征模型，高度公正化可能会损害鲁棒泛化。

收购数据是机器学习的许多应用中的一项艰巨任务，只有一个人希望并且预期人口风险在单调上汇率增加（更好的性能）。事实证明，甚至对于最小化经验风险的最大限度的算法，甚至不令人惊讶的情况。在训练中的风险和不稳定的非单调行为表现出并出现在双重血统描述中的流行深度学习范式中。这些问题突出了目前对学习算法和泛化的理解缺乏了解。因此，追求这种行为的表征是至关重要的，这是至关重要的。在本文中，我们在弱假设下获得了一致和风险的单调算法，从而解决了一个打开问题Viering等。 2019关于如何避免风险曲线的非单调行为。我们进一步表明，风险单调性不一定以更糟糕的风险率的价格出现。为实现这一目标，我们推出了持有某些非I.I.D的独立利益的新经验伯恩斯坦的浓度不等式。鞅差异序列等进程。

我们解决了如何在没有严格缩放条件的情况下实现分布式分数回归中最佳推断的问题。由于分位数回归（QR）损失函数的非平滑性质，这是具有挑战性的，这使现有方法的使用无效。难度通过应用于本地（每个数据源）和全局目标函数的双光滑方法解决。尽管依赖局部和全球平滑参数的精致组合，但分位数回归模型是完全参数的，从而促进了解释。在低维度中，我们为顺序定义的分布式QR估计器建立了有限样本的理论框架。这揭示了通信成本和统计错误之间的权衡。我们进一步讨论并比较了基于WALD和得分型测试和重采样技术的反转的几种替代置信集结构，并详细介绍了对更极端分数系数有效的改进。在高维度中，采用了一个稀疏的框架，其中提出的双滑目标功能与$ \ ell_1 $ -penalty相辅相成。我们表明，相应的分布式QR估计器在近乎恒定的通信回合之后达到了全球收敛率。一项彻底的模拟研究进一步阐明了我们的发现。

我们开发了对对抗估计量（“ A-估计器”）的渐近理论。它们将最大样品型估计量（“ M-估计器”）推广为平均目标，以通过某些参数最大化，而其他参数则最小化。该课程涵盖了瞬间的瞬间通用方法，生成的对抗网络以及机器学习和计量经济学方面的最新建议。在这些示例中，研究人员指出，原则上可以使用哪些方面进行估计，并且对手学习如何最佳地强调它们。我们在重点和部分识别下得出A估计剂的收敛速率，以及其参数功能的正态性。未知功能可以通过筛子（例如深神经网络）近似，我们为此提供简化的低级条件。作为推论，我们获得了神经网络估计剂的正态性，克服了文献先前确定的技术问题。我们的理论产生了有关各种A估计器的新成果，为它们在最近的应用中的成功提供了直觉和正式的理由。

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。