主成分分析（PCA）是大数据时代的维度减少的Workhorse工具。虽然经常被忽视，但PCA的目的不仅可以减少数据维度，而且还要产生不相关的功能。此外，现代世界中不断增加的数据量通常需要在多台机器上存储数据样本，这会排除使用集中式PCA算法。本文重点介绍了PCA的双重目标，即功能的维度和特征的脱钩，但在分布式环境中。这需要估计数据协方差矩阵的特征向量，而不是仅估计特征向量跨越的子空间，当数据分布在机器网络上时。尽管最近已经提出了几种分布式PCA问题的分布式解决方案，但这些解决方案的收敛保证和/或通信开销仍然是一个问题。随着通信效率的眼睛，介绍了一种基于前馈神经网络的一种时级分布式PCA算法，其被称为分布式Sanger的算法（DSA），该算法（DSA）估计数据协方差矩阵的特征向量，当数据分布在一个无向连接的网络上时机器。此外，所提出的算法被示出为线性地收敛到真实解决方案的邻域。还提供了数值结果以证明所提出的解决方案的功效。

机器学习已开始在许多应用中发挥核心作用。这些应用程序中的许多应用程序通常还涉及由于设计约束（例如多元系统）或计算/隐私原因（例如，在智能手机数据上学习），这些数据集分布在多个计算设备/机器上。这样的应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界中的分散设置中，由于设备故障，网络攻击等，节点容易出现未发现的故障，这可能会崩溃非稳固的学习算法。本文的重点是在发生拜占庭失败的节点的存在下对分散学习的鲁棒化。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最健壮的算法的设计。但是，与分布式学习相反，对分散学习中拜占庭式的弹性的研究仍处于起步阶段。特别是，现有的拜占庭式分散学习方法要么不能很好地扩展到大规模的机器学习模型，要么缺乏统计收敛性可确保有助于表征其概括错误。在本文中，引入了一个可扩展的，拜占庭式的分散的机器学习框架，称为拜占庭的分散梯度下降（桥梁）。本文中还提供了强烈凸出问题和一类非凸问题的算法和统计收敛保证。此外，使用大规模的分散学习实验来确定桥梁框架是可扩展的，并且为拜占庭式弹性凸和非convex学习提供了竞争结果。

在本文中，我们应对PCA：异质性的重大挑战。当从不同趋势的不同来源收集数据的同时仍具有一致性时，提取共享知识的同时保留每个来源的独特功能至关重要。为此，我们提出了个性化的PCA（PERPCA），该PCA（PERPCA）使用相互正交的全球和本地主要组件来编码唯一的和共享的功能。我们表明，在轻度条件下，即使协方差矩阵截然不同，也可以通过约束优化问题来识别和恢复独特的和共享的特征。此外，我们设计了一种完全由分布式stiefel梯度下降来解决问题的完全联合算法。该算法引入了一组新的操作，称为通用缩回，以处理正交性约束，并且仅要求跨来源共享全局PC。我们证明了在合适的假设下算法的线性收敛。全面的数值实验突出了PERPCA在特征提取和异质数据集预测方面的出色性能。作为将共享和唯一功能从异质数据集解除共享和独特功能的系统方法，PERPCA在几种任务中找到了应用程序，包括视频细分，主题提取和分布式聚类。

在本文中，我们研究了主要成分分析的问题，并采用了生成建模假设，采用了一个普通矩阵的通用模型，该模型包括涉及尖峰矩阵恢复和相位检索在内的明显特殊情况。关键假设是，基础信号位于$ l $ -Lipschitz连续生成模型的范围内，该模型具有有限的$ k $二维输入。我们提出了一个二次估计器，并证明它享有顺序的统计率$ \ sqrt {\ frac {k \ log l} {m} {m}} $，其中$ m $是样本的数量。我们还提供了近乎匹配的算法独立的下限。此外，我们提供了经典功率方法的一种变体，该方法将计算的数据投射到每次迭代期间生成模型的范围内。我们表明，在适当的条件下，该方法将指数级的快速收敛到达到上述统计率的点。我们在各种图像数据集上对峰值矩阵和相位检索模型进行实验，并说明了我们方法的性能提高到经典功率方法，并为稀疏主组件分析设计了截断的功率方法。

在这项工作中，我们研究了缺少数据（ST-MISS）和离群值（强大的ST-MISS）的子空间跟踪问题。我们提出了一种新颖的算法，并为这两个问题提供了保证。与过去在该主题上的工作不同，当前的工作并不强加分段恒定的子空间变更假设。此外，所提出的算法比我们以前的工作要简单得多（使用较少的参数）。其次，我们将方法及其分析扩展到当数据联合到数据时，以及在$ k $对等点点和中心之间的信息交换时，可以证明解决这些问题。我们通过广泛的数值实验来验证理论主张。

在分散的学习中，节点网络协作以最小化通常是其本地目标的有限总和的整体目标函数，并结合了非平滑的正则化术语，以获得更好的泛化能力。分散的随机近端梯度（DSPG）方法通常用于培训这种类型的学习模型，而随机梯度的方差延迟了收敛速率。在本文中，我们提出了一种新颖的算法，即DPSVRG，通过利用方差减少技术来加速分散的训练。基本思想是在每个节点中引入估计器，该节点周期性地跟踪本地完整梯度，以校正每次迭代的随机梯度。通过将分散的算法转换为具有差异减少的集中内隙近端梯度算法，并控制错误序列的界限，我们证明了DPSVRG以o（1 / t）$的速率收敛于一般凸起目标加上非平滑术语以$ t $作为迭代的数量，而dspg以$ o（\ frac {1} {\ sqrt {t}}）$汇聚。我们对不同应用，网络拓扑和学习模型的实验表明，DPSVRG会收敛于DSPG的速度要快得多，DPSVRG的损耗功能与训练时期顺利降低。

分散和联合学习的关键挑战之一是设计算法，这些算法有效地处理跨代理商的高度异构数据分布。在本文中，我们在数据异质性下重新审视分散的随机梯度下降算法（D-SGD）的分析。我们在D-SGD的收敛速率上展示了新数量的关键作用，称为\ emph {邻居异质性}。通过结合通信拓扑结构和异质性，我们的分析阐明了这两个分散学习中这两个概念之间的相互作用较低。然后，我们认为邻里的异质性提供了一种自然标准，可以学习数据依赖性拓扑结构，以减少（甚至可以消除）数据异质性对D-SGD收敛时间的有害影响。对于与标签偏度分类的重要情况，我们制定了学习这样一个良好拓扑的问题，例如我们使用Frank-Wolfe算法解决的可拖动优化问题。如一组模拟和现实世界实验所示，我们的方法提供了一种设计稀疏拓扑的方法，可以在数据异质性下平衡D-SGD的收敛速度和D-SGD的触电沟通成本。

Bilevel programming has recently received attention in the literature, due to a wide range of applications, including reinforcement learning and hyper-parameter optimization. However, it is widely assumed that the underlying bilevel optimization problem is solved either by a single machine or in the case of multiple machines connected in a star-shaped network, i.e., federated learning setting. The latter approach suffers from a high communication cost on the central node (e.g., parameter server) and exhibits privacy vulnerabilities. Hence, it is of interest to develop methods that solve bilevel optimization problems in a communication-efficient decentralized manner. To that end, this paper introduces a penalty function based decentralized algorithm with theoretical guarantees for this class of optimization problems. Specifically, a distributed alternating gradient-type algorithm for solving consensus bilevel programming over a decentralized network is developed. A key feature of the proposed algorithm is to estimate the hyper-gradient of the penalty function via decentralized computation of matrix-vector products and few vector communications, which is then integrated within our alternating algorithm to give the finite-time convergence analysis under different convexity assumptions. Owing to the generality of this complexity analysis, our result yields convergence rates for a wide variety of consensus problems including minimax and compositional optimization. Empirical results on both synthetic and real datasets demonstrate that the proposed method works well in practice.

在本文中，我们提出了GT-GDA，这是一种分布式优化方法来解决表单的鞍点问题：$ \ min _ {\ Mathbf {x}}} \ max _ {\ Mathbf {y Mathbf {y}}} \ {f（ 。 $，其中函数$ g（\ cdot）$，$ h（\ cdot）$，以及耦合矩阵$ \ overline {p} $的耦合矩阵{p} $是在强烈连接的节点网络上分发的。 GT-GDA是一种使用梯度跟踪来消除节点之间异质数据分布引起的差异的一阶方法。在最通用的形式中，GT-GDA包括与本地耦合矩阵的共识，以达到最佳（独特的）鞍点，但是，以增加通信为代价。为了避免这种情况，我们提出了一个更有效的变体GT-GDA-LITE，该变体不会引起额外的交流并在各种情况下分析其收敛性。我们表明，当$ g（\ cdot）$平滑且凸，$ h（\ cdot）$平稳且强烈凸时，GT-GDA线性收敛到唯一的鞍点解决方案，并且全局耦合矩阵$ \ overline {p } $具有完整的列等级。我们进一步表征了GT-GDA表现出与网络拓扑无关的收敛行为的制度。接下来，我们显示GT-GDA的线性收敛到围绕唯一鞍点的错误，当耦合成本$ {\ langle \ mathbf y，\ overline {p} \ mathbf x \ rangle} $是零时为零。所有节点，或当$ g（\ cdot）$和$ h（\ cdot）$是二次时。数值实验说明了GT-GDA和GT-GDA-LITE对多种应用的收敛属性和重要性。

Generalized Eigenvalue Problems (GEPs) encompass a range of interesting dimensionality reduction methods. Development of efficient stochastic approaches to these problems would allow them to scale to larger datasets. Canonical Correlation Analysis (CCA) is one example of a GEP for dimensionality reduction which has found extensive use in problems with two or more views of the data. Deep learning extensions of CCA require large mini-batch sizes, and therefore large memory consumption, in the stochastic setting to achieve good performance and this has limited its application in practice. Inspired by the Generalized Hebbian Algorithm, we develop an approach to solving stochastic GEPs in which all constraints are softly enforced by Lagrange multipliers. Then by considering the integral of this Lagrangian function, its pseudo-utility, and inspired by recent formulations of Principal Components Analysis and GEPs as games with differentiable utilities, we develop a game-theory inspired approach to solving GEPs. We show that our approaches share much of the theoretical grounding of the previous Hebbian and game theoretic approaches for the linear case but our method permits extension to general function approximators like neural networks for certain GEPs for dimensionality reduction including CCA which means our method can be used for deep multiview representation learning. We demonstrate the effectiveness of our method for solving GEPs in the stochastic setting using canonical multiview datasets and demonstrate state-of-the-art performance for optimizing Deep CCA.

最近以来，在理解与overparameterized模型非凸损失基于梯度的方法收敛性和泛化显著的理论进展。尽管如此，优化和推广，尤其是小的随机初始化的关键作用的许多方面都没有完全理解。在本文中，我们迈出玄机通过证明小的随机初始化这个角色的步骤，然后通过梯度下降的行为类似于流行谱方法的几个迭代。我们还表明，从小型随机初始化，这可证明是用于overparameterized车型更加突出这种隐含的光谱偏差，也使梯度下降迭代在一个特定的轨迹走向，不仅是全局最优的，但也很好期广义的解决方案。具体而言，我们专注于通过天然非凸制剂重构从几个测量值的低秩矩阵的问题。在该设置中，我们表明，从小的随机初始化的梯度下降迭代的轨迹可以近似分解为三个阶段：（Ⅰ）的光谱或对准阶段，其中，我们表明，该迭代具有一个隐含的光谱偏置类似于频谱初始化允许我们表明，在该阶段中进行迭代，并且下面的低秩矩阵的列空间被充分对准的端部，（II）一鞍回避/细化阶段，我们表明，该梯度的轨迹从迭代移动离开某些简并鞍点，和（III）的本地细化阶段，其中，我们表明，避免了鞍座后的迭代快速收敛到底层低秩矩阵。底层我们的分析是，可能有超出低等级的重建计算问题影响overparameterized非凸优化方案的分析见解。

这项工作审查了旨在在通信约束下运行的自适应分布式学习策略。我们考虑一个代理网络，必须从持续观察流数据来解决在线优化问题。代理商实施了分布式合作策略，其中允许每个代理商与其邻居执行本地信息交换。为了应对通信约束，必须不可避免地压缩交换信息。我们提出了一种扩散策略，昵称为ACTC（适应 - 压缩 - 然后组合），其依赖于以下步骤：i）每个代理执行具有恒定步长大小的单独随机梯度更新的适应步骤; ii）一种压缩步骤，它利用最近引入的随机压缩操作员;和III）每个代理组合从其邻居接收的压缩更新的组合步骤。这项工作的区别要素如下。首先，我们专注于自适应策略，其中常数（而不是递减）阶梯大小对于实时响应非间断变化至关重要。其次，我们考虑一般的指导图表和左随机组合政策，使我们能够增强拓扑和学习之间的相互作用。第三，与对所有个人代理的成本职能承担强大的凸起的相关作品相比，我们只需要在网络水平的强大凸起，即使单个代理具有强凸的成本，剩余的代理商也不满足凸起成本。第四，我们专注于扩散（而不是共识）战略。在压缩信息的苛刻设置下，建立ACTC迭代在所需的优化器周围波动，在相邻代理之间交换的比特方面取得了显着的节省。

在本文中，我们专注于Stiefel歧管上的分散优化问题，该问题在$ D $代理的连接网络上定义。目标是D $本地函数的平均值，并且每个函数由代理私下持有并编码其数据。代理商只能以合作努力与邻居沟通以解决这个问题。在现有方法中，需要多轮通信来保证收敛，从而产生高通信成本。相比之下，本文提出了一种被称为命运的分散算法，该算法仅调用每次迭代的单一轮通信。命运结合了梯度跟踪技术，具有新颖的近似增强拉格朗日函数。全球收敛到静止点是严格建立的。综合数值实验表明，命运具有强大的潜力，可以在解决各种测试问题方面提供尖端性能。

我们研究了估计多元高斯分布中的精度矩阵的问题，其中所有部分相关性都是非负面的，也称为多变量完全阳性的顺序阳性（$ \ mathrm {mtp} _2 $）。近年来，这种模型得到了重大关注，主要是由于有趣的性质，例如，无论底层尺寸如何，最大似然估计值都存在于两个观察。我们将此问题作为加权$ \ ell_1 $ -norm正常化高斯的最大似然估计下$ \ mathrm {mtp} _2 $约束。在此方向上，我们提出了一种新颖的预计牛顿样算法，该算法包含精心设计的近似牛顿方向，这导致我们具有与一阶方法相同的计算和内存成本的算法。我们证明提出的预计牛顿样算法会聚到问题的最小值。从理论和实验中，我们进一步展示了我们使用加权$ \ ell_1 $ -norm的制剂的最小化器能够正确地恢复基础精密矩阵的支持，而无需在$ \ ell_1 $ -norm中存在不连贯状态方法。涉及合成和实世界数据的实验表明，我们所提出的算法从计算时间透视比最先进的方法显着更有效。最后，我们在金融时序数据中应用我们的方法，这些数据对于显示积极依赖性，在那里我们在学习金融网络上的模块间值方面观察到显着性能。

在机器学习模型的数据并行优化中，工人协作以改善对模型的估计：更准确的梯度使他们可以使用更大的学习率并更快地优化。我们考虑所有工人从同一数据集进行采样的设置，并通过稀疏图（分散）进行通信。在这种情况下，当前的理论无法捕获现实世界行为的重要方面。首先，通信图的“光谱差距”不能预测其（深）学习中的经验表现。其次，当前的理论并不能解释合作可以比单独培训更大的学习率。实际上，它规定了较小的学习率，随着图表的变化而进一步降低，无法解释无限图中的收敛性。本文旨在在工人共享相同的数据分布时绘制出稀疏连接的分布式优化的准确图片。我们量化图形拓扑如何影响二次玩具问题中的收敛性，并为一般平滑和（强烈）凸目标提供理论结果。我们的理论与深度学习中的经验观察相匹配，并准确地描述了不同图形拓扑的相对优点。

我们考虑使用梯度下降来最大程度地减少$ f（x）= \ phi（xx^{t}）$在$ n \ times r $因件矩阵$ x $上，其中$ \ phi是一种基础平稳凸成本函数定义了$ n \ times n $矩阵。虽然只能在合理的时间内发现只有二阶固定点$ x $，但如果$ x $的排名不足，则其排名不足证明其是全球最佳的。这种认证全球最优性的方式必然需要当前迭代$ x $的搜索等级$ r $，以相对于级别$ r^{\ star} $过度参数化。不幸的是，过度参数显着减慢了梯度下降的收敛性，从$ r = r = r = r^{\ star} $的线性速率到$ r> r> r> r> r^{\ star} $，即使$ \ phi $是$ \ phi $强烈凸。在本文中，我们提出了一项廉价的预处理，该预处理恢复了过度参数化的情况下梯度下降回到线性的收敛速率，同时也使在全局最小化器$ x^{\ star} $中可能不良条件变得不可知。

广义特征值问题（GEP）是数值线性代数中的基本概念。它捕获了许多经典的机器学习问题的解决方案，例如规范相关分析，独立组件分析，部分最小二乘，线性判别分析，主要组件，后继功能等。尽管如此，在处理大量数据集时，大多数通用求解器都非常昂贵，而研究则集中在为特定问题实例找到有效的解决方案。在这项工作中，我们开发了顶级$ K $ GEP的游戏理论公式，其NASH平衡是一组广义特征向量。我们还提出了一种可行的算法，并保证了与NASH的渐近收敛。当前的最新方法需要$ \ MATHCAL {O}（d^2k）$复杂性，当尺寸数量（$ d $）较大时，这是高昂的昂贵。我们展示了如何实现$ \ MATHCAL {O}（dk）$复杂性，比例缩放到数据集$ 100 \ times $ $比先前方法评估的$。从经验上讲，我们证明我们的算法能够解决各种GEP问题实例，包括对神经网络激活的大规模分析。

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

我们考虑分散的优化问题，其中许多代理通过在基础通信图上交换来最大程度地减少其本地功能的平均值。具体而言，我们将自己置于异步模型中，其中只有一个随机部分在每次迭代时执行计算，而信息交换可以在所有节点之间进行，并以不对称的方式进行。对于此设置，我们提出了一种算法，该算法结合了整个网络上梯度跟踪和差异的差异。这使每个节点能够跟踪目标函数梯度的平均值。我们的理论分析表明，在预期混合矩阵的轻度连通性条件下，当局部目标函数强烈凸面时，算法会汇聚。特别是，我们的结果不需要混合矩阵是双随机的。在实验中，我们研究了一种广播机制，该机制将信息从计算节点传输到其邻居，并确认我们方法在合成和现实世界数据集上的线性收敛性。

最近的一些实证研究表明，重要的机器学习任务，例如训练深神网络，表现出低级别的结构，其中损耗函数仅在输入空间的几个方向上差异很大。在本文中，我们利用这种低级结构来降低基于规范梯度的方法（例如梯度下降（GD））的高计算成本。我们提出的\ emph {低率梯度下降}（lrgd）算法找到了$ \ epsilon $ - approximate的固定点$ p $ - 维功能，首先要识别$ r \ r \ leq p $重要的方向，然后估算真实的方向每次迭代的$ p $维梯度仅通过计算$ r $方向来计算定向衍生物。我们确定强烈凸和非convex目标函数的LRGD的“定向甲骨文复杂性”是$ \ Mathcal {o}（r \ log（1/\ epsilon） + rp） + rp）$ and $ \ Mathcal {o}（R /\ epsilon^2 + rp）$。当$ r \ ll p $时，这些复杂性小于$ \ mathcal {o}的已知复杂性（p \ log（1/\ epsilon））$和$ \ mathcal {o}（p/\ epsilon^2） {\ gd}的$分别在强凸和非凸口设置中。因此，LRGD显着降低了基于梯度的方法的计算成本，以实现足够低级别的功能。在分析过程中，我们还正式定义和表征精确且近似级别函数的类别。