We develop the theory and algorithmic toolbox for networked federated learning in decentralized collections of local datasets with an intrinsic network structure. This network structure arises from domain-specific notions of similarity between local datasets. Different notions of similarity are induced by spatio-temporal proximity, statistical dependencies or functional relations. Our main conceptual contribution is to formulate networked federated learning using a generalized total variation minimization. This formulation unifies and considerably extends existing federated multi-task learning methods. It is highly flexible and can be combined with a broad range of parametric models including Lasso or deep neural networks. Our main algorithmic contribution is a novel networked federated learning algorithm which is well suited for distributed computing environments such as edge computing over wireless networks. This algorithm is robust against inexact computations arising from limited computational resources including processing time or bandwidth. For local models resulting in convex problems, we derive precise conditions on the local models and their network structure such that our algorithm learns nearly optimal local models. Our analysis reveals an interesting interplay between the convex geometry of local models and the (cluster-) geometry of their network structure.

我们建议并研究一种具有内在网络结构的数据的新型图形聚类方法。与光谱聚类类似，我们利用数据的固有网络结构来构建欧几里得特征向量。然后可以将这些特征向量馈入基本的聚类方法，例如基于K均值或高斯混合模型（GMM）的软聚类。除了光谱聚类之外，我们的方法设定的原因是，我们不使用图形laplacian的特征向量来构建特征向量。取而代之的是，我们使用总变异最小化问题的解决方案来构建反映数据点之间连接性的特征向量。我们的动机是，总变异最小化的溶液在给定的一组种子节点周围是零件的常数。这些种子节点可以从域知识或基于数据网络结构的简单启发式方法中获得。我们的结果表明，我们的聚类方法可以应对某些对光谱聚类方法具有挑战性的图形结构。

联合学习产生了重大兴趣，几乎所有作品都集中在一个“星形”拓扑上，其中节点/设备每个都连接到中央服务器。我们远离此架构，并将其通过网络维度扩展到最终设备和服务器之间存在多个节点的情况。具体而言，我们开发多级混合联合学习（MH-FL），是层内模型学习的混合，将网络视为基于多层群集的结构。 MH-FL认为集群中的节点中的拓扑结构，包括通过设备到设备（D2D）通信形成的本地网络，并假设用于联合学习的半分散式架构。它以协作/协作方式（即，使用D2D交互）在不同网络层处的设备进行编程，以在模型参数上形成本地共识，并将其与树形层次层的层之间的多级参数中继相结合。我们相对于网络拓扑（例如，光谱半径）和学习算法的参数来得出MH-F1的收敛的大界限（例如，不同簇中的D2D圆数的数量）。我们在不同的集群中获得了一系列D2D轮的政策，以保证有限的最佳差距或收敛到全局最佳。然后，我们开发一个分布式控制算法，用于MH-FL在每个集群中调整每个集群的D2D轮，以满足特定的收敛标准。我们在现实世界数据集上的实验验证了我们的分析结果，并展示了MH-FL在资源利用率指标方面的优势。

This study investigates clustered federated learning (FL), one of the formulations of FL with non-i.i.d. data, where the devices are partitioned into clusters and each cluster optimally fits its data with a localized model. We propose a novel clustered FL framework, which applies a nonconvex penalty to pairwise differences of parameters. This framework can automatically identify clusters without a priori knowledge of the number of clusters and the set of devices in each cluster. To implement the proposed framework, we develop a novel clustered FL method called FPFC. Advancing from the standard ADMM, our method is implemented in parallel, updates only a subset of devices at each communication round, and allows each participating device to perform a variable amount of work. This greatly reduces the communication cost while simultaneously preserving privacy, making it practical for FL. We also propose a new warmup strategy for hyperparameter tuning under FL settings and consider the asynchronous variant of FPFC (asyncFPFC). Theoretically, we provide convergence guarantees of FPFC for general nonconvex losses and establish the statistical convergence rate under a linear model with squared loss. Our extensive experiments demonstrate the advantages of FPFC over existing methods.

在分布式机器学习实践中越来越受欢迎，在分布式机器学习实践中越来越受欢迎，在不共享本地数据的情况下，对算法进行了算法培训的联合学习。通常，图形结构$ g $存在于本地设备以进行通信。在这项工作中，我们考虑使用数据分布和通信异质性以及本地设备的计算能力有限的联合学习中的参数估计。我们通过在本地设备上参数化分布来编码分布异质性，并具有一组不同的$ p $维矢量。然后，我们建议在$ m $估算框架下与融合套索正则化的所有设备共同估计所有设备的参数，从而鼓励对$ g $中连接的设备上的参数进行平等估计。根据$ G $，我们可以为估计器提供一般结果，可以进一步校准以获得各种特定问题设置的收敛率。令人惊讶的是，我们的估计器在$ g $上的某些图保真度条件下达到了最佳率，就好像我们可以汇总所有共享相同分布的样本一样。如果未满足图形保真度条件，我们通过多次测试提出一个边缘选择过程，以确保最佳性。为了减轻本地计算的负担，提供了一个分散的随机版本的ADMM，收敛速率$ o（t^{ - 1} \ log t）$，其中$ t $表示迭代的数量。我们强调，我们的算法在每次迭代时仅沿$ g $的边缘传输参数，而无需保留隐私的中央机器。我们将其进一步扩展到在训练过程中随机无法接近设备的情况，并具有类似的算法收敛保证。模拟实验和2020年美国总统选举数据集证明了我们方法的计算和统计效率。

我们考虑了从节点观测值估算多个网络拓扑的问题，其中假定这些网络是从相同（未知）随机图模型中绘制的。我们采用图形作为我们的随机图模型，这是一个非参数模型，可以从中绘制出潜在不同大小的图形。图形子的多功能性使我们能够解决关节推理问题，即使对于要恢复的图形包含不同数量的节点并且缺乏整个图形的精确比对的情况。我们的解决方案是基于将最大似然惩罚与Graphon估计方案结合在一起，可用于增强现有网络推理方法。通过引入嘈杂图抽样信息的强大方法，进一步增强了所提出的联合网络和图形估计。我们通过将其性能与合成和实际数据集中的竞争方法进行比较来验证我们提出的方法。

机器学习已开始在许多应用中发挥核心作用。这些应用程序中的许多应用程序通常还涉及由于设计约束（例如多元系统）或计算/隐私原因（例如，在智能手机数据上学习），这些数据集分布在多个计算设备/机器上。这样的应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界中的分散设置中，由于设备故障，网络攻击等，节点容易出现未发现的故障，这可能会崩溃非稳固的学习算法。本文的重点是在发生拜占庭失败的节点的存在下对分散学习的鲁棒化。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最健壮的算法的设计。但是，与分布式学习相反，对分散学习中拜占庭式的弹性的研究仍处于起步阶段。特别是，现有的拜占庭式分散学习方法要么不能很好地扩展到大规模的机器学习模型，要么缺乏统计收敛性可确保有助于表征其概括错误。在本文中，引入了一个可扩展的，拜占庭式的分散的机器学习框架，称为拜占庭的分散梯度下降（桥梁）。本文中还提供了强烈凸出问题和一类非凸问题的算法和统计收敛保证。此外，使用大规模的分散学习实验来确定桥梁框架是可扩展的，并且为拜占庭式弹性凸和非convex学习提供了竞争结果。

许多实际优化问题涉及不确定的参数，这些参数具有概率分布，可以使用上下文特征信息来估算。与首先估计不确定参数的分布然后基于估计优化目标的标准方法相反，我们提出了一个\ textIt {集成条件估计 - 优化}（ICEO）框架，该框架估计了随机参数的潜在条件分布同时考虑优化问题的结构。我们将随机参数的条件分布与上下文特征之间的关系直接建模，然后以与下游优化问题对齐的目标估算概率模型。我们表明，我们的ICEO方法在适度的规律性条件下渐近一致，并以概括范围的形式提供有限的性能保证。在计算上，使用ICEO方法执行估计是一种非凸面且通常是非差异的优化问题。我们提出了一种通用方法，用于近似从估计的条件分布到通过可区分函数的最佳决策的潜在非差异映射，这极大地改善了应用于非凸问题的基于梯度的算法的性能。我们还提供了半代理案例中的多项式优化解决方案方法。还进行了数值实验，以显示我们在不同情况下的方法的经验成功，包括数据样本和模型不匹配。

预测到优化的框架在许多实际设置中都是基础：预测优化问题的未知参数，然后使用参数的预测值解决该问题。与参数的预测误差相反，在这种环境中的自然损失函数是考虑预测参数引起的决策成本。最近在Elmachtoub和Grigas（2022）中引入了此损失函数，并被称为智能预测 - 优化（SPO）损失。在这项工作中，我们试图提供有关在SPO损失的背景下，预测模型在训练数据中概括的预测模型的性能如何。由于SPO损失是非凸面和非lipschitz，因此不适用推导概括范围的标准结果。我们首先根据natarajan维度得出界限，在多面体可行区域中，在极端点数中最大程度地比对数扩展，但是，在一般凸的可行区域中，对决策维度具有线性依赖性。通过利用SPO损耗函数的结构和可行区域的关键特性，我们将其表示为强度属性，我们可以显着提高对决策和特征维度的依赖。我们的方法和分析依赖于围绕有问题的预测的利润，这些预测不会产生独特的最佳解决方案，然后在修改后的利润率SPO损失函数的背景下提供了概括界限，而SPO损失函数是Lipschitz的连续。最后，我们表征了强度特性，并表明可以有效地计算出具有显式极端表示的强凸体和多面体的修饰的SPO损耗。

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

Wasserstein的分布在强大的优化方面已成为强大估计的有力框架，享受良好的样本外部性能保证，良好的正则化效果以及计算上可易处理的双重重新纠正。在这样的框架中，通过将最接近经验分布的所有概率分布中最接近的所有概率分布中最小化的最差预期损失来最大程度地减少估计量。在本文中，我们提出了一个在噪声线性测量中估算未知参数的Wasserstein分布稳定的M估计框架，我们专注于分析此类估计器的平方误差性能的重要且具有挑战性的任务。我们的研究是在现代的高维比例状态下进行的，在该状态下，环境维度和样品数量都以相对的速度进行编码，该速率以编码问题的下/过度参数化的比例。在各向同性高斯特征假设下，我们表明可以恢复平方误差作为凸 - 串联优化问题的解，令人惊讶的是，它在最多四个标量变量中都涉及。据我们所知，这是在Wasserstein分布强劲的M估计背景下研究此问题的第一项工作。

我们考虑从有限的嘈杂图形信号观察中学习图表的问题，其目标是找到图形信号的平滑表示。这种问题是通过在大型数据集中推断的关系结构，并且近年来广泛研究了这种问题。大多数现有方法专注于学习观察信号平滑的图表。但是，学习的图表容易过度拟合，因为它不会考虑未观察到的信号。为了解决这个问题，我们提出了一种基于分布稳健优化方法的新型图形学习模型，该模型旨在识别不仅提供了对观察信号中的不确定性的平滑表示的图表。在统计方面，我们建立了我们提出的模型的样本绩效保障。在优化方面，我们表明，在曲线图信号分布的温和假设下，我们提出的模型承认了平滑的非凸优化配方。然后，我们开发了一个预测的渐变方法来解决这一制定并建立其收敛保证。我们的配方在图形学习环境中提供了一个新的正则化视角。此外，综合和实世界数据的广泛数值实验表明，根据各种度量的观察信号的不同群体的模型具有比较不同的群体的较强的性能。

本文提出了一种针对分布式凸复合优化问题的新型双重不精确拆分算法（DISA），其中本地损耗函数由$ L $ -SMOOTH的项组成，可能是由线性操作员组成的非平滑项。我们证明，当原始和双重尺寸$ \ tau $，$ \ beta $满足$ 0 <\ tau <{2}/{l} $和$ 0 <\ tau \ beta <1 $时，我们证明了DISA是收敛的。与现有的原始双侧近端分裂算法（PD-PSA）相比，DISA克服了收敛步骤范围对线性操作员欧几里得范围的依赖性。这意味着当欧几里得规范大时，DISA允许更大的步骤尺寸，从而确保其快速收敛。此外，我们分别在一般凸度和度量次级性下分别建立了disa的均值和线性收敛速率。此外，还提供了DISA的近似迭代版本，并证明了该近似版本的全局收敛性和sublinear收敛速率。最后，数值实验不仅证实了理论分析，而且还表明，与现有的PD-PSA相比，DISA达到了显着的加速度。

机器学习（ML）方法的成功应用变得越来越依赖于其解释性或解释性。设计可解释的ML系统对确保针对人类的自动决策的透明度起到了重要作用。 ML方法的解释性也是值得信赖的人工智能的重要组成部分。确保解释性的关键挑战是它依赖于特定的人类用户（“说明”）。机器学习方法的用户可能对机器学习原理具有截然不同的背景知识。一个用户可能拥有机器学习或相关领域的大学学位，而另一个用户可能从未接受过高中数学的正规培训。本文采用信息理论概念来开发一种新颖的措施，以实现ML方法提供的预测的主观解释。给定用户反馈，我们通过预测的条件熵来构建此度量。用户反馈可以从用户调查或生物物理测量结果中获得。我们的主要贡献是学习一个假设的可解释的经验风险最小化（EERM）原则，该假设可以在主观解释性和风险之间进行最佳平衡。 EERM原理是灵活的，可以与任意的机器学习模型结合使用。我们为线性模型和决策树提出了EERM的几个实际实现。数值实验证明了EERM在社交媒体上检测不适当语言的应用。

Spectral risk objectives - also called $L$-risks - allow for learning systems to interpolate between optimizing average-case performance (as in empirical risk minimization) and worst-case performance on a task. We develop stochastic algorithms to optimize these quantities by characterizing their subdifferential and addressing challenges such as biasedness of subgradient estimates and non-smoothness of the objective. We show theoretically and experimentally that out-of-the-box approaches such as stochastic subgradient and dual averaging are hindered by bias and that our approach outperforms them.

多级分类问题的广义线性模型是现代机器学习任务的基本构建块之一。在本手稿中，我们通过具有任何凸损耗和正规化的经验风险最小化（ERM）来描述与通用手段和协方士的k $高斯的混合。特别是，我们证明了表征ERM估计的精确渐近剂，以高维度，在文献中扩展了关于高斯混合分类的几个先前结果。我们举例说明我们在统计学习中的两个兴趣任务中的两个任务：a）与稀疏手段的混合物进行分类，我们研究了$ \ ell_2 $的$ \ ell_1 $罚款的效率; b）Max-Margin多级分类，在那里我们在$ k> 2 $的多级逻辑最大似然估计器上表征了相位过渡。最后，我们讨论了我们的理论如何超出合成数据的范围，显示在不同的情况下，高斯混合在真实数据集中密切地捕获了分类任务的学习曲线。

现代技术正在生成越来越多的数据。利用这些数据需要既有统计学上的声音又有效率的方法。通常，统计和计算方面会分别处理。在本文中，我们提出了一种在正规化估计的背景下纠缠这两个方面的方法。将我们的方法应用于稀疏和小组的回归，我们表明它可以在统计和计算上对标准管道进行改进。

分散和联合学习的关键挑战之一是设计算法，这些算法有效地处理跨代理商的高度异构数据分布。在本文中，我们在数据异质性下重新审视分散的随机梯度下降算法（D-SGD）的分析。我们在D-SGD的收敛速率上展示了新数量的关键作用，称为\ emph {邻居异质性}。通过结合通信拓扑结构和异质性，我们的分析阐明了这两个分散学习中这两个概念之间的相互作用较低。然后，我们认为邻里的异质性提供了一种自然标准，可以学习数据依赖性拓扑结构，以减少（甚至可以消除）数据异质性对D-SGD收敛时间的有害影响。对于与标签偏度分类的重要情况，我们制定了学习这样一个良好拓扑的问题，例如我们使用Frank-Wolfe算法解决的可拖动优化问题。如一组模拟和现实世界实验所示，我们的方法提供了一种设计稀疏拓扑的方法，可以在数据异质性下平衡D-SGD的收敛速度和D-SGD的触电沟通成本。

对复杂模型执行精确的贝叶斯推理是计算的难治性的。马尔可夫链蒙特卡罗（MCMC）算法可以提供后部分布的可靠近似，但对于大型数据集和高维模型昂贵。减轻这种复杂性的标准方法包括使用子采样技术或在群集中分发数据。然而，这些方法通常在高维方案中不可靠。我们在此处专注于最近的替代类别的MCMC方案，利用类似于乘客（ADMM）优化算法的庆祝交替方向使用的分裂策略。这些方法似乎提供了凭经验最先进的性能，但其高维层的理论行为目前未知。在本文中，我们提出了一个详细的理论研究，该算法之一称为分裂Gibbs采样器。在规律条件下，我们使用RICCI曲率和耦合思路为此方案建立了明确的收敛速率。我们以数字插图支持我们的理论。

我们提出了一种在异质环境中联合学习的沟通有效方法。在存在$ k $不同的数据分布的情况下，系统异质性反映了，每个用户仅从$ k $分布中的一个中采样数据。所提出的方法只需要在用户和服务器之间进行一次通信，从而大大降低了通信成本。此外，提出的方法通过在样本量方面实现最佳的于点错误（MSE）率，即在异质环境中提供强大的学习保证相同的数据分布，前提是，每个用户的数据点数量高于我们从系统参数方面明确表征的阈值。值得注意的是，这是可以实现的，而无需任何了解基础分布，甚至不需要任何分布数量$ k $。数值实验说明了我们的发现并强调了所提出的方法的性能。