我们讨论了区块链作为协作价值共同创建平台的未来方向，在该平台中，网络参与者可以获得与其他人断开连接时无法访问的额外见解。因此，我们提出了一个分散的机器学习框架，该框架经过精心设计，以尊重民主，多样性和隐私的价值。具体而言，我们提出了一个联合的多任务学习框架，该框架集成了隐私保护动态共识算法。我们表明，称为“扩展器图”的特定网络拓扑可显着提高全球共识构建的可扩展性。我们通过对开放问题作了一些评论来结束论文。

分析若干缔约方拥有的数据，同时在效用和隐私之间实现良好的权衡是联邦学习和分析的关键挑战。在这项工作中，我们介绍了一种新颖的差异隐私（LDP）的放松，自然地出现在完全分散的算法中，即，当参与者通过沿着网络图的边缘传播没有中央协调员的边缘交换信息时。我们呼叫网络DP的这种放松捕获了用户只有系统的本地视图。为了展示网络DP的相关性，我们研究了一个分散的计算模型，其中令牌在网络图上执行散步，并由接收它的方顺序更新。对于诸如实际求和，直方图计算和具有梯度下降的优化等任务，我们提出了在环和完整拓扑上的简单算法。我们证明，网络DP下我们算法的隐私式实用权折衷显着提高了LDP下可实现的内容（有时甚至与可信赖的策展人模型的效用）的可实现，首次显示正式隐私收益可以从中获得完全分散。我们的实验说明了通过随机梯度下降的分散训练方法的改进效用。

分散和联合学习的关键挑战之一是设计算法，这些算法有效地处理跨代理商的高度异构数据分布。在本文中，我们在数据异质性下重新审视分散的随机梯度下降算法（D-SGD）的分析。我们在D-SGD的收敛速率上展示了新数量的关键作用，称为\ emph {邻居异质性}。通过结合通信拓扑结构和异质性，我们的分析阐明了这两个分散学习中这两个概念之间的相互作用较低。然后，我们认为邻里的异质性提供了一种自然标准，可以学习数据依赖性拓扑结构，以减少（甚至可以消除）数据异质性对D-SGD收敛时间的有害影响。对于与标签偏度分类的重要情况，我们制定了学习这样一个良好拓扑的问题，例如我们使用Frank-Wolfe算法解决的可拖动优化问题。如一组模拟和现实世界实验所示，我们的方法提供了一种设计稀疏拓扑的方法，可以在数据异质性下平衡D-SGD的收敛速度和D-SGD的触电沟通成本。

分散的优化在机器学习方面越来越受欢迎，其可伸缩性和效率。直观地，它也应提供更好的隐私保证，因为节点只能观察到网络图中其邻居发送的消息。但是，正式化和量化这一收益是具有挑战性的：现有结果通常仅限于当地差异隐私（LDP）保证忽略权力下放的优势。在这项工作中，我们介绍了成对网络差异隐私，这是一种放松的LDP，该隐藏率捕获了一个事实，即从节点$ u $到节点$ v $的隐私泄漏可能取决于它们在图中的相对位置。然后，我们分析局部噪声注入与固定和随机通信图上的（简单或随机）八卦方案的组合。我们还得出了一种差异化的分散优化算法，该算法在局部梯度下降步骤和八卦平均之间进行交替。我们的结果表明，我们的算法放大隐私保证是图表中节点之间距离的函数，与受信任策展人的隐私性权衡取舍相匹配，直到明确取决于图形拓扑的因素。最后，我们通过有关合成和现实世界数据集的实验来说明我们的隐私收益。

Privacy protection and nonconvexity are two challenging problems in decentralized optimization and learning involving sensitive data. Despite some recent advances addressing each of the two problems separately, no results have been reported that have theoretical guarantees on both privacy protection and saddle/maximum avoidance in decentralized nonconvex optimization. We propose a new algorithm for decentralized nonconvex optimization that can enable both rigorous differential privacy and saddle/maximum avoiding performance. The new algorithm allows the incorporation of persistent additive noise to enable rigorous differential privacy for data samples, gradients, and intermediate optimization variables without losing provable convergence, and thus circumventing the dilemma of trading accuracy for privacy in differential privacy design. More interestingly, the algorithm is theoretically proven to be able to efficiently { guarantee accuracy by avoiding} convergence to local maxima and saddle points, which has not been reported before in the literature on decentralized nonconvex optimization. The algorithm is efficient in both communication (it only shares one variable in each iteration) and computation (it is encryption-free), and hence is promising for large-scale nonconvex optimization and learning involving high-dimensional optimization parameters. Numerical experiments for both a decentralized estimation problem and an Independent Component Analysis (ICA) problem confirm the effectiveness of the proposed approach.

联合学习（FL）是一个蓬勃发展的分布式机器学习框架，其中中心参数服务器（PS）协调许多本地用户以训练全局一致的模型。传统的联合学习不可避免地依赖于具有PS的集中拓扑。因此，一旦PS失败，它将瘫痪。为了缓解如此单点故障，特别是在PS上，一些现有的工作已经提供了CDSGD和D-PSGD等分散的FL（DFL）实现，以便于分散拓扑中的流体。然而，这些方法仍存在一些问题，例如，在CDSGD中的用户最终模型和D-PSGD中的网络范围的模型平均必需品之间存在一些问题。为了解决这些缺陷，本文设计了一种作为DACFL的新DFL实现，其中每个用户使用自己的训练数据列举其模型，并通过对称和双随机矩阵将中间模型与其邻居交换。 DACFL将每个用户本地培训的进度视为离散时间过程，并采用第一个订单动态平均共识（FODAC）方法来跟踪\ Texit {平均模型}在没有PS的情况下。在本文中，我们还提供了DACFL的理论收敛性分析，即在I.I.D数据的前提下，以加强其合理性。 Mnist，Fashion-Mnist和CiFar-10的实验结果验证了我们在几间不变性和时变网络拓扑中的解决方案的可行性，并在大多数情况下声明DACFL优于D-PSGD和CDSGD。

这项工作审查了旨在在通信约束下运行的自适应分布式学习策略。我们考虑一个代理网络，必须从持续观察流数据来解决在线优化问题。代理商实施了分布式合作策略，其中允许每个代理商与其邻居执行本地信息交换。为了应对通信约束，必须不可避免地压缩交换信息。我们提出了一种扩散策略，昵称为ACTC（适应 - 压缩 - 然后组合），其依赖于以下步骤：i）每个代理执行具有恒定步长大小的单独随机梯度更新的适应步骤; ii）一种压缩步骤，它利用最近引入的随机压缩操作员;和III）每个代理组合从其邻居接收的压缩更新的组合步骤。这项工作的区别要素如下。首先，我们专注于自适应策略，其中常数（而不是递减）阶梯大小对于实时响应非间断变化至关重要。其次，我们考虑一般的指导图表和左随机组合政策，使我们能够增强拓扑和学习之间的相互作用。第三，与对所有个人代理的成本职能承担强大的凸起的相关作品相比，我们只需要在网络水平的强大凸起，即使单个代理具有强凸的成本，剩余的代理商也不满足凸起成本。第四，我们专注于扩散（而不是共识）战略。在压缩信息的苛刻设置下，建立ACTC迭代在所需的优化器周围波动，在相邻代理之间交换的比特方面取得了显着的节省。

本文与社交网络上的在线有针对性广告有关。我们解决的主要技术任务是估计用户对的激活概率，这可以量化一个用户对购买决策的影响的影响。这是一项具有挑战性的任务，因为一个营销事件通常涉及多种产品的多种营销活动/策略。在本文中，我们提出了我们认为是第一个基于张量的在线广告上的基于张量的上下文强盗框架。该拟议的框架旨在以多模式张量的形式适应任何数量的特征向量，从而使以统一的方式捕获与用户偏好，产品和广告系列策略可能存在的异质性。为了处理张量模式的相互依赖性，我们引入了具有平均场近似值的在线变分算法。我们从经验上确认，提出的Tensorucb算法在影响基准比基准的影响最大化任务方面取得了重大改进，这归因于其捕获用户产品异质性的能力。

通信瓶颈和数据隐私是联邦多武装强盗（MAB）问题中的两个至关重要的问题，例如通过无线连接车辆的决策和建议的情况。在本文中，我们在这些问题中设计了隐私保留的通信有效的算法，并在遗憾方面研究隐私，沟通和学习绩效之间的互动。具体而言，我们设计隐私保留的学习算法和通信协议，并在网络私人代理在主工作人员，分散和混合结构中进行在线强盗学习时，从而导出学习遗憾。我们的强盗学习算法基于每个代理和代理在每个时代结束时与服务器/彼此交换学习知识的庞大的子最优手臂。此外，我们采用差异隐私（DP）方法在交换信息时保护每个代理人的数据隐私;并且我们通过减少频繁的沟通与较少的代理商参与来缩短沟通成本。通过分析我们拟议的算法框架，在硕士劳动，分散和混合结构中的暗示框架，理论上显示了遗憾和沟通成本/隐私之间的权衡。最后，我们经验展示了与我们理论分析一致的这些权衡。

This work studies networked agents cooperating to track a dynamical state of nature under partial information. The proposed algorithm is a distributed Bayesian filtering algorithm for finite-state hidden Markov models (HMMs). It can be used for sequential state estimation tasks, as well as for modeling opinion formation over social networks under dynamic environments. We show that the disagreement with the optimal centralized solution is asymptotically bounded for the class of geometrically ergodic state transition models, which includes rapidly changing models. We also derive recursions for calculating the probability of error and establish convergence under Gaussian observation models. Simulations are provided to illustrate the theory and to compare against alternative approaches.

想象一组愿意集体贡献他们的个人数据的公民，以获得共同的益处，以产生社会有用的信息，由数据分析或机器学习计算产生。使用执行计算的集中式服务器共享原始的个人数据可能会引发对隐私和感知风险的担忧。相反，公民可以相互信任，并且他们自己的设备可以参与分散的计算，以协同生成要共享的聚合数据释放。在安全计算节点在运行时在安全信道交换消息的上下文中，密钥安全问题是保护对观察流量的外部攻击者，其对数据的依赖可以揭示个人信息。现有解决方案专为云设置而设计，目标是隐藏底层数据集的所有属性，并且不解决上述背景下出现的特定隐私和效率挑战。在本文中，我们定义了一般执行模型，以控制用户侧分散计算中通信的数据依赖性，其中通过组合在局部节点的局部集群上的保证来分析全局执行计划中的差异隐私保证。我们提出了一系列算法，可以在隐私，效用和效率之间进行权衡。我们的正式隐私保障利用，并通过洗牌延长隐私放大的结果。我们说明了我们对具有数据依赖通信的分散执行计划的两个代表性示例的提案的有用性。

联合学习（FL）是标准集中学习范式的最吸引人的替代方案之一，允许异质的设备集训练机器学习模型而无需共享其原始数据。但是，FL需要中央服务器来协调学习过程，从而引入潜在的可扩展性和安全性问题。在文献中，已经提出了诸如八卦联合学习（GFL）和支持区块链的联合学习（BFL）之类的无服务器的方法来减轻这些问题。在这项工作中，我们提出了这三种技术的完整概述，该技术根据整体性能指标进行比较，包括模型准确性，时间复杂性，交流开销，收敛时间和能源消耗。广泛的模拟活动允许进行定量分析。特别是，GFL能够节省18％的训练时间，68％的能源和51％的数据相对于CFL解决方案，但无法达到CFL的准确性水平。另一方面，BFL代表了一个可行的解决方案，用于以更高级别的安全性实施分散的学习，以额外的能源使用和数据共享为代价。最后，我们确定了两个分散的联合学习实施的开放问题，并就该新研究领域的潜在扩展和可能的研究方向提供见解。

推荐系统已广泛应用于不同的应用领域，包括能量保存，电子商务，医疗保健，社交媒体等。此类应用需要分析和挖掘大量各种类型的用户数据，包括人口统计，偏好，社会互动等，以便开发准确和精确的推荐系统。此类数据集通常包括敏感信息，但大多数推荐系统专注于模型的准确性和忽略与安全性和用户隐私相关的问题。尽管使用不同的风险减少技术克服这些问题，但它们都没有完全成功，确保了对用户的私人信息的密码安全和保护。为了弥合这一差距，区块链技术作为推动推荐系统中的安全和隐私保存的有希望的策略，不仅是因为其安全性和隐私性突出特征，而且由于其恢复力，适应性，容错和信任特性。本文介绍了涵盖挑战，开放问题和解决方案的基于区块链的推荐系统的整体综述。因此，引入了精心设计的分类，以描述安全和隐私挑战，概述现有框架并在使用区块链之前讨论其应用程序和利益，以指示未来的研究机会。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

由于机器学习（ML）模型变得越来越复杂，其中一个中央挑战是它们在规模的部署，使得公司和组织可以通过人工智能（AI）创造价值。 ML中的新兴范式是一种联合方法，其中学习模型部分地将其交付给一组异构剂，允许代理与自己的数据一起培训模型。然而，模型的估值问题，以及数据/模型的协作培训和交易的激励问题，在文献中获得了有限的待遇。本文提出了一种在基于信任区块基网络上交易的ML模型交易的新生态系统。买方可以获得ML市场的兴趣模型，兴趣的卖家将本地计算花在他们的数据上，以增强该模型的质量。在这样做时，考虑了本地数据与训练型型号的质量之间的比例关系，并且通过分布式数据福价（DSV）估计了销售课程中的训练中的数据的估值。同时，通过分布式分区技术（DLT）提供整个交易过程的可信度。对拟议方法的广泛实验评估显示出具有竞争力的运行时间绩效，在参与者的激励方面下降了15 \％。

机器学习已开始在许多应用中发挥核心作用。这些应用程序中的许多应用程序通常还涉及由于设计约束（例如多元系统）或计算/隐私原因（例如，在智能手机数据上学习），这些数据集分布在多个计算设备/机器上。这样的应用程序通常需要以分散的方式执行学习任务，其中没有直接连接到所有节点的中央服务器。在现实世界中的分散设置中，由于设备故障，网络攻击等，节点容易出现未发现的故障，这可能会崩溃非稳固的学习算法。本文的重点是在发生拜占庭失败的节点的存在下对分散学习的鲁棒化。拜占庭故障模型允许故障节点任意偏离其预期行为，从而确保设计最健壮的算法的设计。但是，与分布式学习相反，对分散学习中拜占庭式的弹性的研究仍处于起步阶段。特别是，现有的拜占庭式分散学习方法要么不能很好地扩展到大规模的机器学习模型，要么缺乏统计收敛性可确保有助于表征其概括错误。在本文中，引入了一个可扩展的，拜占庭式的分散的机器学习框架，称为拜占庭的分散梯度下降（桥梁）。本文中还提供了强烈凸出问题和一类非凸问题的算法和统计收敛保证。此外，使用大规模的分散学习实验来确定桥梁框架是可扩展的，并且为拜占庭式弹性凸和非convex学习提供了竞争结果。

在本文中，我们仅使用部分分布式反馈来研究全球奖励最大化的问题。这个问题是由几个现实世界应用程序（例如蜂窝网络配置，动态定价和政策选择）激发的，其中中央实体采取的行动会影响有助于全球奖励的大量人群。但是，从整个人群那里收集此类奖励反馈不仅会产生高昂的成本，而且经常导致隐私问题。为了解决此问题，我们考虑了差异的私有分布式线性土匪，其中只选择了来自人群的一部分用户（称为客户）来参与学习过程，并且中央服务器通过迭代地汇总这些部分从这种部分反馈中学习了全局模型客户的本地反馈以差异化的方式。然后，我们提出了一个统一的算法学习框架，称为差异性分布式分布式消除（DP-DPE），该框架可以与流行的差异隐私（DP）模型（包括中央DP，Local DP，Local DP和Shuffle DP）自然集成。此外，我们证明DP-DPE既可以达到统一的遗憾，又实现了额定性沟通成本。有趣的是，DP-DPE也可以“免费”获得隐私保护，这是因为由于隐私保证是一个较低的加法术语。此外，作为我们技术的副产品，对于标准的差异私有线性匪徒，也可以实现“自由”隐私的相同结果。最后，我们进行模拟以证实我们的理论结果并证明DP-DPE的有效性。

我们研究了一种新颖的方法，用于在网络控制系统中使用二次成本进行弹性分布式优化的方法，容易出现使代理行为不良的外源性攻击。与普遍采用的过滤策略相反，我们从共识问题的游戏理论表述中汲取灵感，并认为在恶意药物的存在下增加竞争可以提高韧性。分析和数值结果证实了我们的直觉，表明（i）我们的策略揭示了完全协作和全面竞争之间的非平凡性能权衡，（ii）基于竞争的方法可以超越基于平均值的最先进算法子序列减少。最后，我们研究了通信拓扑和连接性对性能的影响，并指出了对强大的网络设计的见解。

在互联网上的多种代理环境中的新兴应用程序，如互联网，网络传感，自主系统和联合学习，呼叫分散算法，以便在计算和通信方面是资源有效的有限总和优化。在本文中，我们考虑了原型设置，其中代理正在协作地工作，以通过在预定的网络拓扑中与其邻居通信来最小化局部损失函数的总和。我们开发了一种新的算法，称为分散的随机递归梯度方法（DESTRess），用于非耦合有限和优化，它与集中式算法的最佳增量一阶Oracle（IFO）复杂性匹配，用于查找一阶静止点，同时保持通信效率。详细的理论和数值比较证实了迭代在广泛的参数制度上提高现有分散算法的资源效率。 Descress利用了多个关键算法设计思路，包括随机激活的随机递增渐变渐变更新，具有用于本地计算的迷你批次，梯度跟踪，梯度跟踪，用于额外混合（即，多个八卦轮），用于偏移通信，以及仔细选择超参数和新的分析框架可证明达到理想的计算 - 通信权衡。