Time series anomaly detection strives to uncover potential abnormal behaviors and patterns from temporal data, and has fundamental significance in diverse application scenarios. Constructing an effective detection model usually requires adequate training data stored in a centralized manner, however, this requirement sometimes could not be satisfied in realistic scenarios. As a prevailing approach to address the above problem, federated learning has demonstrated its power to cooperate with the distributed data available while protecting the privacy of data providers. However, it is still unclear that how existing time series anomaly detection algorithms perform with decentralized data storage and privacy protection through federated learning. To study this, we conduct a federated time series anomaly detection benchmark, named FedTADBench, which involves five representative time series anomaly detection algorithms and four popular federated learning methods. We would like to answer the following questions: (1)How is the performance of time series anomaly detection algorithms when meeting federated learning? (2) Which federated learning method is the most appropriate one for time series anomaly detection? (3) How do federated time series anomaly detection approaches perform on different partitions of data in clients? Numbers of results as well as corresponding analysis are provided from extensive experiments with various settings. The source code of our benchmark is publicly available at https://github.com/fanxingliu2020/FedTADBench.

In the era of Internet of Things (IoT), network-wide anomaly detection is a crucial part of monitoring IoT networks due to the inherent security vulnerabilities of most IoT devices. Principal Components Analysis (PCA) has been proposed to separate network traffics into two disjoint subspaces corresponding to normal and malicious behaviors for anomaly detection. However, the privacy concerns and limitations of devices' computing resources compromise the practical effectiveness of PCA. We propose a federated PCA-based Grassmannian optimization framework that coordinates IoT devices to aggregate a joint profile of normal network behaviors for anomaly detection. First, we introduce a privacy-preserving federated PCA framework to simultaneously capture the profile of various IoT devices' traffic. Then, we investigate the alternating direction method of multipliers gradient-based learning on the Grassmann manifold to guarantee fast training and the absence of detecting latency using limited computational resources. Empirical results on the NSL-KDD dataset demonstrate that our method outperforms baseline approaches. Finally, we show that the Grassmann manifold algorithm is highly adapted for IoT anomaly detection, which permits drastically reducing the analysis time of the system. To the best of our knowledge, this is the first federated PCA algorithm for anomaly detection meeting the requirements of IoT networks.

通常利用机器学习方法并有效地将智能电表读数从家庭级别分解为设备级消耗，可以帮助分析用户的电力消耗行为并启用实用智能能源和智能网格申请。最近的研究提出了许多基于联邦深度学习（FL）的新型NILM框架。但是，缺乏综合研究，探讨了不同基于FL的NILM应用程序方案中的实用性优化方案和隐私保护方案。在本文中，我们首次尝试通过开发分布式和隐私的尼尔姆（DP2-NILM）框架来进行基于FL的NILM，重点关注实用程序优化和隐私保护，并在实用的NILM场景上进行比较实验基于现实世界的智能电表数据集。具体而言，在实用程序优化方案（即FedAvg和FedProx）中检查了两种替代联合学习策略。此外，DP2-NILM提供了不同级别的隐私保证，即联合学习的当地差异隐私学习和联合的全球差异隐私学习。在三个现实世界数据集上进行了广泛的比较实验，以评估所提出的框架。

对于由硬件和软件组件组成的复杂分布式系统而言，异常检测是一个重要的问题。对此类系统的异常检测的要求和挑战的透彻理解对于系统的安全性至关重要，尤其是对于现实世界的部署。尽管有许多解决问题的研究领域和应用领域，但很少有人试图对这种系统进行深入研究。大多数异常检测技术是针对某些应用域的专门开发的，而其他检测技术则更为通用。在这项调查中，我们探讨了基于图的算法在复杂分布式异质系统中识别和减轻不同类型异常的重要潜力。我们的主要重点是在分布在复杂分布式系统上的异质计算设备上应用时，可深入了解图。这项研究分析，比较和对比该领域的最新研究文章。首先，我们描述了现实世界分布式系统的特征及其在复杂网络中的异常检测的特定挑战，例如数据和评估，异常的性质以及现实世界的要求。稍后，我们讨论了为什么可以在此类系统中利用图形以及使用图的好处。然后，我们将恰当地深入研究最先进的方法，并突出它们的优势和劣势。最后，我们评估和比较这些方法，并指出可能改进的领域。

联合学习（FL）根据多个本地客户端协同聚合共享全球模型，同时保持培训数据分散以保护数据隐私。但是，标准的FL方法忽略了嘈杂的客户问题，这可能会损害聚合模型的整体性能。在本文中，我们首先分析了嘈杂的客户声明，然后用不同的噪声分布模型噪声客户端（例如，Bernoulli和截断的高斯分布）。要使用嘈杂的客户，我们提出了一个简单但有效的FL框架，名为联邦嘈杂的客户学习（FED-NCL），它是一个即插即用算法，并包含两个主要组件：动态的数据质量测量（DQM）量化每个参与客户端的数据质量，以及噪声鲁棒聚合（NRA），通过共同考虑本地训练数据和每个客户端的数据质量来自适应地聚合每个客户端的本地模型。我们的FED-NCL可以轻松应用于任何标准的流行流以处理嘈杂的客户端问题。各种数据集的实验结果表明，我们的算法提高了具有嘈杂客户端的不同现实系统的性能。

Federated learning has recently been applied to recommendation systems to protect user privacy. In federated learning settings, recommendation systems can train recommendation models only collecting the intermediate parameters instead of the real user data, which greatly enhances the user privacy. Beside, federated recommendation systems enable to collaborate with other data platforms to improve recommended model performance while meeting the regulation and privacy constraints. However, federated recommendation systems faces many new challenges such as privacy, security, heterogeneity and communication costs. While significant research has been conducted in these areas, gaps in the surveying literature still exist. In this survey, we-(1) summarize some common privacy mechanisms used in federated recommendation systems and discuss the advantages and limitations of each mechanism; (2) review some robust aggregation strategies and several novel attacks against security; (3) summarize some approaches to address heterogeneity and communication costs problems; (4)introduce some open source platforms that can be used to build federated recommendation systems; (5) present some prospective research directions in the future. This survey can guide researchers and practitioners understand the research progress in these areas.

Mobile traffic prediction is of great importance on the path of enabling 5G mobile networks to perform smart and efficient infrastructure planning and management. However, available data are limited to base station logging information. Hence, training methods for generating high-quality predictions that can generalize to new observations on different parties are in demand. Traditional approaches require collecting measurements from different base stations and sending them to a central entity, followed by performing machine learning operations using the received data. The dissemination of local observations raises privacy, confidentiality, and performance concerns, hindering the applicability of machine learning techniques. Various distributed learning methods have been proposed to address this issue, but their application to traffic prediction has yet to be explored. In this work, we study the effectiveness of federated learning applied to raw base station aggregated LTE data for time-series forecasting. We evaluate one-step predictions using 5 different neural network architectures trained with a federated setting on non-iid data. The presented algorithms have been submitted to the Global Federated Traffic Prediction for 5G and Beyond Challenge. Our results show that the learning architectures adapted to the federated setting achieve equivalent prediction error to the centralized setting, pre-processing techniques on base stations lead to higher forecasting accuracy, while state-of-the-art aggregators do not outperform simple approaches.

事实证明，联邦学习（FL）是利用分布式资源的最有希望的范式之一，使一组客户能够协作培训机器学习模型，同时保持数据分散。对该主题兴趣的爆炸性增长导致了几个核心方面的快速发展，例如沟通效率，处理非IID数据，隐私和安全能力。但是，假设客户的培训集被标记，大多数FL仅处理监督任务。为了利用分布式边缘设备上的巨大未标记数据，我们旨在通过解决分散设置中的异常检测问题来扩展FL范式到无监督任务。特别是，我们提出了一种新颖的方法，在这种方法中，通过预处理阶段，客户分组为社区，每个社区都具有相似的多数（即近距离）模式。随后，每个客户社区都以联合方式训练相同的异常检测模型（即自动编码器）。然后共享所得模型并用于检测加入相应联合过程的同一社区客户端内的异常情况。实验表明我们的方法是强大的，它可以检测到与理想分区一致的社区，在这种分区中，知道具有相同近距离模式的客户组。此外，性能要比客户专门培训模型在本地数据上训练，并且与理想社区分区的联合模型相当的性能要好得多。

联合学习（FL）和分裂学习（SL）是两种新兴的协作学习方法，可能会极大地促进物联网（IoT）中无处不在的智能。联合学习使机器学习（ML）模型在本地培训的模型使用私人数据汇总为全球模型。分裂学习使ML模型的不同部分可以在学习框架中对不同工人进行协作培训。联合学习和分裂学习，每个学习都有独特的优势和各自的局限性，可能会相互补充，在物联网中无处不在的智能。因此，联合学习和分裂学习的结合最近成为一个活跃的研究领域，引起了广泛的兴趣。在本文中，我们回顾了联合学习和拆分学习方面的最新发展，并介绍了有关最先进技术的调查，该技术用于将这两种学习方法组合在基于边缘计算的物联网环境中。我们还确定了一些开放问题，并讨论了该领域未来研究的可能方向，希望进一步引起研究界对这个新兴领域的兴趣。

Federated learning is a popular paradigm for machine learning. Ideally, federated learning works best when all clients share a similar data distribution. However, it is not always the case in the real world. Therefore, the topic of federated learning on heterogeneous data has gained more and more effort from both academia and industry. In this project, we first do extensive experiments to show how data skew and quantity skew will affect the performance of state-of-art federated learning algorithms. Then we propose a new algorithm FedMix which adjusts existing federated learning algorithms and we show its performance. We find that existing state-of-art algorithms such as FedProx and FedNova do not have a significant improvement in all testing cases. But by testing the existing and new algorithms, it seems that tweaking the client side is more effective than tweaking the server side.

联邦学习（FL）最近成为网络攻击检测系统的有效方法，尤其是在互联网上（物联网）网络。通过在IOT网关中分配学习过程，FL可以提高学习效率，降低通信开销并增强网络内人检测系统的隐私。在这种系统中实施FL的挑战包括不同物联网中的数据特征的标记数据和不可用的不可用。在本文中，我们提出了一种新的协作学习框架，利用转移学习（TL）来克服这些挑战。特别是，我们开发一种新颖的协作学习方法，使目标网络能够有效地和快速学习来自拥有丰富标记数据的源网络的知识。重要的是，最先进的研究要求网络的参与数据集具有相同的特征，从而限制了入侵检测系统的效率，灵活性以及可扩展性。但是，我们所提出的框架可以通过在各种深度学习模型中交换学习知识来解决这些问题，即使他们的数据集具有不同的功能。关于最近的真实网络安全数据集的广泛实验表明，与基于最先进的深度学习方法相比，拟议的框架可以提高超过40％。

皮肤病学疾病对全球健康构成了重大威胁，影响了世界上近三分之一的人口。各种研究表明，早期诊断和干预通常对预后和预后至关重要。为此，在过去的十年中，基于深度学习的智能手机应用程序的快速发展，该应用程序使用户可以方便，及时地识别出围绕皮肤出现的问题。为了收集深度学习所需的足够数据，同时保护患者的隐私，经常使用联合学习，在该数据集合数据集本地的同时汇总了全球模型。但是，现有的联合学习框架主要旨在优化整体性能，而常见的皮肤病学数据集则严重不平衡。在将联合学习应用于此类数据集时，可能会出现明显的诊断准确性差异。为了解决这样的公平问题，本文提出了一个公平意识的联邦学习框架，用于皮肤病学诊断。该框架分为两个阶段：在第一个FL阶段，具有不同皮肤类型的客户在联合学习过程中接受了训练，以构建所有皮肤类型的全球模型。在此过程中，使用自动重量聚合器将更高的权重分配给损失较高的客户，并且聚合器的强度取决于损失之间的差异水平。在后一个FL阶段，每个客户根据FL阶段的全球模型微调了其个性化模型。为了获得更好的公平性，为每个客户选择了来自不同时期的模型，以在0.05内保持不同皮肤类型的准确性差异。实验表明，与最先进的框架相比，我们提出的框架有效地提高了公平性和准确性。

正在进行的“数字化转型”从根本上改变了审计证据的性质，记录和数量。如今，国际审计标准（ISA）要求审计师检查财务报表的大量基础数字会计记录。结果，审计公司还“数字化”了他们的分析能力并投资深度学习（DL），这是机器学习的成功子学科。 DL的应用提供了从多个客户（例如在同一行业或管辖权中运营的组织）学习专业审计模型的能力。通常，法规要求审核员遵守严格的数据机密性措施。同时，最近有趣的发现表明，大规模的DL模型容易受到泄漏敏感培训数据信息的影响。如今，尚不清楚审计公司在遵守数据保护法规的同时如何应用DL模型。在这项工作中，我们提出了一个联合学习框架，以培训DL模型，以审核多个客户的相关会计数据。该框架涵盖了差异隐私和拆分学习能力，以减轻模型推断中的数据机密性风险。我们评估了在三个现实世界中付款数据集中检测会计异常的方法。我们的结果提供了经验证据，表明审计师可以从DL模型中受益，这些模型从专有客户数据的多个来源积累知识。

这项工作调查了联合学习的可能性，了解IOT恶意软件检测，并研究该新学习范式固有的安全问题。在此上下文中，呈现了一种使用联合学习来检测影响物联网设备的恶意软件的框架。 n-baiot，一个数据集在由恶意软件影响的几个实际物联网设备的网络流量，已被用于评估所提出的框架。经过培训和评估监督和无监督和无监督的联邦模型（多层Perceptron和AutoEncoder）能够检测到MATEN和UNEEN的IOT设备的恶意软件，并进行了培训和评估。此外，它们的性能与两种传统方法进行了比较。第一个允许每个参与者在本地使用自己的数据局面训练模型，而第二个包括使参与者与负责培训全局模型的中央实体共享他们的数据。这种比较表明，在联合和集中方法中完成的使用更多样化和大数据，对模型性能具有相当大的积极影响。此外，联邦模型，同时保留了参与者的隐私，将类似的结果与集中式相似。作为额外的贡献，并衡量联邦方法的稳健性，已经考虑了具有若干恶意参与者中毒联邦模型的对抗性设置。即使使用单个对手，大多数联邦学习算法中使用的基线模型聚合平均步骤也很容易受到不同攻击的影响。因此，在相同的攻击方案下评估了作为对策的其他模型聚合函数的性能。这些职能对恶意参与者提供了重大改善，但仍然需要更多的努力来使联邦方法强劲。

随着机器学习的出现，在医疗保健和能源等关键基础设施的应用中，隐私是利益相关者的思想中越来越令人担忧。它是衡量的，确保模型和数据都不能用于提取攻击者对个人使用的敏感信息或通过利用关键基础设施来伤害整个社会。由于缺乏关于透明度和隐私约束的信任，机器学习在这些域中的适用性主要是有限的。各种安全关键用例（主要依赖于时间序列数据）目前在隐私相关的考虑因素方面受到了代表性。通过评估有关其在时间序列数据的适用性的若干隐私保留方法，我们验证了加密对深度学习的影响，差异隐私的强大数据集依赖性以及联合方法的广泛适用性。

最近的研究表明，基于自动编码器的模型可以在异常检测任务上实现出色的性能，因为它们以无监督的方式适合复杂数据的能力出色。在这项工作中，我们提出了一种新型的基于自动编码器的模型，称为Stackvae-G，可以显着将效率和解释性带入多元时间序列异常检测。具体而言，我们通过使用权重共生方案的堆叠式重建来利用整个时间序列频道的相似性来减少学习模型的大小，并减轻培训数据中未知噪声的过度拟合。我们还利用图形学习模块来学习稀疏的邻接矩阵，以明确捕获多个时间序列通道之间的稳定相互关系结构，以便对相互关联的通道的可解释模式重建。结合了这两个模块，我们将堆叠式块VAE（变异自动编码器）与GNN（图神经网络）模型进行了多变量时间序列异常检测。我们对三个常用的公共数据集进行了广泛的实验，这表明我们的模型与最先进的模型相当（甚至更好）的性能，同时需要更少的计算和内存成本。此外，我们证明，通过模型学到的邻接矩阵可以准确捕获多个渠道之间的相互关系，并可以为失败诊断应用提供有价值的信息。

联合学习（FL）最近被出现为一个有希望的方法，采用分布式学习模型结构来克服中央机器学习模型暂停的数据隐私和传输问题。在FL中，从不同设备或传感器收集的数据集用于培训当地模型（客户端），每个模型（客户端）都与集中式模型（服务器）共享其学习。然而，这种分布式学习方法呈现出独特的学习挑战，因为当地客户端的数据可以是非IID（独立和相同分布）和统计数据，这减少了中央模型中的学习准确性。在本文中，我们通过提出一种新颖的个性化条件FEDAVG（PC-FEDAVG）来克服这个问题，该文件旨在控制权重通信和聚合以定制的学习算法来个性化每个客户端的结果模型。我们对两个数据集的实验验证表明，与其他最先进的方法相比，我们的PC-FedAVG精确地构建了广义客户的模型，从而实现了更高的准确性。

The statistical heterogeneity of the non-independent and identically distributed (non-IID) data in local clients significantly limits the performance of federated learning. Previous attempts like FedProx, SCAFFOLD, MOON, FedNova and FedDyn resort to an optimization perspective, which requires an auxiliary term or re-weights local updates to calibrate the learning bias or the objective inconsistency. However, in addition to previous explorations for improvement in federated averaging, our analysis shows that another critical bottleneck is the poorer optima of client models in more heterogeneous conditions. We thus introduce a data-driven approach called FedSkip to improve the client optima by periodically skipping federated averaging and scattering local models to the cross devices. We provide theoretical analysis of the possible benefit from FedSkip and conduct extensive experiments on a range of datasets to demonstrate that FedSkip achieves much higher accuracy, better aggregation efficiency and competing communication efficiency. Source code is available at: https://github.com/MediaBrain-SJTU/FedSkip.

联合学习是一种数据解散隐私化技术，用于以安全的方式执行机器或深度学习。在本文中，我们介绍了有关联合学习的理论方面客户次数有所不同的用例。具体而言，使用从开放数据存储库中获得的胸部X射线图像提出了医学图像分析的用例。除了与隐私相关的优势外，还将研究预测的改进（就曲线下的准确性和面积而言）和减少执行时间（集中式方法）。将从培训数据中模拟不同的客户，以不平衡的方式选择，即，他们并非都有相同数量的数据。考虑三个或十个客户之间的结果与集中案件相比。间歇性客户将分析两种遵循方法，就像在实际情况下，某些客户可能会离开培训，一些新的新方法可能会进入培训。根据准确性，曲线下的区域和执行时间的结果，结果的结果的演变显示为原始数据被划分的客户次数。最后，提出了该领域的改进和未来工作。

更广泛的覆盖范围和更好的解决方案延迟减少5G需要其与多访问边缘计算（MEC）技术的组合。分散的深度学习（DDL），如联邦学习和群体学习作为对数百万智能边缘设备的隐私保留数据处理的有希望的解决方案，利用了本地客户端网络内的多层神经网络的分布式计算，而无需披露原始本地培训数据。值得注意的是，在金融和医疗保健等行业中，谨慎维护交易和个人医疗记录的敏感数据，DDL可以促进这些研究所的合作，以改善培训模型的性能，同时保护参与客户的数据隐私。在本调查论文中，我们展示了DDL的技术基础，通过分散的学习使社会许多人走。此外，我们通过概述DDL的挑战以及从新颖的沟通效率和可靠性的观点来概述目前本领域最先进的全面概述。