Machine learning (ML) models can leak information about users, and differential privacy (DP) provides a rigorous way to bound that leakage under a given budget. This DP budget can be regarded as a new type of compute resource in workloads of multiple ML models training on user data. Once it is used, the DP budget is forever consumed. Therefore, it is crucial to allocate it most efficiently to train as many models as possible. This paper presents the scheduler for privacy that optimizes for efficiency. We formulate privacy scheduling as a new type of multidimensional knapsack problem, called privacy knapsack, which maximizes DP budget efficiency. We show that privacy knapsack is NP-hard, hence practical algorithms are necessarily approximate. We develop an approximation algorithm for privacy knapsack, DPK, and evaluate it on microbenchmarks and on a new, synthetic private-ML workload we developed from the Alibaba ML cluster trace. We show that DPK: (1) often approaches the efficiency-optimal schedule, (2) consistently schedules more tasks compared to a state-of-the-art privacy scheduling algorithm that focused on fairness (1.3-1.7x in Alibaba, 1.0-2.6x in microbenchmarks), but (3) sacrifices some level of fairness for efficiency. Therefore, using DPK, DP ML operators should be able to train more models on the same amount of user data while offering the same privacy guarantee to their users.

培训深神经网络（DNNS）在企业和云数据中心都广受欢迎。现有的DNN培训调度程序将GPU视为主要资源，并分配其他资源，例如CPU和内存与作业要求的GPU数量成正比。不幸的是，这些调度程序不考虑作业对CPU，内存和存储资源分配的敏感性的影响。在这项工作中，我们提出了Synergy，这是一种对共享GPU群集的资源敏感调度程序。通过乐观的分析，协同作用侵犯了DNN对不同资源的敏感性；某些工作可能会从GPU育儿分配中受益更多，而某些工作可能不会受到GPU育儿分配的影响。 Synergy使用新的近乎最佳的在线算法在共享的多租户集群上安排的一组作业进行了多余的工作量感知作业。我们的实验表明，与传统的GPU育儿计划相比，工作量感知的CPU和内存分配可以提高平均JCT高达3.4倍。

我们设计可扩展的算法，以私下生成从数百万用户设备的分散数据的位置热量。它旨在确保在服务提供商对服务提供商可见之前的差异隐私，同时保持高数据准确性和最小化用户设备的资源消耗。为实现这一目标，我们根据安全多方计算领域的最新结果重新审视分布式差异隐私概念，并设计用于位置分析的可扩展和自适应分布式差分隐私方法。关于公共位置数据集的评估表明，该方法成功地从数百万用户样本中成功地生成了大量的客户样本，最坏的客户端通信开销明显小于现有的类似准确性的现有最先进的私有协议。

随着数据生成越来越多地在没有连接连接的设备上进行，因此与机器学习（ML）相关的流量将在无线网络中无处不在。许多研究表明，传统的无线协议高效或不可持续以支持ML，这创造了对新的无线通信方法的需求。在这项调查中，我们对最先进的无线方法进行了详尽的审查，这些方法是专门设计用于支持分布式数据集的ML服务的。当前，文献中有两个明确的主题，模拟的无线计算和针对ML优化的数字无线电资源管理。这项调查对这些方法进行了全面的介绍，回顾了最重要的作品，突出了开放问题并讨论了应用程序方案。

Adversarial examples that fool machine learning models, particularly deep neural networks, have been a topic of intense research interest, with attacks and defenses being developed in a tight back-and-forth. Most past defenses are best effort and have been shown to be vulnerable to sophisticated attacks. Recently a set of certified defenses have been introduced, which provide guarantees of robustness to normbounded attacks. However these defenses either do not scale to large datasets or are limited in the types of models they can support. This paper presents the first certified defense that both scales to large networks and datasets (such as Google's Inception network for ImageNet) and applies broadly to arbitrary model types. Our defense, called PixelDP, is based on a novel connection between robustness against adversarial examples and differential privacy, a cryptographically-inspired privacy formalism, that provides a rigorous, generic, and flexible foundation for defense.

蜂窝提供商和数据聚合公司从用户设备中占群体的Celluar信号强度测量以生成信号映射，可用于提高网络性能。认识到这种数据收集可能与越来越多的隐私问题的认识可能存在赔率，我们考虑在数据离开移动设备之前混淆这些数据。目标是提高隐私，使得难以从混淆的数据（例如用户ID和用户行踪）中恢复敏感功能，同时仍然允许网络提供商使用用于改进网络服务的数据（即创建准确的信号映射）。要检查本隐私实用程序权衡，我们识别适用于信号强度测量的隐私和公用事业度量和威胁模型。然后，我们使用几种卓越的技术，跨越差异隐私，生成的对抗性隐私和信息隐私技术进行了衡量测量，以便基准，以基准获得各种有前景的混淆方法，并为真实世界的工程师提供指导，这些工程师是负责构建信号映射的现实工程师在不伤害效用的情况下保护隐私。我们的评估结果基于多个不同的现实世界信号映射数据集，展示了同时实现了充足的隐私和实用程序的可行性，并使用了使用该结构和预期使用数据集的策略以及目标平均案例的策略，而不是最坏的情况，保证。

在许多应用程序中，多方拥有有关相同用户的私人数据，但在属性的脱节集上，服务器希望利用数据来训练模型。为了在保护数据主体的隐私时启用模型学习，我们需要垂直联合学习（VFL）技术，其中数据派对仅共享用于培训模型的信息，而不是私人数据。但是，确保共享信息在学习准确的模型的同时保持隐私是一项挑战。据我们所知，本文提出的算法是第一个实用的解决方案，用于差异化垂直联合K-均值聚类，服务器可以在其中获得具有可证明的差异隐私保证的全球中心。我们的算法假设一个不受信任的中央服务器，该服务器汇总了本地数据派对的差异私有本地中心和成员资格编码。它基于收到的信息构建加权网格作为全局数据集的概要。最终中心是通过在加权网格上运行任何K-均值算法而产生的。我们的网格重量估计方法采用了基于Flajolet-Martin草图的新颖，轻巧和差异私有的相交基数估计算法。为了提高两个以上数据方的设置中的估计准确性，我们进一步提出了权重估计算法的精致版本和参数调整策略，以减少最终的K-均值实用程序，以便在中央私人环境中接近它。我们为由我们的算法计算的群集中心提供了理论实用性分析和实验评估结果，并表明我们的方法在理论上和经验上都比基于现有技术的两个基准在理论上和经验上的表现更好。

从公共机器学习（ML）模型中泄漏数据是一个越来越重要的领域，因为ML的商业和政府应用可以利用多个数据源，可能包括用户和客户的敏感数据。我们对几个方面的当代进步进行了全面的调查，涵盖了非自愿数据泄漏，这对ML模型很自然，潜在的恶毒泄漏是由隐私攻击引起的，以及目前可用的防御机制。我们专注于推理时间泄漏，这是公开可用模型的最可能场景。我们首先在不同的数据，任务和模型体系结构的背景下讨论什么是泄漏。然后，我们提出了跨非自愿和恶意泄漏的分类法，可用的防御措施，然后进行当前可用的评估指标和应用。我们以杰出的挑战和开放性的问题结束，概述了一些有希望的未来研究方向。

In recent years, mobile devices are equipped with increasingly advanced sensing and computing capabilities. Coupled with advancements in Deep Learning (DL), this opens up countless possibilities for meaningful applications, e.g., for medical purposes and in vehicular networks. Traditional cloudbased Machine Learning (ML) approaches require the data to be centralized in a cloud server or data center. However, this results in critical issues related to unacceptable latency and communication inefficiency. To this end, Mobile Edge Computing (MEC) has been proposed to bring intelligence closer to the edge, where data is produced. However, conventional enabling technologies for ML at mobile edge networks still require personal data to be shared with external parties, e.g., edge servers. Recently, in light of increasingly stringent data privacy legislations and growing privacy concerns, the concept of Federated Learning (FL) has been introduced. In FL, end devices use their local data to train an ML model required by the server. The end devices then send the model updates rather than raw data to the server for aggregation. FL can serve as an enabling technology in mobile edge networks since it enables the collaborative training of an ML model and also enables DL for mobile edge network optimization. However, in a large-scale and complex mobile edge network, heterogeneous devices with varying constraints are involved. This raises challenges of communication costs, resource allocation, and privacy and security in the implementation of FL at scale. In this survey, we begin with an introduction to the background and fundamentals of FL. Then, we highlight the aforementioned challenges of FL implementation and review existing solutions. Furthermore, we present the applications of FL for mobile edge network optimization. Finally, we discuss the important challenges and future research directions in FL.

我们展示了一个联合学习框架，旨在强大地提供具有异构数据的各个客户端的良好预测性能。所提出的方法对基于SuperQualile的学习目标铰接，捕获异构客户端的误差分布的尾统计。我们提出了一种随机训练算法，其与联合平均步骤交织差异私人客户重新重量步骤。该提出的算法支持有限时间收敛保证，保证覆盖凸和非凸面设置。关于联邦学习的基准数据集的实验结果表明，我们的方法在平均误差方面与古典误差竞争，并且在误差的尾统计方面优于它们。

想象一组愿意集体贡献他们的个人数据的公民，以获得共同的益处，以产生社会有用的信息，由数据分析或机器学习计算产生。使用执行计算的集中式服务器共享原始的个人数据可能会引发对隐私和感知风险的担忧。相反，公民可以相互信任，并且他们自己的设备可以参与分散的计算，以协同生成要共享的聚合数据释放。在安全计算节点在运行时在安全信道交换消息的上下文中，密钥安全问题是保护对观察流量的外部攻击者，其对数据的依赖可以揭示个人信息。现有解决方案专为云设置而设计，目标是隐藏底层数据集的所有属性，并且不解决上述背景下出现的特定隐私和效率挑战。在本文中，我们定义了一般执行模型，以控制用户侧分散计算中通信的数据依赖性，其中通过组合在局部节点的局部集群上的保证来分析全局执行计划中的差异隐私保证。我们提出了一系列算法，可以在隐私，效用和效率之间进行权衡。我们的正式隐私保障利用，并通过洗牌延长隐私放大的结果。我们说明了我们对具有数据依赖通信的分散执行计划的两个代表性示例的提案的有用性。

A learned system uses machine learning (ML) internally to improve performance. We can expect such systems to be vulnerable to some adversarial-ML attacks. Often, the learned component is shared between mutually-distrusting users or processes, much like microarchitectural resources such as caches, potentially giving rise to highly-realistic attacker models. However, compared to attacks on other ML-based systems, attackers face a level of indirection as they cannot interact directly with the learned model. Additionally, the difference between the attack surface of learned and non-learned versions of the same system is often subtle. These factors obfuscate the de-facto risks that the incorporation of ML carries. We analyze the root causes of potentially-increased attack surface in learned systems and develop a framework for identifying vulnerabilities that stem from the use of ML. We apply our framework to a broad set of learned systems under active development. To empirically validate the many vulnerabilities surfaced by our framework, we choose 3 of them and implement and evaluate exploits against prominent learned-system instances. We show that the use of ML caused leakage of past queries in a database, enabled a poisoning attack that causes exponential memory blowup in an index structure and crashes it in seconds, and enabled index users to snoop on each others' key distributions by timing queries over their own keys. We find that adversarial ML is a universal threat against learned systems, point to open research gaps in our understanding of learned-systems security, and conclude by discussing mitigations, while noting that data leakage is inherent in systems whose learned component is shared between multiple parties.

联合学习允许许多设备在机器学习模型的培训中进行协作。与传统的机器学习一样，越来越关注的是，接受联合学习的模型可能会对不同的人群组表现出不同的表现。现有的解决方案来衡量和确保跨小组的平等模型绩效需要访问有关小组成员的信息，但是此访问并不总是可用或可取的，尤其是在联邦学习的隐私愿望下。我们研究了衡量此类性能差异的可行性，同时保护用户组成员资格的隐私以及联合模型在用户数据上的性能。保护两者对于隐私至关重要，因为它们可能是相关的，因此学习一个可能会揭示另一个。另一方面，从公用事业的角度来看，保留隐私的数据应保持相关性，以确保能够对性能差异进行准确的测量。我们通过开发当地差异化的私人机制来实现这两个目标，从而保留小组成员和模型绩效之间的相关性。为了分析机制的有效性，我们在对给定隐私预算进行优化时估算差异时的错误，并在合成数据上验证这些界限。我们的结果表明，对于参与的客户数量的实际数量，错误迅速减少，这表明，与先前的工作相反，保护受保护属性的隐私不一定与确定联合模型性能的差异相抵触。

联合机器学习（FL）允许将敏感数据中的模型集体列车，而不是客户的模型，而不是需要共享其培训数据。然而，尽管对FL的研究有所关注，但概念仍然缺乏广泛的采用。其中一个主要原因是实现FL系统的巨大挑战，即同时实现所有参与客户的公平，完整性和隐私保存。为了解决解决这个问题，我们的论文提出了一种包含区块链技术，局部差异隐私和零知识证据的流系统。我们的实施具有多元线性回归的概念验证说明了这些最先进的技术可以组合到一个对准可扩展和透明系统中的经济激励，信任和机密性要求的流系统。

我们考虑对跨用户设备分发的私人数据培训模型。为了确保隐私，我们添加了设备的噪声并使用安全的聚合，以便仅向服务器揭示嘈杂的总和。我们提出了一个综合的端到端系统，该系统适当地离散数据并在执行安全聚合之前添加离散的高斯噪声。我们为离散高斯人的总和提供了新的隐私分析，并仔细分析了数据量化和模块化求和算术的影响。我们的理论保证突出了沟通，隐私和准确性之间的复杂张力。我们广泛的实验结果表明，我们的解决方案基本上能够将准确性与中央差分隐私相匹配，而每个值的精度少于16位。

联合数据分析是一个用于分布式数据分析的框架，其中服务器从一组分布式的低型带宽用户设备中编译了嘈杂的响应，以估算总统计信息。该框架中的两个主要挑战是隐私，因为用户数据通常很敏感，并且压缩，因为用户设备的网络带宽较低。先前的工作通过将标准压缩算法与已知的隐私机制相结合，从而分别解决了这些挑战。在这项工作中，我们对问题进行了整体研究，并设计了一个适合任何给定沟通预算的隐私感知压缩机制。我们首先提出了一种在某些条件下传输具有最佳方差的单个实数的机制。然后，我们展示如何将其扩展到位置隐私用例以及向量的指标差异隐私，以应用于联合学习。我们的实验表明，在许多设置中，我们的机制可以导致更好的实用性与压缩权衡。

Federated learning facilitates the collaborative training of models without the sharing of raw data. However, recent attacks demonstrate that simply maintaining data locality during training processes does not provide sufficient privacy guarantees. Rather, we need a federated learning system capable of preventing inference over both the messages exchanged during training and the final trained model while ensuring the resulting model also has acceptable predictive accuracy. Existing federated learning approaches either use secure multiparty computation (SMC) which is vulnerable to inference or differential privacy which can lead to low accuracy given a large number of parties with relatively small amounts of data each. In this paper, we present an alternative approach that utilizes both differential privacy and SMC to balance these trade-offs. Combining differential privacy with secure multiparty computation enables us to reduce the growth of noise injection as the number of parties increases without sacrificing privacy while maintaining a pre-defined rate of trust. Our system is therefore a scalable approach that protects against inference threats and produces models with high accuracy. Additionally, our system can be used to train a variety of machine learning models, which we validate with experimental results on 3 different machine learning algorithms. Our experiments demonstrate that our approach out-performs state of the art solutions. CCS CONCEPTS• Security and privacy → Privacy-preserving protocols; Trust frameworks; • Computing methodologies → Learning settings.

深度神经网络（DNNS）铰接对大型数据集的可用性的最新成功;但是，对此类数据集的培训经常为敏感培训信息构成隐私风险。在本文中，我们的目标是探讨生成模型和梯度稀疏性的力量，并提出了一种可扩展的隐私保留生成模型数据标准。与标准展示隐私保留框架相比，允许教师对一维预测进行投票，在高维梯度向量上投票在隐私保存方面具有挑战性。随着需要尺寸减少技术，我们需要在（1）之间的改进之间导航精致的权衡空间，并进行SGD收敛的放缓。为了解决这一点，我们利用通信高效学习，并通过将顶-K压缩与相应的噪声注入机构相结合，提出一种新的噪声压缩和聚集方法TopAGG。理论上，我们证明了DataLens框架保证了其生成数据的差异隐私，并提供了其收敛性的分析。为了展示DataLens的实际使用情况，我们对不同数据集进行广泛的实验，包括Mnist，Fashion-Mnist和高维Celeba，并且我们表明，DataLens显着优于其他基线DP生成模型。此外，我们改进了所提出的Topagg方法，该方法是DP SGD培训的主要构建块之一，并表明它能够在大多数情况下实现比最先进的DP SGD方法更高的效用案件。我们的代码在HTTPS://github.com/ai-secure/datalens公开提供。

在本文中，我们表明，不断学习新任务和记住先前任务的过程引入了未知的隐私风险和挑战以限制隐私损失。基于此，我们介绍了终身DP的正式定义，其中任何数据元组在任何任务的训练集中都受到保护，在始终界限的DP保护下，鉴于越来越多的任务流。始终如一的DP意味着只有一个固定值的DP隐私预算，而不管任务的数量多少。为了保留终身DP，我们提出了一种可扩展和异质的算法，称为L2DP-ML和流批培训，以有效地训练并继续释放L2M型号的新版本，鉴于数据大小和任务训练顺序， ，不影响DP保护私人培训集。端到端的理论分析和彻底的评估表明，我们的机制明显好于保存终身DP的基线方法。 L2DP-ML的实现可在以下网址获得：https：//github.com/haiphannjit/privatedeeplearning。

分析若干缔约方拥有的数据，同时在效用和隐私之间实现良好的权衡是联邦学习和分析的关键挑战。在这项工作中，我们介绍了一种新颖的差异隐私（LDP）的放松，自然地出现在完全分散的算法中，即，当参与者通过沿着网络图的边缘传播没有中央协调员的边缘交换信息时。我们呼叫网络DP的这种放松捕获了用户只有系统的本地视图。为了展示网络DP的相关性，我们研究了一个分散的计算模型，其中令牌在网络图上执行散步，并由接收它的方顺序更新。对于诸如实际求和，直方图计算和具有梯度下降的优化等任务，我们提出了在环和完整拓扑上的简单算法。我们证明，网络DP下我们算法的隐私式实用权折衷显着提高了LDP下可实现的内容（有时甚至与可信赖的策展人模型的效用）的可实现，首次显示正式隐私收益可以从中获得完全分散。我们的实验说明了通过随机梯度下降的分散训练方法的改进效用。