学习的推荐系统可能会无意间泄露有关其培训数据的信息，从而导致侵犯隐私行为。我们调查了推荐系统通过成员推理面临的隐私威胁。在这种攻击中，对手旨在推断用户的数据是否用于训练目标推荐人。为了实现这一目标，以前的工作使用了阴影推荐人来为攻击模型得出训练数据，然后通过计算用户历史互动和推荐项目之间的差异向量来预测成员资格。最先进的方法面临两个具有挑战性的问题：（1）由于阴影和目标推荐人之间的差距，攻击模型的培训数据偏见，并且（2）推荐人中的隐藏状态没有观察到，导致估计不准确差矢量。为了解决上述局限性，我们提出了针对推荐系统（DL-MIA）框架的成员推理攻击的偏见学习，该框架具有四个主要组件：（1）差异向量生成器，（2）分发式编码器，（3）重量估算器和（4）攻击模型。为了减轻推荐人之间的差距，设计了基于变异的自动编码器（VAE）的分解编码器，以识别推荐人不变和特定功能。为了减少估计偏差，我们设计了一个权重估计器，为每个差异向量分配了真实级别的得分，以指示估计精度。我们对三个现实世界数据集的一般推荐人和顺序推荐人评估了DL-MIA。实验结果表明，DL-MIA有效地减轻了同时减轻培训和估计的偏见，并实现了最先进的攻击性能。

机器学习模型容易记住敏感数据，使它们容易受到会员推理攻击的攻击，其中对手的目的是推断是否使用输入样本来训练模型。在过去的几年中，研究人员产生了许多会员推理攻击和防御。但是，这些攻击和防御采用各种策略，并在不同的模型和数据集中进行。但是，缺乏全面的基准意味着我们不了解现有攻击和防御的优势和劣势。我们通过对不同的会员推理攻击和防御措施进行大规模测量来填补这一空白。我们通过研究九项攻击和六项防御措施来系统化成员的推断，并在整体评估中衡量不同攻击和防御的性能。然后，我们量化威胁模型对这些攻击结果的影响。我们发现，威胁模型的某些假设，例如相同架构和阴影和目标模型之间的相同分布是不必要的。我们也是第一个对从Internet收集的现实世界数据而不是实验室数据集进行攻击的人。我们进一步研究是什么决定了会员推理攻击的表现，并揭示了通常认为过度拟合水平不足以成功攻击。取而代之的是，成员和非成员样本之间的熵/横向熵的詹森 - 香农距离与攻击性能的相关性更好。这为我们提供了一种新的方法，可以在不进行攻击的情况下准确预测会员推理风险。最后，我们发现数据增强在更大程度上降低了现有攻击的性能，我们提出了使用增强作用的自适应攻击来训练阴影和攻击模型，以改善攻击性能。

机器学习（ML）模型已广泛应用于各种应用，包括图像分类，文本生成，音频识别和图形数据分析。然而，最近的研究表明，ML模型容易受到隶属推导攻击（MIS），其目的是推断数据记录是否用于训练目标模型。 ML模型上的MIA可以直接导致隐私违规行为。例如，通过确定已经用于训练与某种疾病相关的模型的临床记录，攻击者可以推断临床记录的所有者具有很大的机会。近年来，MIS已被证明对各种ML模型有效，例如，分类模型和生成模型。同时，已经提出了许多防御方法来减轻米西亚。虽然ML模型上的MIAS形成了一个新的新兴和快速增长的研究区，但还没有对这一主题进行系统的调查。在本文中，我们对会员推论和防御进行了第一个全面调查。我们根据其特征提供攻击和防御的分类管理，并讨论其优点和缺点。根据本次调查中确定的限制和差距，我们指出了几个未来的未来研究方向，以激发希望遵循该地区的研究人员。这项调查不仅是研究社区的参考，而且还为该研究领域之外的研究人员带来了清晰的照片。为了进一步促进研究人员，我们创建了一个在线资源存储库，并与未来的相关作品继续更新。感兴趣的读者可以在https://github.com/hongshenghu/membership-inference-machine-learning-literature找到存储库。

Machine learning (ML) has become a core component of many real-world applications and training data is a key factor that drives current progress. This huge success has led Internet companies to deploy machine learning as a service (MLaaS). Recently, the first membership inference attack has shown that extraction of information on the training set is possible in such MLaaS settings, which has severe security and privacy implications.However, the early demonstrations of the feasibility of such attacks have many assumptions on the adversary, such as using multiple so-called shadow models, knowledge of the target model structure, and having a dataset from the same distribution as the target model's training data. We relax all these key assumptions, thereby showing that such attacks are very broadly applicable at low cost and thereby pose a more severe risk than previously thought. We present the most comprehensive study so far on this emerging and developing threat using eight diverse datasets which show the viability of the proposed attacks across domains.In addition, we propose the first effective defense mechanisms against such broader class of membership inference attacks that maintain a high level of utility of the ML model.

机器学习模型容易受到会员推理攻击的影响，在这种攻击中，对手的目的是预测目标模型培训数据集中是否包含特定样本。现有的攻击方法通常仅从给定的目标模型中利用输出信息（主要是损失）。结果，在成员和非成员样本都产生类似小损失的实际情况下，这些方法自然无法区分它们。为了解决这一限制，在本文中，我们提出了一种称为\系统的新攻击方法，该方法可以利用目标模型的整个培训过程中的成员资格信息来改善攻击性能。要将攻击安装在共同的黑盒环境中，我们利用知识蒸馏，并通过在不同蒸馏时期的中间模型中评估的损失表示成员资格信息，即\ emph {蒸馏损失轨迹}，以及损失来自给定的目标模型。对不同数据集和模型体系结构的实验结果证明了我们在不同指标方面的攻击优势。例如，在Cinic-10上，我们的攻击至少达到6 $ \ times $ $阳性的速率，低阳性率为0.1 \％的速率比现有方法高。进一步的分析表明，在更严格的情况下，我们攻击的总体有效性。

虽然机器学习（ML）在过去十年中取得了巨大进展，但最近的研究表明，ML模型易受各种安全和隐私攻击的影响。到目前为止，这场领域的大部分攻击都专注于由分类器代表的歧视模型。同时，一点关注的是生成模型的安全性和隐私风险，例如生成的对抗性网络（GANS）。在本文中，我们提出了对GANS的第一组培训数据集财产推论攻击。具体地，对手旨在推断宏观级训练数据集属性，即用于训练目标GaN的样本的比例，用于某个属性。成功的财产推理攻击可以允许对手来获得目标GaN的训练数据集的额外知识，从而直接违反目标模型所有者的知识产权。此外，它可以用作公平审计员，以检查目标GAN是否接受偏置数据集进行培训。此外，财产推理可以用作其他高级攻击的构建块，例如隶属推断。我们提出了一般的攻击管道，可以根据两个攻击场景量身定制，包括全黑盒设置和部分黑盒设置。对于后者，我们介绍了一种新颖的优化框架来增加攻击效果。在五个房产推理任务上超过四个代表性GaN模型的广泛实验表明我们的攻击实现了强大的表现。此外，我们表明我们的攻击可用于增强隶属推断对GANS的绩效。

顺序推荐是推荐系统的广泛流行的主题。现有的作品有助于提高基于各种方法的顺序推荐系统的预测能力，例如经常性网络和自我关注机制。然而，他们未能发现和区分项目之间的各种关系，这可能是激励用户行为的潜在因素。在本文中，我们提出了一个边缘增强的全面解散图神经网络（EGD-GNN）模型，以捕获全局项目表示和本地用户意图学习项目之间的关系信息。在全球级别，我们通过所有序列构建全局链接图来模拟项目关系。然后，频道感知的解缠绕学习层被设计成将边缘信息分解为不同的信道，这可以聚合以将目标项从其邻居表示。在本地层面，我们应用一个变化的自动编码器框架来学习用户在当前序列上的意图。我们在三个现实世界数据集中评估我们提出的方法。实验结果表明，我们的模型可以通过最先进的基线获得至关重要的改进，能够区分项目特征。

半监督学习（SSL）利用标记和未标记的数据来训练机器学习（ML）模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。但是，大多数现有作品都集中在提高SSL的性能。在这项工作中，我们通过研究SSL的培训数据隐私来采取不同的角度。具体而言，我们建议针对由SSL训练的ML模型进行的第一个基于数据增强的成员推理攻击。给定数据样本和黑框访问模型，成员推理攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明，拟议的攻击可以始终超过现有的成员推理攻击，并针对由SSL训练的模型实现最佳性能。此外，我们发现，SSL中会员泄漏的原因与受到监督学习中普遍认为的原因不同，即过度拟合（培训和测试准确性之间的差距）。我们观察到，SSL模型已被概括为测试数据（几乎为0个过度拟合），但“记住”训练数据通过提供更自信的预测，无论其正确性如何。我们还探索了早期停止，作为防止成员推理攻击SSL的对策。结果表明，早期停止可以减轻会员推理攻击，但由于模型的实用性降解成本。

历史互动是推荐模型培训的默认选择，通常表现出高稀疏性，即大多数用户项目对都是未观察到的缺失数据。标准选择是将缺失的数据视为负训练样本，并估计用户项目对之间的相互作用以及观察到的相互作用。通过这种方式，在训练过程中不可避免地会误标记一些潜在的互动，这将损害模型的保真度，阻碍模型回忆起错误标签的项目，尤其是长尾尾。在这项工作中，我们从新的不确定性的新角度研究了标签的问题，该问题描述了缺失数据的固有随机性。随机性促使我们超越了相互作用的可能性，并接受了不确定性建模。为此，我们提出了一个新的不确定性不确定性建议（AUR）框架，该框架由新的不确定性估计器以及正常的推荐模型组成。根据核心不确定性理论，我们得出了一个新的建议目标来学习估计量。由于错误标签的机会反映了一对的潜力，因此AUR根据不确定性提出了建议，该建议被证明是为了改善较不受欢迎的项目的建议性能而不会牺牲整体性能。我们在三个代表性推荐模型上实例化AUR：来自主流模型体系结构的矩阵分解（MF），LightGCN和VAE。两个现实世界数据集的广泛结果验证了AUR W.R.T.的有效性。更好的建议结果，尤其是在长尾项目上。

Neural networks are susceptible to data inference attacks such as the membership inference attack, the adversarial model inversion attack and the attribute inference attack, where the attacker could infer useful information such as the membership, the reconstruction or the sensitive attributes of a data sample from the confidence scores predicted by the target classifier. In this paper, we propose a method, namely PURIFIER, to defend against membership inference attacks. It transforms the confidence score vectors predicted by the target classifier and makes purified confidence scores indistinguishable in individual shape, statistical distribution and prediction label between members and non-members. The experimental results show that PURIFIER helps defend membership inference attacks with high effectiveness and efficiency, outperforming previous defense methods, and also incurs negligible utility loss. Besides, our further experiments show that PURIFIER is also effective in defending adversarial model inversion attacks and attribute inference attacks. For example, the inversion error is raised about 4+ times on the Facescrub530 classifier, and the attribute inference accuracy drops significantly when PURIFIER is deployed in our experiment.

员额推理攻击允许对训练的机器学习模型进行对手以预测模型的训练数据集中包含特定示例。目前使用平均案例的“精度”度量来评估这些攻击，该攻击未能表征攻击是否可以自信地识别培训集的任何成员。我们认为，应该通过计算其低（例如<0.1％）假阳性率来计算攻击来评估攻击，并在以这种方式评估时发现大多数事先攻击差。为了解决这一问题，我们开发了一个仔细结合文献中多种想法的似然比攻击（Lira）。我们的攻击是低于虚假阳性率的10倍，并且在攻击现有度量的情况下也严格占主导地位。

随着机器学习技术的发展，研究的注意力已从单模式学习转变为多模式学习，因为现实世界中的数据以不同的方式存在。但是，多模式模型通常比单模式模型具有更多的信息，并且通常将其应用于敏感情况，例如医疗报告生成或疾病鉴定。与针对机器学习分类器的现有会员推断相比，我们关注的是多模式模型的输入和输出的问题，例如不同的模式，例如图像字幕。这项工作通过成员推理攻击的角度研究了多模式模型的隐私泄漏，这是确定数据记录是否涉及模型培训过程的过程。为了实现这一目标，我们提出了多种模型的成员资格推理（M^4i），分别使用两种攻击方法来推断成员身份状态，分别为基于公表示的（MB）M^4i和基于特征（FB）M^4i。更具体地说，MB M^4i在攻击时采用相似性指标来推断目标数据成员资格。 FB M^4i使用预先训练的阴影多模式提取器来通过比较提取的输入和输出功能的相似性来实现数据推理攻击的目的。广泛的实验结果表明，两种攻击方法都可以实现强大的性能。在不受限制的情况下，平均可以获得攻击成功率的72.5％和94.83％。此外，我们评估了针对我们的攻击的多种防御机制。 M^4i攻击的源代码可在https://github.com/multimodalmi/multimodal-membership-inference.git上公开获得。

神经网络修剪一直是减少对资源受限设备的深度神经网络的计算和记忆要求的重要技术。大多数现有的研究主要侧重于平衡修剪神经网络的稀疏性和准确性，通过策略性地删除无关紧要的参数并重新修剪修剪模型。由于记忆的增加而造成了严重的隐私风险，因此尚未调查这种训练样品的这种努力。在本文中，我们对神经网络修剪中的隐私风险进行了首次分析。具体而言，我们研究了神经网络修剪对培训数据隐私的影响，即成员推理攻击。我们首先探讨了神经网络修剪对预测差异的影响，在该预测差异中，修剪过程不成比例地影响了修剪的模型对成员和非会员的行为。同时，差异的影响甚至以细粒度的方式在不同类别之间有所不同。通过这种分歧，我们提出了对修剪的神经网络的自我发起会员推断攻击。进行了广泛的实验，以严格评估不同修剪方法，稀疏水平和对手知识的隐私影响。拟议的攻击表明，与现有的八次成员推理攻击相比，对修剪模型的攻击性能更高。此外，我们提出了一种新的防御机制，通过基于KL-Divergence距离来缓解预测差异，以保护修剪过程，该距离的预测差异已通过实验证明，可以有效地降低隐私风险，同时维持较修剪模型的稀疏性和准确性。

We quantitatively investigate how machine learning models leak information about the individual data records on which they were trained. We focus on the basic membership inference attack: given a data record and black-box access to a model, determine if the record was in the model's training dataset. To perform membership inference against a target model, we make adversarial use of machine learning and train our own inference model to recognize differences in the target model's predictions on the inputs that it trained on versus the inputs that it did not train on.We empirically evaluate our inference techniques on classification models trained by commercial "machine learning as a service" providers such as Google and Amazon. Using realistic datasets and classification tasks, including a hospital discharge dataset whose membership is sensitive from the privacy perspective, we show that these models can be vulnerable to membership inference attacks. We then investigate the factors that influence this leakage and evaluate mitigation strategies.

依赖于并非所有输入都需要相同数量的计算来产生自信的预测的事实，多EXIT网络正在引起人们的注意，这是推动有效部署限制的重要方法。多EXIT网络赋予了具有早期退出的骨干模型，从而可以在模型的中间层获得预测，从而节省计算时间和/或能量。但是，当前的多种exit网络的各种设计仅被认为是为了实现资源使用效率和预测准确性之间的最佳权衡，从未探索过来自它们的隐私风险。这促使需要全面调查多EXIT网络中的隐私风险。在本文中，我们通过会员泄漏的镜头对多EXIT网络进行了首次隐私分析。特别是，我们首先利用现有的攻击方法来量化多exit网络对成员泄漏的脆弱性。我们的实验结果表明，多EXIT网络不太容易受到会员泄漏的影响，而在骨干模型上附加的退出（数字和深度）与攻击性能高度相关。此外，我们提出了一种混合攻击，该攻击利用退出信息以提高现有攻击的性能。我们评估了由三种不同的对手设置下的混合攻击造成的成员泄漏威胁，最终到达了无模型和无数据的对手。这些结果清楚地表明，我们的混合攻击非常广泛地适用，因此，相应的风险比现有的会员推理攻击所显示的要严重得多。我们进一步提出了一种专门针对多EXIT网络的TimeGuard的防御机制，并表明TimeGuard完美地减轻了新提出的攻击。

审核数据出处（ADP），即如果使用某个数据来训练机器学习模型，则审核是数据出处的重要问题。在某些条件下，例如标签信息的可用性和目标模型的培训协议的知识，现有的审核技术（例如影子审计方法）已经证明了任务的可行性。不幸的是，这两种情况在实际应用中通常无法使用。在本文中，我们通过差异审核（DPDA）介绍数据出处，这是一个实用的框架，用于基于统计学上显着的差异，即在精心设计的转换之后，通过不同的方法进行审核数据出处，从目标模型的训练集中扰动输入数据将结果结果与模型的非训练集相比，输出的变化更大。该框架允许审核员将培训数据与非训练数据区分开，而无需借助标记的输出数据训练任何阴影模型。此外，我们提出了两个有效的审核函数实现，即一个加性功能和一个乘法。我们报告对现实世界数据集的评估，以证明我们提出的审计技术的有效性。

Deep neural networks are susceptible to various inference attacks as they remember information about their training data. We design white-box inference attacks to perform a comprehensive privacy analysis of deep learning models. We measure the privacy leakage through parameters of fully trained models as well as the parameter updates of models during training. We design inference algorithms for both centralized and federated learning, with respect to passive and active inference attackers, and assuming different adversary prior knowledge.We evaluate our novel white-box membership inference attacks against deep learning algorithms to trace their training data records. We show that a straightforward extension of the known black-box attacks to the white-box setting (through analyzing the outputs of activation functions) is ineffective. We therefore design new algorithms tailored to the white-box setting by exploiting the privacy vulnerabilities of the stochastic gradient descent algorithm, which is the algorithm used to train deep neural networks. We investigate the reasons why deep learning models may leak information about their training data. We then show that even well-generalized models are significantly susceptible to white-box membership inference attacks, by analyzing stateof-the-art pre-trained and publicly available models for the CIFAR dataset. We also show how adversarial participants, in the federated learning setting, can successfully run active membership inference attacks against other participants, even when the global model achieves high prediction accuracies.

在推荐系统中，一个普遍的挑战是冷门问题，在系统中，相互作用非常有限。为了应对这一挑战，最近，许多作品将元优化的想法介绍到建议方案中，即学习仅通过过去的几个交互项目来学习用户偏好。核心想法是为所有用户学习全局共享的元启动参数，并分别为每个用户迅速调整其本地参数。他们的目的是在各种用户的偏好学习中得出一般知识，以便通过博学的先验和少量培训数据迅速适应未来的新用户。但是，以前的作品表明，推荐系统通常容易受到偏见和不公平的影响。尽管元学习成功地通过冷启动提高了推荐性能，但公平性问题在很大程度上被忽略了。在本文中，我们提出了一个名为Clover的全面的公平元学习框架，以确保元学习的推荐模型的公平性。我们系统地研究了三种公平性 - 个人公平，反事实公平和推荐系统中的群体公平，并建议通过多任务对抗学习方案满足所有三种类型。我们的框架提供了一种通用的培训范式，适用于不同的元学习推荐系统。我们证明了三叶草对三个现实世界数据集的代表性元学习用户偏好估计器的有效性。经验结果表明，三叶草可以实现全面的公平性，而不会恶化整体的冷淡建议性能。

大量工作表明，机器学习（ML）模型可以泄漏有关其培训数据的敏感或机密信息。最近，由于分布推断（或属性推断）攻击引起的泄漏正在引起人们的注意。在此攻击中，对手的目标是推断有关培训数据的分配信息。到目前为止，对分布推理的研究集中在证明成功的攻击上，而很少注意确定泄漏的潜在原因和提出缓解。为了弥合这一差距，作为我们的主要贡献，我们从理论和经验上分析了信息泄漏的来源，这使对手能够进行分布推理攻击。我们确定泄漏的三个来源：（1）记住有关$ \ mathbb {e} [y | x] $（给定特征值的预期标签）的特定信息，（（2）模型的错误归纳偏置，以及（3）培训数据的有限性。接下来，根据我们的分析，我们提出了针对分配推理攻击的原则缓解技术。具体而言，我们证明了因果学习技术比相关学习方法更适合特定类型的分布推理所谓的分配构件推理。最后，我们提出了分布推断的形式化，该推论允许对比以前更多的一般对手进行推理。

图形神经网络（GNNS）概括了图形数据上的传统深度神经网络，在几个图形分析任务上取得了最先进的性能。我们专注于训练有素的GNN模型如何泄露有关他们培训的\ emph {成员}节点的信息。我们介绍了两个现实的设置，以便在GNN上执行员工推理（MI）攻击。在选择利用培训模型的后索（黑匣子访问）的最简单可能的攻击模型时，我们彻底分析了GNN和数据集的属性，这些数据集决定了对MI攻击的鲁棒性的差异。虽然在传统的机器学习模型中，过度装备被认为是这种泄漏的主要原因，我们表明，在GNN中，额外的结构信息是主要的贡献因素。我们在四个代表性GNN模型上进行了广泛的实验，我们支持我们的结果。为防止MI攻击GNN，我们提出了两种有效的防御，明显将攻击者推断显着降低了60％，而不会降低目标模型的性能。我们的代码可在https://github.com/iyempissy/rebmigraph获得。