由于现在在许多现实世界应用中使用了深度学习，因此研究越来越集中于深度学习模型的隐私以及如何防止攻击者获得有关培训数据的敏感信息。但是，在隐私攻击的背景下，尚未对诸如剪辑之类的图像文本模型进行研究。虽然会员推理攻击旨在判断是否使用特定数据点进行培训，但我们引入了一种新型的隐私攻击，该隐私攻击名为“身份推理攻击”（IDIA），该攻击（IDIA）是为CLIP等多模式图像文本模型而设计的。使用IDIA，攻击者可以通过以黑盒方式查询模型，并以同一个人的不同图像来揭示特定人是否是培训数据的一部分。让模型从各种可能的文本标签中进行选择，攻击者可以探究该模型是否识别该人，因此可以用于培训。通过剪辑上的几个实验，我们表明攻击者可以以非常高的精度识别用于培训的个人，并且该模型学会了将名称与被描绘的人联系起来。我们的实验表明，多模式图像文本模型确实泄漏了有关其训练数据的敏感信息，因此应谨慎处理。

随着机器学习技术的发展，研究的注意力已从单模式学习转变为多模式学习，因为现实世界中的数据以不同的方式存在。但是，多模式模型通常比单模式模型具有更多的信息，并且通常将其应用于敏感情况，例如医疗报告生成或疾病鉴定。与针对机器学习分类器的现有会员推断相比，我们关注的是多模式模型的输入和输出的问题，例如不同的模式，例如图像字幕。这项工作通过成员推理攻击的角度研究了多模式模型的隐私泄漏，这是确定数据记录是否涉及模型培训过程的过程。为了实现这一目标，我们提出了多种模型的成员资格推理（M^4i），分别使用两种攻击方法来推断成员身份状态，分别为基于公表示的（MB）M^4i和基于特征（FB）M^4i。更具体地说，MB M^4i在攻击时采用相似性指标来推断目标数据成员资格。 FB M^4i使用预先训练的阴影多模式提取器来通过比较提取的输入和输出功能的相似性来实现数据推理攻击的目的。广泛的实验结果表明，两种攻击方法都可以实现强大的性能。在不受限制的情况下，平均可以获得攻击成功率的72.5％和94.83％。此外，我们评估了针对我们的攻击的多种防御机制。 M^4i攻击的源代码可在https://github.com/multimodalmi/multimodal-membership-inference.git上公开获得。

文本指导的图像生成模型，例如DALL-E 2和稳定的扩散，最近受到了学术界和公众的关注。这些模型提供了文本描述，能够生成描绘各种概念和样式的高质量图像。但是，此类模型接受了大量公共数据的培训，并从其培训数据中隐含地学习关系，这些数据并不明显。我们证明，可以通过简单地用视觉上类似的非拉丁字符替换文本描述中的单个字符来触发并注入生成的图像中的常见多模型模型，这些偏见可以被触发并注入生成的图像。这些所谓的同符文更换使恶意用户或服务提供商能够诱导偏见到生成的图像中，甚至使整个一代流程变得无用。我们实际上说明了对DALL-E 2和稳定扩散的这种攻击，例如文本引导的图像生成模型，并进一步表明夹子的行为也相似。我们的结果进一步表明，经过多语言数据训练的文本编码器提供了一种减轻同符替代效果的方法。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.

While text-to-image synthesis currently enjoys great popularity among researchers and the general public, the security of these models has been neglected so far. Many text-guided image generation models rely on pre-trained text encoders from external sources, and their users trust that the retrieved models will behave as promised. Unfortunately, this might not be the case. We introduce backdoor attacks against text-guided generative models and demonstrate that their text encoders pose a major tampering risk. Our attacks only slightly alter an encoder so that no suspicious model behavior is apparent for image generations with clean prompts. By then inserting a single non-Latin character into the prompt, the adversary can trigger the model to either generate images with pre-defined attributes or images following a hidden, potentially malicious description. We empirically demonstrate the high effectiveness of our attacks on Stable Diffusion and highlight that the injection process of a single backdoor takes less than two minutes. Besides phrasing our approach solely as an attack, it can also force an encoder to forget phrases related to certain concepts, such as nudity or violence, and help to make image generation safer.

员额推理攻击允许对训练的机器学习模型进行对手以预测模型的训练数据集中包含特定示例。目前使用平均案例的“精度”度量来评估这些攻击，该攻击未能表征攻击是否可以自信地识别培训集的任何成员。我们认为，应该通过计算其低（例如<0.1％）假阳性率来计算攻击来评估攻击，并在以这种方式评估时发现大多数事先攻击差。为了解决这一问题，我们开发了一个仔细结合文献中多种想法的似然比攻击（Lira）。我们的攻击是低于虚假阳性率的10倍，并且在攻击现有度量的情况下也严格占主导地位。

会员推理攻击（MIS）旨在确定特定样本是否用于培训预测模型。知道这可能确实导致隐私违约。可以说，大多数MIS利用模型的预测分数 - 每个输出的概率给出一些输入 - 在其训练的模型趋于不同地在其训练数据上表现不同。我们认为这是许多现代深度网络架构的谬论，例如，Relu型神经网络几乎总是远离训练数据的高预测分数。因此，MIS将误会失败，因为这种行为不仅导致高伪率，不仅在已知的域名上，而且对分发数据外，并且隐含地作为针对偏心的防御。具体地，使用生成的对抗网络，我们能够产生虚假分类为培训数据的一部分的潜在无限数量的样本。换句话说，MIS的威胁被高估，并且泄漏的信息较少地假设。此外，在分类器的过度自信和对偏话的易感性之间实际上有一个权衡：更频率越多，他们不知道，对远离训练数据的低信任预测，他们越远，他们越多，揭示了训练数据。

Deep neural networks are susceptible to various inference attacks as they remember information about their training data. We design white-box inference attacks to perform a comprehensive privacy analysis of deep learning models. We measure the privacy leakage through parameters of fully trained models as well as the parameter updates of models during training. We design inference algorithms for both centralized and federated learning, with respect to passive and active inference attackers, and assuming different adversary prior knowledge.We evaluate our novel white-box membership inference attacks against deep learning algorithms to trace their training data records. We show that a straightforward extension of the known black-box attacks to the white-box setting (through analyzing the outputs of activation functions) is ineffective. We therefore design new algorithms tailored to the white-box setting by exploiting the privacy vulnerabilities of the stochastic gradient descent algorithm, which is the algorithm used to train deep neural networks. We investigate the reasons why deep learning models may leak information about their training data. We then show that even well-generalized models are significantly susceptible to white-box membership inference attacks, by analyzing stateof-the-art pre-trained and publicly available models for the CIFAR dataset. We also show how adversarial participants, in the federated learning setting, can successfully run active membership inference attacks against other participants, even when the global model achieves high prediction accuracies.

当前机器学习的大部分基础的大型数据集提出了有关不适当内容的严重问题，例如冒犯，侮辱，威胁或可能引起焦虑。这要求增加数据集文档，例如使用数据表。它们除其他主题外，还鼓励反思数据集的组成。到目前为止，该文档是手动完成的，因此可能是乏味且容易出错的，尤其是对于大型图像数据集。在这里，我们询问了机器是否可以帮助我们反思不适当的内容的“循环”问题，回答了数据表中的问题16。为此，我们建议使用存储在预训练的变压器模型中的信息来协助我们进行文档过程。具体而言，基于社会 - 道德价值数据集的及时调整引导剪辑以识别潜在的不适当的内容，从而减少了人工的劳动。然后，我们根据使用视觉模型生成的字幕来记录使用单词云找到的不适当图像。两个流行的大规模计算机视觉数据集的文档（ImageNet和OpenImages）以这种方式产生，这表明机器确实可以帮助数据集创建者回答有关不适当图像内容的问题16。

自我监督的学习在过去几年中取得了革命性的进展，并且通常被认为是通用AI的有希望的方法。特别是，自我监督的学习旨在使用大量未标记的数据预先列车。预先培训的编码器就像AI生态系统的“操作系统”。具体地，编码器可以用作许多下游任务的特征提取器，其中没有标记或未标记的训练数据。关于自我监督学习的现有研究主要专注于预先培训更好的编码器，以改善其在非对抗环境中的下游任务的性能，留下其在对抗环境中的安全性和隐私，这在很大程度上是未开发的。预先训练的编码器的安全性或隐私问题导致AI生态系统的单一失败点。在本书章节中，我们在自我监督学习中讨论了预训练的编码器的10个基本安全和隐私问题，包括六个机密性问题，三个完整性问题和一个可用性问题。对于每个问题，我们讨论潜在的机会和挑战。我们希望我们的书籍章节将激发未来的自我监督学习的安全和隐私的研究。

We quantitatively investigate how machine learning models leak information about the individual data records on which they were trained. We focus on the basic membership inference attack: given a data record and black-box access to a model, determine if the record was in the model's training dataset. To perform membership inference against a target model, we make adversarial use of machine learning and train our own inference model to recognize differences in the target model's predictions on the inputs that it trained on versus the inputs that it did not train on.We empirically evaluate our inference techniques on classification models trained by commercial "machine learning as a service" providers such as Google and Amazon. Using realistic datasets and classification tasks, including a hospital discharge dataset whose membership is sensitive from the privacy perspective, we show that these models can be vulnerable to membership inference attacks. We then investigate the factors that influence this leakage and evaluate mitigation strategies.

机器学习（ML）模型已广泛应用于各种应用，包括图像分类，文本生成，音频识别和图形数据分析。然而，最近的研究表明，ML模型容易受到隶属推导攻击（MIS），其目的是推断数据记录是否用于训练目标模型。 ML模型上的MIA可以直接导致隐私违规行为。例如，通过确定已经用于训练与某种疾病相关的模型的临床记录，攻击者可以推断临床记录的所有者具有很大的机会。近年来，MIS已被证明对各种ML模型有效，例如，分类模型和生成模型。同时，已经提出了许多防御方法来减轻米西亚。虽然ML模型上的MIAS形成了一个新的新兴和快速增长的研究区，但还没有对这一主题进行系统的调查。在本文中，我们对会员推论和防御进行了第一个全面调查。我们根据其特征提供攻击和防御的分类管理，并讨论其优点和缺点。根据本次调查中确定的限制和差距，我们指出了几个未来的未来研究方向，以激发希望遵循该地区的研究人员。这项调查不仅是研究社区的参考，而且还为该研究领域之外的研究人员带来了清晰的照片。为了进一步促进研究人员，我们创建了一个在线资源存储库，并与未来的相关作品继续更新。感兴趣的读者可以在https://github.com/hongshenghu/membership-inference-machine-learning-literature找到存储库。

机器学习模型容易受到会员推理攻击的影响，在这种攻击中，对手的目的是预测目标模型培训数据集中是否包含特定样本。现有的攻击方法通常仅从给定的目标模型中利用输出信息（主要是损失）。结果，在成员和非成员样本都产生类似小损失的实际情况下，这些方法自然无法区分它们。为了解决这一限制，在本文中，我们提出了一种称为\系统的新攻击方法，该方法可以利用目标模型的整个培训过程中的成员资格信息来改善攻击性能。要将攻击安装在共同的黑盒环境中，我们利用知识蒸馏，并通过在不同蒸馏时期的中间模型中评估的损失表示成员资格信息，即\ emph {蒸馏损失轨迹}，以及损失来自给定的目标模型。对不同数据集和模型体系结构的实验结果证明了我们在不同指标方面的攻击优势。例如，在Cinic-10上，我们的攻击至少达到6 $ \ times $ $阳性的速率，低阳性率为0.1 \％的速率比现有方法高。进一步的分析表明，在更严格的情况下，我们攻击的总体有效性。

机器学习构成了严重的隐私问题，因为这表明学识渊博的模型可以揭示有关其培训数据的敏感信息。许多作品已经调查了广泛补习的数据增强（DA）和对抗性培训（AT）技术的影响，这些技术在论文中称为数据增强对机器学习模型的隐私泄漏的影响。这种隐私效应通常是通过成员推理攻击（MIA）来衡量的，旨在确定特定例子是否属于培训集。我们建议从称为记忆的新角度调查隐私。通过记忆的镜头，我们发现先前部署的MIA会产生误导性结果，因为与具有低隐私风险的样本相比，它们不太可能将具有较高隐私风险的样本识别为较高的隐私风险样本。为了解决这个问题，我们部署了最近的攻击，该攻击可以捕获单个样本的记忆度以进行评估。通过广泛的实验，我们提出了关于机器学习模型的三个重要属性（包括隐私，泛化差距和对抗性鲁棒性）之间连接的非平凡发现。我们证明，与现有结果不同，概括差距与隐私泄漏没有高度关联。此外，更强的对抗性鲁棒性并不一定意味着该模型更容易受到隐私攻击的影响。

With the wide-spread application of machine learning models, it has become critical to study the potential data leakage of models trained on sensitive data. Recently, various membership inference (MI) attacks are proposed that determines if a sample was part of the training set or not. Although the first generation of MI attacks has been proven to be ineffective in practice, a few recent studies proposed practical MI attacks that achieve reasonable true positive rate at low false positive rate. The question is whether these attacks can be reliably used in practice. We showcase a practical application of membership inference attacks where it is used by an auditor (investigator) to prove to a judge/jury that an auditee unlawfully used sensitive data during training. Then, we show that the auditee can provide a dataset (with potentially unlimited number of samples) to a judge where MI attacks catastrophically fail. Hence, the auditee challenges the credibility of the auditor and can get the case dismissed. More importantly, we show that the auditee does not need to know anything about the MI attack neither a query access to it. In other words, all currently SOTA MI attacks in literature suffer from the same issue. Through comprehensive experimental evaluation, we show that our algorithms can increase the false positive rate from ten to thousands times larger than what auditor claim to the judge. Lastly, we argue that the implication of our algorithms is beyond discredibility: Current membership inference attacks can identify the memorized subpopulations, but they cannot reliably identify which exact sample in the subpopulation was used during training.

评估了三种最先进的语言和图像AI模型，即剪辑，滑移和BLIP，以证明以前在社会和实验心理学中观察到的偏见：将美国身份等同于白人。使用芝加哥面部数据库（CFD）的自我识别的亚洲，黑人，拉丁裔和白人的标准化图像的嵌入关联测试（eats）表明，白人与集体内词相比，比亚洲，黑色更相关，或拉丁裔/o个人。在评估社会心理学家报道的美国身份的三个核心方面时，单类饮食表明，白人个体的图像与爱国主义和出生在美国更相关，但与心理学的先前发现一致，白人个人是相关的不太可能平等对待所有种族和背景的人。三个下游机器学习任务表明了与白人相关联的偏见。在使用BLIP的视觉问题回答任务中，有97％的白人被确定为美国人，而仅3％的亚洲人。当被问及个人所描绘的生活状态时，该模型在亚洲人中有53％的时间回应中国，但始终具有美国对白人个人的国家。在图像字幕的任务中，Blip评论了亚洲人的种族多达36％的时间，但从未对白人人士进行比赛。最后，使用基于文本的剪辑指导的综合图像发生器（VQGAN）提供了CFD和文本“ American Person”的初始化图像，从而减轻了所有种族个体的肤色（黑人个人的肤色为35％ ，基于像素亮度）。结果表明，语言和图像AI将其等同于美国身份与白人的偏见，并传播到此类模型的下游应用。

利用深度学习的最新进展，文本到图像生成模型目前具有吸引公众关注的优点。其中两个模型Dall-E 2和Imagen已经证明，可以从图像的简单文本描述中生成高度逼真的图像。基于一种称为扩散模型的新型图像生成方法，文本对图像模型可以生产许多不同类型的高分辨率图像，其中人类想象力是唯一的极限。但是，这些模型需要大量的计算资源来训练，并处理从互联网收集的大量数据集。此外，代码库和模型均未发布。因此，它可以防止AI社区尝试这些尖端模型，从而使其结果复制变得复杂，即使不是不可能。在本文中，我们的目标是首先回顾这些模型使用的不同方法和技术，然后提出我们自己的文本模型模型实施。高度基于DALL-E 2，我们引入了一些轻微的修改，以应对所引起的高计算成本。因此，我们有机会进行实验，以了解这些模型的能力，尤其是在低资源制度中。特别是，我们提供了比Dall-e 2的作者（包括消融研究）更深入的分析。此外，扩散模型使用所谓的指导方法来帮助生成过程。我们引入了一种新的指导方法，该方法可以与其他指导方法一起使用，以提高图像质量。最后，我们的模型产生的图像质量相当好，而不必维持最先进的文本对图像模型的重大培训成本。

Named entity recognition models (NER), are widely used for identifying named entities (e.g., individuals, locations, and other information) in text documents. Machine learning based NER models are increasingly being applied in privacy-sensitive applications that need automatic and scalable identification of sensitive information to redact text for data sharing. In this paper, we study the setting when NER models are available as a black-box service for identifying sensitive information in user documents and show that these models are vulnerable to membership inference on their training datasets. With updated pre-trained NER models from spaCy, we demonstrate two distinct membership attacks on these models. Our first attack capitalizes on unintended memorization in the NER's underlying neural network, a phenomenon NNs are known to be vulnerable to. Our second attack leverages a timing side-channel to target NER models that maintain vocabularies constructed from the training data. We show that different functional paths of words within the training dataset in contrast to words not previously seen have measurable differences in execution time. Revealing membership status of training samples has clear privacy implications, e.g., in text redaction, sensitive words or phrases to be found and removed, are at risk of being detected in the training dataset. Our experimental evaluation includes the redaction of both password and health data, presenting both security risks and privacy/regulatory issues. This is exacerbated by results that show memorization with only a single phrase. We achieved 70% AUC in our first attack on a text redaction use-case. We also show overwhelming success in the timing attack with 99.23% AUC. Finally we discuss potential mitigation approaches to realize the safe use of NER models in light of the privacy and security implications of membership inference attacks.

会员推理攻击是机器学习模型中最简单的隐私泄漏形式之一：给定数据点和模型，确定该点是否用于培训模型。当查询其培训数据时，现有会员推理攻击利用模型的异常置信度。如果对手访问模型的预测标签，则不会申请这些攻击，而不会置信度。在本文中，我们介绍了仅限标签的会员资格推理攻击。我们的攻击而不是依赖置信分数，而是评估模型预测标签在扰动下的稳健性，以获得细粒度的隶属信号。这些扰动包括常见的数据增强或对抗例。我们经验表明，我们的标签占会员推理攻击与先前攻击相符，以便需要访问模型信心。我们进一步证明，仅限标签攻击违反了（隐含或明确）依赖于我们呼叫信心屏蔽的现象的员工推论攻击的多种防御。这些防御修改了模型的置信度分数以挫败攻击，但留下模型的预测标签不变。我们的标签攻击展示了置信性掩蔽不是抵御会员推理的可行的防御策略。最后，我们调查唯一的案例标签攻击，该攻击推断为少量异常值数据点。我们显示仅标签攻击也匹配此设置中基于置信的攻击。我们发现具有差异隐私和（强）L2正则化的培训模型是唯一已知的防御策略，成功地防止所有攻击。即使差异隐私预算太高而无法提供有意义的可证明担保，这仍然存在。

Machine learning (ML) has become a core component of many real-world applications and training data is a key factor that drives current progress. This huge success has led Internet companies to deploy machine learning as a service (MLaaS). Recently, the first membership inference attack has shown that extraction of information on the training set is possible in such MLaaS settings, which has severe security and privacy implications.However, the early demonstrations of the feasibility of such attacks have many assumptions on the adversary, such as using multiple so-called shadow models, knowledge of the target model structure, and having a dataset from the same distribution as the target model's training data. We relax all these key assumptions, thereby showing that such attacks are very broadly applicable at low cost and thereby pose a more severe risk than previously thought. We present the most comprehensive study so far on this emerging and developing threat using eight diverse datasets which show the viability of the proposed attacks across domains.In addition, we propose the first effective defense mechanisms against such broader class of membership inference attacks that maintain a high level of utility of the ML model.