在本文中，我们提出了一种攻击方法，以阻止炒面的面部图像，尤其是加密 - 加压（ETC）应用图像，通过首次利用现有强大的stylegan编码器和解码器。我们专注于恢复可以从加密图像中揭示可识别信息的样式，而不是从加密图像中重建相同的图像。所提出的方法通过使用特定的训练策略使用普通和加密的图像对来训练编码器。尽管最新的攻击方法无法从ETC图像中恢复任何感知信息，但该建议的方法披露了个人身份信息，例如头发颜色，肤色，眼镜，性别等。结果表明，与普通图像相比，重建的图像具有一些感知的相似性。

对抗性示例是故意生成用于欺骗深层神经网络的输入。最近的研究提出了不受规范限制的不受限制的对抗攻击。但是，以前的不受限制攻击方法仍然存在限制在黑框设置中欺骗现实世界应用程序的局限性。在本文中，我们提出了一种新的方法，用于使用GAN生成不受限制的对抗示例，其中攻击者只能访问分类模型的前1个最终决定。我们的潜在方法有效地利用了潜在空间中基于决策的攻击的优势，并成功地操纵了潜在的向量来欺骗分类模型。通过广泛的实验，我们证明我们提出的方法有效地评估了在黑框设置中查询有限的分类模型的鲁棒性。首先，我们证明我们的目标攻击方法是有效的，可以为包含307个身份的面部身份识别模型产生不受限制的对抗示例。然后，我们证明所提出的方法还可以成功攻击现实世界的名人识别服务。

Several face de-identification methods have been proposed to preserve users' privacy by obscuring their faces. These methods, however, can degrade the quality of photos, and they usually do not preserve the utility of faces, e.g., their age, gender, pose, and facial expression. Recently, advanced generative adversarial network models, such as StyleGAN, have been proposed, which generate realistic, high-quality imaginary faces. In this paper, we investigate the use of StyleGAN in generating de-identified faces through style mixing, where the styles or features of the target face and an auxiliary face get mixed to generate a de-identified face that carries the utilities of the target face. We examined this de-identification method with respect to preserving utility and privacy, by implementing several face detection, verification, and identification attacks. Through extensive experiments and also comparing with two state-of-the-art face de-identification methods, we show that StyleGAN preserves the quality and utility of the faces much better than the other approaches and also by choosing the style mixing levels correctly, it can preserve the privacy of the faces much better than other methods.

Our goal with this survey is to provide an overview of the state of the art deep learning technologies for face generation and editing. We will cover popular latest architectures and discuss key ideas that make them work, such as inversion, latent representation, loss functions, training procedures, editing methods, and cross domain style transfer. We particularly focus on GAN-based architectures that have culminated in the StyleGAN approaches, which allow generation of high-quality face images and offer rich interfaces for controllable semantics editing and preserving photo quality. We aim to provide an entry point into the field for readers that have basic knowledge about the field of deep learning and are looking for an accessible introduction and overview.

生成模型的面部匿名化已经变得越来越普遍，因为它们通过生成虚拟面部图像来消毒私人信息，从而确保隐私和图像实用程序。在删除或保护原始身份后，通常无法识别此类虚拟面部图像。在本文中，我们将生成可识别的虚拟面部图像的问题形式化和解决。我们的虚拟脸部图像在视觉上与原始图像不同，以保护隐私保护。此外，它们具有新的虚拟身份，可直接用于面部识别。我们建议可识别的虚拟面部发电机（IVFG）生成虚拟面部图像。 IVFG根据用户特定的键将原始面部图像的潜在矢量投射到虚拟图像中，该键基于该图像生成虚拟面部图像。为了使虚拟面部图像可识别，我们提出了一个多任务学习目标以及一个三联生的培训策略，以学习IVFG。我们使用不同面部图像数据集上的不同面部识别器评估虚拟面部图像的性能，所有这些都证明了IVFG在生成可识别的虚拟面部图像中的有效性。

我们在本文中提出了一个新的面部视频压缩范式。我们利用诸如stylegan之类的gan的生成能力来表示和压缩视频，包括内部和间压缩。每个帧都在StyleGAN的潜在空间中倒置，从中学习了最佳压缩。为此，使用归一化流量模型学习了差异潜在表示，可以在其中优化熵模型以用于图像编码。此外，我们提出了一种新的感知损失，比其他同行更有效。最后，在先前构造的潜在表示中还学习了用于视频间编码的熵模型。我们的方法（SGANC）很简单，训练的速度更快，并且与最新的编解码器（例如VTM，AV1和最近的深度学习技术）相比，为图像和视频编码提供了更好的结果。特别是，它在低比特速率下极大地最大程度地减少了感知失真。

在本文中，我们提出了转换图像和视觉变压器（VIT）模型的组合使用，该模型用秘密键转换。我们首次展示了经过普通图像训练的模型可以直接转换为根据VIT体系结构训练的模型，并且使用测试图像时，转换模型的性能与经过纯图像训练的模型相同用钥匙加密。此外，提出的方案不需要任何特殊准备的数据进行培训模型或网络修改，因此它还使我们可以轻松更新秘密密钥。在实验中，在CIFAR-10数据集中的图像分类任务中，根据性能降解和模型保护性能评估了提出方案的有效性。

Figure 1. The proposed pixel2style2pixel framework can be used to solve a wide variety of image-to-image translation tasks. Here we show results of pSp on StyleGAN inversion, multi-modal conditional image synthesis, facial frontalization, inpainting and super-resolution.

近年来，随着深度神经网络的发展，端到端优化的图像压缩已取得了重大进展，并超过了速度延伸性能的经典方法。但是，大多数基于学习的图像压缩方法是未标记的，在优化模型时不考虑图像语义或内容。实际上，人眼对不同内容具有不同的敏感性，因此还需要考虑图像内容。在本文中，我们提出了一种面向内容的图像压缩方法，该方法处理具有不同策略的不同类型的图像内容。广泛的实验表明，与最先进的端到端学习的图像压缩方法或经典方法相比，所提出的方法可实现竞争性的主观结果。

我们提出了Exe-Gan，这是一种新型的使用生成对抗网络的典范引导的面部介绍框架。我们的方法不仅可以保留输入面部图像的质量，而且还可以使用类似示例性的面部属性来完成图像。我们通过同时利用输入图像的全局样式，从随机潜在代码生成的随机样式以及示例图像的示例样式来实现这一目标。我们介绍了一个新颖的属性相似性指标，以鼓励网络以一种自我监督的方式从示例中学习面部属性的风格。为了确保跨地区边界之间的自然过渡，我们引入了一种新型的空间变体梯度反向传播技术，以根据空间位置调整损耗梯度。关于公共Celeba-HQ和FFHQ数据集的广泛评估和实际应用，可以验证Exe-GAN的优越性，从面部镶嵌的视觉质量来看。

由于GaN潜在空间的勘探和利用，近年来，现实世界的图像操纵实现了奇妙的进展。 GaN反演是该管道的第一步，旨在忠实地将真实图像映射到潜在代码。不幸的是，大多数现有的GaN反演方法都无法满足下面列出的三个要求中的至少一个：重建质量，可编辑性和快速推断。我们在本研究中提出了一种新的两阶段策略，同时适合所有要求。在第一阶段，我们训练编码器将输入图像映射到StyleGan2 $ \ Mathcal {W} $ - 空间，这被证明具有出色的可编辑性，但重建质量较低。在第二阶段，我们通过利用一系列HyperNetWorks来补充初始阶段的重建能力以在反转期间恢复缺失的信息。这两个步骤互相补充，由于Hypernetwork分支和由于$ \ Mathcal {W} $ - 空间中的反转，因此由于HyperNetwork分支和优异的可编辑性而相互作用。我们的方法完全是基于编码器的，导致极快的推断。关于两个具有挑战性的数据集的广泛实验证明了我们方法的优越性。

edu.hk (a) Image Reconstruction (b) Image Colorization (c) Image Super-Resolution (d) Image Denoising (e) Image Inpainting (f) Semantic Manipulation Figure 1: Multi-code GAN prior facilitates many image processing applications using the reconstruction from fixed PGGAN [23] models.

基于深卷积神经网络（CNN）的面部识别表现出归因于提取的高判别特征的卓越精度性能。然而，经常忽略了深度学习模型（深度特征）提取的功能的安全性和隐私。本文提出了从深度功能中重建面部图像，而无需访问CNN网络配置作为约束优化问题。这种优化可最大程度地减少从原始面部图像中提取的特征与重建的面部图像之间的距离。我们没有直接解决图像空间中的优化问题，而是通过寻找GAN发电机的潜在向量来重新重新制定问题，然后使用它来生成面部图像。 GAN发电机在这个新颖的框架中起着双重作用，即优化目标和面部发电机的面部分布约束。除了新颖的优化任务之外，我们还提出了一条攻击管道，以基于生成的面部图像模拟目标用户。我们的结果表明，生成的面部图像可以达到最先进的攻击率在LFW上的最先进的攻击率在I型攻击下为0.1 \％。我们的工作阐明了生物识别部署，以符合隐私和安全政策。

深度学习已成功地用于解决从大数据分析到计算机视觉和人级控制的各种复杂问题。但是，还采用了深度学习进步来创建可能构成隐私，民主和国家安全威胁的软件。最近出现的那些深度学习驱动的应用程序之一是Deepfake。 DeepFake算法可以创建人类无法将它们与真实图像区分开的假图像和视频。因此，可以自动检测和评估数字视觉媒体完整性的技术的建议是必不可少的。本文介绍了一项用于创造深击的算法的调查，更重要的是，提出的方法旨在检测迄今为止文献中的深击。我们对与Deepfake技术有关的挑战，研究趋势和方向进行了广泛的讨论。通过回顾深层味和最先进的深层检测方法的背景，本研究提供了深入的深层技术的概述，并促进了新的，更强大的方法的发展，以应对日益挑战性的深击。

神经科学研究表明，大脑编码视觉内容并将信息嵌入神经活动中。最近，深度学习技术通过将大脑活动映射到使用生成的对抗网络（GAN）来刺激来解决视觉重建的尝试。但是，这些研究都没有考虑图像空间中潜在代码的语义含义。省略语义信息可能会限制性能。在这项研究中，我们提出了一个新框架，以从功能磁共振成像（fMRI）数据中重建面部图像。使用此框架，首先将GAN倒置用于训练图像编码器以在图像空间中提取潜在代码，然后使用线性转换将其桥接到fMRI数据中。遵循从fMRI数据使用属性分类器确定的属性，确定操纵属性的方向，属性操纵器调整了潜在代码，以提高可见图像和重建图像之间的一致性。我们的实验结果表明，提出的框架实现了两个目标：（1）从fMRI数据中重建清晰的面部图像，以及（2）保持语义特征的一致性。

使用生成对抗网络（GAN）生成的面孔已经达到了前所未有的现实主义。这些面孔，也称为“深色伪造”，看起来像是逼真的照片，几乎没有像素级扭曲。尽管某些工作使能够培训模型，从而导致该主题的特定属性，但尚未完全探索基于自然语言描述的面部图像。对于安全和刑事识别，提供基于GAN的系统的能力像素描艺术家一样有用。在本文中，我们提出了一种新颖的方法，可以从语义文本描述中生成面部图像。学习的模型具有文本描述和面部类型的轮廓，该模型用于绘制功能。我们的模型是使用仿射组合模块（ACM）机制训练的，以使用自发动矩阵结合伯特和甘恩潜在空间的文本。这避免了由于“注意力”不足而导致的功能丧失，如果简单地将文本嵌入和潜在矢量串联，这可能会发生。我们的方法能够生成非常准确地与面部面部的详尽文本描述相符的图像，并具有许多细节的脸部特征，并有助于生成更好的图像。如果提供了其他文本描述或句子，则提出的方法还能够对先前生成的图像进行增量更改。

模型反转攻击（MIAS）旨在创建合成图像，通过利用模型的学习知识来反映目标分类器的私人培训数据中的班级特征。先前的研究开发了生成的MIA，该MIA使用生成的对抗网络（GAN）作为针对特定目标模型的图像先验。这使得攻击时间和资源消耗，不灵活，并且容易受到数据集之间的分配变化的影响。为了克服这些缺点，我们提出了插头攻击，从而放宽了目标模型和图像之前的依赖性，并启用单个GAN来攻击广泛的目标，仅需要对攻击进行少量调整。此外，我们表明，即使在公开获得的预训练的gan和强烈的分配转变下，也可以实现强大的MIA，而先前的方法无法产生有意义的结果。我们的广泛评估证实了插头攻击的鲁棒性和灵活性，以及​​它们创建高质量图像的能力，揭示了敏感的类特征。

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

图像介入寻求一种语义一致的方法，以根据其未掩盖的内容来恢复损坏的图像。以前的方法通常将训练有素的甘恩重复使用，然后在产生逼真的斑块中用于缺少GAN反转的孔。然而，在这些算法中对硬约束的无知可能会产生gan倒置和图像插入之间的差距。在解决这个问题的情况下，我们在本文中设计了一个新颖的GAN反转模型，用于图像插入，称为Interverfill，主要由带有预调制模块的编码器和具有F＆W+潜在空间的GAN生成器组成。在编码器中，预调制网络利用多尺度结构将更多的歧视语义编码为样式向量。为了弥合GAN倒置和图像插入之间的缝隙，提出了F＆W+潜在空间以消除巨大的颜色差异和语义不一致。为了重建忠实和逼真的图像，一个简单而有效的软上升平均潜在模块旨在捕获更多样化的内域模式，以合成大型腐败的高保真质地。在包括Ploce2，Celeba-HQ，Metfaces和Scenery在内的四个具有挑战性的数据集上进行的全面实验表明，我们的Intervill效果优于定性和定量的高级方法，并支持室外图像的完成。

Large training data and expensive model tweaking are standard features of deep learning for images. As a result, data owners often utilize cloud resources to develop large-scale complex models, which raises privacy concerns. Existing solutions are either too expensive to be practical or do not sufficiently protect the confidentiality of data and models. In this paper, we study and compare novel \emph{image disguising} mechanisms, DisguisedNets and InstaHide, aiming to achieve a better trade-off among the level of protection for outsourced DNN model training, the expenses, and the utility of data. DisguisedNets are novel combinations of image blocktization, block-level random permutation, and two block-level secure transformations: random multidimensional projection (RMT) and AES pixel-level encryption (AES). InstaHide is an image mixup and random pixel flipping technique \cite{huang20}. We have analyzed and evaluated them under a multi-level threat model. RMT provides a better security guarantee than InstaHide, under the Level-1 adversarial knowledge with well-preserved model quality. In contrast, AES provides a security guarantee under the Level-2 adversarial knowledge, but it may affect model quality more. The unique features of image disguising also help us to protect models from model-targeted attacks. We have done an extensive experimental evaluation to understand how these methods work in different settings for different datasets.