Deep 3D point cloud models are sensitive to adversarial attacks, which poses threats to safety-critical applications such as autonomous driving. Robust training and defend-by-denoise are typical strategies for defending adversarial perturbations, including adversarial training and statistical filtering, respectively. However, they either induce massive computational overhead or rely heavily upon specified noise priors, limiting generalized robustness against attacks of all kinds. This paper introduces a new defense mechanism based on denoising diffusion models that can adaptively remove diverse noises with a tailored intensity estimator. Specifically, we first estimate adversarial distortions by calculating the distance of the points to their neighborhood best-fit plane. Depending on the distortion degree, we choose specific diffusion time steps for the input point cloud and perform the forward diffusion to disrupt potential adversarial shifts. Then we conduct the reverse denoising process to restore the disrupted point cloud back to a clean distribution. This approach enables effective defense against adaptive attacks with varying noise budgets, achieving accentuated robustness of existing 3D deep recognition models.
translated by 谷歌翻译
3D点云正在成为许多现实世界应用中的关键数据表示形式,例如自动驾驶,机器人技术和医学成像。尽管深度学习的成功进一步加速了物理世界中3D点云的采用,但深度学习因其易受对抗性攻击的脆弱性而臭名昭著。在这项工作中,我们首先确定最先进的经验防御,对抗性训练,由于梯度混淆,在适用于3D点云模型方面有一个重大限制。我们进一步提出了PointDP,这是一种纯化策略,利用扩散模型来防御3D对抗攻击。我们对六个代表性3D点云体系结构进行了广泛的评估,并利用10+强和适应性攻击来证明其较低的稳健性。我们的评估表明,在强烈攻击下,PointDP比最新的纯化方法实现了明显更好的鲁棒性。在不久的将来将包括与PointDP合并的随机平滑验证结果的结果。
translated by 谷歌翻译
虽然近年来,在2D图像领域的攻击和防御中,许多努力已经探讨了3D模型的脆弱性。现有的3D攻击者通常在点云上执行点明智的扰动,从而导致变形的结构或异常值,这很容易被人类察觉。此外,它们的对抗示例是在白盒设置下产生的,当转移到攻击远程黑匣子型号时经常遭受低成功率。在本文中,我们通过提出一种新的难以察觉的转移攻击(ITA):1)难以察觉的3D点云攻击来自两个新的和具有挑战性的观点:1)难以察觉:沿着邻域表面的正常向量限制每个点的扰动方向,导致产生具有类似几何特性的示例,从而增强了难以察觉。 2)可转移性:我们开发了一个对抗性转变模型,以产生最有害的扭曲,并强制实施对抗性示例来抵抗它,从而提高其对未知黑匣子型号的可转移性。此外,我们建议通过学习更辨别的点云表示来培训更强大的黑盒3D模型来防御此类ITA攻击。广泛的评估表明,我们的ITA攻击比最先进的人更令人无法察觉和可转让,并验证我们的国防战略的优势。
translated by 谷歌翻译
随着各种3D安全关键应用的关注,点云学习模型已被证明容易受到对抗性攻击的影响。尽管现有的3D攻击方法达到了很高的成功率,但它们会以明显的扰动来深入研究数据空间,这可能会忽略几何特征。取而代之的是,我们从新的角度提出了点云攻击 - 图谱域攻击,旨在在光谱域中扰动图形转换系数,该系数对应于改变某些几何结构。具体而言,利用图形信号处理,我们首先通过图形傅立叶变换(GFT)自适应地将点的坐标转换为光谱域,以进行紧凑的表示。然后,我们基于我们建议通过可学习的图形光谱滤波器扰动GFT系数的几何结构的影响。考虑到低频组件主要有助于3D对象的粗糙形状,我们进一步引入了低频约束,以限制不察觉到的高频组件中的扰动。最后,通过将扰动的光谱表示形式转换回数据域,从而生成对抗点云。实验结果证明了拟议攻击的有效性,这些攻击既有易经性和攻击成功率。
translated by 谷歌翻译
随着在各种算法和框架中更广泛地应用深度神经网络(DNN),安全威胁已成为其中之一。对抗性攻击干扰基于DNN的图像分类器,其中攻击者可以在其中故意添加不可察觉的对抗性扰动,以欺骗分类器。在本文中,我们提出了一种新颖的纯化方法,称为纯化的引导扩散模型(GDMP),以帮助保护分类器免受对抗性攻击。我们方法的核心是将纯化嵌入到deno的扩散概率模型(DDPM)的扩散denoisis过程中,以便其扩散过程可以逐渐添加的高斯噪声淹没对抗性的扰动,并且可以同时删除这两种声音。指导的deNoising过程。在我们在各个数据集中进行的全面实验中,提出的GDMP被证明可将对抗攻击造成的扰动降低到浅范围,从而显着提高了分类的正确性。 GDMP将鲁棒精度提高了5%,在CIFAR10数据集对PGD攻击下获得了90.1%。此外,GDMP在具有挑战性的Imagenet数据集上达到了70.94%的鲁棒性。
translated by 谷歌翻译
尽管最近在不同的应用程序方案中广泛部署了3D点云分类,但它仍然非常容易受到对抗攻击的影响。面对对抗性攻击,这增加了对3D模型的强大训练的重要性。基于我们对现有对抗性攻击的性能的分析,在输入数据的中和高频组件中发现了更多的对抗性扰动。因此,通过抑制训练阶段的高频含量,改善了针对对抗性示例的模型。实验表明,提出的防御方法降低了对PointNet,PointNet ++和DGCNN模型的六次攻击的成功率。特别是,与最先进的方法相比,Drop100攻击的平均分类精度在Drop100攻击中平均提高3.8%,而Drop200攻击的平均分类精度提高了3.8%。与其他可用方法相比,该方法还提高了原始数据集的模型精度。
translated by 谷歌翻译
Point cloud completion, as the upstream procedure of 3D recognition and segmentation, has become an essential part of many tasks such as navigation and scene understanding. While various point cloud completion models have demonstrated their powerful capabilities, their robustness against adversarial attacks, which have been proven to be fatally malicious towards deep neural networks, remains unknown. In addition, existing attack approaches towards point cloud classifiers cannot be applied to the completion models due to different output forms and attack purposes. In order to evaluate the robustness of the completion models, we propose PointCA, the first adversarial attack against 3D point cloud completion models. PointCA can generate adversarial point clouds that maintain high similarity with the original ones, while being completed as another object with totally different semantic information. Specifically, we minimize the representation discrepancy between the adversarial example and the target point set to jointly explore the adversarial point clouds in the geometry space and the feature space. Furthermore, to launch a stealthier attack, we innovatively employ the neighbourhood density information to tailor the perturbation constraint, leading to geometry-aware and distribution-adaptive modifications for each point. Extensive experiments against different premier point cloud completion networks show that PointCA can cause a performance degradation from 77.9% to 16.7%, with the structure chamfer distance kept below 0.01. We conclude that existing completion models are severely vulnerable to adversarial examples, and state-of-the-art defenses for point cloud classification will be partially invalid when applied to incomplete and uneven point cloud data.
translated by 谷歌翻译
3D动态点云提供了现实世界中的对象或运动场景的离散表示,这些对象已被广泛应用于沉浸式触发,自主驾驶,监视,\ textit {etc}。但是,从传感器中获得的点云通常受到噪声的扰动,这会影响下游任务,例如表面重建和分析。尽管为静态点云降级而做出了许多努力,但很少有作品解决动态点云降级。在本文中,我们提出了一种新型的基于梯度的动态点云降解方法,利用了梯度场估计的时间对应关系,这也是动态点云处理和分析中的基本问题。梯度场是嘈杂点云的对数概况函数的梯度,我们基于我们执行梯度上升,以使每个点收敛到下面的清洁表面。我们通过利用时间对应关系来估计每个表面斑块的梯度,在该时间对应关系中,在经典力学中搜索了在刚性运动的情况下搜索的时间对应贴片。特别是,我们将每个贴片视为一个刚性对象,它通过力在相邻框架的梯度场中移动,直到达到平衡状态,即当贴片上的梯度总和到达0时。由于梯度在该点更接近下面的表面,平衡贴片将适合下层表面,从而导致时间对应关系。最后,沿贴片中每个点的位置沿相邻帧中相应的贴片平均的梯度方向更新。实验结果表明,所提出的模型优于最先进的方法。
translated by 谷歌翻译
尽管在各种应用中取得了突出的性能,但点云识别模型经常遭受自然腐败和对抗性扰动的困扰。在本文中,我们深入研究了点云识别模型的一般鲁棒性,并提出了点云对比对抗训练(PointCat)。 PointCat的主要直觉是鼓励目标识别模型缩小清洁点云和损坏点云之间的决策差距。具体而言,我们利用有监督的对比损失来促进识别模型提取的超晶体特征的对齐和均匀性,并设计一对带有动态原型指南的集中式损失,以避免这些特征与其属于其属于其归属类别群的偏离。为了提供更具挑战性的损坏点云,我们对噪声生成器以及从头开始的识别模型进行了对手训练,而不是将基于梯度的攻击用作内部循环,例如以前的对手训练方法。全面的实验表明,在包括各种损坏的情况下,所提出的PointCat优于基线方法,并显着提高不同点云识别模型的稳健性,包括各向同性点噪声,LIDAR模拟的噪声,随机点掉落和对抗性扰动。
translated by 谷歌翻译
最近,3D深度学习模型已被证明易于对其2D对应物的对抗性攻击影响。大多数最先进的(SOTA)3D对抗性攻击对3D点云进行扰动。为了在物理场景中再现这些攻击,需要重建生成的对抗3D点云以网状,这导致其对抗效果显着下降。在本文中,我们提出了一个名为Mesh攻击的强烈的3D对抗性攻击,通过直接对3D对象的网格进行扰动来解决这个问题。为了利用最有效的基于梯度的攻击,介绍了一种可差异化的样本模块,其反向传播点云梯度以网格传播。为了进一步确保没有异常值和3D可打印的对抗性网状示例,采用了三种网格损耗。广泛的实验表明,所提出的方案优于SOTA 3D攻击,通过显着的保证金。我们还在各种防御下实现了SOTA表现。我们的代码可用于:https://github.com/cuge1995/mesh-attack。
translated by 谷歌翻译
Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.
translated by 谷歌翻译
深神经网络(DNN)对不可感知的恶意扰动高度敏感,称为对抗性攻击。在实际成像和视觉应用中发现了这种脆弱性之后,相关的安全问题引起了广泛的研究关注,并且已经开发出许多防御技术。这些防御方法中的大多数都依赖于对抗性训练(AT) - 根据特定威胁模型对图像的分类网络进行训练,该模型定义了允许修改的幅度。尽管在带来有希望的结果的情况下,对特定威胁模型的培训未能推广到其他类型的扰动。一种不同的方法利用预处理步骤从受攻击的图像中删除对抗性扰动。在这项工作中,我们遵循后一条路径,并旨在开发一种技术,从而导致在威胁模型各种实现中的强大分类器。为此,我们利用了随机生成建模的最新进展,并将其利用它们用于从条件分布中进行采样。我们的辩护依赖于在受攻击的图像中添加高斯i.i.d噪声,然后进行了预验证的扩散过程 - 一种在脱氧网络上执行随机迭代过程的体系结构,从而产生了高感知质量质量的结果。通过在CIFAR-10数据集上进行的广泛实验,通过此随机预处理步骤获得的鲁棒性得到了验证,这表明我们的方法在各种威胁模型下都优于领先的防御方法。
translated by 谷歌翻译
在本文中,我们提出了一种新颖的指导性扩散纯化方法,以防御对抗攻击。我们的模型在CIFAR-10数据集上的PGD-L_INF攻击(EPS = 8/255)下实现了89.62%的鲁棒精度。我们首先探讨了未引导的扩散模型与随机平滑之间的基本相关性,从而使我们能够将模型应用于认证的鲁棒性。经验结果表明,当认证的L2半径R大于0.5时,我们的模型优于随机平滑的5%。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用,包括融入式远程呈现,自动驾驶,监视等。它们通常是由噪声扰动或由低密度,这妨碍下游的任务,如表面重建遭受和理解。在本文中,我们提出了点集的二次采样恢复,这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是,我们表示经由其梯度场点云 - 对数概率密度函数的梯度,和执行梯度场是连续的,这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场,重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛(MCMC)。此外,我们提出了点云恢复,基本上迭代地细化中间重采样点云,并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明,该点集重采样实现了代表恢复工作,包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
3D点云是捕获真实世界3D对象的重要3D表示。但是,真正扫描的3D点云通常不完整,并且对于恢复下游应用程序的完整点云非常重要。大多数现有点云完成方法使用倒角距离(CD)训练丢失。通过搜索最近的邻居,CD损耗估计两个点云之间的对应关系,该邻居不会捕获所生成的形状上的总点密度分布,因此可能导致非均匀的点云生成。为了解决这个问题,我们提出了一个新的点扩散细化(PDR)范例,用于点云完成。 PDR包括条件生成网络(CGNET)和细化网络(RFNET)。 CGNET使用称为去噪扩散概率模型(DDPM)的条件生成模型,以在部分观察中产生粗略完成。 DDPM在生成的点云和统一的地面真理之间建立一对一的映射,然后优化平均平方误差损耗以实现均匀生成。 RFNET精制CGNet的粗输出,并进一步提高完成点云的质量。此外,我们开发了两个网络的新型双路架构。该体系结构可以(1)有效且有效地从部分观察到的点云提取多级特征以指导完成,并且(2)精确地操纵3D点的空间位置以获得平滑的表面和尖锐的细节。各种基准数据集上的广泛实验结果表明,我们的PDR范例优于以前的最先进的方法,用于点云完成。值得注意的是,在RFNET的帮助下,我们可以在没有太多的性能下降的情况下加速DDPM的迭代生成过程。
translated by 谷歌翻译
可靠的皮肤癌诊断模型在早期筛查和医疗干预中起着至关重要的作用。流行的计算机辅助皮肤癌分类系统采用深度学习方法。然而,最近的研究揭示了它们对对抗攻击的极端脆弱性 - 通常无法察觉地扰动,可显着降低皮肤癌诊断模型的性能。为了减轻这些威胁,这项工作通过在皮肤癌图像中进行反向对抗性扰动提出了一个简单,有效和资源有效的防御框架。具体而言,首先建立了多尺度图像金字塔,以更好地保留医学成像域中的判别结构。为了中和对抗性效应,通过注射各向同性高斯噪声将不同尺度的皮肤图像逐渐扩散,以将对抗性示例移至干净的图像歧管。至关重要的是,为了进一步逆转对抗性的噪音并抑制了冗余的注射噪声,精心设计了一种新型的多尺度降级机制,可以从相邻尺度汇总图像信息。我们评估了方法对ISIC 2019的防御效果,这是最大的皮肤癌多类分类数据集。实验结果表明,所提出的方法可以成功地逆转不同攻击的对抗扰动,并且在捍卫皮肤癌诊断模型中的某些最新方法明显优于某些最先进的方法。
translated by 谷歌翻译
通过深度传感器捕获的点云通常被噪音污染,阻碍了进一步的分析和应用。在本文中,我们强调了点分布均匀性对下游任务的重要性。我们证明了现有基于梯度的DeNoiser产生的点云尽管取得了有希望的定量结果,但仍缺乏统一性。为此,我们提出了GPCD ++,这是一种基于梯度的DeNoiser,其超轻质网络名为UNINET,以解决均匀性。与以前的最先进方法相比,我们的方法不仅会产生竞争性甚至更好地降解结果,而且还显着改善了统一性,这在很大程度上使诸如表面重建之类的应用受益。
translated by 谷歌翻译
利用3D点云数据已经成为在面部识别和自动驾驶等许多领域部署人工智能的迫切需要。然而,3D点云的深度学习仍然容易受到对抗的攻击,例如迭代攻击,点转换攻击和生成攻击。这些攻击需要在严格的界限内限制对抗性示例的扰动,导致不切实际的逆势3D点云。在本文中,我们提出了对普遍的图形 - 卷积生成的对抗网络(ADVGCGAN)从头开始产生视觉上现实的对抗3D点云。具体地,我们使用图形卷积发电机和带有辅助分类器的鉴别器来生成现实点云,从真实3D数据学习潜在分布。不受限制的对抗性攻击损失纳入GaN的特殊逆势训练中,使得发电机能够产生对抗实例来欺骗目标网络。与现有的最先进的攻击方法相比,实验结果表明了我们不受限制的对抗性攻击方法的有效性,具有更高的攻击成功率和视觉质量。此外,拟议的Advgcan可以实现更好的防御模型和比具有强烈伪装的现有攻击方法更好的转移性能。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
Diffusion models have shown great promise for image generation, beating GANs in terms of generation diversity, with comparable image quality. However, their application to 3D shapes has been limited to point or voxel representations that can in practice not accurately represent a 3D surface. We propose a diffusion model for neural implicit representations of 3D shapes that operates in the latent space of an auto-decoder. This allows us to generate diverse and high quality 3D surfaces. We additionally show that we can condition our model on images or text to enable image-to-3D generation and text-to-3D generation using CLIP embeddings. Furthermore, adding noise to the latent codes of existing shapes allows us to explore shape variations.
translated by 谷歌翻译