在本文中，我们评估了用于3D点云处理的深神经网络（DNN）中编码的知识表示的质量。我们提出了一种方法来解开整体模型脆弱性进入旋转，翻译，尺度和局部3D结构的敏感性。此外，我们还提出了指标来评估编码3D结构的空间平滑度，以及DNN的表示复杂性。基于此类分析，实验将揭示经典DNN的表现问题，并解释对抗性培训的效用。

本文提供了统一的观点来解释不同的对抗攻击和防御方法，\ emph {i.e.} DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。

本文提供了一个统一的观点来解释不同的逆势攻击和防御方法，即DNN的输入变量之间的多阶交互的视图。根据多阶互动，我们发现对抗性攻击主要影响愚弄DNN的高阶相互作用。此外，我们发现前列培训的DNN的鲁棒性来自特定于类别的低阶交互。我们的研究结果提供了统一对抗的扰动和鲁棒性的潜在方法，可以以原则方式解释现有的防御方法。此外，我们的调查结果还修订了先前的不准确了解对抗普遍学习特征的偏差。

本文探讨了深度神经网络（DNN）的特征表示的瓶颈，从DNN中编码的输入变量之间的相互作用的复杂性的角度来看。为此，我们专注于输入变量之间的多阶交互，其中顺序表示交互的复杂性。我们发现DNN更有可能编码过于简单的相互作用和过于复杂的相互作用，但通常无法学习中间复杂性的相互作用。这种现象被不同的DNN广泛共享，用于不同的任务。这种现象表明了DNN和人类之间的认知差距，我们称之为瓶颈。理论上，理论上证明了代表瓶颈的潜在原因。此外，我们提出了鼓励/惩罚特定复杂性的相互作用的损失，并分析不同复杂性相互作用的表示能力。

本文介绍了一种解释在深神经网络（DNN）中向前传播期间每个输入变量的信息如何逐渐丢弃的方法，该信息提供了解释DNN的新观点。我们定义了两种类型的基于熵的指标，即（1）向前传播中使用的像素范围信息的丢弃，以及（2）输入重建的不确定性，以从两个角度测量特定层所包含的输入信息。与以前的归因指标不同，所提出的指标可确保不同DNN不同层之间比较的公平性。我们可以使用这些指标来分析DNN中信息处理的效率，后者与DNN的性能表现出牢固的联系。我们以像素方式分析信息丢弃的信息，这与信息瓶颈理论测量特征信息W.R.T.不同。样本分布。实验显示了我们指标在分析经典DNN和解释现有深度学习技术方面的有效性。

本文提出了一种可视化DNN编码的中间层视觉模式的辨别力的方法。具体而言，我们可视化（1）DNN在训练过程中如何逐渐学习各个中间层中的区域视觉模式，（2）DNN使用低层中的非辨别模式的效果来构建中/高层中的剥离图案通过前向传播。基于我们的可视化方法，我们可以量化DNN学习的知识点（即，判别视觉模式的数量）来评估DNN的表示能力。此外，该方法还提供了新的洞察现有的深度学习技术的信号处理行为，例如对抗攻击和知识蒸馏。

与从头开始的传统学习相比，知识蒸馏有时会使DNN实现卓越的性能。本文提供了一种新的观点，可以根据信息理论来解释知识蒸馏的成功，即量化在DNN的中间层中编码的知识点。为此，我们将DNN中的信号处理视为丢弃层的信息。知识点称为输入单元，其信息比其他输入单元所丢弃的信息要少得多。因此，我们根据知识点的量化提出了三个用于知识蒸馏的假设。 1. DNN从知识蒸馏中学习比从头开始学习的DNN学习更多的知识点。 2.知识蒸馏使DNN更有可能同时学习不同的知识点。相比之下，从头开始的DNN学习倾向于顺序编码各种知识点。 3.与从头开始学习的DNN学习通常更稳定地优化了从知识蒸馏中学习的DNN学习。为了验证上述假设，我们设计了具有前景对象注释的三种类型的指标，以分析DNN的功能表示，\ textit {i.e。}知识点的数量和质量，不同知识点的学习速度，以及优化方向的稳定性。在实验中，我们诊断出各种DNN的不同分类任务，即图像分类，3D点云分类，二进制情感分类和问题回答，这些问题验证了上述假设。

尽管已经提出了许多方法来增强对抗性扰动的可转移性，但这些方法是以启发式方式设计的，并且尚不清楚改善对抗性转移性的基本机制。本文总结了在统一视图中以十二个以前的可传递性提高方法共享的共同机制，即这些方法都减少了区域对抗性扰动之间的游戏理论相互作用。为此，我们专注于区域对抗扰动之间所有相互作用的攻击效用，我们首先发现并证明了对抗传递性与相互作用的攻击效用之间的负相关性。基于这一发现，我们从理论上证明并从经验上验证了十二种以前的可传递性提高方法均减少了区域对抗扰动之间的相互作用。更重要的是，我们将相互作用的减少视为增强对抗性转移性的基本原因。此外，我们设计了交互损失，以直接惩罚攻击过程中区域对抗扰动之间的相互作用。实验结果表明，相互作用损失显着提高了对抗扰动的转移性。

点云识别是工业机器人和自主驾驶中的重要任务。最近，几个点云处理模型已经实现了最先进的表演。然而，这些方法缺乏旋转稳健性，并且它们的性能严重降低了随机旋转，未能扩展到具有不同方向的现实情景。为此，我们提出了一种名为基于自行轮廓的转换（SCT）的方法，该方法可以灵活地集成到针对任意旋转的各种现有点云识别模型中。 SCT通过引入轮廓感知的转换（CAT）提供有效的旋转和翻译不变性，该转换（CAT）线性地将点数的笛卡尔坐标转换为翻译和旋转 - 不变表示。我们证明猫是一种基于理论分析的旋转和翻译不变的转换。此外，提出了帧对准模块来增强通过捕获轮廓并将基于自平台的帧转换为帧内帧来增强鉴别特征提取。广泛的实验结果表明，SCT在合成和现实世界基准的有效性和效率的任意旋转下表现出最先进的方法。此外，稳健性和一般性评估表明SCT是稳健的，适用于各种点云处理模型，它突出了工业应用中SCT的优势。

本文的目的是理论上分析具有relu层的分段线性DNN中编码的特征转换的复杂性。我们建议指标根据信息理论衡量转换的三种复杂性。我们进一步发现并证明了转换的复杂性和分离之间的密切相关性。根据提议的指标，我们分析了训练过程中转换复杂性变化的两个典型现象，并探索DNN复杂性的上限。所提出的指标也可以用作学习具有最小复杂性的DNN的损失，这也控制DNN的过度拟合水平并影响对抗性的鲁棒性，对抗性转移性和知识一致性。全面的比较研究为了解DNN提供了新的观点。

随着各种3D安全关键应用的关注，点云学习模型已被证明容易受到对抗性攻击的影响。尽管现有的3D攻击方法达到了很高的成功率，但它们会以明显的扰动来深入研究数据空间，这可能会忽略几何特征。取而代之的是，我们从新的角度提出了点云攻击 - 图谱域攻击，旨在在光谱域中扰动图形转换系数，该系数对应于改变某些几何结构。具体而言，利用图形信号处理，我们首先通过图形傅立叶变换（GFT）自适应地将点的坐标转换为光谱域，以进行紧凑的表示。然后，我们基于我们建议通过可学习的图形光谱滤波器扰动GFT系数的几何结构的影响。考虑到低频组件主要有助于3D对象的粗糙形状，我们进一步引入了低频约束，以限制不察觉到的高频组件中的扰动。最后，通过将扰动的光谱表示形式转换回数据域，从而生成对抗点云。实验结果证明了拟议攻击的有效性，这些攻击既有易经性和攻击成功率。

虽然近年来，在2D图像领域的攻击和防御中，许多努力已经探讨了3D模型的脆弱性。现有的3D攻击者通常在点云上执行点明智的扰动，从而导致变形的结构或异常值，这很容易被人类察觉。此外，它们的对抗示例是在白盒设置下产生的，当转移到攻击远程黑匣子型号时经常遭受低成功率。在本文中，我们通过提出一种新的难以察觉的转移攻击（ITA）：1）难以察觉的3D点云攻击来自两个新的和具有挑战性的观点：1）难以察觉：沿着邻域表面的正常向量限制每个点的扰动方向，导致产生具有类似几何特性的示例，从而增强了难以察觉。 2）可转移性：我们开发了一个对抗性转变模型，以产生最有害的扭曲，并强制实施对抗性示例来抵抗它，从而提高其对未知黑匣子型号的可转移性。此外，我们建议通过学习更辨别的点云表示来培训更强大的黑盒3D模型来防御此类ITA攻击。广泛的评估表明，我们的ITA攻击比最先进的人更令人无法察觉和可转让，并验证我们的国防战略的优势。

学习3D点云的新表示形式是3D视觉中的一个活跃研究领域，因为订单不变的点云结构仍然对神经网络体系结构的设计构成挑战。最近的作品探索了学习全球或本地功能或两者兼而有之，但是均未通过分析点的局部方向分布来捕获上下文形状信息的早期方法。在本文中，我们利用点附近的点方向分布，以获取点云的表现力局部邻里表示。我们通过将给定点的球形邻域分为预定义的锥体来实现这一目标，并将每个体积内部的统计数据用作点特征。这样，本地贴片不仅可以由所选点的最近邻居表示，还可以考虑沿该点周围多个方向定义的点密度分布。然后，我们能够构建涉及依赖MLP（多层感知器）层的Odfblock的方向分布函数（ODF）神经网络。新的ODFNET模型可实现ModelNet40和ScanObjectNN数据集的对象分类的最新精度，并在Shapenet S3DIS数据集上进行分割。

本文提出了分层和符号和或图形（AOG），客观地解释由训练有素的深层模型进行推理的内部逻辑。我们首先定义博弈论中解释器模型的客观性，我们开发了深层模型编码的逻辑和逻辑的严格表示。AOG解释者的客观性和可信度在理论上和实验验证。此外，我们提出了几种技术来提升解释的简明。

学习地区内部背景和区域间关系是加强点云分析的特征表示的两项有效策略。但是，在现有方法中没有完全强调的统一点云表示的两种策略。为此，我们提出了一种名为点关系感知网络（PRA-NET）的小说框架，其由区域内结构学习（ISL）模块和区域间关系学习（IRL）模块组成。ISL模块可以通过可差的区域分区方案和基于代表的基于点的策略自适应和有效地将本地结构信息动态地集成到点特征中，而IRL模块可自适应和有效地捕获区域间关系。在涵盖形状分类，关键点估计和部分分割的几个3D基准测试中的广泛实验已经验证了PRA-Net的有效性和泛化能力。代码将在https://github.com/xiwuchen/pra-net上获得。

基于混合的点云增强是一种流行的大规模公共数据集可用性问题的问题。但混合点和相应的语义标签之间的不匹配会阻碍诸如部分分割的方向任务中的进一步应用。本文提出了一种点云增强方法，Pointmanifoldcut（PMC），它取代了神经网络嵌入点，而不是欧几里德空间坐标。这种方法利用了在较高级别的神经网络的点已经培训，以培训以嵌入其邻居关系并混合这些表示不会混合自身与其标签之间的关系。我们在PointManifoldCut操作后设置了空间变换模块，以对齐嵌入式空间中的新实例。本文还讨论了不同隐藏层的效果和更换点的方法。实验表明，我们的建议方法可以增强点云分类以及分段网络的性能，并为攻击和几何变换带来了额外的鲁棒性。本文的代码可用于：https://github.com/fun0515/pinityManifoldcut。

Deep learning-based 3D object detectors have made significant progress in recent years and have been deployed in a wide range of applications. It is crucial to understand the robustness of detectors against adversarial attacks when employing detectors in security-critical applications. In this paper, we make the first attempt to conduct a thorough evaluation and analysis of the robustness of 3D detectors under adversarial attacks. Specifically, we first extend three kinds of adversarial attacks to the 3D object detection task to benchmark the robustness of state-of-the-art 3D object detectors against attacks on KITTI and Waymo datasets, subsequently followed by the analysis of the relationship between robustness and properties of detectors. Then, we explore the transferability of cross-model, cross-task, and cross-data attacks. We finally conduct comprehensive experiments of defense for 3D detectors, demonstrating that simple transformations like flipping are of little help in improving robustness when the strategy of transformation imposed on input point cloud data is exposed to attackers. Our findings will facilitate investigations in understanding and defending the adversarial attacks against 3D object detectors to advance this field.

刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而，仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册，融合封闭形式的通用Mani-折叠嵌入（UME）方法和深神经网络。这两者组合成一个统一的框架，名为Deepume，训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案，我们采用So（3） - 识别的坐标系来学习点云的联合重采样策略等（3） - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数，旨在克服在对称形状的注册中出现的歧义问题，当考虑嘈杂的场景时。我们表明，我们的混合方法在各种场景中优于最先进的注册方法，并概括到未操作数据集。我们的代码公开提供。

由于稀疏和嘈杂的测量，不完整的观察和大转化，3D对象的点云注册是非常具有挑战性的。在这项工作中，我们提出了匹配共识网络（GMCNet）的图表匹配，该网络估计了ultrange 1偏向部分点云注册（PPR）的姿势不变的对应关系。为了编码强大的点描述符，1）我们首先全面调查各种几何特征的变换 - 鲁棒性和远征性。 2）然后，我们采用新颖的转换 - 强大的点变换器（TPT）模块，以自适应地聚合有关结构关系的本地特征，其利用手工旋转 - 不变（$ RI $）功能和噪声弹性空间坐标。 3）基于分层图网络网络和图形建模的协同作用，我们提出了编码由I）从$ RI $特征中汲取的一项机会学习的强大描述符的分层图形建模（HGM）架构;并且ii）通过我们的TPT模块以不同尺度的相邻点关系编码的多个平滑术语。此外，我们用虚拟扫描构建一个具有挑战性的PPR数据集（MVP-RG）。广泛的实验表明，GMCNet优于PPR以前的最先进方法。值得注意的是，GMCNET编码每个点云的点描述符，而不使用CrossContexual信息，或接地真理对应进行培训。我们的代码和数据集将在https://github.com/paul007pl/gmcnet上获得。

3D动态点云提供了现实世界中的对象或运动场景的离散表示，这些对象已被广泛应用于沉浸式触发，自主驾驶，监视，\ textit {etc}。但是，从传感器中获得的点云通常受到噪声的扰动，这会影响下游任务，例如表面重建和分析。尽管为静态点云降级而做出了许多努力，但很少有作品解决动态点云降级。在本文中，我们提出了一种新型的基于梯度的动态点云降解方法，利用了梯度场估计的时间对应关系，这也是动态点云处理和分析中的基本问题。梯度场是嘈杂点云的对数概况函数的梯度，我们基于我们执行梯度上升，以使每个点收敛到下面的清洁表面。我们通过利用时间对应关系来估计每个表面斑块的梯度，在该时间对应关系中，在经典力学中搜索了在刚性运动的情况下搜索的时间对应贴片。特别是，我们将每个贴片视为一个刚性对象，它通过力在相邻框架的梯度场中移动，直到达到平衡状态，即当贴片上的梯度总和到达0时。由于梯度在该点更接近下面的表面，平衡贴片将适合下层表面，从而导致时间对应关系。最后，沿贴片中每个点的位置沿相邻帧中相应的贴片平均的梯度方向更新。实验结果表明，所提出的模型优于最先进的方法。