生成性对抗网络(GAN)可以在不同类型的数据上获得复杂数据分布的有前途的表现。在本文中,我们首先表明现有GAN算法的直接扩展不适用于点云,因为鉴别器所需的约束对于集合数据是未定义的。我们建议对GAN算法进行双重修改以学习生成点云(PC-GAN)。首先,我们通过学习分层和可解释的抽样过程,将来自分层贝叶斯建模和隐式生成模型的思想结合起来。我们方法的一个关键组成部分是我们为隐藏变量训练后验推理网络。其次,我们不是仅使用最先进的Wasserstein GAN目标,而是提出一个夹心目标,这导致比一般情况更严格的Wassersteindistance估计。使用双重形式。因此,PC-GAN定义了可以包含许多现有GAN算法的通用框架。我们对ModelNet40基准数据集的声明进行了验证。利用生成点云和真实网格之间的距离作为度量,我们发现通过夹心目标训练的PC-GAN比现有方法在测试数据上获得更好的结果。此外,作为副产品,PC-GAN学习点云的多种潜在表示,其可以与对象识别任务上的其他无监督学习算法实现竞争性能。最后,我们还提供了关于生成看不见的对象类和将图像转换为点云的研究,这展示了PC-GAN的引人注目的泛化能力和潜力。
translated by 谷歌翻译
本文通过合并来自两个现有数据集的不同类型的信息,介绍了DensePoint,一个密集采样和注释的点云数据集,包含16个类别的10,000多个单个对象。密集点中的每个点云包含40,000个点,每个点与两种信息相关联:RGB值和部分注释。此外,我们提出了一种利用生成对抗网络(GAN)进行点云着色的方法。通过仅给出点云本身,网络可以为单个对象的点云生成颜色。在DensePoints上的实验表明,在对象的不同部分之间的点云中存在明确的边界,这表明所提出的网络能够生成合理的良好颜色。我们的数据集可在项目页面上公开获取。
translated by 谷歌翻译
We propose a novel neural network architecture for point cloud classification. Our key idea is to automatically transform the 3D unordered input data into a set of useful 2D depth images, and classify them by exploiting well performing image classification CNNs. We present new differen-tiable module designs to generate depth images from a point cloud. These modules can be combined with any network architecture for processing point clouds. We utilize them in combination with state-of-the-art classification networks, and get results competitive with the state of the art in point cloud classification. Furthermore, our architecture automatically produces informative images representing the input point cloud, which could be used for further applications such as point cloud visualization.
translated by 谷歌翻译
点云提供灵活自然的表示,可用于机器人或自动驾驶汽车等无数应用。最近,在原始点云数据上运行的深度网络已经在监督学习任务(例如对象分类和语义分割)方面显示出有希望的结果。虽然可以使用现代扫描技术捕获大量点云数据集,但是手动标记这种大型3D点云的监督学习任务是一个繁琐的过程。这需要有效的无监督学习方法,其可以产生表示,使得下游任务需要显着更少的注释样本。我们提出了对原始点云数据进行无监督学习的新方法,其中训练神经网络以预测两个点云段之间的空间关系。在解决此任务时,将学习捕获点云的语义属性的表示。我们的方法在下游对象分类和分段任务中优于先前的监督学习方法,并且与完全监督的方法相当。
translated by 谷歌翻译
神经网络易受对抗性示例的攻击,这对其在安全敏感系统中的应用构成威胁。我们提出简单的随机抽样(SRS)和统计异常值消除(SOR)作为3D点云分类的防御,其中两种方法通过估计作为对抗点的点的概率来移除点。与作为最先进的防御方法的整体对抗训练相比,SOR具有以下几个优点:更好的防御性能,随机化使得网络对对抗点云更加健壮,无需额外的训练或微调,并且通过添加需要很少的计算特别是,我们在ModelNet40上的实验表明,SOR在实践中作为防御非常有效。这些防御的力量在于它们不可分割的性质和固有的随机性,这使得对手难以规避防御。我们最好的防御措施消除了C&W和基于l2损失的攻击方法的81.4%的强大白盒攻击。
translated by 谷歌翻译
机器学习模型尤其是深度神经网络(DNN)已经成功地应用于各种应用。然而,众所周知,DNN容易受到对抗性的例子的影响,这些例子是精心设计的实例,旨在使学习模型做出错误的预测。最近,对于2D图像,自然语言和音频数据集已经广泛研究了对抗性示例,而3D模型的稳健性尚未得到探索。鉴于3D模型的广泛安全关键应用,例如用于自动驾驶中激光雷达数据的PointNet,了解在各种对抗性攻击下3D模型的脆弱性非常重要。由于点云数据的特殊格式,在点云空间中生成adversarialexamples具有挑战性。在这项工作中,我们提出了新的算法,以针对PointNet生成对抗点云,PointNet是处理点云数据的最广泛使用的模型。我们主要提出两种类型的点云攻击:不明显的对抗点云,以及用于物理攻击的可制造的对抗点集群。对于不可察觉的点云,我们建议将现有的移位或添加新点忽略不计以制造“不明显的”扰动。对于对抗点集群,我们建议生成少量明显的“可制造对偶点集群”,这些集群是明显但有意义的集群。这些对抗点集群的目标是通过3D打印合成对象并将其粘贴到实现“物理攻击”原始对象。此外,我们提出了针对不同攻击的7个扰动测量指标,并进行了大量实验来评估ModelNet40数据集上提出的算法。总的来说,我们的攻击算法可以使所有目标攻击的攻击成功率达到100%。
translated by 谷歌翻译
大多数依赖基于深度学习的方法来生成3D点集的算法只能生成包含固定数量点的云。此外,它们通常需要通过多个权重参数化的大型网络,这使得它们难以训练。在本文中,我们提出了一种自动编码器体系结构,它既可以编码和解码任意化的云,也可以在稀疏点云的上采样中证明其有效性。有趣的是,我们可以使用不到一半的参数作为最先进的体系结构。同时仍然提供更好的性能。我们将使我们的代码库完全可用。
translated by 谷歌翻译
使用深度神经网络进行3D对象分类和分割已经非常成功。由于识别3D对象的问题具有对安全性至关重要的应用,因此神经网络必须对输入数据集的对抗性改变具有鲁棒性。越来越多的研究产生了人类难以察觉的对抗性攻击,并且防御了二维图像分类领域。然而,3D对象与2D图像具有各种差异,并且到目前为止还没有对该特定领域进行严格的研究。我们通过评估针对2D图像提出的白盒和黑盒对抗性攻击以及降低3D空间中扰动的可感知性,对深度3D点云分类器(即PointNet和PointNet ++)进行对抗性攻击的初步评估。我们还通过提出利用3D点云的独特结构的新防御,展示了针对这些攻击的简单防御的高效性。最后,我们试图通过点云和神经网络架构的内在结构来解释防御的有效性。总的来说,我们发现处理3D pointcloud数据的网络对抗对抗攻击很弱,但与2D图像分类器相比,它们也更容易防范。我们的调查将为未来研究提供地面工作,以提高处理3D数据的深度神经网络的鲁棒性。
translated by 谷歌翻译
3D点云是三维结构的高效灵活表示。最近,在点云上运行的神经网络在形状分类和零件分割等任务上表现出了卓越的性能。然而,这些任务的性能是使用完整的,对齐的形状来评估的,而现实世界3D数据是部分和未对齐的。从未对齐的点云数据中学习的关键挑战是如何在几何变换方面获得不变性的方差分析。为了应对这一挑战,我们提出了一种新的变压器网络,该网络在3D点云上运行,称为迭代变压器网络(IT-Net)。与现有的变压器网络不同,IT-Net使用由经典图像和点云对齐算法启发的aniterative精简方案预测3D刚性变换。我们证明了使用IT-Net的模型在部分,未对齐的3D形状的分类和分割方面比基线实现了更高的性能。此外,我们提供了一个分析,该方法用于从部分观测中估计精确的物体姿态。
translated by 谷歌翻译
语义形状完成是3D计算机视觉中的挑战性问题,其任务是使用部分3D形状作为输入生成完整的3D形状。我们提出了一种基于学习的方法,通过生成建模和潜在流形优化来完成不完整的3D形状。我们的算法直接在点云上工作。我们使用自动编码器和GAN来学习对象类点云的嵌入分布。具有缺失区域的输入点云首先被编码为特征向量。然后,使用GAN学习的表示使用组合优化来找到歧管中的最佳潜在向量,该组合优化在接近原始输入的合理向量的流形中找到向量(在解码器的特征空间和输出空间中)。实验表明,该算法能够成功地重建具有高保真度的大丢失区域的点云,而不必依赖基于样本的数据库检索。
translated by 谷歌翻译
在本文中,我们提出了一个框架,用于从单视图RGB图像生成对象的3D点云。大多数先前的工作直接预测来自单个RGB图像的3D点坐标。我们将这个问题从单个图像分解为内部估计,并从部分点云中分解完成。我们的方法按顺序预测深度图,然后根据预测的部分点云推断出完整的3D对象点云。我们明确地将相机模型几何约束强加在我们的管道中,并强制生成的点云和估计的深度图的对齐。单图像三维物体重建任务的实验结果表明,该方法优于现有技术方法。定性和定量结果均证明了该方法的通用性和适用性。
translated by 谷歌翻译
Input WLOP + RIMLS POISSON EAR + RIMLS APSS OURS + RIMLS RIMLS Ground Truth Figure 1: Surface reconstruction from a noisy and sparse point cloud is an ill-posed problem with infinitely many possible reconstructed surfaces. Our technique consolidates an input point cloud by learning local maps from input to output geometry patches to enhance reconstructions with accurate geometric features and details. This leads to significant improvements for the resulting surfaces. Abstract With the widespread use of 3D acquisition devices, there is an increasing need of consolidating captured noisy and sparse point cloud data for accurate representation of the underlying structures. There are numerous algorithms that rely on a variety of assumptions such as local smoothness to tackle this ill-posed problem. However, such priors lead to loss of important features and geometric detail. Instead, we propose a novel data-driven approach for point cloud consolidation via a convolutional neural network based technique. Our method takes a sparse and noisy point cloud as input, and produces a dense point cloud accurately representing the underlying surface by resolving ambiguities in geometry. The resulting point set can then be used to reconstruct accurate manifold surfaces and estimate surface properties. To achieve this, we propose a generative neural network architecture that can input and output point clouds, unlocking a powerful set of tools from the deep learning literature. We use this architecture to apply convolutional neural networks to local patches of geometry for high quality and efficient point cloud consolidation. This results in significantly more accurate surfaces, as we illustrate with a diversity of examples and comparisons to the state-of-the-art.
translated by 谷歌翻译
我们提出了一种机制来重建仅给出单个输入图像的部分注释的3D点云对象。我们证明,与单独培训每项任务相比,重建和分段的联合培训可以提高任务的性能。关键思想是传播来自每个任务的信息,以便在训练过程中帮助另一个任务。为此,我们在培训制度中引入了位置感知分段损失。我们凭经验证明了所提出的损失在产生更忠实的部分重建方面的有效性,同时也提高了分割的准确性。我们从ShapeNet数据集中彻底评估了对不同对象类别的建议方法,以获得重建和分割方面的改进结果。
translated by 谷歌翻译
Recent deep networks that directly handle points in a point set, e.g., PointNet, have been state-of-the-art for supervised learning tasks on point clouds such as classification and segmentation. In this work, a novel end-to-end deep auto-encoder is proposed to address unsupervised learning challenges on point clouds. On the encoder side, a graph-based enhancement is enforced to promote local structures on top of PointNet. Then, a novel folding-based decoder deforms a canonical 2D grid onto the underlying 3D object surface of a point cloud, achieving low reconstruction errors even for objects with delicate structures. The proposed decoder only uses about 7% parameters of a decoder with fully-connected neural networks, yet leads to a more discriminative representation that achieves higher linear SVM classification accuracy than the benchmark. In addition, the proposed decoder structure is shown, in theory, to be a generic architecture that is able to reconstruct an arbitrary point cloud from a 2D grid. Our code is available at http://www.merl.com/research/ license#FoldingNet
translated by 谷歌翻译
稀疏3D点云的高质量上采样对于广泛的几何操作(例如重建,渲染,网格划分和分析)非常有用。在本文中,我们提出了一种数据驱动算法,该算法能够在不需要硬编码规则的情况下对3D点云进行上采样。 Ourapproach使用具有倒角距离的深度网络作为损失函数,能够学习属于不同对象类别的点云中的潜在特征。我们在不同的放大因子上评估我们的算法,在对属于同一类别的对象以及不同类别上学习和执行上采样。我们还探索了输入点云的理想特性,作为点样本分布的函数。最后,我们演示了我们的算法单类别训练与多类别训练场景的表现。将最终提出的模型与基线,基于优化的上采样方法进行比较。结果表明,我们的算法能够产生更均匀和准确的上采样。
translated by 谷歌翻译
This paper presents SO-Net, a permutation invariant architecture for deep learning with orderless point clouds. The SO-Net models the spatial distribution of point cloud by building a Self-Organizing Map (SOM). Based on the SOM, SO-Net performs hierarchical feature extraction on individual points and SOM nodes, and ultimately represents the input point cloud by a single feature vector. The receptive field of the network can be systematically adjusted by conducting point-to-node k nearest neighbor search. In recognition tasks such as point cloud reconstruction, classification , object part segmentation and shape retrieval, our proposed network demonstrates performance that is similar with or better than state-of-the-art approaches. In addition, the training speed is significantly faster than existing point cloud recognition networks because of the parallelizability and simplicity of the proposed architecture. Our code is available at the project website. 1
translated by 谷歌翻译
形状完成,从部分观察中估计物体的完整几何形状的问题,是许多视觉和机器人应用的核心。在这项工作中,我们提出了点完成网络(PCN),这是一种基于新颖的基于学习的形状完成方法。与现有的形状完成方法不同,PCN直接在原始点云上操作而没有关于基础形状的任何结构化(例如对称性)或注释(例如语义类)。它采用解码器设计,可在保持少量参数的同时生成细粒度完井。 Ourexperiments显示PCN产生密集,完整的点云,输入中缺失区域的实际结构具有不同程度的不完整性和噪声,包括来自KITTI数据集中LiDAR扫描的汽车。
translated by 谷歌翻译
重建对象的高分辨率3D模型是计算机视觉中的挑战性任务。在解决这个问题的同时,设计可扩展且轻量级的架构是非常重要的。现有的基于点云的重构方法直接预测单个阶段中的整个点云。虽然这种技术可以处理低分辨率点云,但它不是生成密集,高分辨率输出的可行解决方案。在这项工作中,我们引入了DensePCR,一种用于点云重建的深锥体网络,它可以分层地预测逐渐增加分辨率的点云。为此,我们提出了一种架构,首先预测低分辨率点云,然后通过聚合局部和全局点特征来分层增加分辨率以使网格变形。我们的方法生成精确,均匀和密集的点云。通过对合成和真实数据集的广泛定量和定性评估,我们证明DensePCR优于现有的最先进的点云重构工作,同时还提供了轻量级和可扩展的体系结构,用于预测高分辨率输出。
translated by 谷歌翻译
本文提出了一种数据驱动的方法,以实现快速的设计支持,以生成或开发涵盖多个对象类别的新颖设计。该方法实现了两个处理3D模型数据的最先进的VariationalAutoencoder。我们的方法构建了自定义的损失函数。包含自动编码器中某些层的输出的损失函数获得来自不同3D模型类别的不同潜在特征的组合。此外,本文还提供了详细解释,以利用Princeton ModelNet40数据库,这是一个全面清晰的对象3D CAD模型集合。将原始3D网格文件转换为体素和pointcloud数据类型后,我们可以为我们的自动编码器提供相同尺寸的数据。这项工作的新颖之处在于利用深度学习方法的强大功能作为一种有效的潜在特征提取器来探索未知的设计领域。通过这个项目,我们期望输出可以显示来自不同类别的模型的清晰平滑解释,以开发快速设计支持以生成新颖的形状。该最终报告将探讨1)理论思想,2)实现Variantional Autoencoder从输入形状获取隐式特征的进展,3)在3D体素数据和3D点云数据的选定域中训练时输出形状的结果,以及4)结论和未来的工作,以实现更优秀的目标。
translated by 谷歌翻译
生成系统具有合成创新设计替代方案的巨大潜力。尽管如此,设计中采用的大多数常见系统都要求设计人员明确定义程序的规范,在某些情况下还要设计空间。相比之下,生成系统可以通过在没有设计者监督的情况下处理存在解决方案的数据库来潜在地学习这两个方面。为了探索这种可能性,我们回顾了机器学习中生成模型的最新进展以及设计中学习技术的当前应用。然后,我们描述了一个名为DeepCloud的数据驱动生成系统的开发。它将点云的自动编码器架构与基于Web的界面和模拟输入设备相结合,为数据驱动的设计替代方案提供直观体验。我们描述了两个DeepCloud原型的实现,它们的贡献以及生成设计的潜力。
translated by 谷歌翻译