我们提出了MonteboxFinder，该方法给定嘈杂的输入点云将立方体适合输入场景。我们的主要贡献是一种离散的优化算法，从一组最初检测到的立方体，它能够有效地从嘈杂的盒子中过滤好盒子。受到MCT在理解问题的最新应用的启发，我们开发了一种随机算法，该算法是通过设计更有效的。确实，适合立方排列的质量对于将立方体添加到场景的顺序中是不变的。我们为我们的问题开发了几个搜索基准，并在扫描仪数据集上证明了我们的方法更有效和精确。最后，我们坚信我们的核心算法非常笼统，并且可以扩展到3D场景理解中的许多其他问题。

我们提出了一种适用于许多场景中的新方法，理解了适应Monte Carlo Tree Search（MCTS）算法的问题，该算法最初旨在学习玩高州复杂性的游戏。从生成的建议库中，我们的方法共同选择并优化了最小化目标项的建议。在我们的第一个从点云中进行平面图重建的应用程序中，我们的方法通过优化将深度网络预测的适应性组合到房间形状上的目标函数，选择并改进了以2D多边形为模型的房间建议。我们还引入了一种新型的可区分方法来渲染这些建议的多边形形状。我们对最近且具有挑战性的结构3D和Floor SP数据集的评估对最先进的表现有了显着改进，而没有对平面图配置施加硬性约束也没有假设。在我们的第二个应用程序中，我们扩展了从颜色图像重建一般3D房间布局并获得准确的房间布局的方法。我们还表明，可以轻松扩展我们的可区分渲染器，以渲染3D平面多边形和多边形嵌入。我们的方法在MatterPort3D-Layout数据集上显示了高性能，而无需在房间布局配置上引入硬性约束。

We present an automatic method for annotating images of indoor scenes with the CAD models of the objects by relying on RGB-D scans. Through a visual evaluation by 3D experts, we show that our method retrieves annotations that are at least as accurate as manual annotations, and can thus be used as ground truth without the burden of manually annotating 3D data. We do this using an analysis-by-synthesis approach, which compares renderings of the CAD models with the captured scene. We introduce a 'cloning procedure' that identifies objects that have the same geometry, to annotate these objects with the same CAD models. This allows us to obtain complete annotations for the ScanNet dataset and the recent ARKitScenes dataset.

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

从点云中自动创建几何模型在CAD（例如，逆向工程，制造，组装）中具有许多应用，并且通常在形状建模和处理中。给定一个代表人造对象的分段点云，我们提出了一种识别简单几何原语及其相互关系的方法。我们的方法基于Hough Transform（HT），以应对噪音，缺失零件和离群值的能力。在我们的方法中，我们介绍了一种用于处理分段点云的新技术，该技术通过投票程序能够提供表征每种原始类型的几何参数的初始估计。通过使用这些估计值，我们将对最佳解决方案的搜索定位在尺寸还原的参数空间中，从而使将HT扩展到比文献（即平面和球体中通常发现的）更有效。然后，我们提取了许多以唯一特征段的几何描述符，并且根据这些描述符，我们展示了如何汇总原语（段）（段）。对合成和工业扫描的实验揭示了原始拟合方法的鲁棒性及其在推断细分之间关系的有效性。

点云的语义场景重建是3D场景理解的必不可少的任务。此任务不仅需要识别场景中的每个实例，而且还需要根据部分观察到的点云恢复其几何形状。现有方法通常尝试基于基于检测的主链的不完整点云建议直接预测完整对象的占用值。但是，由于妨碍了各种检测到的假阳性对象建议以及对完整对象学习占用值的不完整点观察的歧义，因此该框架始终无法重建高保真网格。为了绕开障碍，我们提出了一个分离的实例网格重建（DIMR）框架，以了解有效的点场景。采用基于分割的主链来减少假阳性对象建议，这进一步使我们对识别与重建之间关系的探索有益。根据准确的建议，我们利用网状意识的潜在代码空间来解开形状完成和网格生成的过程，从而缓解了由不完整的点观测引起的歧义。此外，通过在测试时间访问CAD型号池，我们的模型也可以通过在没有额外训练的情况下执行网格检索来改善重建质量。我们用多个指标彻底评估了重建的网格质量，并证明了我们在具有挑战性的扫描仪数据集上的优越性。代码可在\ url {https://github.com/ashawkey/dimr}上获得。

现有的基于深度学习的3D对象检测器通常依赖于单个对象的外观，并且不明确注意场景的丰富上下文信息。在这项工作中，我们为3D对象检测（CMR3D）框架提出了上下文化的多阶段完善，该框架将3D场景作为输入，并努力在多个级别上明确整合场景的有用上下文信息，以预测一组对象界限盒以及它们相应的语义标签。为此，我们建议利用一个上下文增强网络，该网络在不同级别的粒度级别上捕获上下文信息，然后是多阶段修补模块，以逐步完善框位置和类预测。大规模ScannETV2基准测试的广泛实验揭示了我们提出的方法的好处，从而使基线的绝对提高了2.0％。除3D对象检测外，我们还研究了CMR3D框架在3D对象计数问题上的有效性。我们的源代码将公开发布。

三维（3D）建筑模型在许多现实世界应用中发挥着越来越竞触的作用，同时获得紧凑的建筑物的表现仍然是一个公开的问题。在本文中，我们提出了一种从点云中重建紧凑，水密的多边形建筑模型的新框架。我们的框架包括三个组件：（a）通过自适应空间分区生成一个单元复合物，该分区提供了作为候选集的多面体嵌入; （b）由深度神经网络学习隐式领域，促进建立占用估计; （c）配制马尔可夫随机场，通过组合优化提取建筑物的外表面。我们在形状重建，表面逼近和几何简化中评估和比较我们的最先进方法的方法。综合性和现实世界点云的实验表明，通过我们的神经引导策略，可以获得高质量的建筑模型，在保真度，紧凑性和计算效率方面具有显着的优势。我们的方法显示了对噪声和测量不足的鲁棒性，并且可以从合成扫描到现实世界测量中直接概括。

我们提出了一个Point2cyl，一个监督网络将原始3D点云变换到一组挤出缸。从原始几何到CAD模型的逆向工程是能够在形状编辑软件中操纵3D数据的重要任务，从而在许多下游应用中扩展其使用。特别地，具有挤出圆柱序列的CAD模型的形式 - 2D草图加上挤出轴和范围 - 以及它们的布尔组合不仅广泛应用于CAD社区/软件，而且相比具有很大的形状表现性具有有限类型的基元（例如，平面，球形和汽缸）。在这项工作中，我们介绍了一种神经网络，通过首先学习底层几何代理来解决挤出汽缸分解问题的挤出圆柱分解问题。精确地，我们的方法首先预测每点分割，基础/桶标签和法线，然后估计可分离和闭合形式配方中的底层挤出参数。我们的实验表明，我们的方法展示了两个最近CAD数据集，融合画廊和Deepcad上的最佳性能，我们进一步展示了逆向工程和编辑的方法。

近年来，由于其表达力和灵活性，神经隐式表示在3D重建中获得了普及。然而，神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中，我们重新审视经典且无处不在的点云表示，并使用泊松表面重建（PSR）的可分辨率配方引入可分化的点对网格层，其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示，从而实现诸如倒角距离的表面重建度量的端到端优化。因此，点和网格之间的这种二元性允许我们以面向点云表示形状，这是显式，轻量级和富有表现力的。与神经内隐式表示相比，我们的形状 - 点（SAP）模型更具可解释，轻量级，并通过一个级别加速推理时间。与其他显式表示相比，如点，补丁和网格，SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。

We introduce Similarity Group Proposal Network (SGPN), a simple and intuitive deep learning framework for 3D object instance segmentation on point clouds. SGPN uses a single network to predict point grouping proposals and a corresponding semantic class for each proposal, from which we can directly extract instance segmentation results. Important to the effectiveness of SGPN is its novel representation of 3D instance segmentation results in the form of a similarity matrix that indicates the similarity between each pair of points in embedded feature space, thus producing an accurate grouping proposal for each point. Experimental results on various 3D scenes show the effectiveness of our method on 3D instance segmentation, and we also evaluate the capability of SGPN to improve 3D object detection and semantic segmentation results. We also demonstrate its flexibility by seamlessly incorporating 2D CNN features into the framework to boost performance.

LIDAR传感器提供有关周围场景的丰富3D信息，并且对于自动驾驶汽车的任务（例如语义细分，对象检测和跟踪）变得越来越重要。模拟激光雷达传感器的能力将加速自动驾驶汽车的测试，验证和部署，同时降低成本并消除现实情况下的测试风险。为了解决以高保真度模拟激光雷达数据的问题，我们提出了一条管道，该管道利用移动映射系统获得的现实世界点云。基于点的几何表示，更具体地说，已经证明了它们能够在非常大点云中准确对基础表面进行建模的能力。我们引入了一种自适应夹层生成方法，该方法可以准确地对基础3D几何形状进行建模，尤其是对于薄结构。我们还通过在GPU上铸造Ray铸造的同时，在有效处理大点云的同时，我们还开发了更快的时间激光雷达模拟。我们在现实世界中测试了激光雷达的模拟，与基本的碎片和网格划分技术相比，表现出定性和定量结果，证明了我们的建模技术的优势。

Monte Carlo Tree Search (MCTS) is a recently proposed search method that combines the precision of tree search with the generality of random sampling. It has received considerable interest due to its spectacular success in the difficult problem of computer Go, but has also proved beneficial in a range of other domains. This paper is a survey of the literature to date, intended to provide a snapshot of the state of the art after the first five years of MCTS research. We outline the core algorithm's derivation, impart some structure on the many variations and enhancements that have been proposed, and summarise the results from the key game and non-game domains to which MCTS methods have been applied. A number of open research questions indicate that the field is ripe for future work.

AR/VR应用程序和机器人需要知道场景何时更改。一个示例是从场景中移动，添加或删除对象时。我们提出了仅基于场景更改的3D对象发现方法。我们的方法不需要编码有关对象的任何假设，而是通过利用其连贯的动作来发现对象。最初将变化视为深度图的差异，并在对象进行刚性运动时被分割为对象。图切割优化将不断变化的标签传播到几何一致的区域。实验表明，我们的方法在针对竞争基线的3RSCAN数据集上实现了最先进的性能。我们方法的源代码可以在https://github.com/katadam/objectscanmove上找到。

Current 3D object detection methods are heavily influenced by 2D detectors. In order to leverage architectures in 2D detectors, they often convert 3D point clouds to regular grids (i.e., to voxel grids or to bird's eye view images), or rely on detection in 2D images to propose 3D boxes. Few works have attempted to directly detect objects in point clouds. In this work, we return to first principles to construct a 3D detection pipeline for point cloud data and as generic as possible. However, due to the sparse nature of the data -samples from 2D manifolds in 3D space -we face a major challenge when directly predicting bounding box parameters from scene points: a 3D object centroid can be far from any surface point thus hard to regress accurately in one step. To address the challenge, we propose VoteNet, an end-to-end 3D object detection network based on a synergy of deep point set networks and Hough voting. Our model achieves state-of-the-art 3D detection on two large datasets of real 3D scans, ScanNet and SUN RGB-D with a simple design, compact model size and high efficiency. Remarkably, VoteNet outperforms previous methods by using purely geometric information without relying on color images.

Figure 1: Semantic parsing of a large-scale point cloud. Left: the raw point cloud. Middle: the results of parsing the point cloud into disjoint spaces (i.e. the floor plan). Right: the results of parsing a detected room (marked with the black circle) into semantic elements.

Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.

线云虽然在先前的工作中受到评价不足，但与从多视图图像中提取的点云相比，可能对建筑物的结构信息进行了更紧凑的结构信息。在这项工作中，我们建议第一个处理用于构建线框抽象的线云的网络。该网络将线云作为输入，即从多视图图像提取的3D线段的非结构和无序集，并输出基础建筑物的3D线框，该建筑物由稀疏的3D连接组组成，由线段连接， 。我们观察到一个线斑块，即一组相邻的线段，编码足够的轮廓信息，以预测潜在连接的存在甚至3D位置，以及两个查询连接之间的连通性的可能性。因此，我们引入了两层线斑变压器，以从采样线贴片中提取连接和连接性，以形成3D构建线框模型。我们还介绍了带有地面3D线框的多视图图像的合成数据集。我们广泛证明，在多个基线建筑重建方法上，我们的重建3D线框模型可显着改善。

In this work, we study 3D object detection from RGB-D data in both indoor and outdoor scenes. While previous methods focus on images or 3D voxels, often obscuring natural 3D patterns and invariances of 3D data, we directly operate on raw point clouds by popping up RGB-D scans. However, a key challenge of this approach is how to efficiently localize objects in point clouds of large-scale scenes (region proposal). Instead of solely relying on 3D proposals, our method leverages both mature 2D object detectors and advanced 3D deep learning for object localization, achieving efficiency as well as high recall for even small objects. Benefited from learning directly in raw point clouds, our method is also able to precisely estimate 3D bounding boxes even under strong occlusion or with very sparse points. Evaluated on KITTI and SUN RGB-D 3D detection benchmarks, our method outperforms the state of the art by remarkable margins while having real-time capability. * Majority of the work done as an intern at Nuro, Inc. depth to point cloud 2D region (from CNN) to 3D frustum 3D box (from PointNet)