在计算机愿景中已经研究了具有基本几何基元的对象。在几何原语中,超级助理性是众所周知的,其简单的隐式表达式和能力表示具有少数参数的各种形状。然而,作为第一个和最重要的步骤,从3D数据准确且强大地恢复超级助理仍然仍然具有挑战性。现有方法受到本地最佳的影响,并且对现实世界方案中的噪声和异常值敏感,导致捕获几何形状频繁失败。在本文中,我们提出了从点云中恢复超级化的第一种概率方法。我们的方法在超级式的参数表面上构建了高斯均匀的混合物模型(GUM),其明确地模拟了异常值和噪声的产生。超级恢复被制定为最大似然估计(MLE)问题。我们提出了一种算法,期望,最大化和切换(EMS)来解决这个问题,其中:(1)从后视角预测异常值; (2)SuperQuadric参数由信任区域反射算法进行优化; (3)通过在编码类似SuperQuadrics的参数之间进行全局搜索和切换,避免了本地Optima。我们表明我们的方法可以扩展到复杂对象的多叠加恢复。所提出的方法在合成和现实世界数据集的准确性,效率和鲁棒性方面优于最先进的。代码将被释放。
translated by 谷歌翻译
多年来,3D形状抽象引起了极大的兴趣。除了诸如网格和体素之类的低级表示外,研究人员还试图用基本的几何原始素来抽象的语义上抽象的复杂对象。最近的深度学习方法在很大程度上依赖于数据集,而一般性的一般性有限。此外,准确地将对象抽象为少数原始物仍然是一个挑战。在本文中,我们提出了一种新型的非参数贝叶斯统计方法来推断从点云中推断出由未知数的几何原始物组成的抽象。我们将点的生成模拟为从高斯超质锥模型(GSTM)的无限混合物采样的观测值。我们的方法将抽象作为聚类问题提出,其中:1)通过中国餐厅过程(CRP)将每个点分配给集群; 2)针对每个集群优化了原始表示形式,3)合并后制品合并以提供简洁的表示。我们在两个数据集上进行了广泛的实验。结果表明,我们的方法在准确性方面优于最先进的方法,并且可以推广到各种类型的对象。
translated by 谷歌翻译
在本文中,我们解决了用高各向异性定位噪声损坏的多点云的问题。我们的方法遵循高斯混合模型(GMM)重建的广泛使用的框架,预期最大化(EM)算法。现有方法基于空间不变各向同性高斯噪声的隐含假设。然而,在单分子定位显微镜(SMLM)的应用中,在实践中侵犯了这种假设。为了解决这个问题,我们建议介绍一个明确的定位噪声模型,使用GMM从噪声处理中脱颖而出。我们设计了一种随机EM算法,将无噪声数据视为潜在变量,每个EM步骤在闭合型溶液中。我们的方法的第一个优点是处理具有任意考兰的空间变体和各向异性高斯噪声。第二个优点是利用显式噪声模型来施加关于可以从物理传感器获得的噪声的先验知识。我们在各种模拟数据中展示了我们的噪声处理策略提高了高水平各向异性噪声的鲁棒性。我们还展示了我们对真实SMLM数据的方法的表现。
translated by 谷歌翻译
近年来,由于其表达力和灵活性,神经隐式表示在3D重建中获得了普及。然而,神经隐式表示的隐式性质导致缓慢的推理时间并且需要仔细初始化。在本文中,我们重新审视经典且无处不在的点云表示,并使用泊松表面重建(PSR)的可分辨率配方引入可分化的点对网格层,其允许给予定向的GPU加速的指示灯的快速解决方案点云。可微分的PSR层允许我们通过隐式指示器字段有效地和分散地桥接与3D网格的显式3D点表示,从而实现诸如倒角距离的表面重建度量的端到端优化。因此,点和网格之间的这种二元性允许我们以面向点云表示形状,这是显式,轻量级和富有表现力的。与神经内隐式表示相比,我们的形状 - 点(SAP)模型更具可解释,轻量级,并通过一个级别加速推理时间。与其他显式表示相比,如点,补丁和网格,SA​​P产生拓扑无关的水密歧管表面。我们展示了SAP对无知点云和基于学习的重建的表面重建任务的有效性。
translated by 谷歌翻译
Object SLAM使用其他语义信息来检测和映射场景中的对象,以提高系统的感知和地图表示功能。四边形和立方体通常用于表示对象,但是它们的单个形状限制了对象图的准确性,从而影响下游任务的应用。在本文中,我们将具有形状参数的超Quadicrics(SQ)引入猛击中以表示对象,并提出了一种单独的参数估计方法,该方法可以准确估算对象姿势并适应不同的形状。此外,我们提出了一种轻巧的数据关联策略,用于将多个视图中的语义观察与对象地标正确关联。我们通过实时性能实施一个单眼语义大满贯系统,并在公共数据集上进行全面的实验。结果表明,我们的方法能够构建准确的对象映射,并且在对象表示中具有优势。代码将在接受后发布。
translated by 谷歌翻译
功能配准算法表示点云为函数(例如,空间占用场),避免了常规最小二乘Quares注册算法中不可靠的对应估计。但是,现有的功能注册算法在计算上很昂贵。此外,在基于CAD模型的对象本地化等任务中,必须使用未知量表的注册能力,但是功能注册中没有这种支持。在这项工作中,我们提出了一种比例不变的线性时间复杂性功能配准算法。我们通过使用正顺序基函数在功能之间的L2距离之间有效地近似实现线性时间复杂性。正统基函数的使用导致与最小二乘配准兼容的公式。受益于最小二乘的公式,我们使用翻译反转不变测量的理论来解除尺度估计,从而实现规模不变的注册。我们在标准的3D注册基准上评估了所提出的算法,称为FLS(功能最小二乘),显示FLS的数量级比最先进的功能配准算法快,而无需损害准确性和鲁棒性。 FLS还胜过基于最小二乘的最小二乘注册算法,其精度和鲁棒性具有已知和未知量表。最后,我们证明将FLS应用于具有不同密度和部分重叠的寄存点云,同一类别中不同对象的点云以及带有嘈杂RGB-D测量值的真实世界对象的点云。
translated by 谷歌翻译
从扫描设备获得的点云通常受到噪声的扰动,这会影响下游任务,例如表面重建和分析。嘈杂的点云的分布可以看作是一组无噪声样品的分布$ p(x)$与某些噪声模型$ n $卷积,导致$(p * n)(x)$,其模式是基础干净的表面。为了确定嘈杂的点云,我们建议通过梯度上升将每个点的日志样本从$ p * n $增加 - 迭代更新每个点的位置。由于$ p * n $在测试时间是未知的,因此我们只需要分数(即对数概率函数的梯度)来执行梯度上升,因此我们提出了一个神经网络体系结构来估计分数$ P *。 n $仅给出嘈杂的点云作为输入。我们得出了训练网络并开发估计分数利用的非授权算法的目标函数。实验表明,所提出的模型在各种噪声模型下都优于最先进的方法,并显示了应用于其他任务(例如点云上采样)的潜力。该代码可在\ url {https://github.com/luost26/score-denoise}中获得。
translated by 谷歌翻译
最近对隐含形状表示的兴趣日益增长。与明确的陈述相反,他们没有解决局限性,他们很容易处理各种各样的表面拓扑。为了了解这些隐式表示,电流方法依赖于一定程度的形状监督(例如,内部/外部信息或距离形状知识),或者至少需要密集点云(以近似距离 - 到 - 到 - 形状)。相比之下,我们介绍{\方法},一种用于学习形状表示的自我监督方法,从可能极其稀疏的点云。就像在水牛的针问题一样,我们在点云上“掉落”(样本)针头,认为,静统计地靠近表面,针端点位于表面的相对侧。不需要形状知识,点云可以高稀疏,例如,作为车辆获取的Lidar点云。以前的自我监督形状表示方法未能在这种数据上产生良好的结果。我们获得定量结果与现有的形状重建数据集上现有的监督方法标准,并在Kitti等硬自动驾驶数据集中显示有前途的定性结果。
translated by 谷歌翻译
我们提出了一个Point2cyl,一个监督网络将原始3D点云变换到一组挤出缸。从原始几何到CAD模型的逆向工程是能够在形状编辑软件中操纵3D数据的重要任务,从而在许多下游应用中扩展其使用。特别地,具有挤出圆柱序列的CAD模型的形式 - 2D草图加上挤出轴和范围 - 以及它们的布尔组合不仅广泛应用于CAD社区/软件,而且相比具有很大的形状表现性具有有限类型的基元(例如,平面,球形和汽缸)。在这项工作中,我们介绍了一种神经网络,通过首先学习底层几何代理来解决挤出汽缸分解问题的挤出圆柱分解问题。精确地,我们的方法首先预测每点分割,基础/桶标签和法线,然后估计可分离和闭合形式配方中的底层挤出参数。我们的实验表明,我们的方法展示了两个最近CAD数据集,融合画廊和Deepcad上的最佳性能,我们进一步展示了逆向工程和编辑的方法。
translated by 谷歌翻译
可区分的渲染器在对象的3D表示和该对象的图像之间提供了直接的数学链接。在这项工作中,我们为紧凑的,可解释的表示形式开发了一个近似可区分的渲染器,我们称之为模糊的metaballs。我们的大约渲染器着重于通过深度图和轮廓渲染形状。它牺牲了为实用程序提供忠诚,生成快速运行时间和可用于解决视觉任务的高质量梯度信息。与基于网格的可区分渲染器相比,我们的方法具有更快的5倍,向后传球的速度快30倍。我们方法生成的深度图和轮廓图像在任何地方都平滑且定义。在我们对可区分渲染器进行姿势估计的评估时,我们表明我们的方法是唯一与经典技术相媲美的方法。在Silhouette的形状上,我们的方法仅使用梯度下降和每像素损失,而没有任何替代损失或正则化。这些重建即使在具有分割工件的自然视频序列上也很好地工作。项目页面:https://leonidk.github.io/fuzzy-metaballs
translated by 谷歌翻译
形状通知如何将对象掌握,无论是如何以及如何。因此,本文介绍了一种基于分割的架构,用于将用深度摄像机进行分解为多个基本形状的对象,以及用于机器人抓握的后处理管道。分段采用深度网络,称为PS-CNN,在具有6个类的原始形状和使用模拟引擎生成的合成数据上培训。每个原始形状都设计有参数化掌握家族,允许管道识别每个形状区域的多个掌握候选者。掌握是排序的排名,选择用于执行的第一个可行的。对于无任务掌握单个对象,该方法达到94.2%的成功率将其放置在顶部执行掌握方法中,与自上而下和SE(3)基础相比。涉及变量观点和杂波的其他测试展示了设置的鲁棒性。对于面向任务的掌握,PS-CNN实现了93.0%的成功率。总体而言,结果支持该假设,即在抓地管道内明确地编码形状原语应该提高掌握性能,包括无任务和任务相关的掌握预测。
translated by 谷歌翻译
通过扫描真实世界对象或场景采集的3D点云人已经发现了广泛的应用,包括融入式远程呈现,自动驾驶,监视等。它们通常是由噪声扰动或由低密度,这妨碍下游的任务,如表面重建遭受和理解。在本文中,我们提出了点集的二次采样恢复,这获知会聚点朝向下方的表面的点云的连续梯度场的新型范例。特别是,我们表示经由其梯度场点云 - 对数概率密度函数的梯度,和执行梯度场是连续的,这样就保证了模型可解优化的连续性。基于经由提出的神经网络估计出的连续梯度场,重新采样点云量对输入噪声或稀疏的点云执行基于梯度的马尔可夫链蒙特卡洛(MCMC)。此外,我们提出了点云恢复,基本上迭代地细化中间重采样点云,并在重采样过程容纳各种先验期间引入正则化到基于梯度的MCMC。大量的实验结果表明,该点集重采样实现了代表恢复工作,包括点云去噪和采样的国家的最先进的性能。
translated by 谷歌翻译
从点云中自动创建几何模型在CAD(例如,逆向工程,制造,组装)中具有许多应用,并且通常在形状建模和处理中。给定一个代表人造对象的分段点云,我们提出了一种识别简单几何原语及其相互关系的方法。我们的方法基于Hough Transform(HT),以应对噪音,缺失零件和离群值的能力。在我们的方法中,我们介绍了一种用于处理分段点云的新技术,该技术通过投票程序能够提供表征每种原始类型的几何参数的初始估计。通过使用这些估计值,我们将对最佳解决方案的搜索定位在尺寸还原的参数空间中,从而使将HT扩展到比文献(即平面和球体中通常发现的)更有效。然后,我们提取了许多以唯一特征段的几何描述符,并且根据这些描述符,我们展示了如何汇总原语(段)(段)。对合成和工业扫描的实验揭示了原始拟合方法的鲁棒性及其在推断细分之间关系的有效性。
translated by 谷歌翻译
姿势注册在视觉和机器人技术中至关重要。本文重点介绍了无初始化姿势注册的挑战性任务,最高为7DOF,用于均质和异质测量。虽然最近基于学习的方法显示了使用可区分求解器的希望,但它们要么依赖于启发式定义的对应关系,要么易于局部最小值。我们提出了一个可区分的相关(DPC)求解器,该求解器是全球收敛性且无对应的。当与简单的特征提取网络结合使用时,我们的一般框架DPCN ++允许使用任意初始化的多功能姿势注册。具体而言,特征提取网络首先从一对均质/异质测量值中学习致密特征网格。然后将这些特征网格转换为基于傅立叶变换和球形径向聚集的翻译和比例不变频谱表示形式,将翻译转换和从旋转中脱钩。接下来,使用DPC求解器在频谱中独立有效地估计旋转,比例和翻译。整个管道都是可区分和训练的端到端。我们评估了DCPN ++在多种注册任务上,以不同的输入方式,包括2D Bird的视图图像,3D对象和场景测量以及医疗图像。实验结果表明,DCPN ++的表现优于经典和基于学习的基础线,尤其是在部分观察到的异质测量方面。
translated by 谷歌翻译
Intelligent mesh generation (IMG) refers to a technique to generate mesh by machine learning, which is a relatively new and promising research field. Within its short life span, IMG has greatly expanded the generalizability and practicality of mesh generation techniques and brought many breakthroughs and potential possibilities for mesh generation. However, there is a lack of surveys focusing on IMG methods covering recent works. In this paper, we are committed to a systematic and comprehensive survey describing the contemporary IMG landscape. Focusing on 110 preliminary IMG methods, we conducted an in-depth analysis and evaluation from multiple perspectives, including the core technique and application scope of the algorithm, agent learning goals, data types, targeting challenges, advantages and limitations. With the aim of literature collection and classification based on content extraction, we propose three different taxonomies from three views of key technique, output mesh unit element, and applicable input data types. Finally, we highlight some promising future research directions and challenges in IMG. To maximize the convenience of readers, a project page of IMG is provided at \url{https://github.com/xzb030/IMG_Survey}.
translated by 谷歌翻译
微弱的物理是计算机视觉和机器人的强大工具,用于了解互动的场景理解和推理。现有方法经常被限于具有预先已知的简单形状或形状的物体。在本文中,我们提出了一种新的方法来具有摩擦触点的可分解物理学,其利用符号距离场(SDF)隐含地表示物理形状。我们的模拟即使涉及的形状为非凸形表示,也支持接触点计算。此外,我们提出了区分对象形状的动力学来利用基于梯度的方法来促进形状优化。在我们的实验中,我们证明我们的方法允许从轨迹和深度图像观察的诸如摩擦系数,质量,力或形状参数的物理参数的基于模型的推断,并且在几个具有挑战性的合成场景和真实图像序列中。
translated by 谷歌翻译
点云降级旨在从噪音和异常值损坏的原始观察结果中恢复清洁点云,同时保留细粒细节。我们提出了一种新型的基于深度学习的DeNoising模型,该模型结合了正常的流量和噪声解散技术,以实现高降解精度。与提取点云特征以进行点校正的现有作品不同,我们从分布学习和特征分离的角度制定了denoising过程。通过将嘈杂的点云视为清洁点和噪声的联合分布,可以从将噪声对应物从潜在点表示中解​​散出来,而欧几里得和潜在空间之间的映射是通过标准化流量来建模的。我们评估了具有各种噪声设置的合成3D模型和现实世界数据集的方法。定性和定量结果表明,我们的方法表现优于先前的最先进的基于深度学习的方法。
translated by 谷歌翻译
3D点云登记在遥感,摄影测量,机器人和几何计算机视觉中排名最基本的问题。由于3D特征匹配技术的准确性有限,因此可能存在异常值,有时即使在非常大的数字中,则在该对应中也是如此。由于现有的强大的求解器可能会遇到高计算成本或限制性的稳健性,因此我们提出了一种名为VoCra(具有成本函数和旋转平均的投票的新颖,快速,高度强大的解决方案,为极端异常率的点云注册问题。我们的第一款贡献是聘请Tukey的双重强大的成本来引入新的投票和对应分类技术,这证明是在异常值中区分真正的入世性,即使是极端(99%)的异常率。我们的第二次贡献包括基于强大的旋转平均设计时效的共识最大化范例,用于在通信中寻求Inlier候选人。最后,我们使用Tukey的Biweight(GNC-TB)应用毕业的非凸性,以估计所获得的Inlier候选者的正确变换,然后使用它来找到完整的Inlier集。进行了应用于两个实体数据问题的标准基准和现实实验,并且我们表明我们的求解器VORCA对超过99%的异常值较高,而且比最先进的竞争对手更多的时间效率。
translated by 谷歌翻译
在本文中,我们探讨了机器人是否可以学会重新应用一组多样的物体以实现各种所需的掌握姿势。只要机器人的当前掌握姿势未能执行所需的操作任务,需要重新扫描。具有这种能力的赋予机器人具有在许多领域中的应用,例如制造或国内服务。然而,由于日常物体中的几何形状和状态和行动空间的高维度,这是一个具有挑战性的任务。在本文中,我们提出了一种机器人系统,用于将物体的部分点云和支持环境作为输入,输出序列和放置操作的序列来转换到所需的对象掌握姿势。关键技术包括神经稳定放置预测器,并通过利用和改变周围环境来引发基于图形的解决方案。我们介绍了一个新的和具有挑战性的合成数据集,用于学习和评估所提出的方法。我们展示了我们提出的系统与模拟器和现实世界实验的有效性。我们的项目网页上有更多视频和可视化示例。
translated by 谷歌翻译
在这项工作中,我们解决了共同跟踪手对象姿势并从野外深度点云序列重建形状的具有挑战性,HandTrackNet,以估计框架间的手动运动。我们的HandTrackNet提出了一个新型的手姿势构成典型化模块,以简化跟踪任务,从而产生准确且稳健的手工关节跟踪。然后,我们的管道通过将预测的手关节转换为基于模板的参数手模型mano来重建全手。对于对象跟踪,我们设计了一个简单而有效的模块,该模块从第一帧估算对象SDF并执行基于优化的跟踪。最后,采用联合优化步骤执行联合手和物体推理,从而减轻了闭塞引起的歧义并进一步完善了手姿势。在训练过程中,整个管道仅看到纯粹的合成数据,这些数据与足够的变化并通过深度模拟合成,以易于概括。整个管道与概括差距有关,因此可以直接传输到真实的野外数据。我们在两个真实的手对象交互数据集上评估我们的方法,例如HO3D和DEXYCB,没有任何填充。我们的实验表明,所提出的方法显着优于先前基于深度的手和对象姿势估计和跟踪方法,以9 fps的帧速率运行。
translated by 谷歌翻译