在本文中，我们解决了用高各向异性定位噪声损坏的多点云的问题。我们的方法遵循高斯混合模型（GMM）重建的广泛使用的框架，预期最大化（EM）算法。现有方法基于空间不变各向同性高斯噪声的隐含假设。然而，在单分子定位显微镜（SMLM）的应用中，在实践中侵犯了这种假设。为了解决这个问题，我们建议介绍一个明确的定位噪声模型，使用GMM从噪声处理中脱颖而出。我们设计了一种随机EM算法，将无噪声数据视为潜在变量，每个EM步骤在闭合型溶液中。我们的方法的第一个优点是处理具有任意考兰的空间变体和各向异性高斯噪声。第二个优点是利用显式噪声模型来施加关于可以从物理传感器获得的噪声的先验知识。我们在各种模拟数据中展示了我们的噪声处理策略提高了高水平各向异性噪声的鲁棒性。我们还展示了我们对真实SMLM数据的方法的表现。

刚性变换相关的点云的注册是计算机视觉中的基本问题之一。然而，仍然缺乏在存在噪声存在下对准稀疏和不同采样的观察的实际情况的解决方案。我们在这种情况下接近注册，融合封闭形式的通用Mani-折叠嵌入（UME）方法和深神经网络。这两者组合成一个统一的框架，名为Deepume，训练的端到端并以无人监督的方式。为了在存在大转换的情况下成功提供全球解决方案，我们采用So（3） - 识别的坐标系来学习点云的联合重采样策略等（3） - variant功能。然后通过用于转换估计的几何UME方法来利用这些特征。使用度量进行优化的Dewume参数，旨在克服在对称形状的注册中出现的歧义问题，当考虑嘈杂的场景时。我们表明，我们的混合方法在各种场景中优于最先进的注册方法，并概括到未操作数据集。我们的代码公开提供。

这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是​​完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。

在计算机愿景中已经研究了具有基本几何基元的对象。在几何原语中，超级助理性是众所周知的，其简单的隐式表达式和能力表示具有少数参数的各种形状。然而，作为第一个和最重要的步骤，从3D数据准确且强大地恢复超级助理仍然仍然具有挑战性。现有方法受到本地最佳的影响，并且对现实世界方案中的噪声和异常值敏感，导致捕获几何形状频繁失败。在本文中，我们提出了从点云中恢复超级化的第一种概率方法。我们的方法在超级式的参数表面上构建了高斯均匀的混合物模型（GUM），其明确地模拟了异常值和噪声的产生。超级恢复被制定为最大似然估计（MLE）问题。我们提出了一种算法，期望，最大化和切换（EMS）来解决这个问题，其中：（1）从后视角预测异常值; （2）SuperQuadric参数由信任区域反射算法进行优化; （3）通过在编码类似SuperQuadrics的参数之间进行全局搜索和切换，避免了本地Optima。我们表明我们的方法可以扩展到复杂对象的多叠加恢复。所提出的方法在合成和现实世界数据集的准确性，效率和鲁棒性方面优于最先进的。代码将被释放。

In this paper we combine the Iterative Closest Point ('ICP') and 'point-to-plane ICP' algorithms into a single probabilistic framework. We then use this framework to model locally planar surface structure from both scans instead of just the "model" scan as is typically done with the point-to-plane method. This can be thought of as 'plane-to-plane'. The new approach is tested with both simulated and real-world data and is shown to outperform both standard ICP and point-to-plane. Furthermore, the new approach is shown to be more robust to incorrect correspondences, and thus makes it easier to tune the maximum match distance parameter present in most variants of ICP. In addition to the demonstrated performance improvement, the proposed model allows for more expressive probabilistic models to be incorporated into the ICP framework. While maintaining the speed and simplicity of ICP, the Generalized-ICP could also allow for the addition of outlier terms, measurement noise, and other probabilistic techniques to increase robustness.

本文介绍了使用基于补丁的先前分布的图像恢复的新期望传播（EP）框架。虽然Monte Carlo技术典型地用于从难以处理的后分布中进行采样，但它们可以在诸如图像恢复之类的高维推论问题中遭受可扩展性问题。为了解决这个问题，这里使用EP来使用多元高斯密度的产品近似后分布。此外，对这些密度的协方差矩阵施加结构约束允许更大的可扩展性和分布式计算。虽然该方法自然适于处理添加剂高斯观察噪声，但它也可以扩展到非高斯噪声。用于高斯和泊松噪声的去噪，染色和去卷积问题进行的实验说明了这种柔性近似贝叶斯方法的潜在益处，以实现与采样技术相比降低的计算成本。

培训和测试监督对象检测模型需要大量带有地面真相标签的图像。标签定义图像中的对象类及其位置，形状以及可能的其他信息，例如姿势。即使存在人力，标签过程也非常耗时。我们引入了一个新的标签工具，用于2D图像以及3D三角网格：3D标记工具（3DLT）。这是一个独立的，功能丰富和跨平台软件，不需要安装，并且可以在Windows，MacOS和基于Linux的发行版上运行。我们不再像当前工具那样在每个图像上分别标记相同的对象，而是使用深度信息从上述图像重建三角形网格，并仅在上述网格上标记一次对象。我们使用注册来简化3D标记，离群值检测来改进2D边界框的计算和表面重建，以将标记可能性扩展到大点云。我们的工具经过最先进的方法测试，并且在保持准确性和易用性的同时，它极大地超过了它们。

点云匹配中不确定性的量化在许多任务中是关键的，例如姿势估计，传感器融合和抓握。迭代最近的点（ICP）是一种常用的姿势估计算法，它提供了两个点云之间的变换的点估计。在该过程中存在许多不确定性来源，这可能由于传感器噪声，含糊不清的环境和遮挡而产生。然而，对于自主驾驶等安全性问题，对于姿势变换的点估计是不足的，因为它不提供关于多解决方案的信息。目前的概率ICP方法通常不会捕获所有不确定性的来源，并且可以提供不可靠的变换估计，这可能在状态估计或使用此信息的任务中具有不利影响。在这项工作中，我们提出了一种新的算法来对齐两个点云，可以精确估计ICP的变换参数的不确定性。我们开发了基于梯度的ICP成本函数优化的Stein变分推断框架。该方法提供了对变换的非参数估计，可以模拟复杂的多模态分布，并且可以在GPU上有效地平行化。使用3D Kinect数据以及稀疏室内/室外激光雷达数据的实验表明，我们的方法能够有效地生产准确的构成不确定性估计。

用冷冻电子显微镜（Cryo-EM）溶液中生物分子高分辨率成像的近期突破已经解锁了用于重建分子体积的新门，从而有望在其他人之间进一步进一步进展。尽管有很大的入脚，但Cryo-EM数据分析中的巨大挑战仍然是军团和错综复杂的自然间学科，需要物理学家，结构生物学家，计算机科学家，统计学家和应用数学家的见解。同时，最近的下一代卷重建算法与端到端无监督的深度学习技术相结合的生成建模已经显示了对模拟数据的有希望的结果，但在应用于实验Cryo-EM图像时仍然面临相当大的障碍。鉴于此类方法的增殖并鉴于任务的跨学科性质，我们提出了对高分辨率低分辨率建模领域的最近进步的批判性审查。目前的审查旨在（i）比较和对比这些新方法，而（ii）将它们从透视和使用科学家熟悉的术语呈现出来，在任何五个上述领域中没有Cryo-Em中没有具体的背景。审查始于引言介绍低温 - EM批量重建的深度生成模型的数学和计算挑战，同时概述了这类算法中共享的基线方法。通过这些不同的模型建立了常见的线程编织，我们提供了这些最先进的算法的实际比较，突出了它们的相对优势和劣势以及它们依赖的假设。这使我们能够识别当前方法和途径的瓶颈，以便将来的研究。

作为解决多视图注册问题的有效算法，已经对运动平均（MA）算法进行了广泛的研究，并引入了许多基于MA的算法。他们旨在从相对动作中恢复全球动作，并利用信息冗余到平均累积错误。但是，这些方法的一个属性是，它们使用ugas-newton方法来解决最小二乘问题以增加全球运动的增加，这可能会导致效率低下，并且对异常值的稳健性差。在本文中，我们提出了一个新的运动平均框架，用于使用Laplacian基于Laplacian的最大Correntropy Criterion（LMCC）进行多视图注册。利用Lie代数运动框架和CorrentRopy量度，我们提出了一种新的成本函数，该功能应考虑相对动作提供的所有约束。获得用于纠正全局动作的增量，可以进一步提出为旨在最大化成本函数的优化问题。凭借二次技术，可以通过分为两个子问题来解决优化问题，即根据当前残差计算每个相对运动的重量，并解决二阶锥体程序问题（SOCP）以增加下一个迭代。我们还提供了一种新的策略来确定内核宽度，以确保我们的方法可以有效利用许多异常值的相对运动提供的信息冗余。最后，我们将提出的方法与其他基于MA的多视图注册方法进行比较，以验证其性能。关于合成和实际数据的实验测试表明，我们的方法在效率，准确性和鲁棒性方面取得了卓越的性能。

功能配准算法表示点云为函数（例如，空间占用场），避免了常规最小二乘Quares注册算法中不可靠的对应估计。但是，现有的功能注册算法在计算上很昂贵。此外，在基于CAD模型的对象本地化等任务中，必须使用未知量表的注册能力，但是功能注册中没有这种支持。在这项工作中，我们提出了一种比例不变的线性时间复杂性功能配准算法。我们通过使用正顺序基函数在功能之间的L2距离之间有效地近似实现线性时间复杂性。正统基函数的使用导致与最小二乘配准兼容的公式。受益于最小二乘的公式，我们使用翻译反转不变测量的理论来解除尺度估计，从而实现规模不变的注册。我们在标准的3D注册基准上评估了所提出的算法，称为FLS（功能最小二乘），显示FLS的数量级比最先进的功能配准算法快，而无需损害准确性和鲁棒性。 FLS还胜过基于最小二乘的最小二乘注册算法，其精度和鲁棒性具有已知和未知量表。最后，我们证明将FLS应用于具有不同密度和部分重叠的寄存点云，同一类别中不同对象的点云以及带有嘈杂RGB-D测量值的真实世界对象的点云。

本文提出了一种可对应的点云旋转登记的方法。我们学习为每个点云嵌入保留所以（3）-equivariance属性的特征空间中的嵌入，通过最近的Quifariant神经网络的开发启用。所提出的形状登记方法通过用隐含形状模型结合等分性的特征学习来实现三个主要优点。首先，由于网络架构中类似于PointNet的网络体系结构中的置换不变性，因此删除了数据关联的必要性。其次，由于SO（3）的性能，可以使用喇叭的方法以闭合形式来解决特征空间中的注册。第三，由于注册和隐含形状重建的联合培训，注册对点云中的噪声强大。实验结果显示出优异的性能与现有的无对应的深层登记方法相比。

胶囊网络（参见例如Hinton等，2018）旨在编码有关对象及其部分之间关系的知识和理由。在本文中，我们为此类数据指定了一个生成模型，并得出了一种用于推断场景中每个模型对象转换的变异算法以及观察到的部分对对象的分配。我们基于变异期望最大化来得出对象模型的学习算法（Jordan等，1999）。我们还根据Fischler和Bolles（1981）的RANSAC方法研究了一种替代推理算法。我们将这些推理方法应用于（i）从正方形和三角形（“星座”）等多个几何对象生成的数据，以及（ii）基于零件的面部模型的数据。 Kosiorek等人的最新工作。 （2019年）通过堆叠的胶囊自动编码器（SCAE）使用摊销推理来解决此问题 - 我们的结果表明，我们在可以进行比较的地方（在星座数据上）大大优于它们。

本文解决了缺少嘈杂和非高斯数据数据的数据的问题。与其他流行的方法相比，一种经典的插补方法，即高斯混合模型的期望最大化（EM）算法，它显示出有趣的特性，例如基于K-Neartivt邻居或通过链式方程式进行多个归纳的方法。然而，已知高斯混合模型对异质数据不舒适，当数据被异常值污染或遵循非高斯分布时，这可能导致估计性能差。为了克服这个问题，研究了一种新的EM算法，用于椭圆形分布的混合物与处理潜在丢失数据的特性。本文表明，此问题减少了在通用假设下的角度高斯分布的混合物的估计（即，每个样品都是从椭圆形分布的混合物中绘制的，对于一个样品而言，这可能是不同的）。在这种情况下，与椭圆形分布的混合物相关的完整数据可能非常适合EM框架，由于其条件分布而缺少数据，这被证明是多元$ t $分布。合成数据的实验结果表明，所提出的算法对异常值是可靠的，可以与非高斯数据一起使用。此外，在现实世界数据集上进行的实验表明，与其他经典插补方法相比，该算法非常有竞争力。

我们考虑了一个类别级别的感知问题，其中给定的2D或3D传感器数据描绘了给定类别的对象（例如，汽车），并且必须重建尽管级别的可变性，但必须重建对象的3D姿势和形状（即，不同的汽车模型具有不同的形状）。我们考虑了一个主动形状模型，其中 - 对于对象类别 - 我们获得了一个潜在的CAD模型库，描述该类别中的对象，我们采用了标准公式，其中姿势和形状是通过非非2D或3D关键点估算的-convex优化。我们的第一个贡献是开发PACE3D*和PACE2D*，这是第一个使用3D和2D关键点进行姿势和形状估计的最佳最佳求解器。这两个求解器都依赖于紧密（即精确）半决赛的设计。我们的第二个贡献是开发两个求解器的异常刺激版本，命名为PACE3D＃和PACE2D＃。为了实现这一目标，我们提出了Robin，Robin是一种一般的图理论框架来修剪异常值，该框架使用兼容性超图来建模测量的兼容性。我们表明，在类别级别的感知问题中，这些超图可以是通过关键点（以2D）或其凸壳（以3D为单位）构建的，并且可以通过最大的超级计算来修剪许多异常值。最后的贡献是广泛的实验评估。除了在模拟数据集和Pascal数据集上提供消融研究外，我们还将求解器与深关键点检测器相结合，并证明PACE3D＃在Apolloscape数据集中在车辆姿势估算中改进了最新技术，并且其运行时间是兼容的使用实际应用。

Spatial perception is a key task in several robotics applications. In general, it involves the nonlinear estimation of hidden variables that represent the state of the robot/environment. However, in the presence of outliers the standard nonlinear least squared formulation results in poor estimates. Several methods have been considered in the literature to improve the reliability of the estimation process. Most methods are based on heuristics since guaranteed global robust estimation is not generally practical due to high computational costs. Recently general purpose robust estimation heuristics have been proposed that leverage existing non-minimal solvers available for the outlier-free formulations without the need for an initial guess. In this work, we propose two similar heuristics backed by Bayesian theory. We evaluate these heuristics in practical scenarios to demonstrate their merits in different applications including 3D point cloud registration, mesh registration and pose graph optimization.

这项工作调查了鲁棒优化运输（OT）的形状匹配。具体而言，我们表明最近的OT溶解器改善了基于优化和深度学习方法的点云登记，以实惠的计算成本提高了准确性。此手稿从现代OT理论的实际概述开始。然后，我们为使用此框架进行形状匹配的主要困难提供解决方案。最后，我们展示了在广泛的具有挑战性任务上的运输增强的注册模型的性能：部分形状的刚性注册;基蒂数据集的场景流程估计;肺血管树的非参数和肺部血管树。我们基于OT的方法在准确性和可扩展性方面实现了基蒂的最先进的结果，并为挑战性的肺登记任务。我们还释放了PVT1010，这是一个新的公共数据集，1,010对肺血管树，具有密集的采样点。此数据集提供了具有高度复杂形状和变形的点云登记算法的具有挑战性用例。我们的工作表明，强大的OT可以为各种注册模型进行快速预订和微调，从而为计算机视觉工具箱提供新的键方法。我们的代码和数据集可在线提供：https：//github.com/uncbiag/robot。

Point cloud registration (PCR) is a popular research topic in computer vision. Recently, the registration method in an evolutionary way has received continuous attention because of its robustness to the initial pose and flexibility in objective function design. However, most evolving registration methods cannot tackle the local optimum well and they have rarely investigated the success ratio, which implies the probability of not falling into local optima and is closely related to the practicality of the algorithm. Evolutionary multi-task optimization (EMTO) is a widely used paradigm, which can boost exploration capability through knowledge transfer among related tasks. Inspired by this concept, this study proposes a novel evolving registration algorithm via EMTO, where the multi-task configuration is based on the idea of solution space cutting. Concretely, one task searching in cut space assists another task with complex function landscape in escaping from local optima and enhancing successful registration ratio. To reduce unnecessary computational cost, a sparse-to-dense strategy is proposed. In addition, a novel fitness function robust to various overlap rates as well as a problem-specific metric of computational cost is introduced. Compared with 7 evolving registration approaches and 4 traditional registration approaches on the object-scale and scene-scale registration datasets, experimental results demonstrate that the proposed method has superior performances in terms of precision and tackling local optima.

3D点云登记在遥感，摄影测量，机器人和几何计算机视觉中排名最基本的问题。由于3D特征匹配技术的准确性有限，因此可能存在异常值，有时即使在非常大的数字中，则在该对应中也是如此。由于现有的强大的求解器可能会遇到高计算成本或限制性的稳健性，因此我们提出了一种名为VoCra（具有成本函数和旋转平均的投票的新颖，快速，高度强大的解决方案，为极端异常率的点云注册问题。我们的第一款贡献是聘请Tukey的双重强大的成本来引入新的投票和对应分类技术，这证明是在异常值中区分真正的入世性，即使是极端（99％）的异常率。我们的第二次贡献包括基于强大的旋转平均设计时效的共识最大化范例，用于在通信中寻求Inlier候选人。最后，我们使用Tukey的Biweight（GNC-TB）应用毕业的非凸性，以估计所获得的Inlier候选者的正确变换，然后使用它来找到完整的Inlier集。进行了应用于两个实体数据问题的标准基准和现实实验，并且我们表明我们的求解器VORCA对超过99％的异常值较高，而且比最先进的竞争对手更多的时间效率。

与最小化点对点距离的传统算法设置的注册最小化通常可以更好地估计刚性转换。然而，最近的基于深度学习的方法最大程度地减少了点对点距离。与这些方法相反，本文提出了第一种基于深度学习的方法来点对上注册的方法。该问题的一个具有挑战性的部分是，用于点对点注册的典型解决方案需要迭代的过程来累积通过最小化线性的能量函数获得的小型转换。迭代显着增加了反向传播所需的计算图的大小，并且可以放慢前进和后退网络评估。为了解决此问题，我们将估计的刚体转换视为输入点云的函数，并使用隐式函数定理得出其分析梯度。我们引入的分析梯度独立于如何获得误差最小化函数（即刚性变换），从而使我们能够有效地计算刚性变换及其梯度。我们在几种先前的方法上实现了所提出的点对平面注册模块，这些模块可以最大程度地减少点对点距离，并证明扩展名的表现超过了基本方法，即使具有噪声和低质量的点云的点云，也通过局部点分布估算了差异。