点云匹配中不确定性的量化在许多任务中是关键的，例如姿势估计，传感器融合和抓握。迭代最近的点（ICP）是一种常用的姿势估计算法，它提供了两个点云之间的变换的点估计。在该过程中存在许多不确定性来源，这可能由于传感器噪声，含糊不清的环境和遮挡而产生。然而，对于自主驾驶等安全性问题，对于姿势变换的点估计是不足的，因为它不提供关于多解决方案的信息。目前的概率ICP方法通常不会捕获所有不确定性的来源，并且可以提供不可靠的变换估计，这可能在状态估计或使用此信息的任务中具有不利影响。在这项工作中，我们提出了一种新的算法来对齐两个点云，可以精确估计ICP的变换参数的不确定性。我们开发了基于梯度的ICP成本函数优化的Stein变分推断框架。该方法提供了对变换的非参数估计，可以模拟复杂的多模态分布，并且可以在GPU上有效地平行化。使用3D Kinect数据以及稀疏室内/室外激光雷达数据的实验表明，我们的方法能够有效地生产准确的构成不确定性估计。

We propose a general purpose variational inference algorithm that forms a natural counterpart of gradient descent for optimization. Our method iteratively transports a set of particles to match the target distribution, by applying a form of functional gradient descent that minimizes the KL divergence. Empirical studies are performed on various real world models and datasets, on which our method is competitive with existing state-of-the-art methods. The derivation of our method is based on a new theoretical result that connects the derivative of KL divergence under smooth transforms with Stein's identity and a recently proposed kernelized Stein discrepancy, which is of independent interest.

Uncertainty quantification is crucial to inverse problems, as it could provide decision-makers with valuable information about the inversion results. For example, seismic inversion is a notoriously ill-posed inverse problem due to the band-limited and noisy nature of seismic data. It is therefore of paramount importance to quantify the uncertainties associated to the inversion process to ease the subsequent interpretation and decision making processes. Within this framework of reference, sampling from a target posterior provides a fundamental approach to quantifying the uncertainty in seismic inversion. However, selecting appropriate prior information in a probabilistic inversion is crucial, yet non-trivial, as it influences the ability of a sampling-based inference in providing geological realism in the posterior samples. To overcome such limitations, we present a regularized variational inference framework that performs posterior inference by implicitly regularizing the Kullback-Leibler divergence loss with a CNN-based denoiser by means of the Plug-and-Play methods. We call this new algorithm Plug-and-Play Stein Variational Gradient Descent (PnP-SVGD) and demonstrate its ability in producing high-resolution, trustworthy samples representative of the subsurface structures, which we argue could be used for post-inference tasks such as reservoir modelling and history matching. To validate the proposed method, numerical tests are performed on both synthetic and field post-stack seismic data.

有效可靠的全局路径计划是为了安全执行和部署自主系统。为了产生充分解决给定环境的拓扑的规划图，许多基于样的运动规划师度假胜地，粗略的启发式驱动的策略，这些策略通常不能概括到新的和各种各样的环境。此外，许多这些方法不设计用于抗争于偏心性。我们在环境几何中的这种不确定性实际上可以帮助\ Texit {Drive}在生成可行的采样过程和概率 - 安全规划图中。我们提出了一种概率路线图的方法，其依赖于基于粒子的变分推理，以有效地覆盖配置空间中可行区域的后部分布。我们的方法，Stein变分概率路线图（SV-PRM）导致样品有效地产生规划图和传统采样方法的大量改进。我们展示了各种具有挑战性的规划问题的方法，包括机器人中常见的现实概率占用地图和高速控制问题。

束调整（BA）是指同时确定传感器姿势和场景几何形状的问题，这是机器人视觉中的一个基本问题。本文为LIDAR传感器提供了一种有效且一致的捆绑捆绑调整方法。该方法采用边缘和平面特征来表示场景几何形状，并直接最大程度地减少从每个原始点到各自几何特征的天然欧几里得距离。该公式的一个不错的属性是几何特征可以在分析上解决，从而大大降低了数值优化的维度。为了更有效地表示和解决最终的优化问题，本文提出了一个新颖的概念{\ it point clusters}，该概念编码了通过一组紧凑的参数集与同一特征相关联的所有原始点，{\ it点群集坐标} 。我们根据点簇坐标得出BA优化的封闭形式的衍生物，并显示其理论属性，例如零空间和稀疏性。基于这些理论结果，本文开发了有效的二阶BA求解器。除了估计LiDAR姿势外，求解器还利用二阶信息来估计测量噪声引起的姿势不确定性，从而导致对LIDAR姿势的一致估计。此外，由于使用点群集的使用，开发的求解器从根本上避免了在优化的所有步骤中列出每个原始点（由于数量大量而非常耗时）：成本评估，衍生品评估和不确定性评估。我们的方法的实施是开源的，以使机器人界及其他地区受益。

尽管常规机器人系统中的每个不同任务都需要专用的场景表示形式，但本文表明，统一表示形式可以直接用于多个关键任务。我们提出了用于映射，进程和计划（LOG-GPIS-MOP）的log-gaussian过程隐式表面：基于统一表示形式的表面重建，本地化和导航的概率框架。我们的框架将对数转换应用于高斯过程隐式表面（GPIS）公式，以恢复全局表示，该表示可以准确地捕获具有梯度的欧几里得距离场，同时又是隐式表面。通过直接估计距离字段及其通过LOG-GPIS推断的梯度，提出的增量进程技术计算出传入帧的最佳比对，并在全球范围内融合以生成MAP。同时，基于优化的计划者使用相同的LOG-GPIS表面表示计算安全的无碰撞路径。我们根据最先进的方法验证了2D和3D和3D和基准测试的模拟和真实数据集的拟议框架。我们的实验表明，LOG-GPIS-MOP在顺序的音程，表面映射和避免障碍物中产生竞争结果。

由于范围和几何形状的直接集成，基于激光雷达的本地化和映射是许多现代机器人系统中的核心组件之一，可以实时进行精确的运动估算和​​高质量的高质量图。然而，由于场景中存在不足的环境约束，这种对几何形状的依赖可能导致定位失败，发生在隧道等自对称环境中。这项工作通过提出一种基于神经网络的估计方法来检测机器人操作过程中的（非）本地化性，从而解决了此问题。特别注意扫描到扫描登记的可靠性，因为它是许多激光射击估计管道中的关键组成部分。与以前的主要检测方法相反，该方法通过估算原始传感器测量的可定位性而无需评估基本的注册优化，可以尽早检测失败。此外，由于需要启发式的脱落检测阈值，因此以前的方法在跨环境和传感器类型的概括能力上仍然有限。提出的方法通过从不同环境的集合中学习，从而避免了这个问题，从而使网络在各种情况下运行。此外，该网络专门针对模拟数据进行培训，避免了艰苦的数据收集，以挑战性和退化（通常难以访问）环境。在跨越具有挑战性的环境和两种不同的传感器类型上进行的现场实验中，对所提出的方法进行了测试。观察到的检测性能与特定环境特异性阈值调整后的最新方法相当。

贝叶斯结构学习允许从数据推断贝叶斯网络结构，同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中，我们为贝叶斯结构学习（DIBS）提出了一般，完全可微分的框架，其在潜在概率图表表示的连续空间中运行。与现有的工作相反，DIBS对局部条件分布的形式不可知，并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理，例如，具有由神经网络编码的非线性依赖性。使用DIBS，我们设计了一种高效，通用的变分推理方法，用于近似结构模型的分布。在模拟和现实世界数据的评估中，我们的方法显着优于关节后部推理的相关方法。

在本文中，我们解决了用高各向异性定位噪声损坏的多点云的问题。我们的方法遵循高斯混合模型（GMM）重建的广泛使用的框架，预期最大化（EM）算法。现有方法基于空间不变各向同性高斯噪声的隐含假设。然而，在单分子定位显微镜（SMLM）的应用中，在实践中侵犯了这种假设。为了解决这个问题，我们建议介绍一个明确的定位噪声模型，使用GMM从噪声处理中脱颖而出。我们设计了一种随机EM算法，将无噪声数据视为潜在变量，每个EM步骤在闭合型溶液中。我们的方法的第一个优点是处理具有任意考兰的空间变体和各向异性高斯噪声。第二个优点是利用显式噪声模型来施加关于可以从物理传感器获得的噪声的先验知识。我们在各种模拟数据中展示了我们的噪声处理策略提高了高水平各向异性噪声的鲁棒性。我们还展示了我们对真实SMLM数据的方法的表现。

We develop an optimization algorithm suitable for Bayesian learning in complex models. Our approach relies on natural gradient updates within a general black-box framework for efficient training with limited model-specific derivations. It applies within the class of exponential-family variational posterior distributions, for which we extensively discuss the Gaussian case for which the updates have a rather simple form. Our Quasi Black-box Variational Inference (QBVI) framework is readily applicable to a wide class of Bayesian inference problems and is of simple implementation as the updates of the variational posterior do not involve gradients with respect to the model parameters, nor the prescription of the Fisher information matrix. We develop QBVI under different hypotheses for the posterior covariance matrix, discuss details about its robust and feasible implementation, and provide a number of real-world applications to demonstrate its effectiveness.

Kullback-Leibler（KL）差异广泛用于贝叶斯神经网络（BNNS）的变异推理。然而，KL差异具有无限性和不对称性等局限性。我们检查了更通用，有限和对称的詹森 - 香农（JS）差异。我们根据几何JS差异为BNN制定新的损失函数，并表明基于KL差异的常规损失函数是其特殊情况。我们以封闭形式的高斯先验评估拟议损失函数的差异部分。对于任何其他一般的先验，都可以使用蒙特卡洛近似值。我们提供了实施这两种情况的算法。我们证明所提出的损失函数提供了一个可以调整的附加参数，以控制正则化程度。我们得出了所提出的损失函数在高斯先验和后代的基于KL差异的损失函数更好的条件。我们证明了基于嘈杂的CIFAR数据集和有偏见的组织病理学数据集的最新基于KL差异的BNN的性能提高。

Multilevel Stein variational gradient descent is a method for particle-based variational inference that leverages hierarchies of approximations of target distributions with varying costs and fidelity to computationally speed up inference. This work provides a cost complexity analysis of multilevel Stein variational gradient descent that applies under milder conditions than previous results, especially in discrete-in-time regimes and beyond the limited settings where Stein variational gradient descent achieves exponentially fast convergence. The analysis shows that the convergence rate of Stein variational gradient descent enters only as a constant factor for the cost complexity of the multilevel version, which means that the costs of the multilevel version scale independently of the convergence rate of Stein variational gradient descent on a single level. Numerical experiments with Bayesian inverse problems of inferring discretized basal sliding coefficient fields of the Arolla glacier ice demonstrate that multilevel Stein variational gradient descent achieves orders of magnitude speedups compared to its single-level version.

变异推理（VI）的核心原理是将计算复杂后概率密度计算的统计推断问题转换为可拖动的优化问题。该属性使VI比几种基于采样的技术更快。但是，传统的VI算法无法扩展到大型数据集，并且无法轻易推断出越野数据点，而无需重新运行优化过程。该领域的最新发展，例如随机，黑框和摊销VI，已帮助解决了这些问题。如今，生成的建模任务广泛利用摊销VI来实现其效率和可扩展性，因为它利用参数化函数来学习近似的后验密度参数。在本文中，我们回顾了各种VI技术的数学基础，以构成理解摊销VI的基础。此外，我们还概述了最近解决摊销VI问题的趋势，例如摊销差距，泛化问题，不一致的表示学习和后验崩溃。最后，我们分析了改善VI优化的替代差异度量。

We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.

准确的动力学模型在许多机器人技术应用程序（例如越野导航和高速驾驶）中起着至关重要的作用。然而，学习随机运动动力学模型的许多最先进的方法需要对机器人状态作为标记的输入/输出示例进行精确测量，由于传感器功能有限，并且缺乏地面真相，在室外设置中可能很难获得。 。在这项工作中，我们提出了一种新技术，用于通过执行同时进行状态估计和动力学学习，从嘈杂和间接观察中学习神经随机的动力学模型。所提出的技术迭代地改善了预期最大化环路中的动力学模型，其中E步骤采样了使用粒子过滤的后状态轨迹，并且M步骤更新动力学，以使通过随机梯度上升的采样轨迹更加一致。我们在模拟和实际基准测试中评估了我们的方法，并将其与几种基线技术进行比较。我们的方法不仅达到了更高的精度，而且对观察噪声也更加强大，从而显示出有望提高许多其他机器人应用的性能。

从降压和嘈杂的测量值（例如MRI和低剂量计算机断层扫描（CT））中重建图像是数学上不良的反问题。我们提出了一种基于期望传播（EP）技术的易于使用的重建方法。我们将蒙特卡洛（MC）方法，马尔可夫链蒙特卡洛（MCMC）和乘数（ADMM）算法的交替方向方法纳入EP方法，以解决EP中遇到的棘手性问题。我们在复杂的贝叶斯模型上演示了图像重建的方法。我们的技术应用于伽马相机扫描中的图像。我们仅将EPMC，EP-MCMC，EP-ADMM方法与MCMC进行比较。指标是更好的图像重建，速度和参数估计。在真实和模拟数据中使用伽马相机成像进行的实验表明，我们提出的方法在计算上比MCMC昂贵，并且产生相对更好的图像重建。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

本文介绍了用于增量平滑和映射（NF-ISAM）的归一化流，这是一种新型算法，用于通过非线性测量模型和非高斯因素来推断SLAM问题中完整的后验分布。NF-ISAM利用了神经网络的表达能力，并将正常的流量训练以建模和对完整的后部进行采样。通过利用贝叶斯树，NF-ISAM启用了类似于ISAM2的有效增量更新，尽管在更具挑战性的非高斯环境中。我们证明了NF-ISAM使用数据关联模棱两可的仅范围的SLAM问题来证明NF-ISAM比最先进的点和分布估计算法的优势。NF-ISAM在描述连续变量（例如位置）和离散变量（例如数据关联）的后验信仰方面提出了卓越的准确性。

在本文中，我们关注将基于能量的模型（EBM）作为运动优化的指导先验的问题。 EBM是一组神经网络，可以用合适的能量函数参数为参数的GIBBS分布来表示表达概率密度分布。由于其隐含性，它们可以轻松地作为优化因素或运动优化问题中的初始采样分布整合在一起，从而使它们成为良好的候选者，以将数据驱动的先验集成在运动优化问题中。在这项工作中，我们提出了一组所需的建模和算法选择，以使EBMS适应运动优化。我们调查了将其他正规化器在学习EBM中的好处，以将它们与基于梯度的优化器一起使用，并提供一组EBM架构，以学习用于操纵任务的可通用分布。我们提出了多种情况，可以将EBM集成以进行运动优化，并评估学到的EBM的性能，以指导模拟和真实机器人实验的指导先验。

We propose SWA-Gaussian (SWAG), a simple, scalable, and general purpose approach for uncertainty representation and calibration in deep learning. Stochastic Weight Averaging (SWA), which computes the first moment of stochastic gradient descent (SGD) iterates with a modified learning rate schedule, has recently been shown to improve generalization in deep learning. With SWAG, we fit a Gaussian using the SWA solution as the first moment and a low rank plus diagonal covariance also derived from the SGD iterates, forming an approximate posterior distribution over neural network weights; we then sample from this Gaussian distribution to perform Bayesian model averaging. We empirically find that SWAG approximates the shape of the true posterior, in accordance with results describing the stationary distribution of SGD iterates. Moreover, we demonstrate that SWAG performs well on a wide variety of tasks, including out of sample detection, calibration, and transfer learning, in comparison to many popular alternatives including MC dropout, KFAC Laplace, SGLD, and temperature scaling.