语境。斑点检测是天文学中的常见问题。一个例子是在恒星种群建模中,其中从观察结果推断出星系中恒星年龄和金属性的分布。在这种情况下,斑点可能对应于原位的恒星与从卫星中吸收的恒星相对应,而BLOB检测的任务是解散这些组件。当分布带来重大不确定性时,就会出现一个困难,就像从未解决的恒星系统的建模光谱中推断出的恒星种群的情况一样。目前没有不确定性检测BLOB检测的令人满意的方法。目标。我们介绍了一种在恒星系统综合光谱的恒星种群建模的背景下开发的不确定性感知斑点检测方法。方法。我们为经典的blob检测方法的经典laplacian方法的不确定性感知版本开发了理论和计算工具,我们称之为ULOG。这确定了考虑各种尺度的重要斑点。作为将ULOG应用于恒星种群建模的先决条件,我们引入了一种有效计算光谱建模不确定性的方法。该方法基于截断的奇异值分解和马尔可夫链蒙特卡洛采样(SVD-MCMC)。结果。我们将方法应用于星团M54的数据。我们表明,SVD-MCMC推断与标准MCMC的推断相匹配,但计算速度更快。我们将ULOG应用于推断的M54年龄/金属性分布,识别其恒星中的2或3个显着不同的种群。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
$ \ Texit {Fermi} $数据中的银河系中多余(GCE)的两个领先假设是一个未解决的微弱毫秒脉冲条件(MSP)和暗物质(DM)湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而,诸如MSP的点源(PSS)在超微弱的极限中具有统计变质的泊松发射(正式的位置,预期每个来源平均贡献远低于一个光子),导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法,以统一的方式描述PS和泊松发射,并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法,我们利用深度学习技术,围绕基于神经网络的方法,用于直方图回归,其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统,特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中,我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $(对应于$ \ sim3 - 4 $每pL期望计数),这需要$ n \ sim \ mathcal {o}( 10 ^ 4)$源来解释整个过剩(中位数价值$ n = \文本{29,300} $横跨天空)。虽然微弱,但这种SCD允许我们获得95%信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \%$。这表明大量的GCE通量是由于PSS 。
translated by 谷歌翻译
Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.
translated by 谷歌翻译
封闭曲线的建模和不确定性量化是形状分析领域的重要问题,并且可以对随后的统计任务产生重大影响。这些任务中的许多涉及封闭曲线的集合,这些曲线通常在多个层面上表现出结构相似性。以有效融合这种曲线间依赖性的方式对多个封闭曲线进行建模仍然是一个具有挑战性的问题。在这项工作中,我们提出并研究了一个多数输出(又称多输出),多维高斯流程建模框架。我们说明了提出的方法学进步,并在几个曲线和形状相关的任务上证明了有意义的不确定性量化的实用性。这种基于模型的方法不仅解决了用内核构造对封闭曲线(及其形状)的推断问题,而且还为通常对功能对象的多层依赖性的非参数建模打开了门。
translated by 谷歌翻译
我们建议使用贝叶斯推理和深度神经网络的技术,将地震成像中的不确定性转化为图像上执行的任务的不确定性,例如地平线跟踪。地震成像是由于带宽和孔径限制,这是一个不良的逆问题,由于噪声和线性化误差的存在而受到阻碍。但是,许多正规化方法,例如变形域的稀疏性促进,已设计为处理这些错误的不利影响,但是,这些方法具有偏向解决方案的风险,并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法,以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络(CNN)并评估这些不确定性,样品是从CNN权重的后验分布中得出的,用于参数化图像。与传统先验相比,文献中认为,这些CNN引入了灵活的感应偏见,这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题,即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外,最大的后验估计值容易过度拟合外,访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性,以便在跟踪的视野上不确定性。例如,它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病,我们引入了辅助变量以表示这种不确定性。然而,这些变量导致了高维图像数据的综合可能性,通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明,可以计算出有关模型参数的数据中的预期信息收益(EIG),而无需额外的成本。最后,我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准,我们介绍了一些基于域的能量和傅立叶的摘要统计数据,并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
基于采样的推理技术是现代宇宙学数据分析的核心;然而,这些方法与维度不良,通常需要近似或顽固的可能性。在本文中,我们描述了截短的边际神经比率估计(TMNRE)(即所谓的基于模拟的推断的新方法)自然避免了这些问题,提高了$(i)$效率,$(ii)$可扩展性和$ (iii)推断后的后续后续的可信度。使用宇宙微波背景(CMB)的测量,我们表明TMNRE可以使用比传统马尔可夫链蒙特卡罗(MCMC)方法更少模拟器呼叫的数量级来实现融合的后海后。值得注意的是,所需数量的样本有效地独立于滋扰参数的数量。此外,称为\ MEMPH {本地摊销}的属性允许对基于采样的方法无法访问的严格统计一致性检查的性能。 TMNRE承诺成为宇宙学数据分析的强大工具,特别是在扩展宇宙学的背景下,其中传统的基于采样的推理方法所需的时间级数融合可以大大超过$ \ Lambda $ CDM等简单宇宙学模型的时间。为了执行这些计算,我们使用开源代码\ texttt {swyft}来使用TMNRE的实现。
translated by 谷歌翻译
现代深度学习方法构成了令人难以置信的强大工具,以解决无数的挑战问题。然而,由于深度学习方法作为黑匣子运作,因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集,用于设计,实施,列车,使用和评估贝叶斯神经网络,即使用贝叶斯方法培训的随机人工神经网络。
translated by 谷歌翻译
非线性动态系统的识别仍然是整个工程的重大挑战。这项工作提出了一种基于贝叶斯过滤的方法,以提取和确定系统中未知的非线性项的贡献,可以将其视为恢复力表面类型方法的替代观点。为了实现这种识别,最初将非线性恢复力的贡献作为高斯过程建模。该高斯过程将转换为状态空间模型,并与系统的线性动态组件结合使用。然后,通过推断过滤和平滑分布,可以提取系统的内部状态和非线性恢复力。在这些状态下,可以构建非线性模型。在模拟案例研究和实验基准数据集中,该方法被证明是有效的。
translated by 谷歌翻译
逆问题本质上是普遍存在的,几乎在科学和工程的几乎所有领域都出现,从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法,通过将逆问题提出为统计框架。但是,当推断具有大幅度的离散表示的字段(所谓的“维度的诅咒”)和/或仅以先前获取的解决方案的形式可用时。在这项工作中,我们提出了一种新的方法,可以使用深层生成模型进行有效,准确的贝叶斯反转。具体而言,我们证明了如何使用生成对抗网络(GAN)在贝叶斯更新中学到的近似分布,并在GAN的低维度潜在空间中重新解决所得的推断问题,从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学,并且被证明可以通过可靠的不确定性估计得出准确的结果,即使没有有关基础噪声模型的信息,这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性,包括合成和实验观察到的数据。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一,在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中,目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及,所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里,我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式,但是推理方法阐述了精确的生成模型,并尝试将其符合数据。通过这种方式,他们能够为网络形成机制提供见解,并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案,因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致,产生更强大的结果,并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时,努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译
从卫星图像中提取的大气运动向量(AMV)是唯一具有良好全球覆盖范围的风观测。它们是进食数值天气预测(NWP)模型的重要特征。已经提出了几种贝叶斯模型来估计AMV。尽管对于正确同化NWP模型至关重要,但很少有方法可以彻底表征估计误差。估计误差的困难源于后验分布的特异性,这既是很高的维度,又是由于奇异的可能性而导致高度不良的条件,这在缺少数据(未观察到的像素)的情况下特别重要。这项工作研究了使用基于梯度的Markov链Monte Carlo(MCMC)算法评估AMV的预期误差。我们的主要贡献是提出一种回火策略,这相当于在点估计值附近的AMV和图像变量的联合后验分布的局部近似。此外,我们提供了与先前家庭本身有关的协方差(分数布朗运动),并具有不同的超参数。从理论的角度来看,我们表明,在规律性假设下,随着温度降低到{optimal}高斯近似值,在最大a后验(MAP)对数密度给出的点估计下,温度降低到{optimal}高斯近似值。从经验的角度来看,我们根据一些定量的贝叶斯评估标准评估了提出的方法。我们对合成和真实气象数据进行的数值模拟揭示了AMV点估计的准确性及其相关的预期误差估计值的显着提高,但在MCMC算法的收敛速度方面也有很大的加速度。
translated by 谷歌翻译
Existing deep-learning based tomographic image reconstruction methods do not provide accurate estimates of reconstruction uncertainty, hindering their real-world deployment. This paper develops a method, termed as the linearised deep image prior (DIP), to estimate the uncertainty associated with reconstructions produced by the DIP with total variation regularisation (TV). Specifically, we endow the DIP with conjugate Gaussian-linear model type error-bars computed from a local linearisation of the neural network around its optimised parameters. To preserve conjugacy, we approximate the TV regulariser with a Gaussian surrogate. This approach provides pixel-wise uncertainty estimates and a marginal likelihood objective for hyperparameter optimisation. We demonstrate the method on synthetic data and real-measured high-resolution 2D $\mu$CT data, and show that it provides superior calibration of uncertainty estimates relative to previous probabilistic formulations of the DIP. Our code is available at https://github.com/educating-dip/bayes_dip.
translated by 谷歌翻译
利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常,许多初始状态归因于“燃烧”并移除,而链条的其余部分是“变薄”,如果还需要压缩。在本文中,我们考虑回顾性地从样本路径中选择固定基数的状态的问题,使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法,这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python,R和Matlab中的Stein细化包中提供。
translated by 谷歌翻译
The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.
translated by 谷歌翻译
远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战,在这些挑战中,训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入,则预处理的深神经网络(在我们的情况下是有条件的正常化流量)几乎没有成本的后验样品。然而,这种方法的准确性取决于高保真训练数据的可用性,由于地球的异质结构,由于地球物理逆问题很少存在。此外,准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此,我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标,我们不是标准的高斯潜在分布,我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后,通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题,但通过地震成像示例,我们表明我们的校正步骤可提高摊销变异推理的鲁棒性,以相对于源实验数量的变化,噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像,并评估其不确定性,其成本大致与五个反度迁移相同。
translated by 谷歌翻译
Stellar photospheric activity is known to limit the detection and characterisation of extra-solar planets. In particular, the study of Earth-like planets around Sun-like stars requires data analysis methods that can accurately model the stellar activity phenomena affecting radial velocity (RV) measurements. Gaussian Process Regression Networks (GPRNs) offer a principled approach to the analysis of simultaneous time-series, combining the structural properties of Bayesian neural networks with the non-parametric flexibility of Gaussian Processes. Using HARPS-N solar spectroscopic observations encompassing three years, we demonstrate that this framework is capable of jointly modelling RV data and traditional stellar activity indicators. Although we consider only the simplest GPRN configuration, we are able to describe the behaviour of solar RV data at least as accurately as previously published methods. We confirm the correlation between the RV and stellar activity time series reaches a maximum at separations of a few days, and find evidence of non-stationary behaviour in the time series, associated with an approaching solar activity minimum.
translated by 谷歌翻译
许多现代数据集,从神经影像和地统计数据等领域都以张量数据的随机样本的形式来说,这可以被理解为对光滑的多维随机功能的嘈杂观察。来自功能数据分析的大多数传统技术被维度的诅咒困扰,并且随着域的尺寸增加而迅速变得棘手。在本文中,我们提出了一种学习从多维功能数据样本的持续陈述的框架,这些功能是免受诅咒的几种表现形式的。这些表示由一组可分离的基函数构造,该函数被定义为最佳地适应数据。我们表明,通过仔细定义的数据的仔细定义的减少转换的张测仪分解可以有效地解决所得到的估计问题。使用基于差分运算符的惩罚,并入粗糙的正则化。也建立了相关的理论性质。在模拟研究中证明了我们对竞争方法的方法的优点。我们在神经影像动物中得出真正的数据应用。
translated by 谷歌翻译
最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中,其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中,我们涵盖了非线性方法,例如主曲线,多维缩放,局部线性方法,ISOMAP,基于图形的方法和扩散映射,基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关,特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中,以使数据适合传统技术,例如群集和分类技术。可以说,这是算法机器学习方法与统计建模(所谓的随机块建模)之间的对比度。在论文中,我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $,即可视化中。提出了三种方法:基于第一部分,第二和第三部分中的方法,$ t $ -sne,UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎,另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。
translated by 谷歌翻译