明显大小的时间变化(称为光曲线)是望远镜在长时间内捕获的感兴趣的观察统计。光曲线提供了空间域意识(SDA)目标(例如对象识别或姿势估计)作为潜在变量推理问题等目标的探索。与较高的精确仪器相比,来自货架上商业架子(COTS)摄像机的地面观测仍然很便宜,但是,有限的传感器可用性与嘈杂的观察结果相结合,可能会产生可能难以建模的gappy时间序列数据。这些外部因素混淆了对光曲线的自动开发,这使光曲线预测和外推成为应用的关键问题。传统上,使用基于扩散或基于示例的方法解决了图像或时间序列的完成问题。最近,由于学习复杂的非线性嵌入方面的经验成功,深度神经网络(DNNS)已成为首选工具。但是,DNN通常需要大量的培训数据,而这些数据不一定在查看单个卫星的光曲线的独特功能时可用。在本文中,我们提出了一种新的方法,可以使用高斯工艺(GPS)预测光曲线的缺失和未来数据点。 GPS是非线性概率模型,可推断后验分布在功能上并自然量化不确定性。但是,GP推理和培训的立方缩放是其在应用中采用的主要障碍。特别是,单个光曲线可以具有数十万个观测值,这远远超出了单个机器上常规GP的实际实现极限。因此,我们采用MUYGP,这是一种可扩展的框架,用于使用最近的邻居稀疏和局部交叉验证的GP模型的超参数估计。 muygps ...
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
人工智能(AI)和机器学习(ML)的最新表现突破,尤其是深度学习的进步(DL),功能强大,易于使用的ML库(例如Scikit-Learn,Tensorflow,Pytorch。),Pytorch。,Pytorch。。核工程师对AI/ML的前所未有的兴趣,并增加了计算能力。对于基于物理学的计算模型,已经广泛研究了验证,验证和不确定性定量(VVUQ),并且已经开发了许多方法。但是,ML模型的VVUQ的研究相对较少,尤其是在核工程中。在这项工作中,我们专注于ML模型的UQ作为ML VVUQ的初步步骤,更具体地说,是Deep Neural Networks(DNNS),因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性,当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术,即Monte Carlo辍学(MCD),深层合奏(DE)和贝叶斯神经网络(BNNS)。两个核工程示例用于基准这些方法,(1)使用野牛代码的时间依赖性裂变气体释放数据,以及(2)基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言,所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时,不确定性通常较小,而BNN方法通常会产生比MCD和DE更大的不确定性。
translated by 谷歌翻译
Batteries plays an essential role in modern energy ecosystem and are widely used in daily applications such as cell phones and electric vehicles. For many applications, the health status of batteries plays a critical role in the performance of the system by indicating efficient maintenance and on-time replacement. Directly modeling an individual battery using a computational models based on physical rules can be of low-efficiency, in terms of the difficulties in build such a model and the computational effort of tuning and running it especially on the edge. With the rapid development of sensor technology (to provide more insights into the system) and machine learning (to build capable yet fast model), it is now possible to directly build a data-riven model of the battery health status using the data collected from historical battery data (being possibly local and remote) to predict local battery health status in the future accurately. Nevertheless, most data-driven methods are trained based on the local battery data and lack the ability to extract common properties, such as generations and degradation, in the life span of other remote batteries. In this paper, we utilize a Gaussian process dynamical model (GPDM) to build a data-driven model of battery health status and propose a knowledge transfer method to extract common properties in the life span of all batteries to accurately predict the battery health status with and without features extracted from the local battery. For modern benchmark problems, the proposed method outperform the state-of-the-art methods with significant margins in terms of accuracy and is able to accuracy predict the regeneration process.
translated by 谷歌翻译
使用马尔可夫链蒙特卡洛(Monte Carlo)以贝叶斯方式将理论模型拟合到实验数据中,通常需要一个评估数千(或数百万)型的型号。当模型是慢速到计算的物理模拟时,贝叶斯模型拟合就变得不可行。为了解决这个问题,可以使用模拟输出的第二个统计模型,该模型可以用来代替模型拟合期间的完整仿真。选择的典型仿真器是高斯过程(GP),这是一种灵活的非线性模型,在每个输入点提供了预测均值和方差。高斯流程回归对少量培训数据($ n <10^3 $)非常有效,但是当数据集大小变大时,训练和用于预测的速度慢。可以使用各种方法来加快中高级数据集制度($ n> 10^5 $)的加快高斯流程,从而使人们的预测准确性大大降低了。这项工作研究了几种近似高斯过程模型的准确度折叠 - 稀疏的变异GP,随机变异GP和深内核学习的GP - 在模拟密度功能理论(DFT)模型的预测时。此外,我们使用模拟器以贝叶斯的方式校准DFT模型参数,使用观察到的数据,解决数据集大小所施加的计算屏障,并将校准结果与先前的工作进行比较。这些校准的DFT模型的实用性是根据观察到的数据对实验意义的核素的性质进行预测,例如超重核。
translated by 谷歌翻译
风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性,以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵,因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中,我们使用现实世界的光检测和测量(LIDAR)测量的风力涡轮机唤醒,用机器学习构建预测代理模型。具体而言,我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间,其给出了唤醒激光雷达测量的计算易逼近的近似。然后,我们学习使用深神经网络的参数空间和(潜在空间)唤醒流场之间的映射。此外,我们还展示了使用概率机器学习技术,即高斯过程建模,除了数据中的认知和炼拉内不确定性之外,学习参数空间潜空间映射。最后,为了应对培训大型数据集,我们展示了使用变分高斯过程模型,为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外,我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说,我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似,其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
随机微分方程的系统定义了一系列随机波动率模型。尽管这些模型在金融和统计气候学等领域中取得了广泛的成功,但它们通常缺乏在历史数据上条件产生真正的后验分布的能力。为了解决这一基本限制,我们展示了如何将一类随机波动率模型重新塑造为具有专门协方差函数的层次高斯工艺(GP)模型。该GP模型保留了随机波动率模型的电感偏差,同时提供了GP推断给出的后验预测分布。在此框架内,我们从研究良好的域中汲取灵感,以引入新的型号,即Volt和Magpie,这些模型在库存和风速预测中的表现明显超过了基线,并且自然扩展到多任务设置。
translated by 谷歌翻译
我们考虑基于活动的运输模拟器的校准和不确定性分析问题。基于活动的模型(ABM)依靠单个旅行者行为的统计模型来预测大都市地区的高阶旅行模式。输入参数通常是使用最大似然从旅行者调查中估算的。我们开发了一种使用高斯工艺模拟器使用流量流数据校准这些参数的方法。我们的方法扩展了传统的模拟器,以处理运输模拟器的高维和非平稳性。我们介绍了一个深度学习维度降低模型,该模型与高斯工艺模型共同估计以近似模拟器。我们使用几个模拟示例以及校准伊利诺伊州布卢明顿的关键参数来证明方法。
translated by 谷歌翻译
以知情方式监测和管理地球林是解决生物多样性损失和气候变化等挑战的重要要求。虽然森林评估的传统或空中运动提供了在区域一级分析的准确数据,但将其扩展到整个国家,以外的高度分辨率几乎不可能。在这项工作中,我们提出了一种贝叶斯深度学习方法,以10米的分辨率为全国范围的森林结构变量,使用自由可用的卫星图像作为输入。我们的方法将Sentinel-2光学图像和Sentinel-1合成孔径雷达图像共同变换为五种不同的森林结构变量的地图:95th高度百分位,平均高度,密度,基尼系数和分数盖。我们从挪威的41个机载激光扫描任务中培训和测试我们的模型,并证明它能够概括取消测试区域,从而达到11%和15%之间的归一化平均值误差,具体取决于变量。我们的工作也是第一个提出贝叶斯深度学习方法的工作,以预测具有良好校准的不确定性估计的森林结构变量。这些提高了模型的可信度及其适用于需要可靠的信心估计的下游任务,例如知情决策。我们提出了一组广泛的实验,以验证预测地图的准确性以及预测的不确定性的质量。为了展示可扩展性,我们为五个森林结构变量提供挪威地图。
translated by 谷歌翻译
目前,由精确的径向速度(RV)观察结果受到恒星活性引入的虚假RV信号的限制。我们表明,诸如线性回归和神经网络之类的机器学习技术可以有效地从RV观测中删除活动信号(由于星形/张图引起的)。先前的工作着重于使用高斯工艺回归等建模技术仔细地过滤活性信号(例如Haywood等人,2014年)。取而代之的是,我们仅使用对光谱线平均形状的更改进行系统地删除活动信号,也没有有关收集观测值的信息。我们对模拟数据(使用SOAP 2.0软件生成; Dumusque等人,2014年生成)和从Harps-N太阳能望远镜(Dumusque等,2015; Phillips等人2015; 2016; Collier训练)培训了机器学习模型。 Cameron等人2019)。我们发现,这些技术可以从模拟数据(将RV散射从82 cm/s提高到3 cm/s)以及从HARPS-N太阳能望远镜中几乎每天进行的600多种真实观察结果来预测和消除恒星活动(将RV散射从82 cm/s提高到3 cm/s)。 (将RV散射从1.753 m/s提高到1.039 m/s,提高了约1.7倍)。将来,这些或类似的技术可能会从太阳系以外的恒星观察中去除活动信号,并最终有助于检测到阳光状恒星周围可居住的区域质量系外行星。
translated by 谷歌翻译
现代时间域的光度测验收集了许多天文学对象的观察结果,大规模调查的即将到来的时代将提供更多信息。大多数对象从未接受过光谱随访,这对于瞬态尤其至关重要。超新星。在这种情况下,观察到的光曲线可以提供负担得起的替代方案。时间序列被积极用于光度分类和表征,例如峰值和光度下降估计。但是,收集的时间序列是多维的,不规则地采样,包含异常值,并且没有明确定义的系统不确定性。机器学习方法有助于以最有效的方式从可用数据中提取有用的信息。我们考虑了基于神经网络的几种光曲线近似方法:多层感知,贝叶斯神经网络以及使流量正常化,以近似单光曲线观察。使用模拟的Parperc和Real Zwicky瞬态设施数据样本的测试表明,即使很少有观察值足以拟合网络并获得比其他最新方法更好的近似质量。我们表明,这项工作中描述的方法具有比高斯流程更快的计算复杂性和更快的工作速度。我们分析了旨在填补光曲线观察中空白的近似技术的性能,并表明使用适当的技术会提高峰值发现和超新星分类的准确性。此外,研究结果是在GitHub上可用的Fulu Python库中组织的,该库可以很容易地由社区使用。
translated by 谷歌翻译
我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器(PAE),以学习IA型超新星(SNE IA)的内在多样性。 PAE是一个两阶段的生成模型,由自动编码器(AE)组成,该模型在使用归一化流(NF)训练后概率地解释。我们证明,PAE学习了一个低维的潜在空间,该空间可捕获人口内存在的非线性特征范围,并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络,我们表明可以在训练期间分离内在和外在的可变性模式,从而消除了需要进行额外标准化的其他模型。然后,我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析,包括自动检测SN Outliers,与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现,与以前的研究相一致的最佳固有模型参数数量似乎是三个,并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本,该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布
translated by 谷歌翻译
In this work, we propose a novel generative model for mapping inputs to structured, high-dimensional outputs using structured conditional normalizing flows and Gaussian process regression. The model is motivated by the need to characterize uncertainty in the input/output relationship when making inferences on new data. In particular, in the physical sciences, limited training data may not adequately characterize future observed data; it is critical that models adequately indicate uncertainty, particularly when they may be asked to extrapolate. In our proposed model, structured conditional normalizing flows provide parsimonious latent representations that relate to the inputs through a Gaussian process, providing exact likelihood calculations and uncertainty that naturally increases away from the training data inputs. We demonstrate the methodology on laser-induced breakdown spectroscopy data from the ChemCam instrument onboard the Mars rover Curiosity. ChemCam was designed to recover the chemical composition of rock and soil samples by measuring the spectral properties of plasma atomic emissions induced by a laser pulse. We show that our model can generate realistic spectra conditional on a given chemical composition and that we can use the model to perform uncertainty quantification of chemical compositions for new observed spectra. Based on our results, we anticipate that our proposed modeling approach may be useful in other scientific domains with high-dimensional, complex structure where it is important to quantify predictive uncertainty.
translated by 谷歌翻译
多维时空数据的概率建模对于许多现实世界应用至关重要。然而,现实世界时空数据通常表现出非平稳性的复杂依赖性,即相关结构随位置/时间而变化,并且在空间和时间之间存在不可分割的依赖性,即依赖关系。开发有效和计算有效的统计模型,以适应包含远程和短期变化的非平稳/不可分割的过程,成为一项艰巨的任务,尤其是对于具有各种腐败/缺失结构的大规模数据集。在本文中,我们提出了一个新的统计框架 - 贝叶斯互补内核学习(BCKL),以实现多维时空数据的可扩展概率建模。为了有效地描述复杂的依赖性,BCKL与短距离时空高斯过程(GP)相结合的内核低级分解(GP),其中两个组件相互补充。具体而言,我们使用多线性低级分组组件来捕获数据中的全局/远程相关性,并基于紧凑的核心函数引入加法短尺度GP,以表征其余的局部变异性。我们为模型推断开发了有效的马尔可夫链蒙特卡洛(MCMC)算法,并在合成和现实世界时空数据集上评估了所提出的BCKL框架。我们的结果证实了BCKL在提供准确的后均值和高质量不确定性估计方面的出色表现。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
随机过程提供了数学上优雅的方式模型复杂数据。从理论上讲,它们为可以编码广泛有趣的假设的功能类提供了灵活的先验。但是,实际上,难以通过优化或边缘化来有效推断,这一问题进一步加剧了大数据和高维输入空间。我们提出了一种新颖的变性自动编码器(VAE),称为先前的编码变量自动编码器($ \ pi $ vae)。 $ \ pi $ vae是有限的交换且Kolmogorov一致的,因此是一个连续的随机过程。我们使用$ \ pi $ vae学习功能类的低维嵌入。我们表明,我们的框架可以准确地学习表达功能类,例如高斯流程,也可以学习函数的属性以启用统计推断(例如log高斯过程的积分)。对于流行的任务,例如空间插值,$ \ pi $ vae在准确性和计算效率方面都达到了最先进的性能。也许最有用的是,我们证明了所学的低维独立分布的潜在空间表示提供了一种优雅,可扩展的方法,可以在概率编程语言(例如Stan)中对随机过程进行贝叶斯推断。
translated by 谷歌翻译
我们研究了回归中神经网络(NNS)的模型不确定性的方法。为了隔离模型不确定性的效果,我们专注于稀缺训练数据的无噪声环境。我们介绍了关于任何方法都应满足的模型不确定性的五个重要的逃亡者。但是,我们发现,建立的基准通常无法可靠地捕获其中一些逃避者,即使是贝叶斯理论要求的基准。为了解决这个问题,我们介绍了一种新方法来捕获NNS的模型不确定性,我们称之为基于神经优化的模型不确定性(NOMU)。 NOMU的主要思想是设计一个由两个连接的子NN组成的网络体系结构,一个用于模型预测,一个用于模型不确定性,并使用精心设计的损耗函数进行训练。重要的是,我们的设计执行NOMU满足我们的五个Desiderata。由于其模块化体系结构,NOMU可以为任何给定(先前训练)NN提供模型不确定性,如果访问其培训数据。我们在各种回归任务和无嘈杂的贝叶斯优化(BO)中评估NOMU,并具有昂贵的评估。在回归中,NOMU至少和最先进的方法。在BO中,Nomu甚至胜过所有考虑的基准。
translated by 谷歌翻译
飞机行业不断努力在人类的努力,计算时间和资源消耗方面寻求更有效的设计优化方法。当替代模型和最终过渡到HF模型的开关机制均被正确校准时,混合替代物优化保持了高效果,同时提供快速的设计评估。前馈神经网络(FNN)可以捕获高度非线性输入输出映射,从而为飞机绩效因素提供有效的替代物。但是,FNN通常无法概括分布(OOD)样本,这阻碍了它们在关键飞机设计优化中的采用。通过Smood,我们基于平滑度的分布检测方法,我们建议用优化的FNN替代物来编码一个依赖模型的OOD指标,以产生具有选择性但可信度的预测的值得信赖的替代模型。与常规的不确定性接地方法不同,Smood利用了HF模拟的固有平滑性特性,可以通过揭示其可疑敏感性有效地暴露OOD,从而避免对OOD样品的过度自信不确定性估计。通过使用SMOOD,仅将高风险的OOD输入转发到HF模型以进行重新评估,从而以低开销成本获得更准确的结果。研究了三个飞机性能模型。结果表明,基于FNN的代理在预测性能方面优于其高斯过程。此外,在所有研究案例中,Smood的确覆盖了85%的实际OOD。当Smood Plus FNN替代物被部署在混合替代优化设置中时,它们的错误率分别降低了34.65%和计算速度的降低率分别为58.36次。
translated by 谷歌翻译
由于耗时的光曲线计算和高维参数空间中的病理可能性景观,通过基于标准的采样方法对二进制微透镜曲线进行建模可能具有挑战性。在这项工作中,我们提出了魔术,这是一个机器学习框架,可有效,准确地推断出具有现实数据质量的二进制事件的微透镜参数。在魔术中,将二进制微透镜参数分为两组,并通过不同的神经网络分别推断。魔术的关键特征是引入神经控制的微分方程,该方程提供了通过不规则采样和较大数据差距处理光曲线的能力。基于模拟的光曲线,我们表明魔术可以在二进制质量比和分离上达到几%的分数不确定性。我们还在真实的微透镜事件中测试魔术。即使引入了较大的数据差距,魔术也能够找到退化的解决方案。由于不规则的采样在天文学调查中很常见,因此我们的方法还对涉及时间序列的其他研究具有影响。
translated by 谷歌翻译