The viral load of patients infected with SARS-CoV-2 varies on logarithmic scales and possibly with age. Controversial claims have been made in the literature regarding whether the viral load distribution actually depends on the age of the patients. Such a dependence would have implications for the COVID-19 spreading mechanism, the age-dependent immune system reaction, and thus for policymaking. We hereby develop a method to analyze viral-load distribution data as a function of the patients' age within a flexible, non-parametric, hierarchical, Bayesian, and causal model. The causal nature of the developed reconstruction additionally allows to test for bias in the data. This could be due to, e.g., bias in patient-testing and data collection or systematic errors in the measurement of the viral load. We perform these tests by calculating the Bayesian evidence for each implied possible causal direction. The possibility of testing for bias in data collection and identifying causal directions can be very useful in other contexts as well. For this reason we make our model freely available. When applied to publicly available age and SARS-CoV-2 viral load data, we find a statistically significant increase in the viral load with age, but only for one of the two analyzed datasets. If we consider this dataset, and based on the current understanding of viral load's impact on patients' infectivity, we expect a non-negligible difference in the infectivity of different age groups. This difference is nonetheless too small to justify considering any age group as noninfectious.
translated by 谷歌翻译
$ \ Texit {Fermi} $数据中的银河系中多余(GCE)的两个领先假设是一个未解决的微弱毫秒脉冲条件(MSP)和暗物质(DM)湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而,诸如MSP的点源(PSS)在超微弱的极限中具有统计变质的泊松发射(正式的位置,预期每个来源平均贡献远低于一个光子),导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法,以统一的方式描述PS和泊松发射,并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法,我们利用深度学习技术,围绕基于神经网络的方法,用于直方图回归,其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统,特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中,我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $(对应于$ \ sim3 - 4 $每pL期望计数),这需要$ n \ sim \ mathcal {o}( 10 ^ 4)$源来解释整个过剩(中位数价值$ n = \文本{29,300} $横跨天空)。虽然微弱,但这种SCD允许我们获得95%信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \%$。这表明大量的GCE通量是由于PSS 。
translated by 谷歌翻译
大型观察数据越来越多地提供健康,经济和社会科学等学科,研究人员对因果问题而不是预测感兴趣。在本文中,从旨在调查参与学校膳食计划对健康指标的实证研究,研究了使用非参数回归的方法估算异质治疗效果的问题。首先,我们介绍了与观察或非完全随机数据进行因果推断相关的设置和相关的问题,以及如何在统计学习工具的帮助下解决这些问题。然后,我们审查并制定现有最先进的框架的统一分类,允许通过非参数回归模型来估算单个治疗效果。在介绍模型选择问题的简要概述后,我们说明了一些关于三种不同模拟研究的方法的性能。我们通过展示一些关于学校膳食计划数据的实证分析的一些方法的使用来结束。
translated by 谷歌翻译
基于AI和机器学习的决策系统已在各种现实世界中都使用,包括医疗保健,执法,教育和金融。不再是牵强的,即设想一个未来,自治系统将推动整个业务决策,并且更广泛地支持大规模决策基础设施以解决社会最具挑战性的问题。当人类做出决定时,不公平和歧视的问题普遍存在,并且当使用几乎没有透明度,问责制和公平性的机器做出决定时(或可能会放大)。在本文中,我们介绍了\ textit {Causal公平分析}的框架,目的是填补此差距,即理解,建模,并可能解决决策设置中的公平性问题。我们方法的主要见解是将观察到数据中存在的差异的量化与基本且通常是未观察到的因果机制收集的因果机制的收集,这些机制首先会产生差异,挑战我们称之为因果公平的基本问题分析(FPCFA)。为了解决FPCFA,我们研究了分解差异和公平性的经验度量的问题,将这种变化归因于结构机制和人群的不同单位。我们的努力最终达到了公平地图,这是组织和解释文献中不同标准之间关系的首次系统尝试。最后,我们研究了进行因果公平分析并提出一本公平食谱的最低因果假设,该假设使数据科学家能够评估不同影响和不同治疗的存在。
translated by 谷歌翻译
如今,贝叶斯推论的应用非常流行。在此框架中,通过其边际可能性或其商(称为贝叶斯因素)进行比较模型。但是,边际可能性取决于先前的选择。对于模型选择,与参数估计问题不同,即使是分散的先验也可能非常有用。此外,当先验不当时,相应模型的边际可能性就不确定。在这项工作中,我们讨论了边际可能性及其在模型选择中的作用的先验敏感性问题。我们还评论了使用非信息性先验,这在实践中是非常普遍的选择。讨论了一些实际建议,并描述了文献中提出的许多可能的解决方案,以设计用于模型选择的客观先验。其中一些还允许使用不当先验。还提出了边际似然方法与众所周知的信息标准之间的联系。我们通过说明性的数值示例描述了主要问题和可能的解决方案,还提供了一些相关的代码。其中之一涉及外球星的现实应用。
translated by 谷歌翻译
Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
贝叶斯网络是一种图形模型,用于编码感兴趣的变量之间的概率关系。当与统计技术结合使用时,图形模型对数据分析具有几个优点。一个,因为模型对所有变量中的依赖性进行编码,因此它易于处理缺少某些数据条目的情况。二,贝叶斯网络可以用于学习因果关系,因此可以用来获得关于问题域的理解并预测干预的后果。三,因为该模型具有因果和概率语义,因此是结合先前知识(通常出现因果形式)和数据的理想表示。四,贝叶斯网络与贝叶斯网络的统计方法提供了一种有效和原则的方法,可以避免数据过剩。在本文中,我们讨论了从先前知识构建贝叶斯网络的方法,总结了使用数据来改善这些模型的贝叶斯统计方法。关于后一项任务,我们描述了学习贝叶斯网络的参数和结构的方法,包括使用不完整数据学习的技术。此外,我们还联系了贝叶斯网络方法,以学习监督和无监督学习的技术。我们说明了使用真实案例研究的图形建模方法。
translated by 谷歌翻译
语境。斑点检测是天文学中的常见问题。一个例子是在恒星种群建模中,其中从观察结果推断出星系中恒星年龄和金属性的分布。在这种情况下,斑点可能对应于原位的恒星与从卫星中吸收的恒星相对应,而BLOB检测的任务是解散这些组件。当分布带来重大不确定性时,就会出现一个困难,就像从未解决的恒星系统的建模光谱中推断出的恒星种群的情况一样。目前没有不确定性检测BLOB检测的令人满意的方法。目标。我们介绍了一种在恒星系统综合光谱的恒星种群建模的背景下开发的不确定性感知斑点检测方法。方法。我们为经典的blob检测方法的经典laplacian方法的不确定性感知版本开发了理论和计算工具,我们称之为ULOG。这确定了考虑各种尺度的重要斑点。作为将ULOG应用于恒星种群建模的先决条件,我们引入了一种有效计算光谱建模不确定性的方法。该方法基于截断的奇异值分解和马尔可夫链蒙特卡洛采样(SVD-MCMC)。结果。我们将方法应用于星团M54的数据。我们表明,SVD-MCMC推断与标准MCMC的推断相匹配,但计算速度更快。我们将ULOG应用于推断的M54年龄/金属性分布,识别其恒星中的2或3个显着不同的种群。
translated by 谷歌翻译
因果关系是理解世界的科学努力的基本组成部分。不幸的是,在心理学和社会科学中,因果关系仍然是禁忌。由于越来越多的建议采用因果方法进行研究的重要性,我们重新制定了心理学研究方法的典型方法,以使不可避免的因果理论与其余的研究渠道协调。我们提出了一个新的过程,该过程始于从因果发现和机器学习的融合中纳入技术的发展,验证和透明的理论形式规范。然后,我们提出将完全指定的理论模型的复杂性降低到与给定目标假设相关的基本子模型中的方法。从这里,我们确定利息量是否可以从数据中估算出来,如果是的,则建议使用半参数机器学习方法来估计因果关系。总体目标是介绍新的研究管道,该管道可以(a)促进与测试因果理论的愿望兼容的科学询问(b)鼓励我们的理论透明代表作为明确的数学对象,(c)将我们的统计模型绑定到我们的统计模型中该理论的特定属性,因此减少了理论到模型间隙通常引起的规范不足问题,以及(d)产生因果关系和可重复性的结果和估计。通过具有现实世界数据的教学示例来证明该过程,我们以摘要和讨论来结论。
translated by 谷歌翻译
我们建议使用贝叶斯推理和深度神经网络的技术,将地震成像中的不确定性转化为图像上执行的任务的不确定性,例如地平线跟踪。地震成像是由于带宽和孔径限制,这是一个不良的逆问题,由于噪声和线性化误差的存在而受到阻碍。但是,许多正规化方法,例如变形域的稀疏性促进,已设计为处理这些错误的不利影响,但是,这些方法具有偏向解决方案的风险,并且不提供有关图像空间中不确定性的信息以及如何提供信息。不确定性会影响图像上的某些任务。提出了一种系统的方法,以将由于数据中的噪声引起的不确定性转化为图像中自动跟踪视野的置信区间。不确定性的特征是卷积神经网络(CNN)并评估这些不确定性,样品是从CNN权重的后验分布中得出的,用于参数化图像。与传统先验相比,文献中认为,这些CNN引入了灵活的感应偏见,这非常适合各种问题。随机梯度Langevin动力学的方法用于从后验分布中采样。该方法旨在处理大规模的贝叶斯推理问题,即具有地震成像中的计算昂贵的远期操作员。除了提供强大的替代方案外,最大的后验估计值容易过度拟合外,访问这些样品还可以使我们能够在数据中的噪声中转换图像中的不确定性,以便在跟踪的视野上不确定性。例如,它承认图像上的重点标准偏差和自动跟踪视野的置信区间的估计值。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一,在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中,目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及,所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里,我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式,但是推理方法阐述了精确的生成模型,并尝试将其符合数据。通过这种方式,他们能够为网络形成机制提供见解,并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案,因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致,产生更强大的结果,并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时,努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译
映射近场污染物的浓度对于跟踪城市地区意外有毒羽状分散体至关重要。通过求解大部分湍流谱,大型模拟(LES)具有准确表示污染物浓度空间变异性的潜力。找到一种合成大量信息的方法,以提高低保真操作模型的准确性(例如,提供更好的湍流封闭条款)特别有吸引力。这是一个挑战,在多质量环境中,LES的部署成本高昂,以了解羽流和示踪剂分散如何随着各种大气和源参数的变化。为了克服这个问题,我们提出了一个合并正交分解(POD)和高斯过程回归(GPR)的非侵入性降低阶模型,以预测与示踪剂浓度相关的LES现场统计。通过最大的后验(MAP)过程,GPR HyperParameter是通过POD告知的最大后验(MAP)过程来优化组件的。我们在二维案例研究上提供了详细的分析,该案例研究对应于表面安装的障碍物上的湍流大气边界层流。我们表明,障碍物上游的近源浓度异质性需要大量的POD模式才能得到充分捕获。我们还表明,逐组分的优化允许捕获POD模式中的空间尺度范围,尤其是高阶模式中较短的浓度模式。如果学习数据库由至少五十至100个LES快照制成,则可以首先估算所需的预算,以朝着更逼真的大气分散应用程序迈进,因此减少订单模型的预测仍然可以接受。
translated by 谷歌翻译
We present the GPry algorithm for fast Bayesian inference of general (non-Gaussian) posteriors with a moderate number of parameters. GPry does not need any pre-training, special hardware such as GPUs, and is intended as a drop-in replacement for traditional Monte Carlo methods for Bayesian inference. Our algorithm is based on generating a Gaussian Process surrogate model of the log-posterior, aided by a Support Vector Machine classifier that excludes extreme or non-finite values. An active learning scheme allows us to reduce the number of required posterior evaluations by two orders of magnitude compared to traditional Monte Carlo inference. Our algorithm allows for parallel evaluations of the posterior at optimal locations, further reducing wall-clock times. We significantly improve performance using properties of the posterior in our active learning scheme and for the definition of the GP prior. In particular we account for the expected dynamical range of the posterior in different dimensionalities. We test our model against a number of synthetic and cosmological examples. GPry outperforms traditional Monte Carlo methods when the evaluation time of the likelihood (or the calculation of theoretical observables) is of the order of seconds; for evaluation times of over a minute it can perform inference in days that would take months using traditional methods. GPry is distributed as an open source Python package (pip install gpry) and can also be found at https://github.com/jonaselgammal/GPry.
translated by 谷歌翻译
这项正在进行的工作旨在为统计学习提供统一的介绍,从诸如GMM和HMM等经典模型到现代神经网络(如VAE和扩散模型)缓慢地构建。如今,有许多互联网资源可以孤立地解释这一点或新的机器学习算法,但是它们并没有(也不能在如此简短的空间中)将这些算法彼此连接起来,或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统,尽管对那些已经熟悉材料的人(如这些帖子的作者)不满意,但对新手的入境造成了重大障碍。同样,我的目的是将各种模型(尽可能)吸收到一个用于推理和学习的框架上,表明(以及为什么)如何以最小的变化将一个模型更改为另一个模型(其中一些是新颖的,另一些是文献中的)。某些背景当然是必要的。我以为读者熟悉基本的多变量计算,概率和统计以及线性代数。这本书的目标当然不是​​完整性,而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后,目标是补充而不是替换,诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本,该文本现在已经15岁了。
translated by 谷歌翻译
历史流程表现出显着的多样性。尽管如此,学者们长期以来一直试图识别模式,并将历史行动者分类和对一些成功的影响。随机过程框架提供了一种结构化方法,用于分析大型历史数据集,允许检测有时令人惊讶的模式,鉴定内源性和外源对过程的相关因果作用者,以及不同历史案例的比较。随机过程的数据,分析工具和组织理论框架的组合使历史和考古中的传统叙事方法补充了传统的叙事方法。
translated by 谷歌翻译
准实验研究设计,如回归不连续性和中断的时间序列,允许在缺乏随机对照试验的情况下进行因果推断,以额外的假设。在本文中,我们为使用贝叶斯模型比较和高斯进程回归提供了一种基于不连续性的设计的框架,我们将其称为“贝叶斯非参数不连续性设计”,或短路。 BNDD在这种设计的大多数实现中解决了两个主要的缺点:由于隐式调节对所谓的效果而言,由于依赖过于简单的回归模型,模型误操作。通过适当的高斯过程协方差函数,我们的方法可以检测任何订单的不连续性,以及频谱特征。我们展示了BNDD在模拟中的使用情况,并应用了框架,以确定历史悠久的政治立场的效果,涉嫌历史幻影边境在荷兰对荷兰投票行为的影响,以及昆达里尼瑜伽冥想对心率。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展,近年来,已经成为预测研究和活动主流的一部分。现在,由单个(目标)系列产生的多个预测组合通过整合来自不同来源收集的信息,从而提高准确性,从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重,非线性组合,组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论,并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性,并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后,我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病,我们引入了辅助变量以表示这种不确定性。然而,这些变量导致了高维图像数据的综合可能性,通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明,可以计算出有关模型参数的数据中的预期信息收益(EIG),而无需额外的成本。最后,我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准,我们介绍了一些基于域的能量和傅立叶的摘要统计数据,并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器(VAE)。统一激发了扩展的监督方案,该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围,例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $,它包含在方向上的海报。最后,系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中,(1)系统,(2)覆盖范围和(3)拟合优度的成分通常并非全部可用,或者至少有一个受到严格限制。相比之下,拟议的扩展监督培训和摊销标准化流量可容纳所有三个,用于在产品空间上定义的任意统计分布的变异推理,例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $,没有基本数据复杂性的基本障碍。因此,它具有当代(Astro-)粒子物理学家的统计工具箱的巨大潜力。
translated by 谷歌翻译