在使用多模式贝叶斯后部分布时,马尔可夫链蒙特卡罗(MCMC)算法难以在模式之间移动,并且默认变分或基于模式的近似推动将低估后不确定性。并且,即使找到最重要的模式,难以评估后部的相对重量。在这里,我们提出了一种使用MCMC,变分或基于模式的模式的并行运行的方法,以便尽可能多地击中多种模式或分离的区域,然后使用贝叶斯堆叠来组合这些用于构建分布的加权平均值的可扩展方法。通过堆叠从多模式后分布的堆叠,最小化交叉验证预测误差的结果,并且代表了比变分推断更好的不确定度,但它不一定是相当于渐近的,以完全贝叶斯推断。我们呈现理论一致性,其中堆叠推断逼近来自未衰退的模型和非混合采样器的真实数据生成过程,预测性能优于完全贝叶斯推断,因此可以被视为祝福而不是模型拼写下的诅咒。我们展示了几个模型家庭的实际实施:潜在的Dirichlet分配,高斯过程回归,分层回归,马蹄素变量选择和神经网络。
translated by 谷歌翻译
这项工作引入了一种新颖的多变量时间点过程,部分均值行为泊松(PMBP)过程,可以利用以将多变量霍克斯过程适合部分间隔删除的数据,该数据包括在尺寸和间隔子集上的事件时间戳的混合中组成的数据。 - 委员会互补尺寸的事件计数。首先,我们通过其条件强度定义PMBP过程,并导出子临界性的规律性条件。我们展示了鹰过程和MBP过程(Rizoiu等人)是PMBP过程的特殊情况。其次,我们提供了能够计算PMBP过程的条件强度和采样事件历史的数字方案。第三,我们通过使用合成和现实世界数据集来证明PMBP过程的适用性:我们测试PMBP过程的能力,以恢复多变量霍克参数给出鹰过程的样本事件历史。接下来,我们在YouTube流行预测任务上评估PMBP过程,并表明它优于当前最先进的鹰强度过程(Rizoiu等人。(2017b))。最后,在Covid19的策划数据集上,关于国家样本的Covid19每日案例计数和Covid19相关的新闻文章,我们展示了PMBP拟合参数上的聚类使各国的分类能够分类案件和新闻的国家级互动报告。
translated by 谷歌翻译
Neyman-Scott过程是COX过程的特殊情况。潜在和可观察的随机过程均为泊松过程。我们考虑了本文的深度Neyman-Scott过程,其中网络的建筑组件是所有泊松过程。我们通过Markov Chain Monte Carlo开发了一种高效的后部抽样,并使用它来实现基于可能性的推断。我们的方法为复杂的分层点流程推断出来的空间。我们在实验中展示了更多隐藏的泊松过程为似然拟合和事件类型预测带来了更好的性能。我们还将我们的方法与最先进的模式进行了用于时间现实世界数据集的方法,并使用较少的参数展示数据拟合和预测的竞争能力。
translated by 谷歌翻译
潜在位置网络模型是网络科学的多功能工具;应用程序包括集群实体,控制因果混淆,并在未观察的图形上定义前提。估计每个节点的潜在位置通常是贝叶斯推理问题的群体,吉布斯内的大都市是最流行的近似后分布的工具。然而,众所周知,GIBBS内的大都市对于大型网络而言是低效;接受比计算成本昂贵,并且所得到的后绘高度相关。在本文中,我们提出了一个替代的马尔可夫链蒙特卡罗战略 - 使用分裂哈密顿蒙特卡罗和萤火虫蒙特卡罗的组合定义 - 利用后部分布的功能形式进行更有效的后退计算。我们展示了这些战略在吉布斯和综合网络上的其他算法中优于大都市,以及学区的教师和工作人员的真正信息共享网络。
translated by 谷歌翻译
离散数据丰富,并且通常作为计数或圆形数据而出现。甚至对于线性回归模型,缀合格前沿和闭合形式的后部通常是不可用的,这需要近似诸如MCMC的后部推理。对于广泛的计数和圆形数据回归模型,我们介绍了能够闭合后部推理的共轭前沿。密钥后和预测功能可通过直接蒙特卡罗模拟来计算。至关重要的是,预测分布是离散的,以匹配数据的支持,并且可以在多个协变量中进行共同评估或模拟。这些工具广泛用途是线性回归,非线性模型,通过基础扩展,以及模型和变量选择。多种仿真研究表明计算,预测性建模和相对于现有替代方案的选择性的显着优势。
translated by 谷歌翻译
在过去二十年中,识别具有不同纵向数据趋势的群体的方法已经成为跨越许多研究领域的兴趣。为了支持研究人员,我们总结了文献关于纵向聚类的指导。此外,我们提供了一种纵向聚类方法,包括基于基团的轨迹建模(GBTM),生长混合模拟(GMM)和纵向K平均值(KML)。该方法在基本级别引入,并列出了强度,限制和模型扩展。在最近数据收集的发展之后,将注意这些方法的适用性赋予密集的纵向数据(ILD)。我们展示了使用R.中可用的包在合成数据集上的应用程序的应用。
translated by 谷歌翻译
在2015年和2019年之间,地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”,研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用,并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人,仍然在测试阶段,承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中,在研究和开发的那些中,最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
拓扑数据分析(TDA)研究数据的形状模式。持续同源性(pH)是TDA中广泛使用的方法,其总结了多个尺度的数据的同源特征,并将它们存储在持久图(PDS)中。在本文中,我们提出了一种随机持久性图(RPDG)方法,其生成从数据产生的那些随机PDS序列。RPDG由(i)基于对持久性图推断的成对交互点处理的模型,并通过可逆跳转马克可蒙特卡罗(RJ-MCMC)算法来生成PDS样本。基于合成数据集的第一示例演示了RPDG的功效,并提供了与用于采样PDS的其他现有方法的详细比较。第二个例子演示了RPDG求解材料科学问题的效用,给出了小样本大小的真实数据集。
translated by 谷歌翻译
学习时空事件的动态是一个根本的问题。神经点过程提高了与深神经网络的点过程模型的表现。但是,大多数现有方法只考虑没有空间建模的时间动态。我们提出了深蓝点过程(DeepStpp),这是一款整合时空点流程的深层动力学模型。我们的方法灵活,高效,可以在空间和时间准确地预测不规则采样的事件。我们方法的关键构造是非参数时空强度函数,由潜在过程管理。强度函数享有密度的闭合形式集成。潜在进程捕获事件序列的不确定性。我们使用摊销变分推理来推断使用深网络的潜在进程。使用合成数据集,我们验证我们的模型可以准确地学习真实的强度函数。在真实世界的基准数据集上,我们的模型展示了最先进的基线的卓越性能。
translated by 谷歌翻译
这是模型选择和假设检测的边缘似然计算的最新介绍和概述。计算概率模型(或常量比率)的常规规定常数是许多统计数据,应用数学,信号处理和机器学习中的许多应用中的基本问题。本文提供了对主题的全面研究。我们突出了不同技术之间的局限性,优势,连接和差异。还描述了使用不正确的前沿的问题和可能的解决方案。通过理论比较和数值实验比较一些最相关的方法。
translated by 谷歌翻译
从各种平台收获的结构点处理数据对机器学习界产生了新的挑战。通过施加矩阵结构以重复观察标记点过程,我们提出了一种新的混合模型的多级标记点过程,用于识别观察到的数据中的潜在异质性。具体地,我们研究了一个矩阵,其条目被标记为Log-Gaussian Cox进程和这种矩阵的簇行。提出了一种有效的半参数期预期 - 解决方案与点流程的功能主成分分析(FPCA)进行了模型估计。通过仿真研究和实际数据分析证明了所提出的框架的有效性。
translated by 谷歌翻译
贝叶斯等级混合集群(BHMC)是一种有趣的模型,可提高传统的贝叶斯分层聚类方法。关于生成过程中的父级节点扩散,BHMC用分层Dirichlet过程混合模型(HDPMM)替换传统的高斯 - 高斯(G2G)内核。然而,BHMC的缺点在于它可以在更高级别(即,靠近根节点的那些)中获得比较高的节点方差。这可以解释为节点之间的分离,特别是较高级别的节点之间的分离可能是弱的。试图克服这一缺点,我们考虑最近的推论框架名为后续正规化,这有助于一种简单的方式对贝叶斯模型施加额外的限制来解决原始模型的一些弱点。因此,为了增强群集的分离,我们将后正则化应用于在层次结构的每个级别的节点上强加对节点上的最大边缘约束。在本文中,我们说明了框架如何与BHMC集成,并通过原始模型实现所需的改进。
translated by 谷歌翻译
利用启发式来评估收敛性和压缩马尔可夫链蒙特卡罗的输出可以在生产的经验逼近时是次优。通常,许多初始状态归因于“燃烧”并移除,而链条的其余部分是“变薄”,如果还需要压缩。在本文中,我们考虑回顾性地从样本路径中选择固定基数的状态的问题,使得由其经验分布提供的近似接近最佳。提出了一种基于核心稳定性差异的贪婪最小化的新方法,这适用于需要重压力的问题。理论结果保障方法的一致性及其有效性在常微分方程的参数推理的具体背景下证明了该效果。软件可在Python,R和Matlab中的Stein细化包中提供。
translated by 谷歌翻译
回归模型用于各种应用,为来自不同领域的研究人员提供强大的科学工具。线性或简单的参数,模型通常不足以描述输入变量与响应之间的复杂关系。通过诸如神经网络的灵活方法可以更好地描述这种关系,但这导致不太可解释的模型和潜在的过度装备。或者,可以使用特定的参数非线性函数,但是这种功能的规范通常是复杂的。在本文中,我们介绍了一种灵活的施工方法,高度灵活的非线性参数回归模型。非线性特征是分层的,类似于深度学习,但对要考虑的可能类型的功能具有额外的灵活性。这种灵活性,与变量选择相结合,使我们能够找到一小部分重要特征,从而可以更具可解释的模型。在可能的功能的空间内,考虑了贝叶斯方法,基于它们的复杂性引入功能的前沿。采用遗传修改模式跳跃马尔可夫链蒙特卡罗算法来执行贝叶斯推理和估计模型平均的后验概率。在各种应用中,我们说明了我们的方法如何用于获得有意义的非线性模型。此外,我们将其预测性能与多个机器学习算法进行比较。
translated by 谷歌翻译
网络邻接矩阵的光谱嵌入通常产生大约围绕低维子纤维结构的节点表示。特别地,当从潜在位置模型产生图表时,期望隐藏的子结构出现。此外,网络内的社区存在可能在嵌入中生成特定的特定社区的子多种结构,但是在网络的大多数统计模型中,这不明确地解释。在本文中,提出了一类称为潜在结构块模型(LSBM)的模型来解决这种情况,允许在存在社区特定的一维歧管结构时允许图形聚类。 LSBMS专注于特定的潜伏空间模型,随机点产品图(RDPG),并为每个社区的潜在位置分配潜在的子多种。讨论了来自LSBMS引起的嵌入式的贝叶斯模型,并显示在模拟和现实世界网络数据上具有良好的性能。该模型能够正确地恢复生活在一维歧管中的底层社区,即使当底层曲线的参数形式未知,也可以在各种实际数据上实现显着的结果。
translated by 谷歌翻译
贝叶斯正交(BQ)是一种解决贝叶斯方式中数值集成问题的方法,允许用户量化其对解决方案的不确定性。 BQ的标准方法基于Intains的高斯过程(GP)近似。结果,BQ本质上仅限于可以以有效的方式完成GP近似的情况,因此通常禁止非常高维或非平滑的目标功能。本文提出使用基于贝叶斯添加剂回归树(BART)前锋的新的贝叶斯数值集成算法来解决这个问题,我们调用Bart-Int。 BART Priors易于调整,适合不连续的功能。我们证明它们在顺序设计环境中,它们也会自然地借给自己,并且可以在各种设置中获得显式收敛速率。这种新方法的优点和缺点在包括Genz功能的一组基准测试和贝叶斯调查设计问题上突出显示。
translated by 谷歌翻译
当可用时,我们继续研究宠物或SPECT等抛光断层凝视的不确定性量化问题。为了解决上述问题,我们将最近提出的非参数后学习技术适应排放断层扫描中泊松型数据的背景。使用这种方法,我们推出了采样算法,这些算法是微不一性的,可扩展的,非常容易实现。此外,我们证明了在小噪声极限中分布产生的样品的条件一致性和紧密性(即,当采集时间趋于无穷大时)并导出必须使用MRI图像的新几何和必要条件。这种情况自然出现在错过的广义泊松模型的可识别性问题的背景下。我们还将我们的方法与贝叶斯马尔可夫链蒙特卡罗采样进行了鲜明对比,基于一个数据增强方案,这在宠物或SPECT的期望最大化算法中非常流行。我们理论上展示了这些数据增强显着增加了马尔可夫链的混合时间。鉴于此,我们的算法似乎在设计复杂性,可扩展性,数值负荷和不确定性评估之间提供合理的权衡。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一,在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中,目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及,所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里,我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式,但是推理方法阐述了精确的生成模型,并尝试将其符合数据。通过这种方式,他们能够为网络形成机制提供见解,并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案,因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致,产生更强大的结果,并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时,努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译
贝叶斯结构学习允许从数据推断贝叶斯网络结构,同时推理认识性不确定性 - 朝着实现现实世界系统的主动因果发现和设计干预的关键因素。在这项工作中,我们为贝叶斯结构学习(DIBS)提出了一般,完全可微分的框架,其在潜在概率图表表示的连续空间中运行。与现有的工作相反,DIBS对局部条件分布的形式不可知,并且允许图形结构和条件分布参数的关节后部推理。这使得我们的配方直接适用于复杂贝叶斯网络模型的后部推理,例如,具有由神经网络编码的非线性依赖性。使用DIBS,我们设计了一种高效,通用的变分推理方法,用于近似结构模型的分布。在模拟和现实世界数据的评估中,我们的方法显着优于关节后部推理的相关方法。
translated by 谷歌翻译
贝叶斯脑假设假设大脑根据贝叶斯定理进行准确地运行统计分布。突触前囊泡释放神经递质的随机性失效可以让大脑从网络参数的后部分布中样本,被解释为认知不确定性。尚未显示出先前随机故障可能允许网络从观察到的分布中采样,也称为炼肠或残留不确定性。两个分布的采样使概率推断,高效搜索和创造性或生成问题解决。我们证明,在基于人口码的神经活动的解释下,可以用单独的突触衰竭来表示和对两种类型的分布进行分布。我们首先通过突触故障和横向抑制来定义生物学限制的神经网络和采样方案。在该框架内,我们派生基于辍学的认知不确定性,然后从突触功效证明了允许网络从任意,由接收层表示的分布来释放概率的分析映射。其次,我们的结果导致了本地学习规则,突触将适应其发布概率。我们的结果表明,在生物学限制的网络中,仅使用本地学习的突触失败率,与变分的贝叶斯推断相关的完整贝叶斯推断。
translated by 谷歌翻译