我们提出了一种自动方法，可以从数据中发现重力波（GW）事件的分析人群模型。随着检测到更多引力波（GW）事件，由于其表现性，诸如高斯混合模型之类的柔性模型（例如高斯混合模型）变得越来越重要。但是，灵活的模型带有许多缺乏身体动机的参数，从而解释了这些模型的含义。在这项工作中，我们证明了符号回归可以通过将这种柔性模型的后验预测分布提炼成可解释的分析表达式来补充灵活模型。我们恢复了常见的GW人群模型，例如Power-Law-Plus-Gaussis，并找到了一种结合准确性和简单性的新经验人群模型。这表明了一种在不断增长的GW目录中自动发现可解释的人群模型的策略，该模型可能会应用于其他天体物理现象。
translated by 谷歌翻译
复杂的系统（恒星，超新星，星系和群集）通常在可观察性质（例如，亮度，速度分散，振荡周期，温度）之间表现出低散射关系。这些缩放关系可以照亮底层物理，可以为估计质量和距离提供观测工具。机器学习可以在抽象的高维参数空间中寻找新的扩展关系（或对现有关系的简单扩展）提供系统的系统。我们使用称为符号回归（SR）的机器学习工具，该工具以分析方程的形式在给定的数据集中绘制模式。我们专注于Sunyaev-Zeldovich Flux $ - $群集质量关系（$ Y_ \ MATHRM {SZ} -M $），它会影响来自集群丰富数据的宇宙学参数的推断。使用SR对来自IllustrySTG流体动力学模拟的数据，我们找到了一个新的群集质量代理，它结合了$ Y_ \ MATHRM {SZ} $和电离气体的浓度（$ c_ \ mathrm {gas} $）：$ m \ propto y_ \ mathrm {ccon} ^ {3/5} \ Equiv y_ \ mathrm {sz} ^ {3/5}（1-a \，c_ \ mathrm {gas}）$。 $ y_ \ mathrm {coct} $减少预测$ m $的分散$ \ sim 20-30 $％的大型群集（$ m \ gtrsim 10 ^ {14} \，h ^ { - 1} \，m_ \ oott $）在高和低频的高频上，与使用只需$ y_ \ mathrm {sz} $相比。我们表明对$ C_ \ MATHRM {GARS} $的依赖性与展示比其郊区更大的分散的集群核心。最后，我们从骆驼项目的模拟中测试$ y_ \ mathrm {cenc} $ in clusters，并显示$ y_ \ mathrm {crc} $对宇宙学，天体物理学，划分物理学和宇宙方差的变化是稳健的。我们的结果和方法可以用于电流和即将到来的CMB和X射线调查的精确多波长簇质量估计，如ACT，所以，SPT，肌肉和CMB-S4。
translated by 谷歌翻译
在许多科学领域中发现一个有意义的，尺寸同质的，象征性的表达是一个基本挑战。我们提出了一个新颖的开源计算框架，称为科学家机器方程探测器（Scimed），该框架将科学纪律智慧与科学家在循环的方法中融合在一起，并将其与最先进的符号回归（SR）方法相结合。Scimed将基于遗传算法的包装器选择方法与自动机器学习和两个SR方法结合在一起。我们对具有和没有非线性空气动力学阻力的球体沉降的四个配置进行了测试。我们表明，疲惫不堪的人足够坚固，可以从嘈杂的数据中发现正确的物理有意义的符号表达式。我们的结果表明，与最先进的SR软件包相比，这些任务的性能更好。
translated by 谷歌翻译
We propose parameterizing the population distribution of the gravitational wave population modeling framework (Hierarchical Bayesian Analysis) with a normalizing flow. We first demonstrate the merit of this method on illustrative experiments and then analyze four parameters of the latest LIGO/Virgo data release: primary mass, secondary mass, redshift, and effective spin. Our results show that despite the small and notoriously noisy dataset, the posterior predictive distributions (assuming a prior over the parameters of the flow) of the observed gravitational wave population recover structure that agrees with robust previous phenomenological modeling results while being less susceptible to biases introduced by less-flexible distribution models. Therefore, the method forms a promising flexible, reliable replacement for population inference distributions, even when data is highly noisy.
translated by 谷歌翻译
Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.
translated by 谷歌翻译
回归模型用于各种应用，为来自不同领域的研究人员提供强大的科学工具。线性或简单的参数，模型通常不足以描述输入变量与响应之间的复杂关系。通过诸如神经网络的灵活方法可以更好地描述这种关系，但这导致不太可解释的模型和潜在的过度装备。或者，可以使用特定的参数非线性函数，但是这种功能的规范通常是复杂的。在本文中，我们介绍了一种灵活的施工方法，高度灵活的非线性参数回归模型。非线性特征是分层的，类似于深度学习，但对要考虑的可能类型的功能具有额外的灵活性。这种灵活性，与变量选择相结合，使我们能够找到一小部分重要特征，从而可以更具可解释的模型。在可能的功能的空间内，考虑了贝叶斯方法，基于它们的复杂性引入功能的前沿。采用遗传修改模式跳跃马尔可夫链蒙特卡罗算法来执行贝叶斯推理和估计模型平均的后验概率。在各种应用中，我们说明了我们的方法如何用于获得有意义的非线性模型。此外，我们将其预测性能与多个机器学习算法进行比较。
translated by 谷歌翻译
长期以来，科学家一直旨在发现有意义的公式，以准确描述实验数据。一种常见的方法是使用域知识手动创建自然现象的数学模型，然后将这些模型拟合到数据。相比之下，机器学习算法在消耗大量数据的同时可以自动化准确的数据驱动模型的构建。在文献中探讨了对学习模型的功能形式（例如，非负）的逻辑约束的问题。但是，寻找与一般背景知识一致的模型是一个开放的问题。我们开发了一种将逻辑推理与符号回归相结合的方法，从而实现了自然现象模型的原则推导。我们演示了这些概念，用于开普勒的第三个行星运动定律，爱因斯坦的相对论时间稀释定律以及兰穆尔的吸附理论，在每种情况下都会将实验数据与背景理论自动连接起来。我们表明，使用形式的逻辑推理将正确的公式与一组合理公式区分开时，可以从几个数据点发现法律，这些公式在数据上具有相似的错误。推理与机器学习的结合提供了对自然现象的关键方面的可概括见解。我们设想，这种组合将使能够发现基本科学定律，并认为我们的工作是自动化科学方法的关键第一步。
translated by 谷歌翻译
基于原子量表的材料建模在新材料的发展及其特性的理解中起着重要作用。粒子模拟的准确性由原子间电位确定，该电位允许计算原子系统的势能作为原子坐标和潜在的其他特性的函数。基于原理的临界电位可以达到任意水平的准确性，但是它们的合理性受其高计算成本的限制。机器学习（ML）最近已成为一种有效的方法，可以通过用经过电子结构数据培训的高效替代物代替昂贵的模型来抵消Ab始于原子电位的高计算成本。在当前大量方法中，符号回归（SR）正在成为一种强大的“白盒”方法，以发现原子质潜力的功能形式。这项贡献讨论了符号回归在材料科学（MS）中的作用，并对当前的方法论挑战和最新结果提供了全面的概述。提出了一种基于遗传编程的方法来建模原子能（由原子位置和相关势能的快照组成），并在从头算电子结构数据上进行了经验验证。
translated by 谷歌翻译
新发现的外部肌肉的物理特性和大气化学成分通常从其过渡光谱推断出从辐射转移的复杂数模型获得的。或者，简单的分析表达式为相关的大气过程提供了富有洞察力的物理直觉。深入学习的革命已经开辟了直接推导出这样的分析结果的门，直接与拟合数据的计算机算法。作为概念证明，我们成功地证明了在通用热木星外部基因族的过渡半径的合成数据上使用符号回归，以得出相应的分析公式。作为预处理步骤，我们使用尺寸分析来识别变量的相关无量纲组合，并减少独立输入的数量，从而提高了符号回归的性能。尺寸分析还允许我们在数学上得出并适当地参加输入大气参数中最通用的变性家族，这通过过渡光谱影响开发族气氛的表征。
translated by 谷歌翻译
可解释的回归模型对于许多应用程序域很重要，因为它们允许专家了解稀疏数据中变量之间的关系。符号回归通过搜索可以从基本代数函数构建的所有可能的自由形式方程的空间来解决此问题。尽管可以通过这种方式重新发现明确的数学函数，但在搜索过程中确定未知数值常数一直是一个经常被忽略的问题。我们提出了一种新的多目标模因算法，该算法利用了一个可区分的笛卡尔遗传编程编码，以在进化循环期间学习常数。我们表明，这种方法具有竞争力或胜过机器的黑匣子回归模型或用于两个应用的手工设计的拟合：火星表达热力估计和通过陀螺安排确定恒星年龄。
translated by 谷歌翻译
大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。
translated by 谷歌翻译
光环伴形培养基中的离子气体通过热阳光阳光层（TSZ）效应在宇宙微波背景上留下烙印。来自活性银河核（AGN）和超新星的反馈会影响晕孔集成TSZ通量的测量（$ y_ \ mathrm {sz} $），并导致其与光晕质量的关系（$ y_ \ mathrm {sz} -mm $ ）偏离病毒定理的自相似幂律预测。我们对使用骆驼，一套流体动力模拟的套件进行了全面研究，反馈处方的差异很大。我们使用两个机器学习工具（随机森林和符号回归）的组合来搜索$ y-m $关系的类似物，这对低质量的反馈过程（$ m \ sillesim 10^{14} \，h^， {-1} \，m_ \ odot $）;我们发现，仅替换$ y \ rightarrow y（1+m _*/m_ \ mathrm {gas}）$在关系中使其非常相似。这可以用作低质量簇和星系组的强大多波长质量代理。我们的方法通常对于提高其他天体分级关系的有效性领域通常也很有用。我们还预测，$ y-m $关系的测量值可以在反馈参数的某些组合和/或排除超级新闻和AGN反馈模型的主要部分，以提供百分比的约束。艺术流体动力模拟。我们的结果对于使用即将进行的SZ调查（例如SO，CMB-S4）和Galaxy Surveys（例如Desi和Rubin）来限制Baryonic反馈的性质。最后，我们发现，$ y-m _*$的另一种关系提供了有关反馈的补充信息，而不是$ y-m $。
translated by 谷歌翻译
我们介绍了数据科学预测生命周期中各个阶段开发和采用自动化的技术和文化挑战的说明概述，从而将重点限制为使用结构化数据集的监督学习。此外，我们回顾了流行的开源Python工具，这些工具实施了针对自动化挑战的通用解决方案模式，并突出了我们认为进步仍然需要的差距。
translated by 谷歌翻译
我们采用变化性AutoEncoders从单粒子Anderson杂质模型谱函数的数据集中提取物理洞察。培训AutoEncoders以查找低维，潜在的空间表示，其忠实地表征培训集的每个元素，通过重建误差测量。变形式自动化器，标准自动化器的概率概括，进一步条件促进了高度可解释的特征。在我们的研究中，我们发现学习的潜在变量与众所周知的众所周知，但非活动的参数强烈关联，这些参数表征了安德森杂质模型中的紧急行为。特别地，一种潜在的可变变量与粒子孔不对称相关，而另一个潜在的变量与杂质模型中动态产生的低能量尺度接近一对一的对应关系。使用符号回归，我们将此变量模拟了该变量作为已知的裸物理输入参数和“重新发现”的kondo温度的非扰动公式。我们开发的机器学习管道表明了一种通用方法，它开启了发现其他物理系统中的新领域知识的机会。
translated by 谷歌翻译
超参数优化构成了典型的现代机器学习工作流程的很大一部分。这是由于这样一个事实，即机器学习方法和相应的预处理步骤通常只有在正确调整超参数时就会产生最佳性能。但是在许多应用中，我们不仅有兴趣仅仅为了预测精度而优化ML管道；确定最佳配置时，必须考虑其他指标或约束，从而导致多目标优化问题。由于缺乏知识和用于多目标超参数优化的知识和容易获得的软件实现，因此通常在实践中被忽略。在这项工作中，我们向读者介绍了多个客观超参数优化的基础知识，并激励其在应用ML中的实用性。此外，我们从进化算法和贝叶斯优化的领域提供了现有优化策略的广泛调查。我们说明了MOO在几个特定ML应用中的实用性，考虑了诸如操作条件，预测时间，稀疏，公平，可解释性和鲁棒性之类的目标。
translated by 谷歌翻译
符号回归是识别拟合从黑盒过程中观察到的输出的数学表达式的过程。它通常认为是一个离散的优化问题是NP - 硬。解决问题的前提方法包括神经引导的搜索（例如，使用强化学习）和遗传编程。在这项工作中，我们介绍了一种混合神经引导/基因编程方法来象征性回归和其他组合优化问题。我们提出了一种神经引导组件，用于种子随机重启遗传编程组件的起始群体，逐渐学习更好的起始群体。在许多常见的基准任务中从数据集中恢复底层表达式，我们的方法使用相同的实验设置恢复比最近发布的顶部执行模型更多的表达式65％。我们证明在没有对神经引导的组件上的不相互依存的情况下运行许多遗传编程一代，而不是比两个更强烈地耦合的替代配方更好地对象征性回归更好地执行符号回归。最后，我们介绍了一组新的22个符号回归基准问题，而现有的基准难度增加。源代码在www.github.com/brendenpetersen/deep-symbolic -optimization提供。
translated by 谷歌翻译
研究人员对科学发现多年来，研究人员已经实施了观察 - 假设 - 预测 - 实验循环的研究范式。然而，随着MEGA级和毫米科学研究的数据爆炸，有时候很难手动分析数据并提出新的假设来推动科学发现的周期。在本文中，我们介绍了一个可解释的AI辅助范式的科学发现。关键是使用可解释的AI（XAI）来帮助推导数据或模型解释和科学发现。我们展示了如何计算和数据密集型方法 - 以及实验和理论方法 - 可以无缝融合为科学研究。为了展示AI辅助科学发现过程，并为我们历史上一些最伟大的思想付出了尊重，我们展示了Kepler的行星运动和牛顿定律的普遍引力的定律可以通过基于Tycho的（可解释）的AI重新发现Brahe的天文观测数据，其作品在16-17世纪领先科学革命。这项工作还强调了可解释的AI（与黑匣子AI）在科学发现中的重要性，以帮助人类防止或更好地为未来可能发生的技术奇点做好准备。
translated by 谷歌翻译
在材料科学中，衍生模型以预测突出材料特性（例如弹性，强度，电导率）及其与加工条件的关系。主要缺点是校准依赖于处理条件的模型参数。目前，必须优化这些参数以拟合测量数据，因为它们与处理条件（例如变形温度，应变率）的关系不完全理解。我们提出了一种新的方法，该方法识别了基于遗传编程的处理条件的校准参数的功能依赖性。我们提出了两个（显式和隐式）方法来识别这些依赖项并生成短暂的可解释表达式。该方法用于扩展基于物理的组成型模型以进行变形过程。该本结构型模型与内部材料变量（例如位错密度）进行操作，并且包含许多参数，其中包括三个校准参数。衍生的表达式扩展了本组件模型并替换校准参数。因此，启用各种处理参数之间的插值。我们的研究结果表明，隐式方法比明确的方法更昂贵，但也产生明显更好的结果。
translated by 谷歌翻译
在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。
translated by 谷歌翻译
物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。
translated by 谷歌翻译