Traditionally, data analysis and theory have been viewed as separate disciplines, each feeding into fundamentally different types of models. Modern deep learning technology is beginning to unify these two disciplines and will produce a new class of predictively powerful space weather models that combine the physical insights gained by data and theory. We call on NASA to invest in the research and infrastructure necessary for the heliophysics' community to take advantage of these advances.
translated by 谷歌翻译
机器学习的最新进展,加上低成本计算,廉价流传感器,数据存储和云技术的可用性导致了广泛的多学科研究活动,具有商业利益攸关方的重大兴趣和投资。基于物理方程式的机械模型,纯粹的数据驱动统计方法代表建模光谱的两端。新的混合动力车,以数据为中心的工程方法,利用世界各国和整合模拟和数据,都是一种强大的工具,具有对物理学科的变革影响。我们在集成模拟,机器学习和统计数据中审查了新兴领域的关键研究趋势和应用场景。我们突出了这种综合愿景可以解锁和概述阻止其实现的关键挑战的机会。我们还讨论了该领域的翻译方面的瓶颈以及现有劳动力和未来大学毕业生的长期上升要求。
translated by 谷歌翻译
机器学习(ML)与高能物理学(HEP)的快速发展的交集给我们的社区带来了机会和挑战。远远超出了标准ML工具在HEP问题上的应用,这两个领域的一代人才素养正在开发真正的新的和潜在的革命性方法。迫切需要支持跨学科社区推动这些发展的需求,包括在这两个领域的交汇处为专门研究提供资金,在大学投资高性能计算以及调整分配政策以支持这项工作,开发社区工具和标准,并为年轻研究人员提供教育和职业道路,从而吸引了机器学习的智力活力,以吸引高能量物理学。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
机器学习正迅速成为科学计算的核心技术,并有许多机会推进计算流体动力学领域。从这个角度来看,我们强调了一些潜在影响最高的领域,包括加速直接数值模拟,以改善湍流闭合建模,并开发增强的减少订单模型。我们还讨论了机器学习的新兴领域,这对于计算流体动力学以及应考虑的一些潜在局限性是有希望的。
translated by 谷歌翻译
该调查侧重于地球系统科学中的当前问题,其中可以应用机器学习算法。它概述了以前的工作,在地球科学部,印度政府的持续工作,以及ML算法的未来应用到一些重要的地球科学问题。我们提供了与本次调查的比较的比较,这是与机器学习相关的多维地区的思想地图,以及地球系统科学(ESS)中机器学习的Gartner的炒作周期。我们主要关注地球科学的关键组成部分,包括大气,海洋,地震学和生物圈,以及覆盖AI / ML应用程序统计侦查和预测问题。
translated by 谷歌翻译
气候变化已成为最大的全球性问题之一,越来越多地损害地球的居住地。最近的发展如加利福尼亚州和加拿大的非凡热浪,以及德国的毁灭性洪水指向气候变化在极端天气不断增长的频率下的作用。在过去的五十年中,天气和气候的数值模型已经看到了巨大的改善,但仍有严格的限制仍有待克服。空间和时间本地化预测是需要一个小时,以便有效适应措施,以尽量减少生命和财产丧失。基于人工智能的方法正在展示有希望的导致改进预测,但仍然受到必要硬件和软件所需的可用性来处理地球地球的规模所需的软硬件和软件的限制。量子计算是一种新兴范式,在几个领域中发现了潜在的适用性。在这种意见作品中,我们认为为量子计算机设计的人工智能算法的新发展 - 也称为量子人工智能(QAI) - 可以提供进一步进一步的气候变化科学所需的关键突破。预计天气和气候预测的改善将级联到众多社会福利。
translated by 谷歌翻译
最近的机器学习(ML)和深度学习(DL)的发展增加了所有部门的机会。 ML是一种重要的工具,可以应用于许多学科,但其直接应用于土木工程问题可能是挑战性的。在实验室中模拟的土木工程应用程序通常在现实世界测试中失败。这通常归因于用于培训和测试ML模型的数据之间的数据不匹配以及它在现实世界中遇到的数据,称为数据偏移的现象。然而,基于物理的ML模型集成了数据,部分微分方程(PDE)和数学模型以解决数据移位问题。基于物理的ML模型训练,以解决监督学习任务,同时尊重一般非线性方程描述的任何给定的物理定律。基于物理的ML,它在许多科学学科中占据中心阶段,在流体动力学,量子力学,计算资源和数据存储中起着重要作用。本文综述了基于物理学的ML历史及其在土木工程中的应用。
translated by 谷歌翻译
鉴于HEP研究的核心,数据科学(DS)和机器学习(ML)在高能量物理学(HEP)中的作用增长良好和相关。此外,利用物理数据固有的对称性激发了物理信息的ML作为计算机科学研究的充满活力的子场。 HEP研究人员从广泛使用的材料中受益匪浅,可用于教育,培训和劳动力开发。他们还为这些材料做出了贡献,并为DS/ML相关的字段提供软件。物理部门越来越多地在DS,ML和物理学的交集上提供课程,通常使用HEP研究人员开发的课程,并涉及HEP中使用的开放软件和数据。在这份白皮书中,我们探讨了HEP研究与DS/ML教育之间的协同作用,讨论了此交叉路口的机会和挑战,并提出了将是互惠互利的社区活动。
translated by 谷歌翻译
电磁(EM)成像广泛用于感应安全性,生物医学,地球物理学和各种行业。这是一个不当的逆问题,其解决方案通常在计算上昂贵。机器学习(ML)技术,尤其是深度学习(DL)在快速准确的成像中显示出潜力。但是,纯粹的数据驱动方法的高性能依赖于构建与实用方案一致的训练集,而在EM成像任务中通常不可能。因此,普遍性成为主要问题。另一方面,物理原理是EM现象的基础,并为当前的成像技术提供了基准。为了从大数据中的先验知识和物理定律的理论约束中受益,物理学嵌入的ML成像方法已成为近期大量工作的重点。本文调查了各种方案,以将物理学纳入基于学习的EM成像中。我们首先介绍有关逆问题的EM成像和基本公式的背景。然后,我们专注于将物理和ML进行线性和非线性成像组合的三种类型的策略,并讨论它们的优势和局限性。最后,我们在这个快速发展的领域中以公开的挑战和可能的前进方式得出结论。我们的目的是促进将有效,可解释和可控制的智能EM成像方法的研究。
translated by 谷歌翻译
This paper introduces the use of evolutionary algorithms for solving differential equations. The solution is obtained by optimizing a deep neural network whose loss function is defined by the residual terms from the differential equations. Recent studies have used stochastic gradient descent (SGD) variants to train these physics-informed neural networks (PINNs), but these methods can struggle to find accurate solutions due to optimization challenges. When solving differential equations, it is important to find the globally optimum parameters of the network, rather than just finding a solution that works well during training. SGD only searches along a single gradient direction, so it may not be the best approach for training PINNs with their accompanying complex optimization landscapes. In contrast, evolutionary algorithms perform a parallel exploration of different solutions in order to avoid getting stuck in local optima and can potentially find more accurate solutions. However, evolutionary algorithms can be slow, which can make them difficult to use in practice. To address this, we provide a set of five benchmark problems with associated performance metrics and baseline results to support the development of evolutionary algorithms for enhanced PINN training. As a baseline, we evaluate the performance and speed of using the widely adopted Covariance Matrix Adaptation Evolution Strategy (CMA-ES) for solving PINNs. We provide the loss and training time for CMA-ES run on TensorFlow, and CMA-ES and SGD run on JAX (with GPU acceleration) for the five benchmark problems. Our results show that JAX-accelerated evolutionary algorithms, particularly CMA-ES, can be a useful approach for solving differential equations. We hope that our work will support the exploration and development of alternative optimization algorithms for the complex task of optimizing PINNs.
translated by 谷歌翻译
随着计算能力的增加和机器学习的进步,基于数据驱动的学习方法在解决PDE方面引起了极大的关注。物理知识的神经网络(PINN)最近出现并成功地在各种前进和逆PDES问题中取得了成功,其优异的特性,例如灵活性,无网格解决方案和无监督的培训。但是,它们的收敛速度较慢和相对不准确的解决方案通常会限制其在许多科学和工程领域中的更广泛适用性。本文提出了一种新型的数据驱动的PDES求解器,物理知识的细胞表示(Pixel),优雅地结合了经典数值方法和基于学习的方法。我们采用来自数值方法的网格结构,以提高准确性和收敛速度并克服PINN中呈现的光谱偏差。此外,所提出的方法在PINN中具有相同的好处,例如,使用相同的优化框架来解决前进和逆PDE问题,并很容易通过现代自动分化技术强制执行PDE约束。我们为原始Pinn所努力的各种具有挑战性的PDE提供了实验结果,并表明像素达到了快速收敛速度和高精度。
translated by 谷歌翻译
科学机器学习(Sciml)的出现在思路科学领域开辟了一个新的领域,通过在基于物理和数据建模的界面的界面中开发方法。为此,近年来介绍了物理知识的神经网络(Pinns),通过在所谓的焊点上纳入物理知识来应对培训数据的稀缺。在这项工作中,我们研究了Pinns关于用于强制基于物理惩罚术语的配偶数量的预测性能。我们表明Pinns可能会失败,学习通过定义来满足物理惩罚术语的琐碎解决方案。我们制定了一种替代的采样方法和新的惩罚术语,使我们能够在具有竞争性结果的数据稀缺设置中纠正Pinns中的核心问题,同时减少最多80 \%的基准问题所需的搭配数量。
translated by 谷歌翻译
The renewed interest from the scientific community in machine learning (ML) is opening many new areas of research. Here we focus on how novel trends in ML are providing opportunities to improve the field of computational fluid dynamics (CFD). In particular, we discuss synergies between ML and CFD that have already shown benefits, and we also assess areas that are under development and may produce important benefits in the coming years. We believe that it is also important to emphasize a balanced perspective of cautious optimism for these emerging approaches
translated by 谷歌翻译
Artificial Intelligence (AI) and its data-centric branch of machine learning (ML) have greatly evolved over the last few decades. However, as AI is used increasingly in real world use cases, the importance of the interpretability of and accessibility to AI systems have become major research areas. The lack of interpretability of ML based systems is a major hindrance to widespread adoption of these powerful algorithms. This is due to many reasons including ethical and regulatory concerns, which have resulted in poorer adoption of ML in some areas. The recent past has seen a surge in research on interpretable ML. Generally, designing a ML system requires good domain understanding combined with expert knowledge. New techniques are emerging to improve ML accessibility through automated model design. This paper provides a review of the work done to improve interpretability and accessibility of machine learning in the context of global problems while also being relevant to developing countries. We review work under multiple levels of interpretability including scientific and mathematical interpretation, statistical interpretation and partial semantic interpretation. This review includes applications in three areas, namely food processing, agriculture and health.
translated by 谷歌翻译
深度学习方法的应用加快了挑战性电流问题的分辨率,最近显示出令人鼓舞的结果。但是,电力系统动力学不是快照,稳态操作。必须考虑这些动力学,以确保这些模型提供的最佳解决方案遵守实用的动力约束,避免频率波动和网格不稳定性。不幸的是,由于其高计算成本,基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战,本文介绍了一种机器学习方法,以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络(GPINNS),并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力,以及不确定的参数,例如惯性和阻尼,以展示其在一系列电力系统应用中的潜力。
translated by 谷歌翻译
本研究介绍了混合过程建模和优化的广阔视角,将科学知识和数据分析在生物处理和化学工程中与科学引导机学习(SGML)方法相结合。我们将这种方法分为两大类。首先是指基于数据的ML模型的恭维的情况并使基于第一原理的科学的模型在预测中更准确,并且第二个对应于科学知识有助于使ML模型更加科学地保持的情况。我们对科学和工程文献进行了详细审查,与混合SGML方法有关,并提出了混合动力SGML模型的系统分类。为了应用ML改善基于科学的模型,我们呈现了直串行和并行混合建模的子类别及其组合,反向建模,阶阶建模,量化过程中的不确定性,甚至发现该过程的管理方程式的博览会模型。为了应用科学原则来改善ML模型,我们讨论科学导游的设计,学习和改进的子类别。对于每个子类别,我们确定其要求,优势和局限性以及其在生物处理和化学工程中的出版和潜在的应用领域。
translated by 谷歌翻译
浅水方程是大多数洪水和河流液压分析模型的基础。这些基于物理的模型通常昂贵且速度慢,因此不适合实时预测或参数反转。有吸引力的替代方案是代理模型。这项工作基于深度学习介绍了高效,准确,灵活的代理模型,NN-P2P,它可以对非结构化或不规则网格进行点对点预测。评估新方法并与基于卷积神经网络(CNNS)的现有方法进行比较,其只能在结构化或常规网格上进行图像到图像预测。在NN-P2P中,输入包括空间坐标和边界特征,可以描述液压结构的几何形状,例如桥墩。所有代理模型都在预测培训域中不同类型的码头周围的流程中。然而,当执行空间推断时,只有NN-P2P工作很好。基于CNN的方法的限制源于其光栅图像性质,其无法捕获边界几何形状和流量,这对流体动力学至关重要。 NN-P2P在通过神经网络预测码头周围的流量方面也具有良好的性能。 NN-P2P模型还严格尊重保护法。通过计算拖动系数$ C_D $的拖动系数$ C_D $ C_D $与码头长度/宽度比的新线性关系来证明拟议的代理模型的应用。
translated by 谷歌翻译
The field of artificial intelligence (AI), regarded as one of the most enigmatic areas of science, has witnessed exponential growth in the past decade including a remarkably wide array of applications, having already impacted our everyday lives. Advances in computing power and the design of sophisticated AI algorithms have enabled computers to outperform humans in a variety of tasks, especially in the areas of computer vision and speech recognition. Yet, AI's path has never been smooth, having essentially fallen apart twice in its lifetime ('winters' of AI), both after periods of popular success ('summers' of AI). We provide a brief rundown of AI's evolution over the course of decades, highlighting its crucial moments and major turning points from inception to the present. In doing so, we attempt to learn, anticipate the future, and discuss what steps may be taken to prevent another 'winter'.
translated by 谷歌翻译