神经运营商最近成为设计神经网络形式的功能空间之间的解决方案映射的流行工具。不同地,从经典的科学机器学习方法,以固定分辨率为输入参数的单个实例学习参数,神经运算符近似PDE系列的解决方案图。尽管他们取得了成功,但是神经运营商的用途迄今为止仅限于相对浅的神经网络,并限制了学习隐藏的管理法律。在这项工作中,我们提出了一种新颖的非局部神经运营商,我们将其称为非本体内核网络(NKN),即独立的分辨率,其特征在于深度神经网络,并且能够处理各种任务,例如学习管理方程和分类图片。我们的NKN源于神经网络的解释,作为离散的非局部扩散反应方程,在无限层的极限中,相当于抛物线非局部方程,其稳定性通过非本种载体微积分分析。与整体形式的神经运算符相似允许NKN捕获特征空间中的远程依赖性,而节点到节点交互的持续处理使NKNS分辨率独立于NKNS分辨率。与神经杂物中的相似性,在非本体意义上重新解释,并且层之间的稳定网络动态允许NKN的最佳参数从浅到深网络中的概括。这一事实使得能够使用浅层初始化技术。我们的测试表明,NKNS在学习管理方程和图像分类任务中占据基线方法,并概括到不同的分辨率和深度。
translated by 谷歌翻译
标准的神经网络可以近似一般的非线性操作员,要么通过数学运算符的组合(例如,在对流 - 扩散反应部分微分方程中)的组合,要么仅仅是黑匣子,例如黑匣子,例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络(DeepOnet)。从那时起,已经发布了其他一些较少的一般操作员,例如,基于图神经网络或傅立叶变换。对于黑匣子系统,对神经操作员的培训仅是数据驱动的,但是如果知道管理方程式可以在培训期间将其纳入损失功能,以开发物理知识的神经操作员。神经操作员可以用作设计问题,不确定性量化,自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外,通过将它们与相对轻的训练耦合,可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里,我们介绍了Deponet,傅立叶神经操作员和图神经操作员的评论,以及适当的扩展功能扩展,并突出显示它们在计算机械师中的各种应用中的实用性,包括多孔媒体,流体力学和固体机制, 。
translated by 谷歌翻译
神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括,以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似,使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外,我们介绍了四类运算符参数化:基于图形的运算符,低秩运算符,基于多极图形的运算符和傅里叶运算符,并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的:它们在底层函数空间的不同离散化之间共享相同的网络参数,并且可以用于零击超分辨率。在数值上,与现有的基于机器学习的方法,达西流程和Navier-Stokes方程相比,所提出的模型显示出卓越的性能,而与传统的PDE求解器相比,与现有的基于机器学习的方法有关的基于机器学习的方法。
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
Neural operators, which emerge as implicit solution operators of hidden governing equations, have recently become popular tools for learning responses of complex real-world physical systems. Nevertheless, the majority of neural operator applications has thus far been data-driven, which neglects the intrinsic preservation of fundamental physical laws in data. In this paper, we introduce a novel integral neural operator architecture, to learn physical models with fundamental conservation laws automatically guaranteed. In particular, by replacing the frame-dependent position information with its invariant counterpart in the kernel space, the proposed neural operator is by design translation- and rotation-invariant, and consequently abides by the conservation laws of linear and angular momentums. As applications, we demonstrate the expressivity and efficacy of our model in learning complex material behaviors from both synthetic and experimental datasets, and show that, by automatically satisfying these essential physical laws, our learned neural operator is not only generalizable in handling translated and rotated datasets, but also achieves state-of-the-art accuracy and efficiency as compared to baseline neural operator models.
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
Recent advances in operator learning theory have improved our knowledge about learning maps between infinite dimensional spaces. However, for large-scale engineering problems such as concurrent multiscale simulation for mechanical properties, the training cost for the current operator learning methods is very high. The article presents a thorough analysis on the mathematical underpinnings of the operator learning paradigm and proposes a kernel learning method that maps between function spaces. We first provide a survey of modern kernel and operator learning theory, as well as discuss recent results and open problems. From there, the article presents an algorithm to how we can analytically approximate the piecewise constant functions on R for operator learning. This implies the potential feasibility of success of neural operators on clustered functions. Finally, a k-means clustered domain on the basis of a mechanistic response is considered and the Lippmann-Schwinger equation for micro-mechanical homogenization is solved. The article briefly discusses the mathematics of previous kernel learning methods and some preliminary results with those methods. The proposed kernel operator learning method uses graph kernel networks to come up with a mechanistic reduced order method for multiscale homogenization.
translated by 谷歌翻译
监督运营商学习是一种新兴机器学习范例,用于建模时空动态系统的演变和近似功能数据之间的一般黑盒关系的应用。我们提出了一种新颖的操作员学习方法,LOCA(学习操作员耦合注意力),激励了最近的注意机制的成功。在我们的体系结构中,输入函数被映射到有限的一组特征,然后按照依赖于输出查询位置的注意重量平均。通过将这些注意重量与积分变换一起耦合,LOCA能够明确地学习目标输出功能中的相关性,使我们能够近似非线性运算符,即使训练集测量中的输出功能的数量非常小。我们的配方伴随着拟议模型的普遍表现力的严格近似理论保证。经验上,我们在涉及普通和部分微分方程的系统管理的若干操作员学习场景中,评估LOCA的表现,以及黑盒气候预测问题。通过这些场景,我们展示了最先进的准确性,对噪声输入数据的鲁棒性以及在测试数据集上始终如一的错误传播,即使对于分发超出预测任务。
translated by 谷歌翻译
在本文中,我们提出了解决稳定性和卷积神经网络(CNN)的稳定性和视野的问题的神经网络。作为提高网络深度或宽度以提高性能的替代方案,我们提出了与全球加权拉普拉斯,分数拉普拉斯和逆分数拉普拉斯算子有关的基于积分的空间非识别算子,其在物理科学中的几个问题中出现。这种网络的前向传播由部分积分微分方程(PIDE)启发。我们在自动驾驶中测试基准图像分类数据集和语义分段任务的提出神经架构的有效性。此外,我们调查了这些密集的运营商的额外计算成本以及提出神经网络的前向传播的稳定性。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译
离散的不变学习旨在在无限维函数空间中学习,其能力将功能的异质离散表示作为学习模型的输入和/或输出。本文提出了一个基于整体自动编码器(IAE-NET)的新型深度学习框架,用于离散不变学习。 IAE-NET的基本构建块由编码器和解码器组成,作为与数据驱动的内核的积分转换,以及编码器和解码器之间的完全连接的神经网络。这个基本的构建块并行地在宽的多通道结构中应用,该结构反复组成,形成了一个具有跳过连接作为IAE-NET的深度连接的神经网络。 IAE-NET接受了随机数据扩展的培训,该数据具有随机数据,以生成具有异质结构的培训数据,以促进离散化不变性学习的性能。提出的IAE-NET在预测数据科学中进行了各种应用,解决了科学计算中的前进和反向问题,以及信号/图像处理。与文献中的替代方案相比,IAE-NET在现有应用中实现了最先进的性能,并创建了广泛的新应用程序。
translated by 谷歌翻译
我们为深度残留网络(RESNETS)提出了一种全球收敛的多级训练方法。设计的方法可以看作是递归多级信任区域(RMTR)方法的新型变体,该方法通过在训练过程中自适应调节迷你批量,在混合(随机确定性)设置中运行。多级层次结构和传输运算符是通过利用动力学系统的观点来构建的,该观点通过重新连接来解释远期传播作为对初始值问题的正向Euler离散化。与传统的培训方法相反,我们的新型RMTR方法还通过有限的内存SR1方法结合了有关多级层次结构各个级别的曲率信息。使用分类和回归领域的示例,对我们的多级训练方法的总体性能和收敛属性进行了数值研究。
translated by 谷歌翻译
卷积神经网络(CNN)的量化是缓解CNN部署的计算负担,尤其是在低资源边缘设备上的常见方法。但是,对于神经网络所涉及的计算类型,固定点算术并不是自然的。在这项工作中,我们探索了使用基于PDE的观点和分析来改善量化CNN的方法。首先,我们利用总变化方法(电视)方法将边缘意识平滑应用于整个网络的特征图。这旨在减少值分布的异常值并促进零件恒定图,这更适合量化。其次,我们考虑用于图像分类的常见CNN的对称和稳定变体,以及用于图源分类的图形卷积网络(GCN)。我们通过几个实验证明,正向稳定性的性质保留了在不同量化速率下网络的作用。结果,稳定的量化网络的行为与非量化的网络相似,即使它们依赖于较少的参数。我们还发现,有时,稳定性甚至有助于提高准确性。对于敏感,资源受限,低功率或实时应用(例如自动驾驶),这些属性特别感兴趣。
translated by 谷歌翻译
在过去的十年中,在许多工程领域,包括自动驾驶汽车,医疗诊断和搜索引擎,甚至在艺术创作中,神经网络(NNS)已被证明是极有效的工具。确实,NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器,尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法,这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法,重点关注所谓的放松操作员(也称为Smoothers),这是Multigrid算法的重要组成部分,在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法,用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松(SOR)SmoOthors平行。此外,这项工作表明,使用两个网格方法在相对较小的网格上学习放松参数,而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数,从而显着提高了大网格上的Multigrid算法的收敛速率。
translated by 谷歌翻译
这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多,所有主题都带有Jupyter笔记本的形式的动手代码示例,以便快速入门。除了标准的受监督学习的数据中,我们将看看物理丢失约束,更紧密耦合的学习算法,具有可微分的模拟,以及加强学习和不确定性建模。我们生活在令人兴奋的时期:这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。
translated by 谷歌翻译
运营商网络已成为有希望的深度学习工具,用于近似偏微分方程(PDE)的解决方案。这些网络绘制了描述材料属性,迫使函数和边界数据的输入函数到PDE解决方案。这项工作描述了一种针对操作员网络的新体系结构,该架构模仿了从问题的变异公式或弱公式中获得的数值解决方案的形式。这些想法在通用椭圆的PDE中的应用导致变异模拟操作员网络(Varmion)。像常规的深层操作员网络(DeepOnet)一样,Varmion也由一个子网络组成,该子网络构建了输出的基础函数,另一个构造了这些基础函数系数的基本功能。但是,与deponet相反,在Varmion中,这些网络的体系结构是精确确定的。对Varmion解决方案中误差的分析表明,它包含训练数据中的误差,训练错误,抽样输入中的正交误差和输出功能的贡献,以及测量测试输入功能之间距离的“覆盖错误”以及培训数据集中最近的功能。这也取决于确切网络及其varmion近似的稳定性常数。 Varmion在规范椭圆形PDE中的应用表明,对于大约相同数量的网络参数,平均而言,Varmion的误差比标准DeepOnet较小。此外,其性能对于输入函数的变化,用于采样输入和输出功能的技术,用于构建基本函数的技术以及输入函数的数量更为强大。
translated by 谷歌翻译
在本文中,我们在关注最先进的变压器中应用自我关注,这是第一次需要与部分微分方程相关的数据驱动的操作员学习问题。努力放在一起解释启发式,提高注意机制的功效。通过在希尔伯特空间中采用操作员近似理论,首次证明了Softmax归一化在缩放的点产品中的关注中足够但没有必要。在没有软墨中的情况下,可以证明线性化变换器变型的近似容量与Petrov-Galerkin投影层 - 明智相当,并且估计是相对于序列长度的独立性。提出了一种模仿Petrov-Galerkin投影的新层归一化方案,以允许缩放通过注意层传播,这有助于模型在具有非通信数据的操作员学习任务中实现显着准确性。最后,我们展示了三个操作员学习实验,包括粘虫汉堡方程,接口达西流程,以及逆接口系数识别问题。新提出的简单关注的算子学习者Galerkin变压器,在Softmax归一化的同行中,培训成本和评估准确性都显示出显着的改进。
translated by 谷歌翻译
在这项工作中,我们分析了不同程度的不同精度和分段多项式测试函数如何影响变异物理学知情神经网络(VPINN)的收敛速率,同时解决椭圆边界边界值问题,如何影响变异物理学知情神经网络(VPINN)的收敛速率。使用依靠INF-SUP条件的Petrov-Galerkin框架,我们在精确解决方案和合适的计算神经网络的合适的高阶分段插值之间得出了一个先验误差估计。数值实验证实了理论预测并突出了INF-SUP条件的重要性。我们的结果表明,以某种方式违反直觉,对于平滑解决方案,实现高衰减率的最佳策略在选择最低多项式程度的测试功能方面,同时使用适当高精度的正交公式。
translated by 谷歌翻译
我们为特殊神经网络架构,称为运营商复发性神经网络的理论分析,用于近似非线性函数,其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量,因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此,我们介绍一个类似标准的神经网络架构的新系列,但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析,我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后,我们研究其表示属性以及其近似属性。我们还表明,可以引入明确的正则化,其可以从所述逆问题的数学分析导出,并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后,我们讨论如何将运营商复发网络视为深度学习模拟,以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。
translated by 谷歌翻译
Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.
translated by 谷歌翻译