我们提出了一个具有物理信息的神经网络，作为生物样品层析成像重建的正向模型。我们证明，通过用Helmholtz方程训练该网络作为物理损失，我们可以准确预测散射场。可以证明，可以对不同的样本进行微调的验证网络，并用于与其他数值解决方案更快地解决散射问题。我们通过数值和实验结果评估我们的方法。我们的物理知识神经网络可以推广到任何前进和反向散射问题。

光学衍射断层扫描（ODT）是一种新兴的3D成像技术，用于半透明样品的折射率（RI）的3D重建。已经提出了各种逆模型，以基于对不同样品（例如BORN和RYTOV近似）的全息检测来重建3D RI。但是，这种近似通常会遭受所谓的缺失键问题，从而导致沿光轴的最终重建伸长。已经提出了不同的迭代方案，以解决依靠物理前向模型和旨在填充K空间的错误函数的丢失锥问题，从而消除缺失的问题问题并达到更好的重建精度。在本文中，我们提出了一种使用3D神经网络（NN）的不同方法。 NN经过基于光波传播物理的物理模型得出的成本函数训练。 3D NN以3D RI重建（即出生或Rytov）的初始猜测开始，并旨在根据错误函数重建更好的3D重建。通过这种技术，可以对NN进行训练，而无需任何示例，即不适当的重建（出生或Rytov）与地面真相（真实形状）之间的关系。

电磁（EM）成像广泛用于感应安全性，生物医学，地球物理学和各种行业。这是一个不当的逆问题，其解决方案通常在计算上昂贵。机器学习（ML）技术，尤其是深度学习（DL）在快速准确的成像中显示出潜力。但是，纯粹的数据驱动方法的高性能依赖于构建与实用方案一致的训练集，而在EM成像任务中通常不可能。因此，普遍性成为主要问题。另一方面，物理原理是EM现象的基础，并为当前的成像技术提供了基准。为了从大数据中的先验知识和物理定律的理论约束中受益，物理学嵌入的ML成像方法已成为近期大量工作的重点。本文调查了各种方案，以将物理学纳入基于学习的EM成像中。我们首先介绍有关逆问题的EM成像和基本公式的背景。然后，我们专注于将物理和ML进行线性和非线性成像组合的三种类型的策略，并讨论它们的优势和局限性。最后，我们在这个快速发展的领域中以公开的挑战和可能的前进方式得出结论。我们的目的是促进将有效，可解释和可控制的智能EM成像方法的研究。

强度衍射断层扫描（IDT）是指用于从一组仅2D强度测量的样品成像样品的3D折射率（RI）分布的一类光学显微镜技术。由于相位信息的丢失和缺失的锥体问题，无伪影RI地图的重建是IDT的一个基本挑战。神经领域（NF）最近成为一种新的深度学习方法（DL），用于学习物理领域的连续表示。 NF使用基于坐标的神经网络来表示该场，通过将空间坐标映射到相应的物理量，在我们的情况下，复杂价值的折射率值。我们将DEPAF作为第一种基于NF的IDT方法，可以从仅强度和有限角度的测量值中学习RI体积的高质量连续表示。 DECAF中的表示形式是通过使用IDT向前模型直接从测试样品的测量值中学到的，而无需任何地面真相图。我们对模拟和实验生物学样品进行定性和定量评估DECAF。我们的结果表明，DECAF可以生成高对比度和无伪影RI图，并导致MSE超过现有方法的2.1倍。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

机器学习方法最近在求解部分微分方程（PDE）中的承诺。它们可以分为两种广泛类别：近似解决方案功能并学习解决方案操作员。物理知识的神经网络（PINN）是前者的示例，而傅里叶神经操作员（FNO）是后者的示例。这两种方法都有缺点。 Pinn的优化是具有挑战性，易于发生故障，尤其是在多尺度动态系统上。 FNO不会遭受这种优化问题，因为它在给定的数据集上执行了监督学习，但获取此类数据可能太昂贵或无法使用。在这项工作中，我们提出了物理知识的神经运营商（Pino），在那里我们结合了操作学习和功能优化框架。这种综合方法可以提高PINN和FNO模型的收敛速度和准确性。在操作员学习阶段，Pino在参数PDE系列的多个实例上学习解决方案操作员。在测试时间优化阶段，Pino优化预先训练的操作员ANSATZ，用于PDE的查询实例。实验显示Pino优于许多流行的PDE家族的先前ML方法，同时保留与求解器相比FNO的非凡速度。特别是，Pino准确地解决了挑战的长时间瞬态流量，而其他基线ML方法无法收敛的Kolmogorov流程。

在过去的十年中，在许多工程领域，包括自动驾驶汽车，医疗诊断和搜索引擎，甚至在艺术创作中，神经网络（NNS）已被证明是极有效的工具。确实，NN通常果断地超过传统算法。直到最近才引起重大兴趣的一个领域是使用NNS设计数值求解器，尤其是用于离散的偏微分方程。最近的几篇论文考虑使用NNS来开发多机方法，这些方法是解决离散的偏微分方程和其他稀疏矩阵问题的领先计算工具。我们扩展了这些新想法，重点关注所谓的放松操作员（也称为Smoothers），这是Multigrid算法的重要组成部分，在这种情况下尚未受到很多关注。我们探索了一种使用NNS学习带有随机系数的扩散算子的放松参数的方法，用于雅各比类型的Smoothers和4Color Gaussseidel Smoothers。后者的产量异常高效且易于使连续的放松（SOR）SmoOthors平行。此外，这项工作表明，使用两个网格方法在相对较小的网格上学习放松参数，而Gelfand的公式可以轻松实现。这些方法有效地产生了几乎最佳的参数，从而显着提高了大网格上的Multigrid算法的收敛速率。

地震波的频域模拟在地震反演中起着重要作用，但在大型模型中仍然具有挑战性。作为有效的深度学习方法，最近提出的物理知识的神经网络（PINN）在解决广泛的偏微分方程（PDES）方面取得了成功的应用，并且在这方面仍然有改进的余地。例如，当PDE系数不平滑并描述结构复合介质时，PINN可能导致溶液不准确。在本文中，我们通过使用PINN而不是波方程来求解频域中的声学和Visco声学散射的场波方程，以消除源奇异性。我们首先说明，当在损失函数中未实现边界条件时，非平滑速度模型导致波场不准确。然后，我们在PINN的损耗函数中添加了完美匹配的层（PML）条件，并设计了二次神经网络，以克服PINN中非平滑模型的有害影响。我们表明，PML和二次神经元改善了结果和衰减，并讨论了这种改进的原因。我们还说明，在波场模拟中训练的网络可用于预先训练PDE-Coeff及时改变后另一个波场模拟的神经网络，并相应地提高收敛速度。当两次连续迭代或两个连续的实验之间的模型扰动时，这种预训练策略应在迭代全波形反转（FWI）和时置目标成像中找到应用。

我们制定了一类由物理驱动的深层变量模型（PDDLVM），以学习参数偏微分方程（PDES）的参数到解决方案（正向）和解决方案到参数（逆）图。我们的公式利用有限元方法（FEM），深神经网络和概率建模来组装一个深层概率框架，在该框架中，向前和逆图通过连贯的不确定性量化近似。我们的概率模型明确合并了基于参数PDE的密度和可训练的解决方案到参数网络，而引入的摊销变异家庭假定参数到解决方案网络，所有这些网络均经过联合培训。此外，所提出的方法不需要任何昂贵的PDE解决方案，并且仅在训练时间内对物理信息进行了信息，该方法允许PDE的实时仿真和培训后的逆问题解决方案的产生，绕开了对FEM操作的需求，以相当的准确性，以便于FEM解决方案。提出的框架进一步允许无缝集成观察到的数据，以解决反问题和构建生成模型。我们证明了方法对非线性泊松问题，具有复杂3D几何形状的弹性壳以及整合通用物理信息信息的神经网络（PINN）体系结构的有效性。与传统的FEM求解器相比，训练后，我们最多达到了三个数量级的速度，同时输出连贯的不确定性估计值。

求解电磁逆散射问题（ISP）由于内在的非线性，呈不良和昂贵的计算成本，挑战。最近，深神经网络（DNN）技术已经成功地应用于ISP上，并在传统方法上示出了优异成像的电位。在本文中，我们分析了DNN溶剂和传统迭代算法之间的类比，并讨论了在训练过程中不能有效地纳入重要的物理现象。我们展示了在DNN的学习过程中包括近端前瞻的重要性。为此，我们提出了新的损耗功能设计，其包括基于多散射的近场数量（例如散射场或感兴趣领域内的诱导电流）。使用各种数值实验研究了物理引导功能的影响。总结了调查的ISP求解器的利弊，综述了不同损失功能。

背景：洪水是世界上最常见的自然灾害，影响数亿岁的生活。因此，洪水预测是一项重要的重要努力，通常使用物理水流模拟实现，依赖于准确的地形升降映射。然而，这种基于求解部分微分方程的这种模拟是在大规模上计算上的禁止。这种可扩展性问题通常使用高程地图的粗网格表示，尽管这种表示可能扭曲了至关重要的地形细节，导致模拟中的显着不准确。贡献：我们训练一个深度神经网络，以执行地形地图的物理信息信息：我们优化地形地图的粗网格表示，以便洪水预测将匹配细网解决方案。对于成功的学习过程，我们专门为此任务配置数据集。我们证明，通过这种方法，可以实现计算成本的显着降低，同时保持准确的解决方案。参考实施伴随着该文件以及数据集再现的文档和代码。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

我们提出了一种基于具有子域（CENN）的神经网络的保守能量方法，其中允许通过径向基函数（RBF），特定解决方案神经网络和通用神经网络构成满足没有边界惩罚的基本边界条件的可允许功能。与具有子域的强形式Pinn相比，接口处的损耗术语具有较低的阶数。所提出的方法的优点是效率更高，更准确，更小的近双达，而不是具有子域的强形式Pinn。所提出的方法的另一个优点是它可以基于可允许功能的特殊结构适用于复杂的几何形状。为了分析其性能，所提出的方法宫殿用于模拟代表性PDE，这些实施例包括强不连续性，奇异性，复杂边界，非线性和异质问题。此外，在处理异质问题时，它优于其他方法。

机器学习的最近进步已经创造了利用一类基于坐标的神经网络来解决视觉计算问题的兴趣，该基于坐标的神经网络在空间和时间跨空间和时间的场景或对象的物理属性。我们称之为神经领域的这些方法已经看到在3D形状和图像的合成中成功应用，人体的动画，3D重建和姿势估计。然而，由于在短时间内的快速进展，许多论文存在，但尚未出现全面的审查和制定问题。在本报告中，我们通过提供上下文，数学接地和对神经领域的文学进行广泛综述来解决这一限制。本报告涉及两种维度的研究。在第一部分中，我们通过识别神经字段方法的公共组件，包括不同的表示，架构，前向映射和泛化方法来专注于神经字段的技术。在第二部分中，我们专注于神经领域的应用在视觉计算中的不同问题，超越（例如，机器人，音频）。我们的评论显示了历史上和当前化身的视觉计算中已覆盖的主题的广度，展示了神经字段方法所带来的提高的质量，灵活性和能力。最后，我们展示了一个伴随着贡献本综述的生活版本，可以由社区不断更新。

了解添加剂制造（AM）过程的热行为对于增强质量控制和实现定制过程设计至关重要。大多数纯粹基于物理的计算模型都有密集的计算成本，因此不适合在线控制和迭代设计应用程序。数据驱动的模型利用最新开发的计算工具可以作为更有效的替代品，但通常会在大量仿真数据上进行培训，并且通常无法有效使用小但高质量的实验数据。在这项工作中，我们使用物理知识的神经网络开发了AM过程的基于混合物理学的热建模方法。具体而言，通过红外摄像机测量的部分观察到的温度数据与物理定律结合在一起，以预测全场温度病史并发现未知的材料和过程参数。在数值和实验示例中，添加辅助训练数据并使用转移学习技术在训练效率和预测准确性方面的有效性，以及具有部分观察到的数据的未知参数的能力。结果表明，混合热模型可以有效地识别未知参数并准确捕获全田温度，因此它具有在AM的迭代过程设计和实时过程控制中的潜力。