本文提出了动态系统的不确定性定量（UQ），这是一种基于物理信息的生成对抗网络（GAN）。流动流基地采用标准化流程模型作为发电机，以明确估计数据的可能性。对该流模型进行了训练，以最大程度地提高数据的可能性并生成可以欺骗卷积歧视者的合成数据。我们使用先前的物理信息（所谓的物理学深度学习（PIDL））进一步正规化了这一训练过程。据我们所知，我们是第一个为UQ问题提供流动，GAN和PIDL的集成的人。我们采用交通状态估计（TSE），旨在使用部分观察到的数据来估计流量变量（例如，交通密度和速度），以证明我们提出的模型的性能。我们进行数值实验，其中应用了所提出的模型来学习随机微分方程的解决方案。结果证明了所提出的模型的鲁棒性和准确性，以及学习机器学习替代模型的能力。我们还在现实世界数据集（NGSIM）上对其进行了测试，以证明所提出的流量流可以胜过基线，包括纯流程模型，物理信息信息流量模型和基于流量的GAN模型。

本文旨在使用基于生成对抗网络的物理信息深度学习（PIDL）来量化交通状态估计（TSE）的不确定性。焦点的不确定性来自基本图，换句话说，从交通密度到速度的映射。量化TSE问题的不确定性是表征预测的交通状态的鲁棒性。自成立以来，生成的对抗网络（GAN）已成为流行的概率机器学习框架。在本文中，我们将使用随机交通流量模型为基于GAN的预测提供信息，并为TSE开发基于GAN的PIDL框架，称为“ Physgan-Tse”。 ）数据集，与纯GAN模型或纯交通流模型相比，此方法对不确定性定量更为强大。两个物理模型，Lighthill-Whitham-Richards（LWR）和AW-Rascle-Zhang（ARZ）模型，将其作为物理学的物理成分进行比较，结果表明，基于ARZ的Physgan的性能比基于LWR的物理学更好。

在这项工作中，我们提出了一种基于时间归一化流的自适应学习方法，用于解决时间依赖于依赖的Fokker-Planck（TFP）方程。众所周知，这种等式的解决方案是概率密度函数，因此我们的方法依赖于使用时间标准化流程建模目标解决方案。然后基于TFP损耗函数训练时间归一化流量，而不需要任何标记的数据。作为一种机器学习方案，所提出的方法是无网线的，并且可以很容易地应用于高维度问题。我们提出了各种测试问题以表明学习方法的有效性。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

本文介绍了一种基于Krnet（ADDA-KR）的自适应深度近似策略，用于求解稳态Fokker-Planck（F-P）方程。 F-P方程通常是高维度和在无限域上定义的，这限制了基于传统网格的数值方法的应用。通过Knothe-Rosenblatt重新排列，我们的新提出的基于流的生成模型称为KrNet，提供了一种概率密度函数的家族，以作为Fokker-Planck方程的有效解决方案候选者，这与传统的计算方法较弱的维度依赖性较弱并且可以有效地估计一般的高维密度函数。为了获得用于F-P方程的近似的有效随机搭配点，我们开发了一种自适应采样过程，其中使用每次迭代的近似密度函数来迭代地生成样本。我们介绍了ADDA-KR的一般框架，验证了其准确性并通过数值实验展示了其效率。

在本文中，我们研究了Wasserstein生成对抗网络（WGAN）的物理信息算法，用于偏微分方程溶液中的不确定性定量。通过在对抗网络歧视器中使用GroupsOrt激活函数，使用网络生成器来学习从初始/边界数据观察到的部分微分方程解决方案的不确定性。在温和的假设下，我们表明，当取得足够的样品数量时，计算机发电机的概括误差会收敛到网络的近似误差，概率很高。根据我们既定的错误约束，我们还发现我们的物理知识的WGAN对鉴别器的能力比发电机具有更高的要求。据报道，关于部分微分方程的合成示例的数值结果，以验证我们的理论结果，并证明如何获得偏微分方程溶液以及初始/边界数据的分布的不确定性定量。但是，内部所有点的不确定性量化理论的质量或准确性仍然是理论空缺，并且需要进行进一步研究。

与CNN的分类，分割或对象检测相比，生成网络的目标和方法根本不同。最初，它们不是作为图像分析工具，而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法，并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络（GAN）的动机进行了基本介绍，并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法，也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan，但对抗性训练范式本身并非特定于图像，并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前，将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点，但也可以对gans有好处。

标准的神经网络可以近似一般的非线性操作员，要么通过数学运算符的组合（例如，在对流 - 扩散反应部分微分方程中）的组合，要么仅仅是黑匣子，例如黑匣子，例如一个系统系统。第一个神经操作员是基于严格的近似理论于2019年提出的深层操作员网络（DeepOnet）。从那时起，已经发布了其他一些较少的一般操作员，例如，基于图神经网络或傅立叶变换。对于黑匣子系统，对神经操作员的培训仅是数据驱动的，但是如果知道管理方程式可以在培训期间将其纳入损失功能，以开发物理知识的神经操作员。神经操作员可以用作设计问题，不确定性量化，自主系统以及几乎任何需要实时推断的应用程序中的代替代物。此外，通过将它们与相对轻的训练耦合，可以将独立的预训练deponets用作复杂多物理系统的组成部分。在这里，我们介绍了Deponet，傅立叶神经操作员和图神经操作员的评论，以及适当的扩展功能扩展，并突出显示它们在计算机械师中的各种应用中的实用性，包括多孔媒体，流体力学和固体机制， 。

机器学习中的不确定性量化（UQ）目前正在引起越来越多的研究兴趣，这是由于深度神经网络在不同领域的快速部署，例如计算机视觉，自然语言处理以及对风险敏感应用程序中可靠的工具的需求。最近，还开发了各种机器学习模型，以解决科学计算领域的问题，并适用于计算科学和工程（CSE）。物理知识的神经网络和深层操作员网络是两个这样的模型，用于求解部分微分方程和学习操作员映射。在这方面，[45]中提供了专门针对科学机器学习（SCIML）模型量身定制的UQ方法的全面研究。然而，尽管具有理论上的优点，但这些方法的实施并不简单，尤其是在大规模的CSE应用程序中，阻碍了他们在研究和行业环境中的广泛采用。在本文中，我们提出了一个开源python图书馆（https://github.com/crunch-uq4mi），称为Neuraluq，并伴有教育教程，用于以方便且结构化的方式采用SCIML的UQ方法。该图书馆既专为教育和研究目的，都支持多种现代UQ方法和SCIML模型。它基于简洁的工作流程，并促进了用户的灵活就业和易于扩展。我们首先提出了神经脉的教程，随后在四个不同的示例中证明了其适用性和效率，涉及动态系统以及高维参数和时间依赖性PDE。

远期操作员的计算成本和选择适当的先前分布的计算成本挑战了贝叶斯对高维逆问题的推断。摊销的变异推理解决了这些挑战，在这些挑战中，训练神经网络以近似于现有模型和数据对的后验分布。如果以前看不见的数据和正态分布的潜在样品作为输入，则预处理的深神经网络（在我们的情况下是有条件的正常化流量）几乎没有成本的后验样品。然而，这种方法的准确性取决于高保真训练数据的可用性，由于地球的异质结构，由于地球物理逆问题很少存在。此外，准确的摊销变异推断需要从训练数据分布中汲取观察到的数据。因此，我们建议通过基于物理学的校正对有条件的归一化流量分布来提高摊销变异推断的弹性。为了实现这一目标，我们不是标准的高斯潜在分布，我们通过具有未知平均值和对角线协方差的高斯分布来对潜在分布进行参数化。然后，通过最小化校正后分布和真实后验分布之间的kullback-leibler差异来估算这些未知数量。尽管通用和适用于其他反问题，但通过地震成像示例，我们表明我们的校正步骤可提高摊销变异推理的鲁棒性，以相对于源实验数量的变化，噪声方差以及先前分布的变化。这种方法提供了伪像有限的地震图像，并评估其不确定性，其成本大致与五个反度迁移相同。

我们为无随机动态系统的数据驱动模拟提供了一个深度学习模型，而无需分布假设。深度学习模型包括一个经常性的神经网络，旨在学习时间行进结构，以及从随机动力系统的概率分布来学习和采样的生成的对抗性网络。虽然生成的对策网络提供了一个强大的工具来建模复杂的概率分布，但训练通常在没有适当的正则化的情况下失败。在这里，我们提出了一种基于顺序推理问题的一致性条件的生成对抗性网络的正则化策略。首先，最大平均差异（MMD）用于实施随机过程的条件和边际分布之间的一致性。然后，通过使用MMD或来自多个鉴别器来规范多步预测的边缘分布。通过使用具有复杂噪声结构的三个随机过程来研究所提出的模型的行为。

Generative Adversarial Networks (GANs) have received wide acclaim among the machine learning (ML) community for their ability to generate realistic 2D images. ML is being applied more often to complex problems beyond those of computer vision. However, current frameworks often serve as black boxes and lack physics embeddings, leading to poor ability in enforcing constraints and unreliable models. In this work, we develop physics embeddings that can be stringently imposed, referred to as hard constraints, in the neural network architecture. We demonstrate their capability for 3D turbulence by embedding them in GANs, particularly to enforce the mass conservation constraint in incompressible fluid turbulence. In doing so, we also explore and contrast the effects of other methods of imposing physics constraints within the GANs framework, especially penalty-based physics constraints popular in literature. By using physics-informed diagnostics and statistics, we evaluate the strengths and weaknesses of our approach and demonstrate its feasibility.

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

Partial differential equations (PDEs) are widely used for description of physical and engineering phenomena. Some key parameters involved in PDEs, which represents certain physical properties with important scientific interpretations, are difficult or even impossible to be measured directly. Estimation of these parameters from noisy and sparse experimental data of related physical quantities is an important task. Many methods for PDE parameter inference involve a large number of evaluations of numerical solution of PDE through algorithms such as finite element method, which can be time-consuming especially for nonlinear PDEs. In this paper, we propose a novel method for estimating unknown parameters in PDEs, called PDE-Informed Gaussian Process Inference (PIGPI). Through modeling the PDE solution as a Gaussian process (GP), we derive the manifold constraints induced by the (linear) PDE structure such that under the constraints, the GP satisfies the PDE. For nonlinear PDEs, we propose an augmentation method that transfers the nonlinear PDE into an equivalent PDE system linear in all derivatives that our PIGPI can handle. PIGPI can be applied to multi-dimensional PDE systems and PDE systems with unobserved components. The method completely bypasses the numerical solver for PDE, thus achieving drastic savings in computation time, especially for nonlinear PDEs. Moreover, the PIGPI method can give the uncertainty quantification for both the unknown parameters and the PDE solution. The proposed method is demonstrated by several application examples from different areas.

轨迹预测已在许多领域广泛追求，并且已经探索了许多基于模型和模型的方法。前者包括基于规则的，几何或基于优化的模型，后者主要由深度学习方法组成。在本文中，我们提出了一种基于新的神经微分方程模型的新方法，结合了两种方法。我们的新模型（神经社会物理或NSP）是一个深层神经网络，我们在其中使用具有可学习参数的显式物理模型。显式物理模型在建模行人行为时是强大的感应偏见，而网络的其余部分就系统参数估计和动力学随机性建模提供了强大的数据拟合能力。我们将NSP与6个数据集上的15种深度学习方法进行了比较，并将最新性能提高了5.56％-70％。此外，我们表明NSP在预测截然不同的情况下的合理轨迹方面具有更好的概括性，其中密度的密度是测试数据的2-5倍。最后，我们表明NSP中的物理模型可以为行人行为提供合理的解释，而不是黑盒深度学习。可用代码：https：//github.com/realcrane/human-trajectory-prediction-via-noral-social-physics。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

许多物理过程，例如天气现象或流体力学由部分微分方程（PDE）管辖。使用神经网络建模这种动态系统是一个新兴的研究领域。然而，目前的方法以各种方式限制：它们需要关于控制方程的先验知识，并限于线性或一阶方程。在这项工作中，我们提出了一种将卷积神经网络（CNNS）与可微分的颂歌求解器结合到模型动力系统的模型。我们表明，标准PDE求解器中使用的线路方法可以使用卷曲来表示，这使得CNN是对参数化任意PDE动态的自然选择。我们的模型可以应用于任何数据而不需要任何关于管理PDE的知识。我们评估通过求解各种PDE而产生的数据集的NeuralPDE，覆盖更高的订单，非线性方程和多个空间尺寸。

This work presents a physics-informed deep learning-based super-resolution framework to enhance the spatio-temporal resolution of the solution of time-dependent partial differential equations (PDE). Prior works on deep learning-based super-resolution models have shown promise in accelerating engineering design by reducing the computational expense of traditional numerical schemes. However, these models heavily rely on the availability of high-resolution (HR) labeled data needed during training. In this work, we propose a physics-informed deep learning-based framework to enhance the spatial and temporal resolution of coarse-scale (both in space and time) PDE solutions without requiring any HR data. The framework consists of two trainable modules independently super-resolving the PDE solution, first in spatial and then in temporal direction. The physics based losses are implemented in a novel way to ensure tight coupling between the spatio-temporally refined outputs at different times and improve framework accuracy. We analyze the capability of the developed framework by investigating its performance on an elastodynamics problem. It is observed that the proposed framework can successfully super-resolve (both in space and time) the low-resolution PDE solutions while satisfying physics-based constraints and yielding high accuracy. Furthermore, the analysis and obtained speed-up show that the proposed framework is well-suited for integration with traditional numerical methods to reduce computational complexity during engineering design.

Deep learning models, though having achieved great success in many different fields over the past years, are usually data hungry, fail to perform well on unseen samples, and lack of interpretability. Various prior knowledge often exists in the target domain and their use can alleviate the deficiencies with deep learning. To better mimic the behavior of human brains, different advanced methods have been proposed to identify domain knowledge and integrate it into deep models for data-efficient, generalizable, and interpretable deep learning, which we refer to as knowledge-augmented deep learning (KADL). In this survey, we define the concept of KADL, and introduce its three major tasks, i.e., knowledge identification, knowledge representation, and knowledge integration. Different from existing surveys that are focused on a specific type of knowledge, we provide a broad and complete taxonomy of domain knowledge and its representations. Based on our taxonomy, we provide a systematic review of existing techniques, different from existing works that survey integration approaches agnostic to taxonomy of knowledge. This survey subsumes existing works and offers a bird's-eye view of research in the general area of knowledge-augmented deep learning. The thorough and critical reviews of numerous papers help not only understand current progresses but also identify future directions for the research on knowledge-augmented deep learning.

数据和标签的联合分布的KL差异目标允许在随机变异推断的一个保护伞下统一监督的学习和变异自动编码器（VAE）。统一激发了扩展的监督方案，该方案允许计算神经网络模型的合适性P值。通过神经网络摊销的条件归一化流在这种结构中至关重要。我们讨论了它们如何允许在产品空间上共同定义的后代定义的覆盖范围，例如$ \ mathbb {r}^n \ times \ times \ mathcal {s}^m $，它包含在方向上的海报。最后，系统的不确定性自然包含在变化观点中。在经典的可能性方法或其他机器学习模型中，（1）系统，（2）覆盖范围和（3）拟合优度的成分通常并非全部可用，或者至少有一个受到严格限制。相比之下，拟议的扩展监督培训和摊销标准化流量可容纳所有三个，用于在产品空间上定义的任意统计分布的变异推理，例如$ \ mathbb {r}^n \ times \ times \ ldots \ ldots \ times \ times \ mathcal {s}^m {s}^m $，没有基本数据复杂性的基本障碍。因此，它具有当代（Astro-）粒子物理学家的统计工具箱的巨大潜力。