当前的深度学习模型预测与概括的斗争。它们只能在特定域中预测，并且当应用于具有不同参数，外部力或边界条件的系统时失败。我们提出了一种基于模型的元学习方法，称为dyad，可以通过将它们划分为不同的任务，从而在异质域进行概括。 Dyad有两个部分：一个编码器，可在弱监督下渗透任务的时间不变的隐藏功能，并且一个预报员可以学习整个域的共享动力学。编码器使用自适应实例归一化和自适应填充在推理过程中适应并控制预报器。从理论上讲，我们证明了此类过程的概括误差与源域中的任务相关性以及源和目标之间的域差异有关。在实验上，我们证明了我们的模型在湍流和现实海洋数据预测任务上都优于最先进的方法。

建模物理系统的数据驱动方法无法推广到与学习域共享相同一般动态的看不见的系统，但与不同的物理环境相对应。我们为此关键问题提出了一个新的框架，即上下文知识的动态适应（CODA），该框架考虑了整个系统之间的分布转移，以快速有效地适应新的动力学。 CODA利用多个环境，每个环境都与不同的动态相关联，并学会将动态模型定为上下文参数（特定于每个环境）。调节是通过超网络进行的，并从观察到的数据与上下文向量共同学习。提出的公式限制了搜索假设空间，以促进跨环境的快速适应和更好的概括。我们从理论上激励我们的方法，并在一组非线性动力学上显示出最新的概括结果，这是多种应用领域的代​​表。我们还在这些系统上还显示，可以从上下文向量中推断出新的系统参数，并以最小的监督为准。

将对称性作为归纳偏置纳入神经网络体系结构已导致动态建模的概括，数据效率和身体一致性的提高。诸如CNN或e夫神经网络之类的方法使用重量绑定来强制执行对称性，例如偏移不变性或旋转率。但是，尽管物理定律遵守了许多对称性，但实际动力学数据很少符合严格的数学对称性，这是由于嘈杂或不完整的数据或基础动力学系统中的对称性破坏特征。我们探索近似模棱两可的网络，这些网络偏向于保存对称性，但并非严格限制这样做。通过放松的均衡约束，我们发现我们的模型可以胜过两个基线，而在模拟的湍流域和现实世界中的多流射流流中都没有对称性偏差和基线，并且具有过度严格的对称性。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

Deep motion forecasting models have achieved great success when trained on a massive amount of data. Yet, they often perform poorly when training data is limited. To address this challenge, we propose a transfer learning approach for efficiently adapting pre-trained forecasting models to new domains, such as unseen agent types and scene contexts. Unlike the conventional fine-tuning approach that updates the whole encoder, our main idea is to reduce the amount of tunable parameters that can precisely account for the target domain-specific motion style. To this end, we introduce two components that exploit our prior knowledge of motion style shifts: (i) a low-rank motion style adapter that projects and adjusts the style features at a low-dimensional bottleneck; and (ii) a modular adapter strategy that disentangles the features of scene context and motion history to facilitate a fine-grained choice of adaptation layers. Through extensive experimentation, we show that our proposed adapter design, coined MoSA, outperforms prior methods on several forecasting benchmarks.

机器学习的进展（ML）源于数据可用性，计算资源的组合，以及对电感偏差的适当编码。有用的偏差经常利用预测问题的对称性，例如依赖于翻译设备的卷积网络。自动发现这些有用的对称具有大大提高ML系统性能的可能性，但仍然是一个挑战。在这项工作中，我们专注于连续的预测问题，并采取灵感来自Noether定理，以减少发现归纳偏差到Meta学习的有用保守数量的问题。我们提出了挪威网络：在预测函数内优化了Meta学习保存损失的新型架构。我们在理论和实验上示出了Noether网络提高了预测质量，提供了一种用于在顺序问题中发现感应偏差的一般框架。

整合不同域的知识是人类学习的重要特征。学习范式如转移学习，元学习和多任务学习，通过利用新任务的先验知识，鼓励更快的学习和新任务的良好普遍来反映人类学习过程。本文提供了这些学习范例的详细视图以及比较分析。学习算法的弱点是另一个的力量，从而合并它们是文献中的一种普遍的特征。这项工作提供了对文章的文献综述，这些文章融合了两种算法来完成多个任务。这里还介绍了全球通用学习网络，在此介绍了元学习，转移学习和多任务学习的集合，以及一些开放的研究问题和未来研究的方向。

具有经典数字求解器的湍流模拟需要非常高分辨率的网格来准确地解决动态。在这里，我们以低空间和时间分辨率培训学习模拟器，以捕获高分辨率产生的湍流动态。我们表明我们所提出的模型可以比各种科学相关指标的相同低分辨率的经典数字求解器更准确地模拟湍流动态。我们的模型从数据训练结束到底，能够以低分辨率学习一系列挑战性的混乱和动态动态，包括最先进的雅典娜++发动机产生的轨迹。我们表明，我们的更简单，通用体系结构优于来自所学到的湍流模拟文献的各种专业的湍流特异性架构。一般来说，我们看到学习的模拟器产生不稳定的轨迹;但是，我们表明调整训练噪音和时间下采样解决了这个问题。我们还发现，虽然超出培训分配的泛化是学习模型，训练噪声，卷积架构以及增加损失约束的挑战。广泛地，我们得出的结论是，我们所知的模拟器优于传统的求解器在较粗糙的网格上运行，并强调简单的设计选择可以提供稳定性和鲁棒的泛化。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

深度学习已被积极应用于预测时间序列，从而导致了大量新的自回归模型体系结构。然而，尽管基于时间指数的模型具有吸引人的属性，例如随着时间的推移是连续信号函数，导致表达平滑，但对它们的关注很少。实际上，尽管基于天真的深度指数模型比基于经典时间指数的模型的手动预定义函数表示表达得多，但由于缺乏电感偏见和时间序列的非平稳性，它们的预测不足以预测。在本文中，我们提出了DeepTime，这是一种基于深度指数的模型，该模型通过元学习公式训练，该公式克服了这些局限性，从而产生了有效而准确的预测模型。对现实世界数据集的广泛实验表明，我们的方法通过最先进的方法实现了竞争成果，并且高效。代码可从https://github.com/salesforce/deeptime获得。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

学习来自观察数据的行为模式一直是运动预测的遗传方法。然而，目前的范式遭受了两种缺点：协会变化下的脆性和知识转移的低效。在这项工作中，我们建议从因果表现形式解决这些挑战。我们首先介绍了运动预测的因果形式主义，这将问题作为一种动态过程，其中三组潜在变量，即不变的机制，风格混乱和虚假功能。然后我们介绍一个学习框架，分别对待每个组：（i）与从不同地点收集的数据集的共同做法不同，我们通过不变性的损失来利用它们的微妙区分，鼓励模型抑制虚假相关; （ii）我们设计了一种模块化的架构，可以修理不变机制和风格混淆的表示，以近似因果图; （iii）我们介绍了一种风格的一致性损失，不仅强制实施了风格表示的结构，而且还用作自我监控信号，以便在飞行中进行测试时间改进。合成和实时数据集的实验结果表明，我们的三个提出的组件显着提高了学习运动表示的鲁棒性和可重用性，优于出现的先前最先进的运动预测模型，用于分发外概括和低次转移。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

机器学习系统通常假设训练和测试分布是相同的。为此，关键要求是开发可以概括到未经看不见的分布的模型。领域泛化（DG），即分销概括，近年来引起了越来越令人利益。域概括处理了一个具有挑战性的设置，其中给出了一个或几个不同但相关域，并且目标是学习可以概括到看不见的测试域的模型。多年来，域概括地区已经取得了巨大进展。本文提出了对该地区最近进步的首次审查。首先，我们提供了域泛化的正式定义，并讨论了几个相关领域。然后，我们彻底审查了与域泛化相关的理论，并仔细分析了泛化背后的理论。我们将最近的算法分为三个类：数据操作，表示学习和学习策略，并为每个类别详细介绍几种流行的算法。第三，我们介绍常用的数据集，应用程序和我们的开放源代码库进行公平评估。最后，我们总结了现有文学，并为未来提供了一些潜在的研究主题。

Despite great progress in simulating multiphysics problems using the numerical discretization of partial differential equations (PDEs), one still cannot seamlessly incorporate noisy data into existing algorithms, mesh generation remains complex, and high-dimensional problems governed by parameterized PDEs cannot be tackled. Moreover, solving inverse problems with hidden physics is often prohibitively expensive and requires different formulations and elaborate computer codes. Machine learning has emerged as a promising alternative, but training deep neural networks requires big data, not always available for scientific problems. Instead, such networks can be trained from additional information obtained by enforcing the physical laws (for example, at random points in the continuous space-time domain). Such physics-informed learning integrates (noisy) data and mathematical models, and implements them through neural networks or other kernel-based regression networks. Moreover, it may be possible to design specialized network architectures that automatically satisfy some of the physical invariants for better accuracy, faster training and improved generalization. Here, we review some of the prevailing trends in embedding physics into machine learning, present some of the current capabilities and limitations and discuss diverse applications of physics-informed learning both for forward and inverse problems, including discovering hidden physics and tackling high-dimensional problems.

所有著名的机器学习算法构成了受监督和半监督的学习工作，只有在一个共同的假设下：培训和测试数据遵循相同的分布。当分布变化时，大多数统计模型必须从新收集的数据中重建，对于某些应用程序，这些数据可能是昂贵或无法获得的。因此，有必要开发方法，以减少在相关领域中可用的数据并在相似领域中进一步使用这些数据，从而减少需求和努力获得新的标签样品。这引起了一个新的机器学习框架，称为转移学习：一种受人类在跨任务中推断知识以更有效学习的知识能力的学习环境。尽管有大量不同的转移学习方案，但本调查的主要目的是在特定的，可以说是最受欢迎的转移学习中最受欢迎的次级领域，概述最先进的理论结果，称为域适应。在此子场中，假定数据分布在整个培训和测试数据中发生变化，而学习任务保持不变。我们提供了与域适应性问题有关的现有结果的首次最新描述，该结果涵盖了基于不同统计学习框架的学习界限。

大多数机器学习算法的基本假设是培训和测试数据是从相同的底层分布中汲取的。然而，在几乎所有实际应用中违反了这种假设：由于不断变化的时间相关，非典型最终用户或其他因素，机器学习系统经常测试。在这项工作中，我们考虑域泛化的问题设置，其中训练数据被构造成域，并且可能有多个测试时间偏移，对应于新域或域分布。大多数事先方法旨在学习在所有域上执行良好的单一强大模型或不变的功能空间。相比之下，我们的目标是使用未标记的测试点学习适应域转移到域移的模型。我们的主要贡献是介绍自适应风险最小化（ARM）的框架，其中模型被直接优化，以便通过学习来转移以适应培训域来改编。与稳健性，不变性和适应性的先前方法相比，ARM方法提供了在表现域移位的多个图像分类问题上的性能增益为1-4％的测试精度。

学习复杂的时间序列预测模型通常需要大量数据，因为每个任务/数据集都会从头开始训练每个模型。利用类似数据集利用学习经验是一种公认​​的技术，用于分类问题，称为几个射击分类。但是，现有方法不能应用于预测时间序列，因为i）多元时间序列数据集具有不同的渠道，ii）预测与分类主要不同。在本文中，我们首次使用异质通道对时间序列的几个预测进行正式的问题。扩展了有关矢量数据中异质属性的最新工作，我们开发了一个由置换不变的深set块组成的模型，该模型结合了时间嵌入。我们组装了40个多元时间序列数据集的第一个元数据集，并通过实验显示我们的模型提供了一个良好的概括，优于从更简单的场景中延续的基线，这些基线要么无法跨任务学习或错过时间信息。