Studying animal movements is essential for effective wildlife conservation and conflict mitigation. For aerial movements, operational weather radars have become an indispensable data source in this respect. However, partial measurements, incomplete spatial coverage, and poor understanding of animal behaviours make it difficult to reconstruct complete spatio-temporal movement patterns from available radar data. We tackle this inverse problem by learning a mapping from high-dimensional radar measurements to low-dimensional latent representations using a convolutional encoder. Under the assumption that the latent system dynamics are well approximated by a locally linear Gaussian transition model, we perform efficient posterior estimation using the classical Kalman smoother. A convolutional decoder maps the inferred latent system states back to the physical space in which the known radar observation model can be applied, enabling fully unsupervised training. To encourage physical consistency, we additionally introduce a physics-informed loss term that leverages known mass conservation constraints. Our experiments on synthetic radar data show promising results in terms of reconstruction quality and data-efficiency.

助焊剂反转是通过气体摩尔分数的观察来鉴定气体的源和沉积的过程。倒置通常涉及运行拉格朗日粒子分散模型（LPDM），以在感兴趣的空间领域之间产生观察结果和助熔剂之间的敏感性。 LPDM必须及时向后运行，以便每个气体测量，这可以计算地禁止。为了解决这个问题，在这里，我们开发了一种新的时空仿真器，用于使用卷积变分Autiachoder（CVAE）构建的LPDM敏感性。利用CVAE的编码器段，我们获得低维空间中的潜在变量的近似（变分）后分布。然后，我们在低维空间上使用时空高斯工艺仿真器在预测位置和时间点上模拟新变量。然后通过CVAE的解码器段来通过模拟变量以产生模拟的敏感性。我们表明，基于CVAE的仿真器优于使用经验正交功能的更传统的仿真器，并且它可以与不同的LPDM一起使用。我们得出结论，我们的仿真基方法可用于可靠地减少生成LPDM输出所需的计算时间，以便在高分辨率通量反转中使用。

放射造影通常用于探测动态系统中的复杂，不断发展的密度字段，以便在潜在的物理学中实现进入洞察力。该技术已用于许多领域，包括材料科学，休克物理，惯性监禁融合和其他国家安全应用。然而，在许多这些应用中，噪声，散射，复杂光束动力学等的并发症防止了密度的重建足以足以识别具有足够置信度的底层物理。因此，来自静态/动态射线照相的密度重建通常限于在许多这些应用中识别诸如裂缝和空隙的不连续特征。在这项工作中，我们提出了一种从基本上重建密度的基本上新的射线照片序列的密度。仅使用射线照相识别的稳健特征，我们将它们与使用机器学习方法的底层流体动力方程组合，即条件生成对冲网络（CGAN），以从射线照片的动态序列确定密度字段。接下来，我们寻求通过参数估计和投影的过程进一步提高ML的密度重建的流体动力学一致性，并进入流体动力歧管。在这种情况下，我们注意到，训练数据给出的流体动力歧管在被认为的参数空间中给出的测试数据是用于预测的稳定性的诊断，并用于增强培训数据库，期望后者将进一步降低未来的密度重建错误。最后，我们展示了这种方法优于传统的射线照相重建在捕获允许的流体动力学路径中的能力，即使存在相对少量的散射。

风电场设计主要取决于风力涡轮机唤醒流向大气风条件的可变性，以及唤醒之间的相互作用。使用高保真度捕获唤醒流场的物理学模型是计算风电场的布局优化的计算非常昂贵，因此数据驱动的减少的订单模型可以代表模拟风电场的有效替代方案。在这项工作中，我们使用现实世界的光检测和测量（LIDAR）测量的风力涡轮机唤醒，用机器学习构建预测代理模型。具体而言，我们首先展示使用深度自动控制器来找到低维\ emph {潜在}空间，其给出了唤醒激光雷达测量的计算易逼近的近似。然后，我们学习使用深神经网络的参数空间和（潜在空间）唤醒流场之间的映射。此外，我们还展示了使用概率机器学习技术，即高斯过程建模，除了数据中的认知和炼拉内不确定性之外，学习参数空间潜空间映射。最后，为了应对培训大型数据集，我们展示了使用变分高斯过程模型，为大型数据集提供了传统的高斯工艺模型的传统高斯工艺模型。此外，我们介绍了主动学习以自适应地构建和改进传统的高斯过程模型预测能力。总的来说，我们发现我们的方法提供了风力涡轮机唤醒流场的准确近似，其可以以比具有基于高保真物理的模拟产生的级别更便宜的成本来查询。

估计河床型材，也称为沐浴型，在许多应用中起着至关重要的作用，例如安全有效的内陆导航，对银行侵蚀，地面沉降和洪水风险管理的预测。直接沐浴术调查的高成本和复杂物流，即深度成像，鼓励使用间接测量，例如表面流速。然而，从间接测量估计高分辨率的沐浴族是可以计算地具有挑战性的逆问题。在这里，我们提出了一种基于阶的模型（ROM）的方法，其利用变形的自动化器（VAE），一系列深神经网络，中间具有窄层，以压缩沐浴族和流速信息并加速沐浴逆问题流速测量。在我们的应用中，浅水方程（SWE）具有适当的边界条件（BCS），例如排出和/或自由表面升高，构成前向问题，以预测流速。然后，通过变分编码器在低维度的非线性歧管上构造SWES的ROM。利用不确定性量化（UQ）的估计在贝叶斯环境中的低维潜空间上执行。我们已经在美国萨凡纳河的一英里接触到美国，测试了我们的反转方法。一旦培训了神经网络（离线阶段），所提出的技术就可以比通常基于线性投影的传统反转方法更快地执行幅度的反转操作级，例如主成分分析（PCA）或主要成分地质统计方法（PCGA）。此外，即使具有稀疏的流速测量，测试也可以估计算法估计良好的精度均匀的浴权。

这项工作提出了一种随机变化深内核学习方法，用于从高维噪声数据中发现低维动力学模型的数据驱动。该框架由一个编码器组成，该编码器将高维测量值压缩为低维状态变量，以及用于状态变量的潜在动力学模型，该模型可以预测随时间时间的系统演化。提出的模型的培训是以无监督的方式进行的，即不依赖标记的数据。我们的学习方法是根据摆锤的运动进行评估的，这是通过高维嘈杂的RGB图像测量的非线性模型识别和对照的良好研究基线。结果表明，该方法可以有效地确定测量，学习紧凑的状态表示和潜在的动力学模型，并识别和量化建模不确定性。

在许多科学学科中，我们有兴趣推断一组观察到的时间序列的非线性动力学系统，这是面对混乱的行为和噪音，这是一项艰巨的任务。以前的深度学习方法实现了这一目标，通常缺乏解释性和障碍。尤其是，即使基本动力学生存在较低维的多种多样的情况下，忠实嵌入通常需要的高维潜在空间也会阻碍理论分析。在树突计算的新兴原则的推动下，我们通过线性样条基础扩展增强了动态解释和数学可牵引的分段线性（PL）复发性神经网络（RNN）。我们表明，这种方法保留了简单PLRNN的所有理论上吸引人的特性，但在相对较低的尺寸中提高了其近似任意非线性动态系统的能力。我们采用两个框架来训练该系统，一个将反向传播的时间（BPTT）与教师强迫结合在一起，另一个将基于快速可扩展的变异推理的基础。我们表明，树枝状扩展的PLRNN可以在各种动力学系统基准上获得更少的参数和尺寸，并与其他方法进行比较，同时保留了可拖动和可解释的结构。

Dynamical systems are found in innumerable forms across the physical and biological sciences, yet all these systems fall naturally into universal equivalence classes: conservative or dissipative, stable or unstable, compressible or incompressible. Predicting these classes from data remains an essential open challenge in computational physics at which existing time-series classification methods struggle. Here, we propose, \texttt{phase2vec}, an embedding method that learns high-quality, physically-meaningful representations of 2D dynamical systems without supervision. Our embeddings are produced by a convolutional backbone that extracts geometric features from flow data and minimizes a physically-informed vector field reconstruction loss. In an auxiliary training period, embeddings are optimized so that they robustly encode the equations of unseen data over and above the performance of a per-equation fitting method. The trained architecture can not only predict the equations of unseen data, but also, crucially, learns embeddings that respect the underlying semantics of the embedded physical systems. We validate the quality of learned embeddings investigating the extent to which physical categories of input data can be decoded from embeddings compared to standard blackbox classifiers and state-of-the-art time series classification techniques. We find that our embeddings encode important physical properties of the underlying data, including the stability of fixed points, conservation of energy, and the incompressibility of flows, with greater fidelity than competing methods. We finally apply our embeddings to the analysis of meteorological data, showing we can detect climatically meaningful features. Collectively, our results demonstrate the viability of embedding approaches for the discovery of dynamical features in physical systems.

当通过差异模型研究流行动力学时，要了解现象并模拟预测场景所需的参数需要微妙的校准阶段，通常会因官方来源报告的稀缺性和不确定性而变得更加挑战。在这种情况下，通过嵌入控制物理现象在学习过程中的差异模型的知识，可以有效解决数据驱动的学习的逆问题，并解决相应的流行病问题，从而使物理知识的神经网络（PINN）（PINN）（PINN）（PINNS）。 。然而，在许多情况下，传染病的空间传播的特征是在多尺度PDE的不同尺度上的个体运动。这反映了与城市和邻近区域内动态有关的区域或领域的异质性。在存在多个量表的情况下，PINN的直接应用通常会导致由于神经网络损失函数中差异模型的多尺度性质而导致的结果差。为了使神经网络相对于小规模统一运行，希望神经网络满足学习过程中的渐近保护（AP）特性。为此，我们考虑了一类新的AP神经网络（APNNS），用于多尺度双曲线传输模型的流行病扩散模型，由于损失函数的适当配方，它能够在系统的不同尺度上均匀地工作。一系列针对不同流行病的数值测试证实了所提出的方法的有效性，在处理多尺度问题时，突出了AP在神经网络中的重要性，尤其是在存在稀疏和部分观察到的系统的情况下。

这本数字本书包含在物理模拟的背景下与深度学习相关的一切实际和全面的一切。尽可能多，所有主题都带有Jupyter笔记本的形式的动手代码示例，以便快速入门。除了标准的受监督学习的数据中，我们将看看物理丢失约束，更紧密耦合的学习算法，具有可微分的模拟，以及加强学习和不确定性建模。我们生活在令人兴奋的时期：这些方法具有从根本上改变计算机模拟可以实现的巨大潜力。

机器学习开始在一系列环境应用中提供最先进的性能，例如水文流域中的流量预测。但是，由于主要的水文工艺的可变性，在实践中建立准确的大规模模型在实践中仍然具有挑战性，这是通过一组与过程相关的盆地特征捕获的。现有的盆地特征遭受了噪音和不确定性的影响，以及许多其他事情，这会对模型性能产生不利影响。为了应对上述挑战，在本文中，我们提出了一种新颖的知识引导的自学学习（KGSSL）逆框架，以从驱动程序和响应数据中提取系统特征。即使特征被损坏，这个首先的框架即使在特征被损坏的情况下也达到了强大的性能。我们表明，KGSSL为骆驼的流量建模（大型研究的流域属性和气象学）实现了最新的结果，这是一个广泛使用的水文基准数据集。具体而言，KGSSL在重建特性中最多优于其他方法16 \％。此外，我们表明KGSSL比基线方法相对强大，并且在插入KGSSL推断的特征时，基线模型的表现优于35 \％。

我们提出了Fibernet，一种估计\ emph {in-Vivo}的方法，从电动激活的多个导管记录中，人心房的心脏纤维结构。心脏纤维在心脏的电力功能中起着核心作用，但是它们很难确定体内，因此在现有心脏模型中很少有特定于患者的特定于患者。 Fibernet通过解决物理知识的神经网络的逆问题来学习纤维布置。逆问题等于从一组稀疏激活图中识别心脏传播模型的传导速度张量。多个地图的使用可以同时识别传导速度张量（包括局部纤维角）的所有组件。我们对合成2-D和3-D示例，扩散张量纤维和患者特异性病例进行广泛测试。我们表明，在存在噪声的情况下，也足以准确捕获纤维。随着地图的较少，正则化的作用变得突出。此外，我们表明拟合的模型可以稳健地重现看不见的激活图。我们设想，纤维网将帮助创建特定于患者的个性化医学模型。完整代码可在http://github.com/fsahli/fibernet上找到。

我们从一组稀疏的光谱时间序列中构建了一个物理参数化的概率自动编码器（PAE），以学习IA型超新星（SNE IA）的内在多样性。 PAE是一个两阶段的生成模型，由自动编码器（AE）组成，该模型在使用归一化流（NF）训练后概率地解释。我们证明，PAE学习了一个低维的潜在空间，该空间可捕获人口内存在的非线性特征范围，并且可以直接从数据直接从数据中准确地对整个波长和观察时间进行精确模拟SNE IA的光谱演化。通过引入相关性惩罚项和多阶段训练设置以及我们的物理参数化网络，我们表明可以在训练期间分离内在和外在的可变性模式，从而消除了需要进行额外标准化的其他模型。然后，我们在SNE IA的许多下游任务中使用PAE进行越来越精确的宇宙学分析，包括自动检测SN Outliers，与数据分布一致的样本的产生以及在存在噪音和不完整数据的情况下解决逆问题限制宇宙距离测量。我们发现，与以前的研究相一致的最佳固有模型参数数量似乎是三个，并表明我们可以用$ 0.091 \ pm 0.010 $ mag标准化SNE IA的测试样本，该样本对应于$ 0.074 \ pm。 0.010 $ mag如果删除了特殊的速度贡献。训练有素的模型和代码在\ href {https://github.com/georgestein/supaernova} {github.com/georgestein/supaernova}上发布

高维时空动力学通常可以在低维子空间中编码。用于建模，表征，设计和控制此类大规模系统的工程应用通常依赖于降低尺寸，以实时计算解决方案。降低维度的常见范例包括线性方法，例如奇异值分解（SVD）和非线性方法，例如卷积自动编码器（CAE）的变体。但是，这些编码技术缺乏有效地表示与时空数据相关的复杂性的能力，后者通常需要可变的几何形状，非均匀的网格分辨率，自适应网格化和/或参数依赖性。为了解决这些实用的工程挑战，我们提出了一个称为神经隐式流（NIF）的一般框架，该框架可以实现大型，参数，时空数据的网格不稳定，低级别表示。 NIF由两个修改的多层感知器（MLP）组成：（i）shapenet，它分离并代表空间复杂性，以及（ii）参数，该参数解释了任何其他输入复杂性，包括参数依赖关系，时间和传感器测量值。我们演示了NIF用于参数替代建模的实用性，从而实现了复杂时空动力学的可解释表示和压缩，有效的多空间质量任务以及改善了稀疏重建的通用性能。

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

我们引入了变分状态空间过滤器（VSSF），这是从原始像素的无监督学习，识别和过滤潜伏的Larkov状态空间模型的新方法。在异构传感器配置下，我们为潜在的状态空间推断提出了理论上的声音框架。得到的模型可以集成训练期间使用的传感器测量的任意子集，从而实现半监督状态表示的学习，从而强制执行学习潜在状态空间的某些组件来达成可解释的测量。从此框架中，我们派生了L-VSSF，这是一个用线性潜在动态和高斯分布参数化的本模型的明确实例化。我们通过实验演示了L-VSSF在几个不同的测试环境中过滤超出训练数据集的序列长度的潜伏空间的能力。

复发状态空间模型（RSSM）是时间序列数据和系统标识中学习模式的高度表达模型。但是，这些模型假定动力学是固定和不变的，在现实世界中，这种动力学很少发生。许多控制应用程序通常表现出具有相似但不相同动力学的任务，这些任务可以建模为潜在变量。我们介绍了隐藏的参数复发状态空间模型（HIP-RSSM），该框架为具有低维的潜在因素集的相关动态系统的家庭参数。我们提出了一种对这种高斯图形模型的学习和执行推理的简单有效方法，该模型避免了诸如变异推理之类的近似值。我们表明，HIP-RSSM在现实世界系统和仿真上的几个挑战性机器人基准上都优于RSSM和竞争性的多任务模型。

在过去的几十年中，风产能的增长表明，风能可以促进世界许多地区的能源过渡。对于模型的高度可变和复杂，对风能的时空变化和相关的不确定性的定量与能源计划者高度相关。机器学习已成为执行风速和功率预测的流行工具。但是，现有方法有几个局限性。其中包括（i）在风速数据中不足以考虑时空相关性，（ii）缺乏量化风速预测不确定性及其对风能估算的不确定性的现有方法，以及（iii）焦点在少于小时的频率上。为了克服这些局限性，我们引入了一个框架，以从不规则分布的风速测量值中的常规网格上重建时空场。将数据分解为时间引用的基础函数及其相应的空间分布系数后，后者是使用极端学习机对空间建模的。然后，对模型和预测不确定性的估计及其在风速转化为风能后的传播的估计值，然后将提供对数据分布模式的任何假设。该方法适用于研究瑞士100米轮毂高度的250 x 250平方米的小时风能潜力，为该国提供了其类型的第一个数据集。潜在的风力发电与风力涡轮机安装的可用区域相结合，以估算瑞士风力发电的技术潜力。此处介绍的风力估算代表了计划人员的重要意见，以支持风力发电增加的未来能源系统的设计。

Many, if not most, systems of interest in science are naturally described as nonlinear dynamical systems (DS). Empirically, we commonly access these systems through time series measurements, where often we have time series from different types of data modalities simultaneously. For instance, we may have event counts in addition to some continuous signal. While by now there are many powerful machine learning (ML) tools for integrating different data modalities into predictive models, this has rarely been approached so far from the perspective of uncovering the underlying, data-generating DS (aka DS reconstruction). Recently, sparse teacher forcing (TF) has been suggested as an efficient control-theoretic method for dealing with exploding loss gradients when training ML models on chaotic DS. Here we incorporate this idea into a novel recurrent neural network (RNN) training framework for DS reconstruction based on multimodal variational autoencoders (MVAE). The forcing signal for the RNN is generated by the MVAE which integrates different types of simultaneously given time series data into a joint latent code optimal for DS reconstruction. We show that this training method achieves significantly better reconstructions on multimodal datasets generated from chaotic DS benchmarks than various alternative methods.

逆问题本质上是普遍存在的，几乎在科学和工程的几乎所有领域都出现，从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法，通过将逆问题提出为统计框架。但是，当推断具有大幅度的离散表示的字段（所谓的“维度的诅咒”）和/或仅以先前获取的解决方案的形式可用时。在这项工作中，我们提出了一种新的方法，可以使用深层生成模型进行有效，准确的贝叶斯反转。具体而言，我们证明了如何使用生成对抗网络（GAN）在贝叶斯更新中学到的近似分布，并在GAN的低维度潜在空间中重新解决所得的推断问题，从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学，并且被证明可以通过可靠的不确定性估计得出准确的结果，即使没有有关基础噪声模型的信息，这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性，包括合成和实验观察到的数据。