本文是关于线性和非线性滤波的深度学习方法。这个想法是训练一个神经网络，与标称动态模型产生的蒙特卡罗样本。然后，网络权重来自实际动态模型的蒙特卡罗样本。本文的主要重点是具有三大神经网络架构（DNN，CNN，RNN）的深层过滤器。我们的深层过滤器对线性情况下的传统卡尔曼滤波器有利地比较，并且在非线性情况下优于扩展卡尔曼滤波器。然后研究了具有跳跃的交换模型，以显示我们深度过滤的适应性和功率。在三个主要的NN中，CNN平均优于其他人。虽然RNN似乎没有适合过滤问题。当标称模型和实际模型不同时，深过滤器的一个优点是其鲁棒性。深度过滤的另一个优点是真实数据可以直接用于训练深度中性网络。因此，模型校准可以通过全部通过。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

在这项工作中，我们提出了一种基于深度学习的新方案，用于解决高维非线性后向随机微分方程（BSDES）。这个想法是将问题重新重新制定为包括本地损失功能的全球优化。本质上，我们使用深神网络及其具有自动分化的梯度近似BSDE的未知解。通过在每个时间步骤定义的二次局部损耗函数中最小化近似值来执行近似值，该局部损失函数始终包括终端条件。这种损失函数是通过用终端条件迭代时间积分的Euler离散化来获得的。我们的公式可以促使随机梯度下降算法不仅要考虑到每个时间层的准确性，而且会收敛到良好的局部最小值。为了证明我们的算法的性能，提供了几种高维非线性BSDE，包括金融中的定价问题。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

The purpose of this paper is to explore the use of deep learning for the solution of the nonlinear filtering problem. This is achieved by solving the Zakai equation by a deep splitting method, previously developed for approximate solution of (stochastic) partial differential equations. This is combined with an energy-based model for the approximation of functions by a deep neural network. This results in a computationally fast filter that takes observations as input and that does not require re-training when new observations are received. The method is tested on four examples, two linear in one and twenty dimensions and two nonlinear in one dimension. The method shows promising performance when benchmarked against the Kalman filter and the bootstrap particle filter.

我们提出了一种深层签名/对数符号FBSDE算法，以求解具有状态和路径依赖性特征的前回向随机微分方程（FBSDE）。通过将深度签名/对数签名转换纳入复发性神经网络（RNN）模型，我们的算法缩短了训练时间，提高了准确性，并扩展了与现有文献中方法相比的时间范围。此外，我们的算法可以应用于涉及高频数据，模型歧义和随机游戏等广泛的应用程序和路径依赖的选项定价，这些定价与抛物线偏差方程（PDES）以及路径依赖性依赖性链接有关PDE（PPDE）。最后，我们还得出了深度签名/对数签名FBSDE算法的收敛分析。

在本文中，我们提出了一个混合神经网络增强基于物理的建模（APBM）框架，用于贝叶斯非线性潜在空间估计。提出的APBM策略允许在新的操作条件发挥作用时进行模型适应，或者基于物理的模型不足（或不完整）无法正确描述潜在现象。APBM的优点和我们的估计程序是维持估计状态的物理解释性的能力。此外，我们提出了一种约束过滤方法，以控制对整个模型的神经网络贡献。我们还利用假定的密度滤波技术和立方体集成规则，以提出灵活的估计策略，该策略可以轻松处理非线性模型和高维度的潜在空间。最后，我们通过分别利用非线性和不完整的测量和加速模型来利用目标跟踪方案来证明我们的方法论的功效。

在科学计算中，在科学计算中的许多应用中出现了从样本点近似平滑，多元功能的问题，在科学和工程的计算不确定性量化（UQ）中。在这些应用中，目标函数可以代表参数化部分微分方程（PDE）的所需量。由于解决此类问题的成本很高，在解决每个样本中通过求解PDE计算，样本效率是有关这些应用的关键。最近，越来越多地关注深度神经网络（DNN）和深度学习（DL）从数据中学习此类功能。在这项工作中，我们提出了一种自适应抽样策略，CAS4DL（基督佛尔自适应采样用于深度学习），以提高DL的样本效率用于多元功能近似。我们的新方法基于将DNN的第二至最后一层解释为该层上节点定义的函数词典。从这个角度来看，我们定义了一种自适应采样策略，该策略是由最近提出的线性近似方案提出的自适应采样方案激励的，其中该词典跨越的子空间的基督教词函数随机绘制了样品。我们提出了比较CAS4DL与标准蒙特卡洛（MC）采样的数值实验。我们的结果表明，CAS4DL通常可以在达到给定准确性所需的样品数量中节省大量，尤其是在平滑激活功能的情况下，与MC相比，它显示出更好的稳定性。因此，这些结果是将DL完全适应科学计算应用的有希望的一步。

自回旋运动平均值（ARMA）模型是经典的，可以说是模型时间序列数据的最多研究的方法之一。它具有引人入胜的理论特性，并在从业者中广泛使用。最近的深度学习方法普及了经常性神经网络（RNN），尤其是长期记忆（LSTM）细胞，这些细胞已成为神经时间序列建模中最佳性能和最常见的构件之一。虽然对具有长期效果的时间序列数据或序列有利，但复杂的RNN细胞并不总是必须的，有时甚至可能不如更简单的复发方法。在这项工作中，我们介绍了ARMA细胞，这是一种在神经网络中的时间序列建模的更简单，模块化和有效的方法。该单元可以用于存在复发结构的任何神经网络体系结构中，并自然地使用矢量自动进程处理多元时间序列。我们还引入了Convarma细胞作为空间相关时间序列的自然继任者。我们的实验表明，所提出的方法在性能方面与流行替代方案具有竞争力，同时由于其简单性而变得更加强大和引人注目。

使用可能的异质动力学估算时间序列数据的价值风险是一项高度挑战的任务。通常，我们面临着一个小的数据问题，结合了高度的非线性，因此对于经典和机器学习估计算法造成了困难。在本文中，我们提出了使用长期记忆（LSTM）神经网络的新型价值估计器，并将其性能与基准GARCH估计器进行比较。我们的结果表明，即使在相对较短的时间序列中，LSTM也可以用于完善或监视风险估计过程，并以非参数方式正确识别潜在的风险动态。我们对模拟和市场数据的估计器进行了评估，重点是异方差，发现LSTM在模拟数据上表现出与GARCH估算器相似的性能，而在实际市场数据上，它对增加波动性或降低波动性更为敏感，并且优于所有现有的现有估计器在异常率和平均分位数评分方面，价值风险。

Time Series Classification (TSC) is an important and challenging problem in data mining. With the increase of time series data availability, hundreds of TSC algorithms have been proposed. Among these methods, only a few have considered Deep Neural Networks (DNNs) to perform this task. This is surprising as deep learning has seen very successful applications in the last years. DNNs have indeed revolutionized the field of computer vision especially with the advent of novel deeper architectures such as Residual and Convolutional Neural Networks. Apart from images, sequential data such as text and audio can also be processed with DNNs to reach state-of-the-art performance for document classification and speech recognition. In this article, we study the current state-ofthe-art performance of deep learning algorithms for TSC by presenting an empirical study of the most recent DNN architectures for TSC. We give an overview of the most successful deep learning applications in various time series domains under a unified taxonomy of DNNs for TSC. We also provide an open source deep learning framework to the TSC community where we implemented each of the compared approaches and evaluated them on a univariate TSC benchmark (the UCR/UEA archive) and 12 multivariate time series datasets. By training 8,730 deep learning models on 97 time series datasets, we propose the most exhaustive study of DNNs for TSC to date.

深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。

复发状态空间模型（RSSM）是时间序列数据和系统标识中学习模式的高度表达模型。但是，这些模型假定动力学是固定和不变的，在现实世界中，这种动力学很少发生。许多控制应用程序通常表现出具有相似但不相同动力学的任务，这些任务可以建模为潜在变量。我们介绍了隐藏的参数复发状态空间模型（HIP-RSSM），该框架为具有低维的潜在因素集的相关动态系统的家庭参数。我们提出了一种对这种高斯图形模型的学习和执行推理的简单有效方法，该模型避免了诸如变异推理之类的近似值。我们表明，HIP-RSSM在现实世界系统和仿真上的几个挑战性机器人基准上都优于RSSM和竞争性的多任务模型。

结合添加剂模型和神经网络可以通过同时通过可解释的结构化添加剂预测变量扩大统计回归的范围并扩展基于深度学习的方法。但是，将两种建模方法统一的现有尝试仅限于非常具体的组合，更重要的是涉及可识别性问题。结果，通常会丢失可解释性和稳定的估计。我们提出了一个通用框架，将结构化回归模型和深层神经网络组合到统一的网络体系结构中。为了克服不同模型零件之间固有的可识别性问题，我们构建了一个正交的单元，该细胞将深层神经网络投射到统计模型预测因子的正交补体中。这可以正确估计结构化模型零件，从而可以解释性。我们在数值实验中演示了该框架的功效，并在基准和现实世界应用中说明了其特殊优点。

探讨了使用深神经网络（DNN）模型作为线性和非线性结构动力系统的代理。目标是开发基于DNN的代理，以预测给定输入（谐波）激发的结构响应，即位移和加速度。特别是，重点是使用完全连接，稀疏连接和卷积网络层的有效网络架构的开发，以及相应的培训策略，可以在目标数据用品中的整体网络复杂性和预测准确性之间提供平衡。对于线性动力学，网络层中重量矩阵的稀疏模式用于构建具有稀疏层的卷积DNN。对于非线性动力学，显示网络层中的稀疏性丢失，并探讨了具有完全连接和卷积网络层的高效DNN架构。还介绍了转移学习策略以成功培训所提出的DNN，研究了影响网络架构的各种装载因素。结果表明，所提出的DNN可以用作在谐波载荷下预测线性和非线性动态响应的有效和准确的代理。

非线性状态空间模型是一种强大的工具，可以在复杂时间序列中描述动态结构。在一个流的媒体设置中，当一次处理一个样本的情况下，状态的同时推断及其非线性动力学在实践中提出了重大挑战。我们开发了一个小说在线学习框架，利用变分推理和顺序蒙特卡罗，这使得灵活和准确的贝叶斯联合过滤。我们的方法提供了滤波后的近似，这可以任意地接近针对广泛的动态模型和观察模型的真正滤波分布。具体地，所提出的框架可以使用稀疏高斯过程有效地近似于动态的后验，允许潜在动力学的可解释模型。每个样本的恒定时间复杂性使我们的方法能够适用于在线学习场景，适用于实时应用。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

MIMO-OFDM接收处理的主要开放挑战之一是如何有效地利用极有限的空中飞行员符号来检测传输数据符号。最近的进步致力于调查利用有限飞行员的有效方法。但是，我们注意到，除了利用飞行员外，还可以利用数据符号来提高检测性能。因此，本文介绍了一种基于在线子框架的方法，即RC-screstnet，该方法可以从宝贵的飞行员符号中有效学习，并使用检测到的有效载荷数据使用决策反馈（DF）方法进行动态更新。该网络由时域中的储层计算（RC）模块组成，频域中的神经网络结构网络组成。网络的唯一设计使其可以通过从检测到的数据符号中学习来通过通道的更改进行动态更新。实验证明了RC结构网络在动态传输模式下检测以及在采用DF方法时的训练开销需求方面的有效性。

传统的机器学习方法已在金融创新中得到广泛研究。我的研究重点是深度学习方法在资产定价上的应用。我研究了资产定价的各种深度学习方法，尤其是用于风险溢价测量的方法。所有模型都采用相同的预测信号（公司特征，系统风险和宏观经济学）。我证明了各种最先进的（SOTA）深度学习方法的高性能，并确定具有记忆机制和注意力的RNN在预测性方面具有最佳性能。此外，我使用深度学习预测向投资者展示了巨大的经济收益。我的比较实验的结果突出了设计深度学习模型时领域知识和财务理论的重要性。我还显示回报预测任务为深度学习带来了新的挑战。变化分布的时间会导致分配转移问题，这对于财务时间序列预测至关重要。我证明，深度学习方法可以改善资产风险溢价测量。由于蓬勃发展的深度学习研究，他们可以不断促进对资产定价背后的基本财务机制的研究。我还提出了一种有前途的研究方法，该方法可以通过可解释的人工智能（AI）方法从数据学习并弄清基本的经济机制。我的发现不仅证明了深度学习在开花金融科技开发中的价值合理，而且还强调了他们比传统机器学习方法的前景和优势。

我们介绍了一个名为统计信息的神经网络（SINN）的机器学习框架，用于从数据中学习随机动力学。从理论上讲，这种新的架构是受到随机系统的通用近似定理的启发，我们在本文中介绍了它，以及用于随机建模的投影手术形式。我们设计了训练神经网络模型的机制，以重现目标随机过程的正确\ emph {统计}行为。数值模拟结果表明，受过良好训练的SINN可以可靠地近似马尔可夫和非马克维亚随机动力学。我们证明了SINN对粗粒问题和过渡动力学的建模的适用性。此外，我们表明可以在时间粗粒的数据上训练所获得的减少阶模型，因此非常适合稀有事实模拟。