剪切应力史控制着液化土壤中的孔隙压力反应。当剪切应力振幅低于峰值先前振幅 - 屏蔽效果时，在循环载荷下的孔隙压力不会增加。许多复杂的本构模型无法捕获在环状液化实验中观察到的屏蔽效应。我们基于LSTM神经网络开发了一个数据驱动的机器学习模型，以捕获循环负荷下土壤的液化反应。LSTM模型对在内华达州的12个实验室循环简单剪切测试中进行了训练，该测试是在经受不同循环简单剪切载荷条件下的宽松和密集的条件下进行的。LSTM模型的特征包括土壤的相对密度和先前的应力病史，以预测孔隙水压反应。LSTM模型考虑了屏蔽和密度效应的三个环状简单测试结果，成功地复制了孔隙压力响应。

地震的预测和预测有很长的时间，在某些情况下有肮脏的历史，但是最近的工作重新点燃了基于预警的进步，诱发地震性的危害评估以及对实验室地震的成功预测。在实验室中，摩擦滑移事件为地震和地震周期提供了类似物。 Labquakes是机器学习（ML）的理想目标，因为它们可以在受控条件下以长序列生产。最近的作品表明，ML可以使用断层区的声学排放来预测实验室的几个方面。在这里，我们概括了这些结果，并探索了Labquake预测和自动回归（AR）预测的深度学习（DL）方法。 DL改善了现有的Labquake预测方法。 AR方法允许通过迭代预测在未来的视野中进行预测。我们证明，基于长期任期内存（LSTM）和卷积神经网络的DL模型可以预测在几种条件下实验室，并且可以以忠诚度预测断层区应力，证实声能是断层区应力的指纹。我们还预测了实验室的失败开始（TTSF）和失败结束（TTEF）的时间。有趣的是，在所有地震循环中都可以成功预测TTEF，而TTSF的预测随preseismisic断层蠕变的数量而变化。我们报告了使用三个序列建模框架：LSTM，时间卷积网络和变压器网络预测故障应力演变的AR方法。 AR预测与现有的预测模型不同，该模型仅在特定时间预测目标变量。超出单个地震周期的预测结果有限，但令人鼓舞。我们的ML/DL模型优于最先进的模型，我们的自回归模型代表了一个新颖的框架，可以增强当前的地震预测方法。

The geospace environment is volatile and highly driven. Space weather has effects on Earth's magnetosphere that cause a dynamic and enigmatic response in the thermosphere, particularly on the evolution of neutral mass density. Many models exist that use space weather drivers to produce a density response, but these models are typically computationally expensive or inaccurate for certain space weather conditions. In response, this work aims to employ a probabilistic machine learning (ML) method to create an efficient surrogate for the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIE-GCM), a physics-based thermosphere model. Our method leverages principal component analysis to reduce the dimensionality of TIE-GCM and recurrent neural networks to model the dynamic behavior of the thermosphere much quicker than the numerical model. The newly developed reduced order probabilistic emulator (ROPE) uses Long-Short Term Memory neural networks to perform time-series forecasting in the reduced state and provide distributions for future density. We show that across the available data, TIE-GCM ROPE has similar error to previous linear approaches while improving storm-time modeling. We also conduct a satellite propagation study for the significant November 2003 storm which shows that TIE-GCM ROPE can capture the position resulting from TIE-GCM density with < 5 km bias. Simultaneously, linear approaches provide point estimates that can result in biases of 7 - 18 km.

准确预测高海洋状态的滚动运动对于海洋车辆的可操作性，安全性和生存能力而言是重要的。本文介绍了一种新型的数据驱动方法，用于实现高海国船舶运动的多步骤预测。提出了一个名为ConvlSTMPNET的混合神经网络，以并行执行长期记忆（LSTM）和一维卷积神经网络（CNN），以从多维输入中提取时间依赖性和时空信息。采用KC作为研究对象，使用计算流体动力学方法的数值解决方案可用于在带有不同波动方向的Sea State 7中生成船舶运动数据。考虑到运动状态和波高度的时间史的影响，对特征空间的选择进行了深入的比较研究。比较结果表明，选择运动状态和波高作为多步预测的特征空间的优越性。此外，结果表明，在滚动运动的多步骤预测中，ConvlstMnet比LSTM和CNN方法更准确，从而验证了所提出的方法的效率。

建立针对双狭窄的动脉模型的计算流体动力学（CFD）的患者特异性有限元分析（FEA）模型涉及时间和努力，限制医生在时间关键时间医疗应用中快速响应的能力。这些问题可能通过培训深度学习（DL）模型来解决，以使用由具有不同配置的简化双韵动脉模型的CFD模拟产生的数据集来学习和预测血流特性。当通过从IVUS成像的实际双狭窄的动脉模型进行血液流动模式时，揭示了狭窄的颈部几何形状的正弦逼近，这些颈部几何形状被广泛用于先前的研究作品，未能有效地代表真实的效果收缩。结果，提出了一种收缩颈的新型几何表示，其就广义简化模型而言，这始终是前者的假设。动脉腔直径和流量参数的顺序变化沿着船长的长度呈现使用LSTM和GRU DL模型的机会。然而，对于短长度的倍增血液动脉的小数据集，基本神经网络模型优于大多数流动性质的专用RNN。另一方面，LSTM对预测具有大波动的流动性能更好，例如在血管的长度上变化血压。尽管在数据集中的船舶的所有属性训练和测试方面具有良好的整体准确性，但GRU模型在所有情况下为单个血管流预测的表现不佳。结果还指向任何模型中每个属性的单独优化的超级参数，而不是旨在通过单一的HyperParameters来实现所有输出的整体良好性能。

In this paper we compare different types of recurrent units in recurrent neural networks (RNNs). Especially, we focus on more sophisticated units that implement a gating mechanism, such as a long short-term memory (LSTM) unit and a recently proposed gated recurrent unit (GRU). We evaluate these recurrent units on the tasks of polyphonic music modeling and speech signal modeling. Our experiments revealed that these advanced recurrent units are indeed better than more traditional recurrent units such as tanh units. Also, we found GRU to be comparable to LSTM.

通过有效的监控和调整电池操作条件，促进了锂离子电池的寿命和安全性。因此，为电池管理系统上的健康状况（SOH）监测提供快速准确的算法至关重要。由于对电池劣化的复杂性和多种因素的复杂性和多种因素的复杂性，特别是因为不同的劣化过程发生在各种时间尺度，并且它们的相互作用发挥着重要作用。数据驱动方法通过用统计或机器学习模型近似复杂进程来绕过这个问题。本文提出了一种数据驱动方法，在电池劣化的背景下，尽管其简单性和易于计算：多变量分数多项式（MFP）回归。模型从一个耗尽的细胞的历史数据训练，并用于预测其他细胞的SOH。数据的特征在于模拟动态操作条件的载荷变化。考虑了两个假设情景：假设最近的容量测量是已知的，则另一个仅基于标称容量。结果表明，在考虑到电池寿命的电池结束时，通过其历史数据的历史数据受到它们的历史数据的影响，电池的降解行为受到其历史数据的影响。此外，我们提供了一种多因素视角，分析了每个不同因素的影响程度。最后，我们与长期内记忆神经网络和其他来自相同数据集的文献的其他作品进行比较。我们得出结论，MFP回归与当代作品有效和竞争，提供了几种额外的优点。在可解释性，恒定性和可实现性方面。

在本文中，我们为非稳定于3D流体结构交互系统提供了一种基于深度学习的阶数（DL-ROM）。所提出的DL-ROM具有非线性状态空间模型的格式，并采用具有长短期存储器（LSTM）的经常性神经网络。我们考虑一种以状态空间格式的可弹性安装的球体的规范流体结构系统，其具有不可压缩的流体流动。我们开发了一种非线性数据驱动的耦合，用于预测横向方向自由振动球的非定常力和涡旋诱导的振动（VIV）锁定。我们设计输入输出关系作为用于流体结构系统的低维逼近的力和位移数据集的时间序列。基于VIV锁定过程的先验知识，输入功能包含一系列频率和幅度，其能够实现高效的DL-ROM，而无需用于低维建模的大量训练数据集。一旦训练，网络就提供了输入 - 输出动态的非线性映射，其可以通过反馈过程预测较长地平线的耦合流体结构动态。通过将LSTM网络与Eigensystem实现算法（时代）集成，我们构造了用于减少阶稳定性分析的数据驱动状态空间模型。我们通过特征值选择过程调查VIV的潜在机制和稳定性特征。为了了解频率锁定机制，我们研究了针对降低振荡频率和质量比的范围的特征值轨迹。与全阶模拟一致，通过组合的LSTM-ERA程序精确捕获频率锁定分支。所提出的DL-ROM与涉及流体结构相互作用的物理学数字双胞胎的基于物理的数字双胞胎。

With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.

我们提出了一个数据驱动的框架，以提高软组织结构分析中显式有限元方法的计算效率。编码器解码器长短期内存深神经网络是根据由显式，分布式有限元求解器产生的数据训练的。我们利用该网络预测共享节点处的同步位移，从而最大程度地减少处理器之间的通信量。我们执行广泛的数值实验，以量化提出的避免同步算法的准确性和稳定性。

利用电热致动器模拟软机械肢体的动力学通常由于热电磁力和机械磁力和机器人操作期间可能出现的复杂物理相互作用而挑战。本文提出了基于长期短期内存（LSTM）的神经网络，以解决执行器建模中的这些挑战。用一对形状记忆合金（SMA）线圈和包含用于温度和角度偏转的嵌入式传感器的平面软肢体，用作测试平台。来自该机器人的数据用于使用不同的传感器数据的不同组合训练LSTM神经网络，以模拟单向（一个SMA）和双向（两个SMA）运动。 Open-Loop Rollout结果表明，学习模型能够通过漂移较小的漂移来预测超长开环时间尺度（10分钟）的运动。即使仅使用致动器的脉冲宽度调制输入，预测误差是在柔软偏转传感器的精度的顺序上，即使使用致动器的脉冲宽度调制输入。这些LSTM型号可以原位使用，无需广泛的传感，有助于将软电热驱动的机器人带入实际应用中。

作为自然现象的地震，历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面，可以增加公共准备，并在很大程度上减少损坏。然而，由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战，迄今为止努力一直不足，需要新的方法来解决这个问题。本文意识到​​这些问题，提出了一种基于注意机制（AM），卷积神经网络（CNN）和双向长短期存储器（BILSTM）模型的新型预测方法，其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制，以更好地关注有效的地震特性并产生更准确的预测。首先，将零阶保持技术应用于地震数据上的预处理，使得模型的输入数据更适当。其次，为了有效地使用空间信息并减少输入数据的维度，CNN用于捕获地震数据之间的空间依赖性。第三，使用Bi-LSTM层来捕获时间依赖性。第四，引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明，该方法具有比其他预测方法更好的性能和概括能力。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

有效且准确的剩余使用寿命预测是可靠且安全使用锂离子电池的关键因素。这项工作训练了长期记忆复发性神经网络模型，以从各个周期和电压下排放能力的顺序数据中学习，并作为在不同条件下循环的电池电池的周期寿命预测器。使用前60-80个周期的实验数据，我们的模型在大约80个样本的测试集上实现了有希望的预测准确性。

经典可塑性模型的历史依赖性行为通常是由现象学定律演变而来的内部变量驱动的。解释这些内部变量如何代表变形的历史，缺乏直接测量这些内部变量进行校准和验证的困难，以及这些现象学定律的弱物理基础一直被批评为创建现实模型的障碍。在这项工作中，将图形数据（例如有限元解决方案）上的几何机器学习用作建立非线性尺寸还原技术和可塑性模型之间的联系的手段。基于几何学习的编码可以将丰富的时间历史数据嵌入到低维的欧几里得空间上，以便可以在嵌入式特征空间中预测塑性变形的演变。然后，相应的解码器可以将这些低维内变量转换回加权图，从而可以观察和分析塑性变形的主导拓扑特征。

This work presents a set of neural network (NN) models specifically designed for accurate and efficient fluid dynamics forecasting. In this work, we show how neural networks training can be improved by reducing data complexity through a modal decomposition technique called higher order dynamic mode decomposition (HODMD), which identifies the main structures inside flow dynamics and reconstructs the original flow using only these main structures. This reconstruction has the same number of samples and spatial dimension as the original flow, but with a less complex dynamics and preserving its main features. We also show the low computational cost required by the proposed NN models, both in their training and inference phases. The core idea of this work is to test the limits of applicability of deep learning models to data forecasting in complex fluid dynamics problems. Generalization capabilities of the models are demonstrated by using the same neural network architectures to forecast the future dynamics of four different multi-phase flows. Data sets used to train and test these deep learning models come from Direct Numerical Simulations (DNS) of these flows.

REED继电器是功能测试的基本组成部分，与电子产品的成功质量检查密切相关。为了为REED继电器提供准确的剩余使用寿命（RUL）估计，根据以下三个考虑，提出了具有降解模式聚类的混合深度学习网络。首先，对于REED继电器，观察到多种降解行为，因此提供了基于动态的$ K $ -MEANS聚类，以区分彼此的退化模式。其次，尽管适当的功能选择具有重要意义，但很少有研究可以指导选择。提出的方法建议进行操作规则，以实施轻松实施。第三，提出了用于剩余使用寿命估计的神经网络（RULNET），以解决卷积神经网络（CNN）在捕获顺序数据的时间信息中的弱点，该信息在卷积操作的高级特征表示后结合了时间相关能力。通过这种方式，lulnet的三种变体由健康指标，具有自组织地图的功能或具有曲线拟合的功能构建。最终，将提出的混合模型与典型的基线模型（包括CNN和长期记忆网络（LSTM））进行了比较，该模型通过具有两个不同不同降级方式的实用REED继电器数据集进行了比较。两种降解案例的结果表明，所提出的方法在索引均方根误差方面优于CNN和LSTM。

基于时间序列观测数据，数据同化技术广泛用于预测具有不确定性的复杂动态系统。错误协方差矩阵建模是数据同化算法中的重要元素，其可以大大影响预测精度。这些协方差通常依赖于经验假设和物理限制的估计通常是不精确的，并且计算昂贵的昂贵，特别是对于大维度的系统。在这项工作中，我们提出了一种基于长短短期存储器（LSTM）经常性神经网络（RNN）的数据驱动方法，以提高观察协方差规范的准确性和效率的动态系统中的数据同化。与观察/模拟时间序列数据学习协方差矩阵，不同的方法不需要任何关于先前错误分布的知识或假设，而不是经典的后调整方法。我们将新的方法与两个最先进的协方差调谐算法进行了比较，即DI01和D05，首先在Lorenz动态系统中，然后在2D浅水双实验框架中，使用集合同化使用不同的协方差参数化。这种新方法在观察协方差规范，同化精度和计算效率方面具有显着的优势。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

动力学受部分微分方程（PDE）控制的物理系统在许多领域（从工程设计到天气预报）中找到了应用。从此类PDE中获取解决方案的过程对于大规模和参数化问题的计算昂贵。在这项工作中，使用LSTM和TCN等时间表预测开发的深度学习技术，或用于为CNN等空间功能提取而开发的，用于建模系统动力学，以占主导问题。这些模型将输入作为从PDE获得的连续时间步长的一系列高保真矢量解，并预测使用自动回归的后续时间步长的解决方案；从而减少获得此类高保真解决方案所需的计算时间和功率。这些模型经过数值基准测试（1D汉堡的方程式和Stoker的大坝断裂问题），以评估长期预测准确性，甚至在训练域之外（外推）。在向预测模型输入之前，使用非侵入性的降低订购建模技术（例如深度自动编码网络）来压缩高保真快照，以减少在线和离线阶段的复杂性和所需的计算。深层合奏被用来对预测模型进行不确定性量化，该模型提供了有关认知不确定性导致预测方差的信息。