我们设计了神经动力状态估计(Neuro-DSE),这是一种基于学习的动态状态估计(DSE)算法,用于未知子系统下网络微电网(NMS)。我们的贡献包括:1)具有部分未识别的动态模型的NMS DSE的数据驱动的神经-DSE算法,该算法将神经异常 - 差异方程式(ODE-NET)融合到Kalman滤波器中; 2)一种自动过滤,增强和校正框架,可以在有限和嘈杂的测量下实现数据驱动DSE的自我修复神经-DSE算法(Neuro-DSE+); 3)一种神经-Kalmannet-DSE算法,该算法将Kalmannet与Neuro-DSE进一步整合在一起,以缓解基于神经和物理的动态模型的模型不匹配; 4)增强的神经-DSE,用于NMS状态和未知参数的联合估计(例如,惯性)。广泛的案例研究表明,在不同的噪声水平,控制模式,电源,观察力和模型知识下,神经-DSE及其变体的疗效。
translated by 谷歌翻译
时域仿真是电力系统瞬态稳定性分析的基础。准确可靠的模拟取决于准确的动态分量建模。在实用电力系统中,动态元件建模长期面临模型测定和模型校准的挑战,特别是随着可再生于可再生发电和电力电子产品的快速发展。本文基于神经常规差分方程(ODES)的一般框架,提出了一种具有外部输入和神经差分 - 代数方程(DAES)模块的神经竞争模块,用于电力系统动态分量模型。提出了基于AutoEncoder的框架,以提高培训型号的性能。还证明了将所提出的神经模块训练的神经动态模型集成到瞬态稳定性模拟的方法。对于由输入变量和输出变量的采样曲线组成的数据集,所提出的模块可用于满足黑匣子建模,物理数据集成建模,参数推断等的任务。测试是在IEEE-39中进行的测试系统证明提出的模块的有效性和潜力。
translated by 谷歌翻译
国家估计是许多机器人应用中的重要方面。在这项工作中,我们考虑通过增强状态估计算法中使用的动力学模型来获得机器人系统的准确状态估计的任务。现有的框架,例如移动视野估计(MHE)和无气味的卡尔曼过滤器(UKF),为合并非线性动力学和测量模型提供了灵活性。但是,这意味着这些算法中的动力学模型必须足够准确,以保证状态估计的准确性。为了增强动力学模型并提高估计准确性,我们利用了一个深度学习框架,称为基于知识的神经普通微分方程(KNODES)。 KNODE框架将先验知识嵌入到训练过程中,并通过将先前的第一原理模型与神经普通微分方程(NODE)模型融合来合成精确的混合模型。在我们提出的最新框架中,我们将数据驱动的模型集成到两种基于新型模型的状态估计算法中,它们表示为Knode-Mhe和Knode-UKF。在许多机器人应用中,将这两种算法与它们的常规对应物进行了比较。使用部分测量值,地面机器人的定位以及四型二次估计的状态估计。通过使用现实世界实验数据的模拟和测试,我们证明了所提出的学习增强状态估计框架的多功能性和功效。
translated by 谷歌翻译
深度学习方法的应用加快了挑战性电流问题的分辨率,最近显示出令人鼓舞的结果。但是,电力系统动力学不是快照,稳态操作。必须考虑这些动力学,以确保这些模型提供的最佳解决方案遵守实用的动力约束,避免频率波动和网格不稳定性。不幸的是,由于其高计算成本,基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战,本文介绍了一种机器学习方法,以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络(GPINNS),并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力,以及不确定的参数,例如惯性和阻尼,以展示其在一系列电力系统应用中的潜力。
translated by 谷歌翻译
动态系统参见在物理,生物学,化学等自然科学中广泛使用,以及电路分析,计算流体动力学和控制等工程学科。对于简单的系统,可以通过应用基本物理法来导出管理动态的微分方程。然而,对于更复杂的系统,这种方法变得非常困难。数据驱动建模是一种替代范式,可以使用真实系统的观察来了解系统的动态的近似值。近年来,对数据驱动的建模技术的兴趣增加,特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外,我们还审查了相关的文献,概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战,我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
在本文中,我们提出了一个混合神经网络增强基于物理的建模(APBM)框架,用于贝叶斯非线性潜在空间估计。提出的APBM策略允许在新的操作条件发挥作用时进行模型适应,或者基于物理的模型不足(或不完整)无法正确描述潜在现象。APBM的优点和我们的估计程序是维持估计状态的物理解释性的能力。此外,我们提出了一种约束过滤方法,以控制对整个模型的神经网络贡献。我们还利用假定的密度滤波技术和立方体集成规则,以提出灵活的估计策略,该策略可以轻松处理非线性模型和高维度的潜在空间。最后,我们通过分别利用非线性和不完整的测量和加速模型来利用目标跟踪方案来证明我们的方法论的功效。
translated by 谷歌翻译
在这项工作中,我们考虑使用应用于四逆床控制的模型预测控制(MPC)导出和加入准确动态模型的问题。 MPC依赖于精确的动态模型来实现所需的闭环性能。然而,在复杂系统中存在不确定性以及他们在其运行的环境中的存在在获得对系统动态的充分准确表示方面构成挑战。在这项工作中,我们利用深度学习工具,基于知识的神经常规方程(KNODE),增强了从第一原理获得的模型。由此产生的混合模型包括来自模拟或现实世界实验数据的标称第一原理模型和神经网络。使用四轮压力机,我们将混合模型用于针对最先进的高斯过程(GP)模型,并表明混合模型提供了Quadrotor动态的更准确的预测,并且能够概括超出训练数据。为了提高闭环性能,混合模型集成到新的MPC框架中,称为KNODE-MPC。结果表明,就轨迹跟踪性能而言,综合框架在物理实验中达到了60.2%的仿真和21%以上。
translated by 谷歌翻译
在许多学科中,动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架,用于混合机械和机器学习方法,以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较,这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知,在连续和离散的时间设置中都呈现,并且与表现出很大的内存和错误的模型误差兼容。首先,我们从学习理论的角度研究无内存线性(W.R.T.参数依赖性)模型误差,从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统,我们证明,多余的风险和泛化误差都通过与T的正方形介于T的术语(指定训练数据的时间间隔)的术语界定。其次,我们研究了通过记忆建模而受益的方案,证明了两类连续时间复发性神经网络(RNN)的通用近似定理:两者都可以学习与内存有关的模型误差。此外,我们将一类RNN连接到储层计算,从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果(Lorenz '63,Lorenz '96多尺度系统),以比较纯粹的数据驱动和混合方法,发现混合方法较少,渴望数据较少,并且更有效。最后,我们从数值上证明了如何利用数据同化来从嘈杂,部分观察到的数据中学习隐藏的动态,并说明了通过这种方法和培训此类模型来表示记忆的挑战。
translated by 谷歌翻译
基于时间序列观测数据,数据同化技术广泛用于预测具有不确定性的复杂动态系统。错误协方差矩阵建模是数据同化算法中的重要元素,其可以大大影响预测精度。这些协方差通常依赖于经验假设和物理限制的估计通常是不精确的,并且计算昂贵的昂贵,特别是对于大维度的系统。在这项工作中,我们提出了一种基于长短短期存储器(LSTM)经常性神经网络(RNN)的数据驱动方法,以提高观察协方差规范的准确性和效率的动态系统中的数据同化。与观察/模拟时间序列数据学习协方差矩阵,不同的方法不需要任何关于先前错误分布的知识或假设,而不是经典的后调整方法。我们将新的方法与两个最先进的协方差调谐算法进行了比较,即DI01和D05,首先在Lorenz动态系统中,然后在2D浅水双实验框架中,使用集合同化使用不同的协方差参数化。这种新方法在观察协方差规范,同化精度和计算效率方面具有显着的优势。
translated by 谷歌翻译
数据科学和机器学习的进展已在非线性动力学系统的建模和模拟方面取得了重大改进。如今,可以准确预测复杂系统,例如天气,疾病模型或股市。预测方法通常被宣传为对控制有用,但是由于系统的复杂性,较大的数据集的需求以及增加的建模工作,这些细节经常没有得到解答。换句话说,自治系统的替代建模比控制系统要容易得多。在本文中,我们介绍了Quasimodo框架(量化模拟模拟模拟 - 优化),以将任意预测模型转换为控制系统,从而使数据驱动的替代模型的巨大进步可访问控制系统。我们的主要贡献是,我们通过自动化动力学(产生混合企业控制问题)来贸易控制效率,以获取任意,即使用的自主替代建模技术。然后,我们通过利用混合成员优化的最新结果来恢复原始问题的复杂性。 Quasimodo的优点是数据要求在控制维度方面的线性增加,性能保证仅依赖于使用的预测模型的准确性,而控制理论中的知识知识要求很少来解决复杂的控制问题。
translated by 谷歌翻译
随机微分方程(SDE)用于描述各种复杂的随机动力学系统。学习SDE中的隐藏物理学对于揭示对这些系统的随机和非线性行为的基本理解至关重要。我们提出了一个灵活且可扩展的框架,用于训练人工神经网络,以学习代表SDE中隐藏物理的本构方程。所提出的随机物理学的神经普通微分方程框架(Spinode)通过已知的SDE结构(即已知的物理学)传播随机性,以产生一组确定性的ODE,以描述随机状态的统计矩的时间演变。然后,Spinode使用ODE求解器预测矩轨迹。 Spinode通过将预测的矩与从数据估计的矩匹配来学习隐藏物理的神经网络表示。利用了自动分化和微型批次梯度下降的最新进展,并利用了伴随灵敏度,以建立神经网络的未知参数。我们在三个基准内案例研究上展示了Spinod,并分析了框架的数值鲁棒性和稳定性。 Spinode提供了一个有希望的新方向,用于系统地阐明具有乘法噪声的多元随机动力学系统的隐藏物理。
translated by 谷歌翻译
差分方程管理的学习动态对于预测和控制科学和工程系统来说至关重要。神经常规方程(节点)是一种与微分方程集成的深度学习模型,最近是由于其对不规则样本的鲁棒性及其对高维输入的灵活性而流行的学习动态。然而,节点的训练对数值求解器的精度敏感,这使得节点的收敛不稳定,特别是对于不稳定的动态系统。在本文中,为了减少对数值求解器的依赖,我们建议提高节点训练中的监督信号。具体地,我们预先训练神经差分运算符(NDO)以输出衍生物的估计用作额外的监督信号。 NDO在一类基础函数上预先培训,并将这些功能的轨迹样本之间的映射学习到其衍生物。为了利用来自NDO的轨迹信号和估计的衍生工具,我们提出了一种称为NDO-Node的算法,其中损耗函数包含两个术语:真正轨迹样本的适应性以及由输出的估计衍生物的适应度预先训练的NDO。各种动力学的实验表明,我们提出的NDO-Node可以一致地用一个预先训练的NDO来改善预测精度。特别是对于僵硬的杂散,我们观察到与其他正则化方法相比,NDO-Node可以更准确地捕获动态的过渡。
translated by 谷歌翻译
估计和对外部干扰的反应对于二次驾驶的稳健飞行控制至关重要。现有的估计器通常需要针对特定​​的飞行方案或具有大量现实世界数据的培训进行重大调整,以实现令人满意的性能。在本文中,我们提出了一个神经移动范围估计器(Neuromhe),该估计量可以自动调整由神经网络建模并适应不同飞行方案的MHE参数。我们通过将MHE估计值的分析梯度推导出相对于可调参数的分析梯度实现这一目标,从而使MHE无缝嵌入作为神经网络中的无缝嵌入以进行高效学习。最有趣的是,我们证明可以从递归形式的卡尔曼过滤器有效地解决梯度。此外,我们开发了一种基于模型的策略梯度算法,可以直接从轨迹跟踪误差中训练神经元,而无需进行基础真相干扰。通过在各种具有挑战性的飞行中对四摩特的模拟和物理实验,通过模拟和物理实验对神经元的有效性进行了广泛的验证。值得注意的是,NeuroMhe的表现优于最先进的估计器,仅使用2.5%的参数量,力估计误差降低了49.4%。所提出的方法是一般的,可以应用于其他机器人系统的稳健自适应控制。
translated by 谷歌翻译
这项研究提出了用于完善神经网络参数或进入连续时间动态系统的控制功能的增量校正方法,以提高解决方案精度,以满足对性能输出变量放置的临时点约束。所提出的方法是将其参数基线围绕基线值的动力学线性化,然后求解将扰动轨迹传输到特定时间点(即临时点)处所需的纠正输入。根据要调整的决策变量的类型,参数校正和控制功能校正方法将开发出来。这些增量校正方法可以用作补偿实时应用中预训练的神经网络的预测错误的手段,在实时应用中,必须在规定的时间点上高精度预测动态系统的准确性。在这方面,在线更新方法可用于增强有限摩托控制的整体靶向准确性,但使用神经政策受到点约束。数值示例证明了拟议方法在火星上的动力下降问题中的应用中的有效性。
translated by 谷歌翻译
Relying on recent research results on Neural ODEs, this paper presents a methodology for the design of state observers for nonlinear systems based on Neural ODEs, learning Luenberger-like observers and their nonlinear extension (Kazantzis-Kravaris-Luenberger (KKL) observers) for systems with partially-known nonlinear dynamics and fully unknown nonlinear dynamics, respectively. In particular, for tuneable KKL observers, the relationship between the design of the observer and its trade-off between convergence speed and robustness is analysed and used as a basis for improving the robustness of the learning-based observer in training. We illustrate the advantages of this approach in numerical simulations.
translated by 谷歌翻译
在机电一体化的IEEE / ASME交易上发布,DOI:10.1109 / TMECH.2021.3100150。理想情况下,需要精确的传感器测量来实现机电系统的闭环控制中的良好性能。因此,传感器故障将阻止系统正常工作,除非采用容错控制(FTC)架构。作为非线性系统的基于模型的FTC算法通常是具有挑战性的设计,本文基于深度学习的传感器故障存在于FTC的新方法。所考虑的方法用单个反复性神经网络替换故障检测和隔离和控制器设计的阶段,其在给定的时间窗口中具有过去的传感器测量值作为输入,以及控制变量的当前值作为输出。该端到端的深FTC方法应用于由球形倒立摆的机电调整系统,其构造通过反应轮改变,又通过电动机致动。模拟和实验结果表明,该方法可以处理连杆位置/速度传感器中发生的突然故障。提供的补充材料包括现实世界实验和软件源代码的视频。
translated by 谷歌翻译
Neuralode一词描述了人工神经网络(ANN)和用于普通微分方程(ODES)的数值求解器的结构组合,前者是要解决的ode的右侧。黑盒模型以功能模型单元(FMU)的形式进一步扩展了这一概念,以获得名为NeuralFMUS的神经台阶的子类。最终的结构具有一个单个模拟模型中第一原则和数据驱动建模方法的优势:与常规的第一原理模型(FPM)相比,预测准确性更高,而与纯粹数据驱动的模型相比,培训工作也更低。我们提出了一个直观的工作流程,以设置和使用NeuralFMU,从而可以封装和重用从通用建模工具导出的现有常规模型。此外,我们通过在汽车纵向动力学模型(VLDM)中部署神经FMU来体现这一概念,该模拟是汽车行业中典型的用例。在科学用例中经常忽略的相关挑战,例如实际测量(例如噪声),未知的系统状态或高频不连续性,在此贡献中得到了处理。为了构建比原始FPM更高的预测质量的混合模型,我们简要强调了两个开源库:FMI.JL用于将FMU集成到Julia编程环境中,以及该库的扩展名为FMIFLUX。 JL,这允许将FMU集成到神经网络拓扑中,以最终获得神经FMU。
translated by 谷歌翻译
Deep neural networks provide unprecedented performance gains in many real world problems in signal and image processing. Despite these gains, future development and practical deployment of deep networks is hindered by their blackbox nature, i.e., lack of interpretability, and by the need for very large training sets. An emerging technique called algorithm unrolling or unfolding offers promise in eliminating these issues by providing a concrete and systematic connection between iterative algorithms that are used widely in signal processing and deep neural networks. Unrolling methods were first proposed to develop fast neural network approximations for sparse coding. More recently, this direction has attracted enormous attention and is rapidly growing both in theoretic investigations and practical applications. The growing popularity of unrolled deep networks is due in part to their potential in developing efficient, high-performance and yet interpretable network architectures from reasonable size training sets. In this article, we review algorithm unrolling for signal and image processing. We extensively cover popular techniques for algorithm unrolling in various domains of signal and image processing including imaging, vision and recognition, and speech processing. By reviewing previous works, we reveal the connections between iterative algorithms and neural networks and present recent theoretical results. Finally, we provide a discussion on current limitations of unrolling and suggest possible future research directions.
translated by 谷歌翻译
在科学的背景下,众所周知的格言“一张图片胜过千言万语”可能是“一个型号胜过一千个数据集”。在本手稿中,我们将Sciml软件生态系统介绍作为混合物理法律和科学模型的信息,并使用数据驱动的机器学习方法。我们描述了一个数学对象,我们表示通用微分方程(UDE),作为连接生态系统的统一框架。我们展示了各种各样的应用程序,从自动发现解决高维汉密尔顿 - Jacobi-Bellman方程的生物机制,可以通过UDE形式主义和工具进行措辞和有效地处理。我们展示了软件工具的一般性,以处理随机性,延迟和隐式约束。这使得各种SCIML应用程序变为核心训练机构的核心集,这些训练机构高度优化,稳定硬化方程,并与分布式并行性和GPU加速器兼容。
translated by 谷歌翻译
物理信息的神经网络(PINN)是神经网络(NNS),它们作为神经网络本身的组成部分编码模型方程,例如部分微分方程(PDE)。如今,PINN是用于求解PDE,分数方程,积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架,在该框架中,NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述:虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络,这些神经网络构成了香草·皮恩(Vanilla Pinn)以及许多其他变体,例如物理受限的神经网络(PCNN),各种HP-VPINN,变量HP-VPINN,VPINN,VPINN,变体。和保守的Pinn(CPINN)。该研究表明,大多数研究都集中在通过不同的激活功能,梯度优化技术,神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛,但通过证明其在某些情况下比有限元方法(FEM)等经典数值技术更可行的能力,但仍有可能的进步,最著名的是尚未解决的理论问题。
translated by 谷歌翻译