凭借越来越多的计算建模效率，用于管理和保护大障碍礁的计算建模效率，我们通过重新修复包含APSIM模型的输出的现有大型数据集来对APSIM模型进行机会模型模拟使用深神经网络的使用初探运行。数据集未专门针对模型仿真任务量身定制。我们采用了两个神经网络架构进行了仿真任务：密集连接的前馈神经网络（FFNN），以及进料到FFNN（GRU-FFNN）的门控复发单元，一种经常性神经网络。有试验架构的各种配置。最小相关统计用于识别可以聚合以形成模型仿真的训练集的APSIM场景的集群。我们专注于模拟APSIM模型的4个重要产出：径流，土壤，DINRUNOFF，NLEACHED。具有三个隐藏图层的GRU-FFNN架构和每层128个单位提供良好的径流和DINRUNOFF仿真。但是，在广泛的考虑架构下，肮脏和Nlo张化的仿真相对较差;仿真器未能在这两个输出的较高值下捕获可变性。虽然来自过去建模活动的机会主义数据提供了一个大型和有用的数据集，用于探索APSIM仿真，但它可能无法足够丰富，以便成功地学习更复杂的模型动态。可能需要计算机实验设计来生成更具信息性的数据以模拟所有输出变量的感兴趣。我们还建议使用合成气象设置，以允许模型进入各种输入。这些不需要都代表正常条件，但可以提供更密集的，更多的信息数据集，可以学习输入和输出之间的复杂关系。

我们提出并展示了一种基于物理引导的机器学习的城市排水系统液压系统快速准确的替代建模的新方法。替代物是根据流体动力（HIFI）模型的一组有限的仿真结果训练的。与HIFI模型相比，我们的方法将模拟时间减少了一到两个数量级。因此，它比例如概念性水文模型，但它可以模拟排水网络的所有节点和链接中的水位，流和附加费，因此很大程度上保留了HIFI模型提供的细节水平。比较由替代物和HIFI模型模拟的时间序列，达到了0.9顺序的R2值。替代培训时间目前为一小时。但是，可以通过应用转移学习和图形神经网络来减少它们。我们的替代方法对于城市排水系统的初始设计阶段以及实时应用的互动讲习班将很有用。此外，我们的模型公式是通用的，未来的研究应调查其在模拟其他供水系统中的应用。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

对极端事件的风险评估需要准确估算超出历史观察范围的高分位数。当风险取决于观察到的预测因子的值时，回归技术用于在预测器空间中插值。我们提出的EQRN模型将来自神经网络和极值理论的工具结合到能够在存在复杂预测依赖性的情况下外推的方法中。神经网络自然可以在数据中融合其他结构。我们开发了EQRN的经常性版本，该版本能够在时间序列中捕获复杂的顺序依赖性。我们将这种方法应用于瑞士AARE集水区中洪水风险的预测。它利用从时空和时间上的多个协变量中利用信息，以提供对回报水平和超出概率的一日预测。该输出从传统的极值分析中补充了静态返回水平，并且预测能够适应不断变化的气候中经历的分配变化。我们的模型可以帮助当局更有效地管理洪水，并通过预警系统最大程度地减少其灾难性影响。

With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.

在本文中，我们提出了一种新的端到端方法，以优化能量性能以及大型建筑物的舒适性和空气质量，而无需任何装修工作。我们介绍了基于经常性神经网络的元模型，并训练了使用从模拟程序采样的数据库预测一般大类建筑物的行为。然后将该元模型部署在不同的框架中，并且使用两个真实建筑的特定数据校准其参数。通过使用CMA-ES算法比较从传感器获得的真实数据的比较来估计参数，通过使用CMA-ES算法，衍生免费优化过程。然后，使用NSGA-II多目标优化过程保持目标热舒适度和空气质量的同时优化能量消耗。数值实验说明了该元模型如何确保能效显着增益，高达近10％，同时计算比数值模型更具吸引力，并且足够灵活地适应若干类型的建筑物。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

海洋是令人印象深刻的复杂数据混合的来源，可用于发现尚未发现的关系。此类数据来自海洋及其表面，例如用于跟踪血管轨迹的自动识别系统（AIS）消息。 AIS消息以理想的定期时间间隔通过无线电或卫星传输，但随着时间的流逝而变化不规则。因此，本文旨在通过神经网络对AIS消息传输行为进行建模，以预测即将到来的AIS消息的内容，尤其是在同时方法的情况下，尽管消息的时间不规则性作为异常值。我们提出了一组实验，其中包含用于预测任务的多种算法，其长度不同。深度学习模型（例如，神经网络）表明自己可以充分地保留血管的空间意识，而不管时间不规则。我们展示了如何通过共同努力来改善此类任务的卷积层，进料网络和反复的神经网络。尝试短，中和大型消息序列，我们的模型达到了相对百分比差异的36/37/38％ - 越低，越好，而我们在Elman的RNN上观察到92/45/96％，51 /52/40％的GRU，LSTM的129/98/61％。这些结果支持我们的模型作为驱动器，以改善在时间噪声数据下同时分析多个分歧类型的血管时，可以改善船舶路线的预测。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

负载预测是能源行业中执行的一项重要任务，以帮助平衡供应并保持电网的稳定负载。随着供应过渡向不太可靠的可再生能源产生，智能电表将证明是促进这些预测任务的重要组成部分。但是，在隐私意识的消费者中，智能电表的采用率很低，这些消费者害怕侵犯其细粒度的消费数据。在这项工作中，我们建议并探索一种基于联合学习的方法（FL）方法，以分布式协作方式培训预测模型，同时保留基础数据的隐私。我们比较了两种方法：FL和聚集的变体FL+HC与非私有的，集中的学习方法和完全私人的本地化学习方法。在这些方法中，我们使用RMSE和计算效率测量模型性能。此外，我们建议FL策略之后是个性化步骤，并表明可以通过这样做可以提高模型性能。我们表明，FL+HC紧随其后的是个性化可以实现$ \ sim $ 5 \％的模型性能提高，而与本地化学习相比，计算$ \ sim $ 10倍。最后，我们提供有关私人汇总预测的建议，以构建私人端到端负载预测应用程序。

在2015年和2019年之间，地平线的成员2020年资助的创新培训网络名为“Amva4newphysics”，研究了高能量物理问题的先进多变量分析方法和统计学习工具的定制和应用，并开发了完全新的。其中许多方法已成功地用于提高Cern大型Hadron撞机的地图集和CMS实验所执行的数据分析的敏感性;其他几个人，仍然在测试阶段，承诺进一步提高基本物理参数测量的精确度以及新现象的搜索范围。在本文中，在研究和开发的那些中，最相关的新工具以及对其性能的评估。

设计精确预测的设计模型是机器学习的基本目标。这项工作提出了表明，当可以从感兴趣的过程中提取目标变量相对于输入的衍生物，可以利用它们以提高可视机器学习模型的准确性。探索了四个关键思路：（1）提高线性回归模型和前馈神经网络（NNS）的预测精度;（2）使用培训的前馈NNS的性能之间的差异，没有梯度信息来调谐NN复杂度（以隐藏节点号的形式）;（3）使用梯度信息来正规化线性回归;（4）使用梯度信息来改善生成图像模型。在这种应用中，梯度信息显示为增强每个预测模型，展示其对各种应用的价值。

Agent-based modeling (ABM) is a well-established paradigm for simulating complex systems via interactions between constituent entities. Machine learning (ML) refers to approaches whereby statistical algorithms 'learn' from data on their own, without imposing a priori theories of system behavior. Biological systems -- from molecules, to cells, to entire organisms -- consist of vast numbers of entities, governed by complex webs of interactions that span many spatiotemporal scales and exhibit nonlinearity, stochasticity and intricate coupling between entities. The macroscopic properties and collective dynamics of such systems are difficult to capture via continuum modelling and mean-field formalisms. ABM takes a 'bottom-up' approach that obviates these difficulties by enabling one to easily propose and test a set of well-defined 'rules' to be applied to the individual entities (agents) in a system. Evaluating a system and propagating its state over discrete time-steps effectively simulates the system, allowing observables to be computed and system properties to be analyzed. Because the rules that govern an ABM can be difficult to abstract and formulate from experimental data, there is an opportunity to use ML to help infer optimal, system-specific ABM rules. Once such rule-sets are devised, ABM calculations can generate a wealth of data, and ML can be applied there too -- e.g., to probe statistical measures that meaningfully describe a system's stochastic properties. As an example of synergy in the other direction (from ABM to ML), ABM simulations can generate realistic datasets for training ML algorithms (e.g., for regularization, to mitigate overfitting). In these ways, one can envision various synergistic ABM$\rightleftharpoons$ML loops. This review summarizes how ABM and ML have been integrated in contexts that span spatiotemporal scales, from cellular to population-level epidemiology.

经典可塑性模型的历史依赖性行为通常是由现象学定律演变而来的内部变量驱动的。解释这些内部变量如何代表变形的历史，缺乏直接测量这些内部变量进行校准和验证的困难，以及这些现象学定律的弱物理基础一直被批评为创建现实模型的障碍。在这项工作中，将图形数据（例如有限元解决方案）上的几何机器学习用作建立非线性尺寸还原技术和可塑性模型之间的联系的手段。基于几何学习的编码可以将丰富的时间历史数据嵌入到低维的欧几里得空间上，以便可以在嵌入式特征空间中预测塑性变形的演变。然后，相应的解码器可以将这些低维内变量转换回加权图，从而可以观察和分析塑性变形的主导拓扑特征。

The geospace environment is volatile and highly driven. Space weather has effects on Earth's magnetosphere that cause a dynamic and enigmatic response in the thermosphere, particularly on the evolution of neutral mass density. Many models exist that use space weather drivers to produce a density response, but these models are typically computationally expensive or inaccurate for certain space weather conditions. In response, this work aims to employ a probabilistic machine learning (ML) method to create an efficient surrogate for the Thermosphere Ionosphere Electrodynamics General Circulation Model (TIE-GCM), a physics-based thermosphere model. Our method leverages principal component analysis to reduce the dimensionality of TIE-GCM and recurrent neural networks to model the dynamic behavior of the thermosphere much quicker than the numerical model. The newly developed reduced order probabilistic emulator (ROPE) uses Long-Short Term Memory neural networks to perform time-series forecasting in the reduced state and provide distributions for future density. We show that across the available data, TIE-GCM ROPE has similar error to previous linear approaches while improving storm-time modeling. We also conduct a satellite propagation study for the significant November 2003 storm which shows that TIE-GCM ROPE can capture the position resulting from TIE-GCM density with < 5 km bias. Simultaneously, linear approaches provide point estimates that can result in biases of 7 - 18 km.

变压器已成为自然语言处理（NLP）字段中的De-Facto标准。他们也在计算机视觉和其他域中获得了势头。变形金刚可以使人工智能（AI）模型能够动态地关注其输入的某些部分，因此更有效地关注某些部分。灵感来自变形金刚的成功，我们采用了这种技术来预测在多个视野中的战略飞行偏离需求。这项工作是为了支持斜切式的移动应用程序，PAIR，将预测的偏离需求显示为通用航空（GA）飞行运营商，因此他们可以更好地了解繁忙时期离开延误潜力的意识。涉及Pacer以前设计的基于规则的预测方法的现场示范表明，离职需求的预测准确性仍然具有改进的空间。本研究致力于提高来自两个关键方面的预测精度：更好的数据源和鲁棒预测算法。我们利用了两个数据来源，航空系统性能指标（ASPM）和系统广播信息管理（游泳）作为我们的输入。然后，我们用时间融合变压器（TFT）接受了预测的预测模型，用于五个不同的机场。案例研究表明，TFT通过大幅度的传统预测方法可以更好地表现优于传统的预测方法，它们可以在各种机场和更好的解释性方面导致更好的预测。

Deep reinforcement learning has considerable potential to improve irrigation scheduling in many cropping systems by applying adaptive amounts of water based on various measurements over time. The goal is to discover an intelligent decision rule that processes information available to growers and prescribes sensible irrigation amounts for the time steps considered. Due to the technical novelty, however, the research on the technique remains sparse and impractical. To accelerate the progress, the paper proposes a general framework and actionable procedure that allow researchers to formulate their own optimisation problems and implement solution algorithms based on deep reinforcement learning. The effectiveness of the framework was demonstrated using a case study of irrigated wheat grown in a productive region of Australia where profits were maximised. Specifically, the decision rule takes nine state variable inputs: crop phenological stage, leaf area index, extractable soil water for each of the five top layers, cumulative rainfall and cumulative irrigation. It returns a probabilistic prescription over five candidate irrigation amounts (0, 10, 20, 30 and 40 mm) every day. The production system was simulated at Goondiwindi using the APSIM-Wheat crop model. After training in the learning environment using 1981--2010 weather data, the learned decision rule was tested individually for each year of 2011--2020. The results were compared against the benchmark profits obtained using irrigation schedules optimised individually for each of the considered years. The discovered decision rule prescribed daily irrigation amounts that achieved more than 96% of the benchmark profits. The framework is general and applicable to a wide range of cropping systems with realistic optimisation problems.

非侵入性负载监控（NILM）是将总功率消耗分为单个子组件的任务。多年来，已经合并了信号处理和机器学习算法以实现这一目标。关于最先进的方法，进行了许多出版物和广泛的研究工作，以涉及最先进的方法。科学界最初使用机器学习工具的尼尔姆问题制定和描述的最初兴趣已经转变为更实用的尼尔姆。如今，我们正处于成熟的尼尔姆时期，在现实生活中的应用程序方案中尝试使用尼尔姆。因此，算法的复杂性，可转移性，可靠性，实用性和普遍的信任度是主要的关注问题。这篇评论缩小了早期未成熟的尼尔姆时代与成熟的差距。特别是，本文仅对住宅电器的尼尔姆方法提供了全面的文献综述。本文分析，总结并介绍了大量最近发表的学术文章的结果。此外，本文讨论了这些方法的亮点，并介绍了研究人员应考虑的研究困境，以应用尼尔姆方法。最后，我们表明需要将传统分类模型转移到一个实用且值得信赖的框架中。

人工智能（AI）和机器学习（ML）的最新表现突破，尤其是深度学习的进步（DL），功能强大，易于使用的ML库（例如Scikit-Learn，Tensorflow，Pytorch。），Pytorch。，Pytorch。。核工程师对AI/ML的前所未有的兴趣，并增加了计算能力。对于基于物理学的计算模型，已经广泛研究了验证，验证和不确定性定量（VVUQ），并且已经开发了许多方法。但是，ML模型的VVUQ的研究相对较少，尤其是在核工程中。在这项工作中，我们专注于ML模型的UQ作为ML VVUQ的初步步骤，更具体地说，是Deep Neural Networks（DNNS），因为它们是用于回归和分类任务的最广泛使用的监督ML算法。这项工作旨在量化DNN的预测或近似不确定性，当它们用作昂贵的物理模型的替代模型时。比较了DNN UQ的三种技术，即Monte Carlo辍学（MCD），深层合奏（DE）和贝叶斯神经网络（BNNS）。两个核工程示例用于基准这些方法，（1）使用野牛代码的时间依赖性裂变气体释放数据，以及（2）基于BFBT基准测试的无效分数模拟使用痕量代码。发现这三种方法通常需要不同的DNN体系结构和超参数来优化其性能。 UQ结果还取决于可用培训数据的量和数据的性质。总体而言，所有这三种方法都可以提供对近似不确定性的合理估计。当平均预测接近测试数据时，不确定性通常较小，而BNN方法通常会产生比MCD和DE更大的不确定性。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。