模糊认知地图（FCMS）被出现为可解释的签名加权数字化方法，其由代表概念之间的依赖性的节点（概念）和权重。虽然FCMS在各种时间序列预测应用中取得了相当大的成果，但设计了具有较节约的训练方法的FCM模型仍然是一个开放的挑战。因此，本文介绍了一种新颖的单变量时间序列预测技术，该技术由标记为R-HFCM的一组随机高阶FCM模型组成。提出的R-HFCM模型的新颖性与将FCM和回声状态网络（ESN）的概念合并为高效且特定的储层计算（RC）模型系列，其中应用于训练模型的最小二乘算法。从另一个角度来看，R-HFCM的结构包括输入层，储存层和输出层，其中仅输出层是可训练的，同时在训练过程中随机选择每个子储存组件的重量并保持恒定。如案例研究，该模型考虑了与巴西太阳能站以及马来西亚数据集的公共数据的太阳能预测，包括马来西亚市柔佛市电源公司的每小时电负荷和温度数据。实验还包括地图尺寸，激活功能，偏置的存在和储存器的尺寸的效果，储存器的尺寸为R-HFCM方法的准确性。所获得的结果证实了所提出的R-HFCM模型与其他方法相比表现。本研究提供了证据表明，FCM可以是在时间序列建模中实施动态储存的新方法。

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

深度学习（DL）技术被回归问题所接受。最近在该领域发表的论文数量越来越多，包括调查和评论，表明，由于效率和具有高维数据的系统的良好精度，深层回归引起了社区的关注。但是，许多DL方法具有复杂的结构，这些结构对人类用户不易透明。访问这些模型的可解释性是解决敏感领域问题（例如网络安全系统，医疗，金融监视和工业过程）的重要因素。模糊逻辑系统（FLS）是可解释的模型，在文献中众所周知，能够通过具有成员资格学位的语言术语对复杂系统使用非线性表示，模仿了人类的思想。在可解释的人工智能的气氛中，有必要考虑开发智能模型的准确性和可解释性之间的权衡。本文旨在调查结合DL和FL的现有方法的最新方法，即深度模糊系统，以解决回归问题，配置当前在文献中尚不充分探索的主题，因此应进行全面调查。

回声状态网络（ESN）是一类复发性神经网络，具有大量隐藏的隐藏权重（在所谓的储层中）。典型的ESN及其变化最近由于在非线性动力学系统的建模方面取得了显着的成功而受到了极大的关注。储层随机连接到没有改变学习过程的固定权重。仅训练从储层到输出的权重。由于储层在训练过程中是固定的，因此我们可能会想知道是否完全利用了复发结构的计算能力。在本文中，我们提出了一种新的ESN类型计算模型，该模型代表傅立叶空间中的储层权重，并对这些权重进行微调，该权重应用了频域中的遗传算法。主要兴趣是，与经典ESN相比，该过程将在小得多的空间中起作用，从而提供了初始方法的降低性变换。提出的技术使我们能够利用大型复发结构的好处，以避免基于梯度的方法的训练问题。我们提供了一项详细的实验研究，该研究证明了我们使用众所周知的混沌系统和现实数据的良好表现。

预测住宅功率使用对于辅助智能电网来管理和保护能量以确保有效使用的必不可少。客户级别的准确能量预测将直接反映电网系统的效率，但由于许多影响因素，例如气象和占用模式，预测建筑能源使用是复杂的任务。在成瘾中，鉴于多传感器环境的出现以及能量消费者和智能电网之间的两种方式通信，在能量互联网（IOE）中，高维时间序列越来越多地出现。因此，能够计算高维时间序列的方法在智能建筑和IOE应用中具有很大的价值。模糊时间序列（FTS）模型作为数据驱动的非参数模型的易于实现和高精度。不幸的是，如果所有功能用于训练模型，现有的FTS模型可能是不可行的。我们通过将原始高维数据投入低维嵌入空间并在该低维表示中使用多变量FTS方法来提出一种用于处理高维时间序列的新方法。组合这些技术使得能够更好地表示多变量时间序列的复杂内容和更准确的预测。

For many years, Evolutionary Algorithms (EAs) have been applied to improve Neural Networks (NNs) architectures. They have been used for solving different problems, such as training the networks (adjusting the weights), designing network topology, optimizing global parameters, and selecting features. Here, we provide a systematic brief survey about applications of the EAs on the specific domain of the recurrent NNs named Reservoir Computing (RC). At the beginning of the 2000s, the RC paradigm appeared as a good option for employing recurrent NNs without dealing with the inconveniences of the training algorithms. RC models use a nonlinear dynamic system, with fixed recurrent neural network named the \textit{reservoir}, and learning process is restricted to adjusting a linear parametric function. %so the performance of learning is fast and precise. However, an RC model has several hyper-parameters, therefore EAs are helpful tools to figure out optimal RC architectures. We provide an overview of the results on the area, discuss novel advances, and we present our vision regarding the new trends and still open questions.

传染病仍然是全世界人类疾病和死亡的主要因素之一，其中许多疾病引起了流行的感染波。特定药物和预防疫苗防止大多数流行病的不可用，这使情况变得更糟。这些迫使公共卫生官员，卫生保健提供者和政策制定者依靠由流行病的可靠预测产生的预警系统。对流行病的准确预测可以帮助利益相关者调整对手的对策，例如疫苗接种运动，人员安排和资源分配，以减少手头的情况，这可以转化为减少疾病影响的影响。不幸的是，大多数过去的流行病（例如，登革热，疟疾，肝炎，流感和最新的Covid-19）表现出非线性和非平稳性特征，这是由于它们基于季节性依赖性变化以及这些流行病的性质的扩散波动而引起的。 。我们使用基于最大的重叠离散小波变换（MODWT）自动回归神经网络分析了各种流行时期时间序列数据集，并将其称为EWNET。 MODWT技术有效地表征了流行时间序列中的非平稳行为和季节性依赖性，并在拟议的集合小波网络框架中改善了自回旋神经网络的预测方案。从非线性时间序列的角度来看，我们探讨了所提出的EWNET模型的渐近平稳性，以显示相关的马尔可夫链的渐近行为。我们还理论上还研究了学习稳定性的效果以及在拟议的EWNET模型中选择隐藏的神经元的选择。从实际的角度来看，我们将我们提出的EWNET框架与以前用于流行病预测的几种统计，机器学习和深度学习模型进行了比较。

With the evolution of power systems as it is becoming more intelligent and interactive system while increasing in flexibility with a larger penetration of renewable energy sources, demand prediction on a short-term resolution will inevitably become more and more crucial in designing and managing the future grid, especially when it comes to an individual household level. Projecting the demand for electricity for a single energy user, as opposed to the aggregated power consumption of residential load on a wide scale, is difficult because of a considerable number of volatile and uncertain factors. This paper proposes a customized GRU (Gated Recurrent Unit) and Long Short-Term Memory (LSTM) architecture to address this challenging problem. LSTM and GRU are comparatively newer and among the most well-adopted deep learning approaches. The electricity consumption datasets were obtained from individual household smart meters. The comparison shows that the LSTM model performs better for home-level forecasting than alternative prediction techniques-GRU in this case. To compare the NN-based models with contrast to the conventional statistical technique-based model, ARIMA based model was also developed and benchmarked with LSTM and GRU model outcomes in this study to show the performance of the proposed model on the collected time series data.

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

电力公用事业公司依靠短期需求预测，以期待重大变化的预期调整生产和分配。该系统审查分析了2000年至2019年之间的学术期刊上发布的240份作品，专注于将人工智能（AI），统计和混合模型应用于短期负荷预测（STLF）。这项工作代表了迄今为止对该主题的最全面的审查。进行了对文献的完整分析，以确定最流行和最准确的技术以及现有的空隙。研究结果表明，尽管人工神经网络（ANN）继续成为最常用的独立技术，但研究人员已经超出了不同技术的混合组合，以利用各种方法的组合优势。审查表明，这些混合组合通常可以实现超过99％的预测精度。短期预测最成功的持续时间已被识别为每小时间隔的一天的预测。审查已确定访问培训模型所需的数据集的不足。在亚洲，欧洲，北美和澳大利亚以外的研究区域中已经确定了一个显着差距。

预测基金绩效对投资者和基金经理都是有益的，但这是一项艰巨的任务。在本文中，我们测试了深度学习模型是否比传统统计技术更准确地预测基金绩效。基金绩效通常通过Sharpe比率进行评估，该比例代表了风险调整的绩效，以确保基金之间有意义的可比性。我们根据每月收益率数据序列数据计算了年度夏普比率，该数据的时间序列数据为600多个投资于美国上市大型股票的开放式共同基金投资。我们发现，经过现代贝叶斯优化训练的长期短期记忆（LSTM）和封闭式复发单元（GRUS）深度学习方法比传统统计量相比，预测基金的Sharpe比率更高。结合了LSTM和GRU的预测的合奏方法，可以实现所有模型的最佳性能。有证据表明，深度学习和结合能提供有希望的解决方案，以应对基金绩效预测的挑战。

基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法，通常通常优于其他方法。因此，在过去的几年中，这些方法现在在大规模的工业预测应用中无处不在，并且一直在预测竞赛（例如M4和M5）中排名最佳。这种实践上的成功进一步提高了学术兴趣，以理解和改善深厚的预测方法。在本文中，我们提供了该领域的介绍和概述：我们为深入预测的重要构建块提出了一定深度的深入预测；随后，我们使用这些构建块，调查了最近的深度预测文献的广度。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

Dengue fever is a virulent disease spreading over 100 tropical and subtropical countries in Africa, the Americas, and Asia. This arboviral disease affects around 400 million people globally, severely distressing the healthcare systems. The unavailability of a specific drug and ready-to-use vaccine makes the situation worse. Hence, policymakers must rely on early warning systems to control intervention-related decisions. Forecasts routinely provide critical information for dangerous epidemic events. However, the available forecasting models (e.g., weather-driven mechanistic, statistical time series, and machine learning models) lack a clear understanding of different components to improve prediction accuracy and often provide unstable and unreliable forecasts. This study proposes an ensemble wavelet neural network with exogenous factor(s) (XEWNet) model that can produce reliable estimates for dengue outbreak prediction for three geographical regions, namely San Juan, Iquitos, and Ahmedabad. The proposed XEWNet model is flexible and can easily incorporate exogenous climate variable(s) confirmed by statistical causality tests in its scalable framework. The proposed model is an integrated approach that uses wavelet transformation into an ensemble neural network framework that helps in generating more reliable long-term forecasts. The proposed XEWNet allows complex non-linear relationships between the dengue incidence cases and rainfall; however, mathematically interpretable, fast in execution, and easily comprehensible. The proposal's competitiveness is measured using computational experiments based on various statistical metrics and several statistical comparison tests. In comparison with statistical, machine learning, and deep learning methods, our proposed XEWNet performs better in 75% of the cases for short-term and long-term forecasting of dengue incidence.

随着高级数字技术的蓬勃发展，用户以及能源分销商有可能获得有关家庭用电的详细信息。这些技术也可以用来预测家庭用电量（又称负载）。在本文中，我们研究了变分模式分解和深度学习技术的使用，以提高负载预测问题的准确性。尽管在文献中已经研究了这个问题，但选择适当的分解水平和提供更好预测性能的深度学习技术的关注较少。这项研究通过研究六个分解水平和五个不同的深度学习网络的影响来弥合这一差距。首先，使用变分模式分解将原始负载轮廓分解为固有模式函数，以减轻其非平稳方面。然后，白天，小时和过去的电力消耗数据作为三维输入序列馈送到四级小波分解网络模型。最后，将与不同固有模式函数相关的预测序列组合在一起以形成聚合预测序列。使用摩洛哥建筑物的电力消耗数据集（MORED）的五个摩洛哥家庭的负载曲线评估了该方法，并根据最新的时间序列模型和基线持久性模型进行了基准测试。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

本文介绍了一种能够构建具有自适应形状的不可分离模糊规则的新间隔-2模糊神经网络。为了反映不确定性，模糊集的形状被认为是不确定的。因此，提出了一种基于能够构造不同形状（包括三角形，钟形，梯形）的通用高斯模型的新形式的间隔类型-2模糊组。要考虑输入变量之间的相互作用，输入向量将转换为新的特征空间，具有用于定义每个模糊规则的不相关变量。接下来，使用具有自适应形状的所提出的间隔类型-2模糊组来馈送到模糊化层。因此，考虑变量和不确定性的局部相互作用，因此形成具有适当形状的间隔类型-2不可分离的模糊规则。对于缩短的缩小，每个模糊规则的上部和下射击强度的贡献自适应地单独选择。为了培训网络的不同参数，利用Levenberg-Marquadt优化方法。在清洁和嘈杂的数据集上调查了所提出的方法的性能，以表明考虑不确定性的能力。此外，所提出的范式，成功地应用于现实世界的时间序列预测，回归问题和非线性系统识别。根据实验结果，我们提出的模型的性能优于具有更加规模的结构的其他方法。