We investigate ensemble methods for prediction in an online setting. Unlike all the literature in ensembling, for the first time, we introduce a new approach using a meta learner that effectively combines the base model predictions via using a superset of the features that is the union of the base models' feature vectors instead of the predictions themselves. Here, our model does not use the predictions of the base models as inputs to a machine learning algorithm, but choose the best possible combination at each time step based on the state of the problem. We explore three different constraint spaces for the ensembling of the base learners that linearly combines the base predictions, which are convex combinations where the components of the ensembling vector are all nonnegative and sum up to 1; affine combinations where the weight vector components are required to sum up to 1; and the unconstrained combinations where the components are free to take any real value. The constraints are both theoretically analyzed under known statistics and integrated into the learning procedure of the meta learner as a part of the optimization in an automated manner. To show the practical efficiency of the proposed method, we employ a gradient-boosted decision tree and a multi-layer perceptron separately as the meta learners. Our framework is generic so that one can use other machine learning architectures as the ensembler as long as they allow for a custom differentiable loss for minimization. We demonstrate the learning behavior of our algorithm on synthetic data and the significant performance improvements over the conventional methods over various real life datasets, extensively used in the well-known data competitions. Furthermore, we openly share the source code of the proposed method to facilitate further research and comparison.

我们在在线环境中研究了非线性预测，并引入了混合模型，该模型通过端到端体系结构有效地减轻了对手工设计的功能的需求和传统非线性预测/回归方法的手动模型选择问题。特别是，我们使用递归结构从顺序信号中提取特征，同时保留状态信息，即历史记录和增强决策树以产生最终输出。该连接是以端到端方式的，我们使用随机梯度下降共同优化整个体系结构，我们还为此提供了向后的通过更新方程。特别是，我们采用了一个经常性的神经网络（LSTM）来从顺序数据中提取自适应特征，并提取梯度增强机械（Soft GBDT），以进行有效的监督回归。我们的框架是通用的，因此可以使用其他深度学习体系结构进行特征提取（例如RNN和GRU）和机器学习算法进行决策，只要它们是可区分的。我们证明了算法对合成数据的学习行为以及各种现实生活数据集对常规方法的显着性能改进。此外，我们公开分享提出的方法的源代码，以促进进一步的研究。

我们调查预测中的合奏技术，并检查其使用与Covid-19大流行早期类似的非季度时间系列的潜力。开发改进的预测方法是必不可少的，因为它们在关键阶段为组织和决策者提供数据驱动的决策。我们建议使用后期数据融合，使用两个预测模型的堆叠集合和两个元特征，并在初步预测阶段证明其预测力。最终的集合包括先知和长期短期内存（LSTM）神经网络作为基础模型。基础模型由多层的Perceptron（MLP）组合，考虑到元素，表示与每个基础模型的预测精度最高的相关性。我们进一步表明，包含Meta-Features通常会在七和十四天的两个预测视野中提高集合的预测准确性。该研究强化了以前的工作，并展示了与深层学习模型相结合的传统统计模型的价值，以生产更多来自不同领域和季节性的时间序列的预测模型。

杂交和集合学习技术是改善预测方法的预测能力的流行模型融合技术。通过有限的研究，将这两种有前途的方法结合在一起，本文着重于不同合奏的基础模型池中指数平滑的旋转神经网络（ES-RNN）的实用性。我们将某些最先进的结合技术和算术模型平均作为基准进行比较。我们对M4预测数据集进行了100,000个时间序列，结果表明，基于特征的预测模型平均（FFORFORA）平均是与ES-RNN的晚期数据融合的最佳技术。但是，考虑到M4的每日数据子集，堆叠是处理所有基本模型性能相似的情况下唯一成功的合奏。我们的实验结果表明，与N-Beats作为基准相比，我们达到了艺术的预测结果。我们得出的结论是，模型平均比模型选择和堆叠策略更强大。此外，结果表明，提高梯度对于实施合奏学习策略是优越的。

预测组合在预测社区中蓬勃发展，近年来，已经成为预测研究和活动主流的一部分。现在，由单个（目标）系列产生的多个预测组合通过整合来自不同来源收集的信息，从而提高准确性，从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重，非线性组合，组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论，并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性，并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后，我们以当前的研究差距和未来研究的潜在见解得出结论。

合奏学习结合了几个单独的模型，以获得更好的概括性能。目前，与浅层或传统模型相比，深度学习体系结构表现更好。深度合奏学习模型结合了深度学习模型以及整体学习的优势，使最终模型具有更好的概括性能。本文回顾了最先进的深度合奏模型，因此是研究人员的广泛摘要。合奏模型广泛地分类为包装，增强，堆叠，基于负相关的深度合奏模型，显式/隐式合奏，同质/异质合奏，基于决策融合策略的深层集合模型。还简要讨论了在不同领域中深层集成模型的应用。最后，我们以一些潜在的未来研究方向结束了本文。

天然气管道中的泄漏检测是石油和天然气行业的一个重要且持续的问题。这尤其重要，因为管道是运输天然气的最常见方法。这项研究旨在研究数据驱动的智能模型使用基本操作参数检测天然气管道的小泄漏的能力，然后使用现有的性能指标比较智能模型。该项目应用观察者设计技术，使用回归分类层次模型来检测天然气管道中的泄漏，其中智能模型充当回归器，并且修改后的逻辑回归模型充当分类器。该项目使用四个星期的管道数据流研究了五个智能模型（梯度提升，决策树，随机森林，支持向量机和人工神经网络）。结果表明，虽然支持向量机和人工神经网络比其他网络更好，但由于其内部复杂性和所使用的数据量，它们并未提供最佳的泄漏检测结果。随机森林和决策树模型是最敏感的，因为它们可以在大约2小时内检测到标称流量的0.1％的泄漏。所有智能模型在测试阶段中具有高可靠性，错误警报率为零。将所有智能模型泄漏检测的平均时间与文献中的实时短暂模型进行了比较。结果表明，智能模型在泄漏检测问题中的表现相对较好。该结果表明，可以与实时瞬态模型一起使用智能模型，以显着改善泄漏检测结果。

Wind power forecasting helps with the planning for the power systems by contributing to having a higher level of certainty in decision-making. Due to the randomness inherent to meteorological events (e.g., wind speeds), making highly accurate long-term predictions for wind power can be extremely difficult. One approach to remedy this challenge is to utilize weather information from multiple points across a geographical grid to obtain a holistic view of the wind patterns, along with temporal information from the previous power outputs of the wind farms. Our proposed CNN-RNN architecture combines convolutional neural networks (CNNs) and recurrent neural networks (RNNs) to extract spatial and temporal information from multi-dimensional input data to make day-ahead predictions. In this regard, our method incorporates an ultra-wide learning view, combining data from multiple numerical weather prediction models, wind farms, and geographical locations. Additionally, we experiment with global forecasting approaches to understand the impact of training the same model over the datasets obtained from multiple different wind farms, and we employ a method where spatial information extracted from convolutional layers is passed to a tree ensemble (e.g., Light Gradient Boosting Machine (LGBM)) instead of fully connected layers. The results show that our proposed CNN-RNN architecture outperforms other models such as LGBM, Extra Tree regressor and linear regression when trained globally, but fails to replicate such performance when trained individually on each farm. We also observe that passing the spatial information from CNN to LGBM improves its performance, providing further evidence of CNN's spatial feature extraction capabilities.

本文介绍了一个集成预测方法，通过减少特征和模型选择假设来显示M4Competitiation数据集的强劲结果，称为甜甜圈（不利用人为假设）。我们的假设减少，主要由自动生成的功能和更多样化的集合模型组成，显着优于Montero-Manso等人的统计特征的集合方法FForma。 （2020）。此外，我们用长短期内存网络（LSTM）AutoEncoder调查特征提取，并发现此类特征包含传统统计特征方法未捕获的重要信息。合奏加权模型使用LSTM功能和统计功能准确地结合模型。特征重要性和交互的分析表明，单独的统计数据的LSTM特征略有优势。聚类分析表明，不同的基本LSTM功能与大多数统计特征不同。我们还发现，通过使用新模型增强合奏来增加加权模型的解决方案空间是加权模型学习使用的东西，解释了准确性的一部分。最后，我们为集合的最佳组合和选择提供了正式的前后事实分析，通过M4数据集的线性优化量化差异。我们还包括一个简短的证据，模型组合优于模型选择，后者。

分布式的小型太阳能光伏（PV）系统正在以快速增加的速度安装。这可能会对分销网络和能源市场产生重大影响。结果，在不同时间分辨率和视野中，非常需要改善对这些系统发电的预测。但是，预测模型的性能取决于分辨率和地平线。在这种情况下，将多个模型的预测结合到单个预测中的预测组合（合奏）可能是鲁棒的。因此，在本文中，我们提供了对五个最先进的预测模型的性能以及在多个分辨率和视野下的现有预测组合的比较和见解。我们提出了一种基于粒子群优化（PSO）的预测组合方法，该方法将通过加权单个模型产生的预测来使预报掌握能够为手头的任务产生准确的预测。此外，我们将提出的组合方法的性能与现有的预测组合方法进行了比较。使用现实世界中的PV电源数据集进行了全面的评估，该数据集在美国三个位置的25个房屋中测得。在四种不同的分辨率和四个不同视野之间的结果表明，基于PSO的预测组合方法的表现优于使用任何单独的预测模型和其他预测组合的使用，而平均平均绝对规模误差降低了3.81％，而最佳性能则最佳性能单个个人模型。我们的方法使太阳预报员能够为其应用产生准确的预测，而不管预测分辨率或视野如何。

梯度增强的树木是竞争获奖，通用，非参数回归器，它们利用顺序模型拟合和梯度下降以最大程度地减少特定的损失函数。最受欢迎的实现是针对单变量回归和分类任务量身定制的，排除了捕获多变量目标互相关并将结构性惩罚应用于预测的可能性。在本文中，我们提出了一种用于拟合多元增强树的计算有效算法。我们表明，当预测相关时，多元树可以胜过单变量。此外，该算法允许任意规范预测，以便可以实施平滑度，一致性和功能关系之类的属性。我们提出了与预测和控制有关的应用程序和数值结果。

近年来，随着传感器和智能设备的广泛传播，物联网（IoT）系统的数据生成速度已大大增加。在物联网系统中，必须经常处理，转换和分析大量数据，以实现各种物联网服务和功能。机器学习（ML）方法已显示出其物联网数据分析的能力。但是，将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战，特别是有效的模型选择，设计/调整和更新，这给经验丰富的数据科学家带来了巨大的需求。此外，物联网数据的动态性质可能引入概念漂移问题，从而导致模型性能降解。为了减少人类的努力，自动化机器学习（AUTOML）已成为一个流行的领域，旨在自动选择，构建，调整和更新机器学习模型，以在指定任务上实现最佳性能。在本文中，我们对Automl区域中模型选择，调整和更新过程中的现有方法进行了审查，以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法，在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后，我们讨论并分类了该领域的挑战和研究方向。

PV power forecasting models are predominantly based on machine learning algorithms which do not provide any insight into or explanation about their predictions (black boxes). Therefore, their direct implementation in environments where transparency is required, and the trust associated with their predictions may be questioned. To this end, we propose a two stage probabilistic forecasting framework able to generate highly accurate, reliable, and sharp forecasts yet offering full transparency on both the point forecasts and the prediction intervals (PIs). In the first stage, we exploit natural gradient boosting (NGBoost) for yielding probabilistic forecasts, while in the second stage, we calculate the Shapley additive explanation (SHAP) values in order to fully comprehend why a prediction was made. To highlight the performance and the applicability of the proposed framework, real data from two PV parks located in Southern Germany are employed. Comparative results with two state-of-the-art algorithms, namely Gaussian process and lower upper bound estimation, manifest a significant increase in the point forecast accuracy and in the overall probabilistic performance. Most importantly, a detailed analysis of the model's complex nonlinear relationships and interaction effects between the various features is presented. This allows interpreting the model, identifying some learned physical properties, explaining individual predictions, reducing the computational requirements for the training without jeopardizing the model accuracy, detecting possible bugs, and gaining trust in the model. Finally, we conclude that the model was able to develop complex nonlinear relationships which follow known physical properties as well as human logic and intuition.

A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

我们介绍了称为\ texttt {mecats}的异构专家框架的混合，其同时预测通过聚合层次结构相关的一组时间序列的值。不同类型的预测模型可以作为个别专家使用，以便可以根据相应时间序列的性质来定制每个模型的形式。 \ TextTt {Mecats}在培训阶段期间了解分层关系，以帮助概括在被建模的所有时间序列中更好地提高，并且还减轻了由于层次结构施加的约束而产生的一致性问题。我们进一步在点预测的顶部构建多个分位数估计值。由此产生的概率预测几乎是连贯的，无分布的，并且独立于预测模型的选择。我们对两点和概率预测进行了全面的评估，并制定了序列数据中存在变化点的情况的扩展。通常，我们的方法是强大的，适用于具有不同特性的数据集，对大规模预测管道具有高度可配置和高效的。

分位数回归是统计学习中的一个基本问题，这是由于需要量化预测中的不确定性或对多样化的人群建模而不过分减少的统计学习。例如，流行病学预测，成本估算和收入预测都可以准确地量化可能的值的范围。因此，在计量经济学，统计和机器学习的多年研究中，已经为这个问题开发了许多模型。而不是提出另一种（新的）算法用于分位数回归，而是采用元观点：我们研究用于汇总任意数量的有条件分位模型的方法，以提高准确性和鲁棒性。我们考虑加权合奏，其中权重不仅可能因单个模型，而且要多于分位数和特征值而变化。我们在本文中考虑的所有模型都可以使用现代深度学习工具包适合，因此可以广泛访问（从实现的角度）和可扩展。为了提高预测分位数的准确性（或等效地，预测间隔），我们开发了确保分位数保持单调排序的工具，并采用保形校准方法。可以使用这些，而无需对原始模型的原始库进行任何修改。我们还回顾了一些围绕分数聚集和相关评分规则的基本理论，并为该文献做出了一些新的结果（例如，在分类或等渗后回归只能提高加权间隔得分的事实）。最后，我们提供了来自两个不同基准存储库的34个数据集的广泛的经验比较套件。

合奏的基本分支混合合奏在许多机器学习问题，尤其是回归中蓬勃发展。几项研究证实了多样性的重要性。但是，以前的合奏仅考虑在子模型训练阶段的多样性，与单个模型相比，改进有限。相反，本研究从异质模型池中选择和权重子模型。它使用内点过滤线性搜索算法解决了优化问题。这种优化问题创新地将负相关学习作为惩罚项，可以选择多种模型子集。实验结果显示了一些有意义的观点。模型池构造需要不同类别的模型，每个类别都作为子模型为所有可能的参数集。选择每个类的最佳子模型以构建基于NCL的合奏，该集合比子模型的平均值要好得多。此外，与经典常数和非恒定加权方法相比，基于NCL的合奏在几种预测指标中具有重要优势。实际上，由于模型不确定性，很难在事先结论数据集的最佳子模型。但是，我们的方法将获得可比较的精度作为RMSE度量的潜在最佳子模型。总之，这项研究的价值在于它的易用性和有效性，使混合团合奏可以接受多样性和准确性。

我们研究了从记录的匪徒反馈中进行额外学习的增强合奏模型。为了实现这一目标，我们提出了一种新的增强算法，该算法直接优化了对政策预期奖励的估计。我们分析了该算法，并证明，只要满足“弱”的学习条件，每轮增强的经验风险会随着每一轮增强而降低（可能是指数迅速）。我们进一步展示了基础学习者如何减少标准监督学习问题。实验表明，我们的算法可以胜过仅在观察到的奖励上回归的深层外部学习和方法，从而证明了增强和选择正确的学习目标的好处。

间歇时间序列的分层预测是研究和实证研究中的挑战。庞大的研究侧重于提高每个层次结构的准确性，尤其是底部层次的间歇时间序列。然后，在每个层次结构上调和预测，以进一步提高整体性能。在本文中，我们提出了一种与分层对准方法的预测，该方法将底部水平预测视为可变的柔和预测，以确保在层次结构的上层上的预测精度。我们采用纯深度学习预测方法的N- BEATS对高层的连续时间序列和广泛使用的基于树的算法LightGBM为底层间歇时间序列。具有对准方法的分层预测是自下而上方法的简单且有效的变体，其占难以观察到底部水平的偏差。它允许在较低级别的次优预测保留更高的整体性能。该研究在本实证研究中由第一作者在M5预测准确性竞争期间开发，排名第二。该方法也是良好的商业战略规划有益。