在本文中，我们描述了我们提出的方法来接近IEEE CIS第3技术挑战中引入的预测+优化挑战。预测模型采用了LightGBM模型的集合，并且规定性分析采用数学优化来有效地规定最小化多种情况下的平均成本的解决方案。我们的解决方案在竞争的预测挑战中排名第一。

Algorithms that involve both forecasting and optimization are at the core of solutions to many difficult real-world problems, such as in supply chains (inventory optimization), traffic, and in the transition towards carbon-free energy generation in battery/load/production scheduling in sustainable energy systems. Typically, in these scenarios we want to solve an optimization problem that depends on unknown future values, which therefore need to be forecast. As both forecasting and optimization are difficult problems in their own right, relatively few research has been done in this area. This paper presents the findings of the ``IEEE-CIS Technical Challenge on Predict+Optimize for Renewable Energy Scheduling," held in 2021. We present a comparison and evaluation of the seven highest-ranked solutions in the competition, to provide researchers with a benchmark problem and to establish the state of the art for this benchmark, with the aim to foster and facilitate research in this area. The competition used data from the Monash Microgrid, as well as weather data and energy market data. It then focused on two main challenges: forecasting renewable energy production and demand, and obtaining an optimal schedule for the activities (lectures) and on-site batteries that lead to the lowest cost of energy. The most accurate forecasts were obtained by gradient-boosted tree and random forest models, and optimization was mostly performed using mixed integer linear and quadratic programming. The winning method predicted different scenarios and optimized over all scenarios jointly using a sample average approximation method.

分布式的小型太阳能光伏（PV）系统正在以快速增加的速度安装。这可能会对分销网络和能源市场产生重大影响。结果，在不同时间分辨率和视野中，非常需要改善对这些系统发电的预测。但是，预测模型的性能取决于分辨率和地平线。在这种情况下，将多个模型的预测结合到单个预测中的预测组合（合奏）可能是鲁棒的。因此，在本文中，我们提供了对五个最先进的预测模型的性能以及在多个分辨率和视野下的现有预测组合的比较和见解。我们提出了一种基于粒子群优化（PSO）的预测组合方法，该方法将通过加权单个模型产生的预测来使预报掌握能够为手头的任务产生准确的预测。此外，我们将提出的组合方法的性能与现有的预测组合方法进行了比较。使用现实世界中的PV电源数据集进行了全面的评估，该数据集在美国三个位置的25个房屋中测得。在四种不同的分辨率和四个不同视野之间的结果表明，基于PSO的预测组合方法的表现优于使用任何单独的预测模型和其他预测组合的使用，而平均平均绝对规模误差降低了3.81％，而最佳性能则最佳性能单个个人模型。我们的方法使太阳预报员能够为其应用产生准确的预测，而不管预测分辨率或视野如何。

低压网络中分布式能源的渗透不断增加，这将最终用户从消费者转变为生产者。但是，由于零售和网络服务提供的监管分离，智能电表数据的不完整智能电表的推出和缺乏智能电表数据，这使主动分配网络管理变得困难。此外，分销网络运营商通常无法访问实时智能电表数据，这会带来额外的挑战。由于缺乏更好的解决方案，他们使用毯子屋顶太阳能出口限制，从而导致次优结果。为了解决这个问题，我们设计了一个有条件的生成对抗网络（CGAN）的模型来预测家庭太阳能产生和电力需求，这是用于在不确定性下用于计算公平操作信封的机会约束最佳功率流的输入。

随着高级数字技术的蓬勃发展，用户以及能源分销商有可能获得有关家庭用电的详细信息。这些技术也可以用来预测家庭用电量（又称负载）。在本文中，我们研究了变分模式分解和深度学习技术的使用，以提高负载预测问题的准确性。尽管在文献中已经研究了这个问题，但选择适当的分解水平和提供更好预测性能的深度学习技术的关注较少。这项研究通过研究六个分解水平和五个不同的深度学习网络的影响来弥合这一差距。首先，使用变分模式分解将原始负载轮廓分解为固有模式函数，以减轻其非平稳方面。然后，白天，小时和过去的电力消耗数据作为三维输入序列馈送到四级小波分解网络模型。最后，将与不同固有模式函数相关的预测序列组合在一起以形成聚合预测序列。使用摩洛哥建筑物的电力消耗数据集（MORED）的五个摩洛哥家庭的负载曲线评估了该方法，并根据最新的时间序列模型和基线持久性模型进行了基准测试。

A well-performing prediction model is vital for a recommendation system suggesting actions for energy-efficient consumer behavior. However, reliable and accurate predictions depend on informative features and a suitable model design to perform well and robustly across different households and appliances. Moreover, customers' unjustifiably high expectations of accurate predictions may discourage them from using the system in the long term. In this paper, we design a three-step forecasting framework to assess predictability, engineering features, and deep learning architectures to forecast 24 hourly load values. First, our predictability analysis provides a tool for expectation management to cushion customers' anticipations. Second, we design several new weather-, time- and appliance-related parameters for the modeling procedure and test their contribution to the model's prediction performance. Third, we examine six deep learning techniques and compare them to tree- and support vector regression benchmarks. We develop a robust and accurate model for the appliance-level load prediction based on four datasets from four different regions (US, UK, Austria, and Canada) with an equal set of appliances. The empirical results show that cyclical encoding of time features and weather indicators alongside a long-short term memory (LSTM) model offer the optimal performance.

在具有可再生生成的大量份额的网格中，由于负载和发电的波动性增加，运营商将需要其他工具来评估运营风险。正向不确定性传播问题的计算要求必须解决众多安全受限的经济调度（SCED）优化，是这种实时风险评估的主要障碍。本文提出了一个即时风险评估学习框架（Jitralf）作为替代方案。 Jitralf训练风险代理，每天每小时一个，使用机器学习（ML）来预测估计风险所需的数量，而无需明确解决SCED问题。这大大减轻了正向不确定性传播的计算负担，并允许快速，实时的风险估计。本文还提出了一种新颖的，不对称的损失函数，并表明使用不对称损失训练的模型的性能优于使用对称损耗函数的模型。在法国传输系统上评估了Jitralf，以评估运营储量不足的风险，减轻负载的风险和预期的运营成本。

Efficient energy consumption is crucial for achieving sustainable energy goals in the era of climate change and grid modernization. Thus, it is vital to understand how energy is consumed at finer resolutions such as household in order to plan demand-response events or analyze the impacts of weather, electricity prices, electric vehicles, solar, and occupancy schedules on energy consumption. However, availability and access to detailed energy-use data, which would enable detailed studies, has been rare. In this paper, we release a unique, large-scale, synthetic, residential energy-use dataset for the residential sector across the contiguous United States covering millions of households. The data comprise of hourly energy use profiles for synthetic households, disaggregated into Thermostatically Controlled Loads (TCL) and appliance use. The underlying framework is constructed using a bottom-up approach. Diverse open-source surveys and first principles models are used for end-use modeling. Extensive validation of the synthetic dataset has been conducted through comparisons with reported energy-use data. We present a detailed, open, high-resolution, residential energy-use dataset for the United States.

Energy consumption in buildings, both residential and commercial, accounts for approximately 40% of all energy usage in the U.S., and similar numbers are being reported from countries around the world. This significant amount of energy is used to maintain a comfortable, secure, and productive environment for the occupants. So, it is crucial that the energy consumption in buildings must be optimized, all the while maintaining satisfactory levels of occupant comfort, health, and safety. Recently, Machine Learning has been proven to be an invaluable tool in deriving important insights from data and optimizing various systems. In this work, we review the ways in which machine learning has been leveraged to make buildings smart and energy-efficient. For the convenience of readers, we provide a brief introduction of several machine learning paradigms and the components and functioning of each smart building system we cover. Finally, we discuss challenges faced while implementing machine learning algorithms in smart buildings and provide future avenues for research at the intersection of smart buildings and machine learning.

In this paper, we propose a new short-term load forecasting (STLF) model based on contextually enhanced hybrid and hierarchical architecture combining exponential smoothing (ES) and a recurrent neural network (RNN). The model is composed of two simultaneously trained tracks: the context track and the main track. The context track introduces additional information to the main track. It is extracted from representative series and dynamically modulated to adjust to the individual series forecasted by the main track. The RNN architecture consists of multiple recurrent layers stacked with hierarchical dilations and equipped with recently proposed attentive dilated recurrent cells. These cells enable the model to capture short-term, long-term and seasonal dependencies across time series as well as to weight dynamically the input information. The model produces both point forecasts and predictive intervals. The experimental part of the work performed on 35 forecasting problems shows that the proposed model outperforms in terms of accuracy its predecessor as well as standard statistical models and state-of-the-art machine learning models.

在这项研究中，我们提出了一个深入的学习优化框架，以解决动态的混合企业计划。具体而言，我们开发了双向长期内存（LSTM）框架，可以及时向前和向后处理信息，以学习最佳解决方案，以解决顺序决策问题。我们展示了我们在预测单项电容批号问题（CLSP）的最佳决策方面的方法，其中二进制变量表示是否在一个时期内产生。由于问题的动态性质，可以将CLSP视为序列标记任务，在该任务中，复发性神经网络可以捕获问题的时间动力学。计算结果表明，我们的LSTM优化（LSTM-OPT）框架大大减少了基准CLSP问题的解决方案时间，而没有太大的可行性和最佳性。例如，对于240,000多个测试实例，在85 \％级别的预测平均将CPLEX溶液的时间减少了9倍，最佳差距小于0.05 \％\％和0.4 \％\％\％\％\％的不可行性。此外，使用较短的计划范围训练的模型可以成功预测具有更长计划范围的实例的最佳解决方案。对于最困难的数据集，LSTM在25 \％级别的LSTM预测将70 CPU小时的溶液时间降低至小于2 CPU分钟，最佳差距为0.8 \％，而没有任何不可行。 LSTM-OPT框架在解决方案质量和精确方法方面，诸如Logistic回归和随机森林之类的经典ML算法（例如（$ \ ell $，s）和基于动态编程的不平等，解决方案时间的改进。我们的机器学习方法可能有益于解决类似于CLSP的顺序决策问题，CLSP需要重复，经常和快速地解决。

整数程序为代表广泛的真实计划问题提供了强大的抽象。尽管他们能够模拟一般调度问题，但解决大规模整数程序（IP）在实践中仍然是计算挑战。纳入更复杂的目标，例如鲁棒性对中断进一步加剧了计算挑战。我们呈现出良好的（神经网络IP系数提取），这是一种新颖的技术，它结合了增强学习和整数编程来解决鲁棒调度问题。更具体地说，尼斯使用加强学习在整数编程配方中大致代表复杂的目标。我们很高兴确定飞行员的分配到飞行机组计划，以减少中断的影响。我们将很好的比较（1）基线整数编程配方产生了可行的工作人员计划，（2）强大的整数编程配方，明确尝试最小化中断的影响。我们的实验表明，在各种场景中，良好的生成时间表导致33 \％至48 \％的中断比基线配方更少。此外，在更严重限制的调度方案中，强大的整数程序未能在90分钟内产生时间表，很好能够平均在不到2秒内构建强大的计划。

PV power forecasting models are predominantly based on machine learning algorithms which do not provide any insight into or explanation about their predictions (black boxes). Therefore, their direct implementation in environments where transparency is required, and the trust associated with their predictions may be questioned. To this end, we propose a two stage probabilistic forecasting framework able to generate highly accurate, reliable, and sharp forecasts yet offering full transparency on both the point forecasts and the prediction intervals (PIs). In the first stage, we exploit natural gradient boosting (NGBoost) for yielding probabilistic forecasts, while in the second stage, we calculate the Shapley additive explanation (SHAP) values in order to fully comprehend why a prediction was made. To highlight the performance and the applicability of the proposed framework, real data from two PV parks located in Southern Germany are employed. Comparative results with two state-of-the-art algorithms, namely Gaussian process and lower upper bound estimation, manifest a significant increase in the point forecast accuracy and in the overall probabilistic performance. Most importantly, a detailed analysis of the model's complex nonlinear relationships and interaction effects between the various features is presented. This allows interpreting the model, identifying some learned physical properties, explaining individual predictions, reducing the computational requirements for the training without jeopardizing the model accuracy, detecting possible bugs, and gaining trust in the model. Finally, we conclude that the model was able to develop complex nonlinear relationships which follow known physical properties as well as human logic and intuition.

电力公用事业公司依靠短期需求预测，以期待重大变化的预期调整生产和分配。该系统审查分析了2000年至2019年之间的学术期刊上发布的240份作品，专注于将人工智能（AI），统计和混合模型应用于短期负荷预测（STLF）。这项工作代表了迄今为止对该主题的最全面的审查。进行了对文献的完整分析，以确定最流行和最准确的技术以及现有的空隙。研究结果表明，尽管人工神经网络（ANN）继续成为最常用的独立技术，但研究人员已经超出了不同技术的混合组合，以利用各种方法的组合优势。审查表明，这些混合组合通常可以实现超过99％的预测精度。短期预测最成功的持续时间已被识别为每小时间隔的一天的预测。审查已确定访问培训模型所需的数据集的不足。在亚洲，欧洲，北美和澳大利亚以外的研究区域中已经确定了一个显着差距。

电力行业正在大力实施智能网格技术，以提高可靠性，可用性，安全性和效率。该实施需要技术进步，标准和法规的发展以及测试和计划。智能电网载荷预测和管理对于降低需求波动和改善连接发电机，分销商和零售商的市场机制至关重要。在政策实施或外部干预措施中，有必要分析其对电力需求的影响的不确定性，以使系统对需求的波动更加准确。本文分析了外部干预的不确定性对电力需求的影响。它实现了一种结合概率和全局预测模型的框架，使用深度学习方法来估计干预措施的因果影响分布。通过预测受影响实例的反事实分布结果，然后将其与实际结果进行对比来评估因果效应。我们将COVID-19锁定对能源使用的影响视为评估这种干预对电力需求分布的不均匀影响的案例研究。我们可以证明，在澳大利亚和某些欧洲国家的最初封锁期间，槽通常比峰值更大的下降，而平均值几乎不受影响。

评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法，从而提高计算要求。此外，随着复杂性，同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求，需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述，我们希望缩小三个学科之间的差距（1）电力供应安全性评估，（2）人工智能和（3）实验设计。为此，我们对所选应用领域进行大规模的定量审查，并制作彼此不同学科的合成。在其他发现之外，我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素，并作为未充分涵盖的应用领域的储存调度和（非）可用性。我们结束了推出了一种新的方法管道，以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。

短期负荷预测（STLF）由于复杂的时间序列（TS）是一种表达三个季节性模式和非线性趋势的挑战。本文提出了一种新的混合分层深度学习模型，涉及多个季节性，并产生两点预测和预测间隔（PIS）。它结合了指数平滑（ES）和经常性神经网络（RNN）。 ES动态提取每个单独的TS的主要组件，并启用在飞行的临时化，这在相对较小的数据集上操作时特别有用。多层RNN配备了一种新型扩张的经常性电池，旨在有效地模拟TS中的短期和长期依赖性。为了改善内部TS表示，因此模型的性能，RNN同时学习ES参数和主要映射函数将输入转换为预测。我们比较我们对几种基线方法的方法，包括古典统计方法和机器学习（ML）方法，在35个欧洲国家的STLF问题。实证研究清楚地表明，该模型具有高表现力，以解决非线性随机预测问题，包括多个季节性和显着的随机波动。实际上，它在准确性方面优于统计和最先进的ML模型。

我们基于技能评分，对确定性太阳预测进行了首次全面的荟萃分析，筛选了Google Scholar的1,447篇论文，并审查了320篇论文的全文以进行数据提取。用多元自适应回归样条模型，部分依赖图和线性回归构建和分析了4,758点的数据库。值得注意的是，分析说明了数据中最重要的非线性关系和交互项。我们量化了对重要变量的预测准确性的影响，例如预测范围，分辨率，气候条件，区域的年度太阳辐照度水平，电力系统大小和容量，预测模型，火车和测试集以及使用不同的技术和投入。通过控制预测之间的关键差异，包括位置变量，可以在全球应用分析的发现。还提供了该领域科学进步的概述。

货运运营商依靠战术规划，以以成本效益的方式设计他们的服务网络以满足需求。对于计算途径，确定性和循环服务网络设计（SND）配方用于解决大规模问题。中央投入是定期需求，即预期在规划地平线的每个时期中重复的需求。在实践中，通过时间序列预测模型预测需求，周期性需求是这些预测的平均值。然而，这只是许多可能的映射中的一个。在文献中忽略了选择该映射的问题。我们建议使用下游决策问题的结构来选择一个良好的映射。为此目的，我们介绍了一种多级数学编程制定，明确地将时间序列预测的时间序列联系起来对此感兴趣的SND问题。解决方案是定期要求估计，以最大限度地减少战术规划地平线的成本。我们报告了对加拿大国家铁路公司大规模申请的广泛实证研究。他们清楚地表明了定期需求估算问题的重要性。实际上，规划成本对不同的定期需求估计和不同于平均预测的估计产生了重要的变化，可能导致成本较低。此外，基于预测的定期需求估计相关的成本与使用实际需求的平均值获得的比较或甚至更好。

本文在线学习和优化框架内提出并开发了一种用于电力市场中风能交易的新算法。特别是，我们将梯度下降算法的组成部分自适应变体与功能驱动的新闻册模型的最新进展相结合。这导致了一种在线产品的方法，能够利用数据丰富的环境，同时适应能源发电和发电市场的非平稳特征，并且具有最小的计算负担。根据几个数值实验，对我们的方法的性能进行了分析，既显示了对非平稳性不确定参数的更好适应性和显着的经济增长。