本文介绍了一种用于开发面向控制的建筑物的散热模型的数据驱动建模方法。这些型号是通过降低能耗成本的目标而开发的，同时控制建筑物的室内温度，在所需的舒适度限制内。结合白/灰盒物理模型的可解释性和神经网络的表现力，我们提出了一种物理知识的神经网络方法，用于这种建模任务。除了测量的数据和构建参数之外，我们将通过管理这些建筑物的热行为的底层物理编码神经网络。因此，实现了由物理学引导的模型，有助于建模室温和功耗的时间演化以及隐藏状态，即建筑物热质量的温度。这项工作的主要研究贡献是：（1）我们提出了两种物理学的变种信息，为机构的控制定向热建模任务提供了通知的神经网络架构，（2）我们展示这些架构是数据效率的，需要更少培训数据与传统的非物理知识的神经网络相比，（3）我们表明这些架构比传统的神经网络实现更准确的预测，用于更长的预测视野。我们使用模拟和实际字数据测试所提出的架构的预测性能，以演示（2）和（3），并显示所提出的物理知识的神经网络架构可以用于该控制导向的建模问题。

由于其高能量强度，建筑物在当前全球能源转型中发挥着重要作用。建筑模型是普遍无处不在的，因为在建筑物的每个阶段都需要它们，即设计，改装和控制操作。基于物理方程式的古典白盒式模型必然遵循物理规律，但其底层结构的具体设计可能会阻碍他们的表现力，从而阻碍他们的准确性。另一方面，黑匣子型号更适合捕获非线性建筑动态，因此通常可以实现更好的准确性，但它们需要大量的数据，并且可能不会遵循物理规律，这是神经网络特别常见的问题（NN）模型。为了抵消这种已知的概括问题，最近介绍了物理知识的NNS，研究人员在NNS的结构中介绍了以底层底层物理法律接地，并避免经典的NN概括问题。在这项工作中，我们介绍了一种新的物理信息的NN架构，被称为身体一致的NN（PCNN），其仅需要过去的运行数据并且没有工程开销，包括在并联运行到经典NN的线性模块中的先前知识。我们正式证明，这些网络是物理上一致的 - 通过设计甚至在看不见的数据 - 关于不同的控制输入和邻近区域的温度。我们在案例研究中展示了他们的表现，其中PCNN比3美元的古典物理型电阻电容模型更好地获得高达50美元的准确性。此外，尽管结构受到约束的结构，但PCNNS在验证数据上对古典NNS对古典NNS进行了类似的性能，使训练数据较少，并保留高表达性以解决泛化问题。

Energy consumption in buildings, both residential and commercial, accounts for approximately 40% of all energy usage in the U.S., and similar numbers are being reported from countries around the world. This significant amount of energy is used to maintain a comfortable, secure, and productive environment for the occupants. So, it is crucial that the energy consumption in buildings must be optimized, all the while maintaining satisfactory levels of occupant comfort, health, and safety. Recently, Machine Learning has been proven to be an invaluable tool in deriving important insights from data and optimizing various systems. In this work, we review the ways in which machine learning has been leveraged to make buildings smart and energy-efficient. For the convenience of readers, we provide a brief introduction of several machine learning paradigms and the components and functioning of each smart building system we cover. Finally, we discuss challenges faced while implementing machine learning algorithms in smart buildings and provide future avenues for research at the intersection of smart buildings and machine learning.

With more and more data being collected, data-driven modeling methods have been gaining in popularity in recent years. While physically sound, classical gray-box models are often cumbersome to identify and scale, and their accuracy might be hindered by their limited expressiveness. On the other hand, classical black-box methods, typically relying on Neural Networks (NNs) nowadays, often achieve impressive performance, even at scale, by deriving statistical patterns from data. However, they remain completely oblivious to the underlying physical laws, which may lead to potentially catastrophic failures if decisions for real-world physical systems are based on them. Physically Consistent Neural Networks (PCNNs) were recently developed to address these aforementioned issues, ensuring physical consistency while still leveraging NNs to attain state-of-the-art accuracy. In this work, we scale PCNNs to model building temperature dynamics and propose a thorough comparison with classical gray-box and black-box methods. More precisely, we design three distinct PCNN extensions, thereby exemplifying the modularity and flexibility of the architecture, and formally prove their physical consistency. In the presented case study, PCNNs are shown to achieve state-of-the-art accuracy, even outperforming classical NN-based models despite their constrained structure. Our investigations furthermore provide a clear illustration of NNs achieving seemingly good performance while remaining completely physics-agnostic, which can be misleading in practice. While this performance comes at the cost of computational complexity, PCNNs on the other hand show accuracy improvements of 17-35% compared to all other physically consistent methods, paving the way for scalable physically consistent models with state-of-the-art performance.

This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.

Heating in private households is a major contributor to the emissions generated today. Heat pumps are a promising alternative for heat generation and are a key technology in achieving our goals of the German energy transformation and to become less dependent on fossil fuels. Today, the majority of heat pumps in the field are controlled by a simple heating curve, which is a naive mapping of the current outdoor temperature to a control action. A more advanced control approach is model predictive control (MPC) which was applied in multiple research works to heat pump control. However, MPC is heavily dependent on the building model, which has several disadvantages. Motivated by this and by recent breakthroughs in the field, this work applies deep reinforcement learning (DRL) to heat pump control in a simulated environment. Through a comparison to MPC, it could be shown that it is possible to apply DRL in a model-free manner to achieve MPC-like performance. This work extends other works which have already applied DRL to building heating operation by performing an in-depth analysis of the learned control strategies and by giving a detailed comparison of the two state-of-the-art control methods.

建筑物中的加热和冷却系统占全球能源使用的31 \％，其中大部分受基于规则的控制器（RBC）调节，这些控制器（RBC）既不通过与电网进行最佳交互来最大化能源效率或最小化排放。通过强化学习（RL）的控制已显示可显着提高建筑能源效率，但是现有的解决方案需要访问世界上每栋建筑物都无法期望的特定建筑模拟器或数据。作为回应，我们表明可以在没有这样的知识的情况下获得减少排放的政策，这是我们称为零射击建筑物控制的范式。我们结合了系统识别和基于模型的RL的想法，以创建PEARL（概率避免发射的增强学习），并表明建立表现模型所需的短期积极探索是所需的。在三个不同的建筑能源模拟的实验中，我们显示珍珠在所有情况下都优于现有的RBC，并且在所有情况下，流行的RL基线，在维持热舒适度的同时，将建筑物排放量减少了31 \％。我们的源代码可通过https://enjeener.io/projects/pearl在线获得。

建筑物中的供暖和冷却系统占全球能源使用的31％，其中大部分受基于规则的控制器（RBC）调节，这些控制器（RBC）既不通过与网格最佳交互来最大程度地提高能源效率或最小化排放。通过增强学习（RL）的控制已显示可显着提高建筑能源效率，但是现有的解决方案需要在模拟器中进行预训练，这些模拟器对世界上每栋建筑物的获得非常昂贵。作为回应，我们表明可以通过结合系统识别和基于模型的RL的想法来对建筑物进行安全，零射击的控制。我们称这种组合珍珠（概率避免施加加固的增强学习），并表明它可以减少排放而无需预先培训，只需要三个小时的调试期。在三个不同的建筑能源模拟的实验中，我们显示珍珠在所有情况下都胜过现有的RBC，并且在所有情况下，流行的RL基线，在维持热舒适度的同时，将建筑物排放量降低了31％。

The decarbonization of buildings presents new challenges for the reliability of the electrical grid as a result of the intermittency of renewable energy sources and increase in grid load brought about by end-use electrification. To restore reliability, grid-interactive efficient buildings can provide flexibility services to the grid through demand response. Residential demand response programs are hindered by the need for manual intervention by customers. To maximize the energy flexibility potential of residential buildings, an advanced control architecture is needed. Reinforcement learning is well-suited for the control of flexible resources as it is able to adapt to unique building characteristics compared to expert systems. Yet, factors hindering the adoption of RL in real-world applications include its large data requirements for training, control security and generalizability. Here we address these challenges by proposing the MERLIN framework and using a digital twin of a real-world 17-building grid-interactive residential community in CityLearn. We show that 1) independent RL-controllers for batteries improve building and district level KPIs compared to a reference RBC by tailoring their policies to individual buildings, 2) despite unique occupant behaviours, transferring the RL policy of any one of the buildings to other buildings provides comparable performance while reducing the cost of training, 3) training RL-controllers on limited temporal data that does not capture full seasonality in occupant behaviour has little effect on performance. Although, the zero-net-energy (ZNE) condition of the buildings could be maintained or worsened as a result of controlled batteries, KPIs that are typically improved by ZNE condition (electricity price and carbon emissions) are further improved when the batteries are managed by an advanced controller.

这篇综述解决了在深度强化学习（DRL）背景下学习测量数据的抽象表示的问题。尽管数据通常是模棱两可，高维且复杂的解释，但许多动态系统可以通过一组低维状态变量有效地描述。从数据中发现这些状态变量是提高数据效率，稳健性和DRL方法的概括，应对维度的诅咒以及将可解释性和见解带入Black-Box DRL的关键方面。这篇综述通过描述用于学习世界的学习代表的主要深度学习工具，提供对方法和原则的系统观点，总结应用程序，基准和评估策略，并讨论开放的方式，从而提供了DRL中无监督的代表性学习的全面概述，挑战和未来的方向。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

过去半年来，从控制和强化学习社区的真实机器人部署的安全学习方法的贡献数量急剧上升。本文提供了一种简洁的但整体审查，对利用机器学习实现的最新进展，以实现在不确定因素下的安全决策，重点是统一控制理论和加固学习研究中使用的语言和框架。我们的评论包括：基于学习的控制方法，通过学习不确定的动态，加强学习方法，鼓励安全或坚固性的加固学习方法，以及可以正式证明学习控制政策安全的方法。随着基于数据和学习的机器人控制方法继续获得牵引力，研究人员必须了解何时以及如何最好地利用它们在安全势在必行的现实情景中，例如在靠近人类的情况下操作时。我们突出了一些开放的挑战，即将在未来几年推动机器人学习领域，并强调需要逼真的物理基准的基准，以便于控制和加固学习方法之间的公平比较。

我们提出了一个混合工业冷却系统模型，该模型将分析解决方案嵌入多物理模拟中。该模型设计用于增强学习（RL）应用程序，并平衡简单性与模拟保真度和解释性。该模型的忠诚度根据大规模冷却系统的现实世界数据进行了评估。接下来是一个案例研究，说明如何将模型用于RL研究。为此，我们开发了一个工业任务套件，该套件允许指定不同的问题设置和复杂性水平，并使用它来评估不同RL算法的性能。

动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。

增强学习（RL）是多能管理系统的有前途的最佳控制技术。它不需要先验模型 - 降低了前期和正在进行的项目特定工程工作，并且能够学习基础系统动力学的更好表示。但是，香草RL不能提供约束满意度的保证 - 导致其在安全至关重要的环境中产生各种不安全的互动。在本文中，我们介绍了两种新颖的安全RL方法，即SafeFallback和Afvafe，其中安全约束配方与RL配方脱钩，并且提供了硬构成满意度，可以保证在培训（探索）和开发过程中（近距离） ）最佳政策。在模拟的多能系统案例研究中，我们已经表明，这两种方法均与香草RL基准相比（94,6％和82,8％，而35.5％）和香草RL基准相比明显更高的效用（即有用的政策）开始。提出的SafeFallback方法甚至可以胜过香草RL基准（102,9％至100％）。我们得出的结论是，这两种方法都是超越RL的安全限制处理技术，正如随机代理所证明的，同时仍提供坚硬的保证。最后，我们向I.A.提出了基本的未来工作。随着更多数据可用，改善约束功能本身。

元学习是机器学习的一个分支，它训练神经网络模型以合成各种数据，以快速解决新问题。在过程控制中，许多系统具有相似且充分理解的动力学，这表明可以通过元学习创建可推广的控制器是可行的。在这项工作中，我们制定了一种元加强学习（META-RL）控制策略，该策略可用于调整比例的整体控制器。我们的Meta-RL代理具有复发结构，该结构累积了“上下文”，以通过闭环中的隐藏状态变量学习系统的动力学。该体系结构使代理能够自动适应过程动力学的变化。在此处报告的测试中，对元RL代理完全离线训练了一阶和时间延迟系统，并从相同的训练过程动力学分布中得出的新型系统产生了出色的效果。一个关键的设计元素是能够在模拟环境中训练期间离线利用基于模型的信息，同时保持无模型的策略结构，以与真实过程动态不确定性的新过程进行交互。元学习是一种构建样品有效智能控制器的有前途的方法。

从意外的外部扰动中恢复的能力是双模型运动的基本机动技能。有效的答复包括不仅可以恢复平衡并保持稳定性的能力，而且在平衡恢复物质不可行时，也可以保证安全的方式。对于与双式运动有关的机器人，例如人形机器人和辅助机器人设备，可帮助人类行走，设计能够提供这种稳定性和安全性的控制器可以防止机器人损坏或防止伤害相关的医疗费用。这是一个具有挑战性的任务，因为它涉及用触点产生高维，非线性和致动系统的高动态运动。尽管使用基于模型和优化方法的前进方面，但诸如广泛领域知识的要求，诸如较大的计算时间和有限的动态变化的鲁棒性仍然会使这个打开问题。在本文中，为了解决这些问题，我们开发基于学习的算法，能够为两种不同的机器人合成推送恢复控制政策：人形机器人和有助于双模型运动的辅助机器人设备。我们的工作可以分为两个密切相关的指示：1）学习人形机器人的安全下降和预防策略，2）使用机器人辅助装置学习人类的预防策略。为实现这一目标，我们介绍了一套深度加强学习（DRL）算法，以学习使用这些机器人时提高安全性的控制策略。

随着数据的不断增加，将现代机器学习方法应用于建模和控制等领域的兴趣爆炸。但是，尽管这种黑盒模型具有灵活性和令人惊讶的准确性，但仍然很难信任它们。结合两种方法的最新努力旨在开发灵活的模型，这些模型仍然可以很好地推广。我们称为混合分析和建模（HAM）的范式。在这项工作中，我们调查了使用数据驱动模型纠正基于错误的物理模型的纠正源术语方法（COSTA）。这使我们能够开发出可以进行准确预测的模型，即使问题的基本物理学尚未得到充分理解。我们将Costa应用于铝电解电池中的Hall-H \'Eroult工艺。我们证明该方法提高了准确性和预测稳定性，从而产生了总体可信赖的模型。

Data Centers are huge power consumers, both because of the energy required for computation and the cooling needed to keep servers below thermal redlining. The most common technique to minimize cooling costs is increasing data room temperature. However, to avoid reliability issues, and to enhance energy efficiency, there is a need to predict the temperature attained by servers under variable cooling setups. Due to the complex thermal dynamics of data rooms, accurate runtime data center temperature prediction has remained as an important challenge. By using Gramatical Evolution techniques, this paper presents a methodology for the generation of temperature models for data centers and the runtime prediction of CPU and inlet temperature under variable cooling setups. As opposed to time costly Computational Fluid Dynamics techniques, our models do not need specific knowledge about the problem, can be used in arbitrary data centers, re-trained if conditions change and have negligible overhead during runtime prediction. Our models have been trained and tested by using traces from real Data Center scenarios. Our results show how we can fully predict the temperature of the servers in a data rooms, with prediction errors below 2 C and 0.5 C in CPU and server inlet temperature respectively.

基于机器的最先进的模型是建筑物建模和预测能量行为的流行选择，因为给出了足够的数据，即使在复杂性禁止分析描述的情况下，它们也擅长查找时空模式和结构。但是，基于机器学习的模型用于构建能源预测的模型难以推广到数据中未表示的样本外场景，因为它们的体系结构通常不符合与能源传递现象相关的机械结构的物理对应。因此，他们对看不见的初始条件和边界条件的预测能力完全取决于数据中的代表性，这在构建测量数据中不能保证。因此，这些限制阻碍了它们对现实世界工程应用的应用，例如数字双胞胎的能源管理。作为回应，我们提出了一个域名适应框架，旨在利用对建筑物中能量行为的现象的众所周知的理解，以预测除建筑物测量数据之外的样本场景。更具体地说，我们使用低级别的线性时间不变状态空间模型表示能量行为的机理知识，然后利用其管理结构来预测目标能源系统，仅可用建筑物测量数据。我们通过使在物理衍生的子空间保持一致，该物理衍生的子空间控制全球状态空间行为更接近于测量数据的目标子空间。在最初的探索中，我们专注于线性能源系统。我们通过改变源和目标系统的热物理特性，以证明机械模型从物理学到测量数据的可传递性来测试基于子空间的DA框架。