生成与历史数据具有相似分布和依赖性的电力系统对于系统规划和安全评估的任务至关重要,尤其是在历史数据不足的情况下。在本文中,我们根据有条件的变异自动编码器(CVAE)神经网络体系结构描述了工业和商业客户负载概况的生成模型,由于此类配置文件的高度可变性质,该模型具有挑战性。生成的上下文负载轮廓是在一年中的一个月进行的,并与电网进行了典型的电力交换。此外,世代的质量在视觉和统计上都经过评估。实验结果表明,我们提出的CVAE模型可以捕获历史负载谱的时间特征,并以满意的单变量分布和多元依赖性生成“现实”数据。
translated by 谷歌翻译
For planning of power systems and for the calibration of operational tools, it is essential to analyse system performance in a large range of representative scenarios. When the available historical data is limited, generative models are a promising solution, but modelling high-dimensional dependencies is challenging. In this paper, a multivariate load state generating model on the basis of a conditional variational autoencoder (CVAE) neural network is proposed. Going beyond common CVAE implementations, the model includes stochastic variation of output samples under given latent vectors and co-optimizes the parameters for this output variability. It is shown that this improves statistical properties of the generated data. The quality of generated multivariate loads is evaluated using univariate and multivariate performance metrics. A generation adequacy case study on the European network is used to illustrate model's ability to generate realistic tail distributions. The experiments demonstrate that the proposed generator outperforms other data generating mechanisms.
translated by 谷歌翻译
Copulas是一种强大的工具,用于建模多变量分布,因为它们允许分别估计单变量边缘分布和联合依赖结构。然而,已知的参数Copulas提供有限的灵活性,特别是高尺寸,而常用的非参数方法遭受维度的诅咒。受欢迎的补救措施是构建一个基于树的条件双变量Copulas的层次结构。在本文中,我们提出了一种基于隐含生成神经网络的灵活,概念性的简单替代品。关键挑战是确保估计的拷贝分布的边际均匀性。我们通过学习具有未指定的边缘的多变量潜在分布而是所需的依赖结构来实现这一目标。通过应用概率积分变换,我们可以从高维拷贝分布中获得样本而不依赖参数假设或需要找到合适的树结构。来自金融,物理和图​​像生成的合成和实数据的实验证明了这种方法的性能。
translated by 谷歌翻译
Efficient energy consumption is crucial for achieving sustainable energy goals in the era of climate change and grid modernization. Thus, it is vital to understand how energy is consumed at finer resolutions such as household in order to plan demand-response events or analyze the impacts of weather, electricity prices, electric vehicles, solar, and occupancy schedules on energy consumption. However, availability and access to detailed energy-use data, which would enable detailed studies, has been rare. In this paper, we release a unique, large-scale, synthetic, residential energy-use dataset for the residential sector across the contiguous United States covering millions of households. The data comprise of hourly energy use profiles for synthetic households, disaggregated into Thermostatically Controlled Loads (TCL) and appliance use. The underlying framework is constructed using a bottom-up approach. Diverse open-source surveys and first principles models are used for end-use modeling. Extensive validation of the synthetic dataset has been conducted through comparisons with reported energy-use data. We present a detailed, open, high-resolution, residential energy-use dataset for the United States.
translated by 谷歌翻译
高通量药物筛查测定法的最新出现引发了机器学习方法的密集开发,包括预测癌细胞系对抗癌药物的敏感性的模型,以及用于生成潜在药物候选者的方法。然而,尚未全面探索具有特定特性的化合物产生具有特定特性和同时建模其功效的概念。为了满足这一需求,我们提出了Vadeers,这是一种基于各种自动编码器的药物功效估算推荐系统。化合物的产生是由具有半监视的高斯混合模型(GMM)的新型自动编码器进行的。先验定义了在潜在空间中的聚类,其中簇与特定的药物特性相关联。此外,Vadeers配备了单元线自动编码器和灵敏度预测网络。该模型结合了抗癌药物的微笑弦表示的数据,它们对蛋白激酶的抑制作用,细胞系生物学特征以及细胞系对药物的敏感性的测量。评估的Vadeers变体在真实和预测的药物敏感性估计之间达到了较高的R = 0.87 Pearson相关性。我们以一种方式训练GMM先验,使潜在空间中的簇通过其抑制作用对应于药物的预计聚类。我们表明,学到的潜在表示和新生成的数据点准确地反映了给定的聚类。总而言之,Vadeers提供了一种全面的药物和细胞系特性模型及其之间的关系,以及引导的新型化合物。
translated by 谷歌翻译
最近在时间序列域中的合成数据生成的工作集中在使用生成的对抗网络。我们提出了一种用于综合生成时间序列数据的新型架构,使用变分自动编码器(VAES)。拟议的架构具有多种不同的特性:可解释性,编码域知识的能力,以及减少培训时间。我们通过对四个多变量数据集的相似性和可预测性评估数据生成质量。我们试验不同尺寸的培训数据,以测量数据可用性对我们VAE方法的产生质量的影响以及几种最先进的数据生成方法。我们对相似​​性测试的结果表明,VAE方法能够准确地代表原始数据的时间属性。在使用生成数据的下一步预测任务上,所提出的VAE架构一致地满足或超过最先进的数据生成方法的性能。虽然降噪可能导致所生成的数据偏离原始数据,但是我们演示了所产生的去噪数据可以使用生成的数据显着提高下一步预测的性能。最后,所提出的架构可以包含域特定的时间模式,例如多项式趋势和季节性,以提供可解释的输出。这种解释性在需要模型输出的透明度的应用中可以是非常有利的,或者用户希望将时间序列模式的先验知识注入到生成模型中。
translated by 谷歌翻译
Time series anomaly detection has applications in a wide range of research fields and applications, including manufacturing and healthcare. The presence of anomalies can indicate novel or unexpected events, such as production faults, system defects, or heart fluttering, and is therefore of particular interest. The large size and complex patterns of time series have led researchers to develop specialised deep learning models for detecting anomalous patterns. This survey focuses on providing structured and comprehensive state-of-the-art time series anomaly detection models through the use of deep learning. It providing a taxonomy based on the factors that divide anomaly detection models into different categories. Aside from describing the basic anomaly detection technique for each category, the advantages and limitations are also discussed. Furthermore, this study includes examples of deep anomaly detection in time series across various application domains in recent years. It finally summarises open issues in research and challenges faced while adopting deep anomaly detection models.
translated by 谷歌翻译
智能电表数据分析有助于更好的电力系统规划和操作。本研究旨在根据使用机器学习的消费和人口统计数据来确定来自社会经济视角的住宅能源消耗模式的驱动因素。我们通过代表性负载模型消费模式,并揭示了负载模式与社会经济特征之间的关系。具体而言,我们通过以强大的方式分析现实世界智能仪表数据并通过聚类提取负载模式。我们进一步确定了对负荷模式的影响,以提高我们方法的解释性。消费者负载模式与所选社会经济特征之间的关系的特点是通过机器学习模型的特征。调查结果如下。 (1)十二个负载集群,由六个平日和周末组成,展示各种生活方式模式以及平日和周末之间的差异。 (2)各种社会经济特征,建议年龄和教育水平影响负荷模式。 (3)我们所提出的使用特征选择和机器学习的分析模型被证明比XGBoost和传统的神经网络模型更有效地绘制负载模式和社会经济特征之间的关系。
translated by 谷歌翻译
今天,采用新技术显着提高了电力系统动态。传统的长期规划研究,大多数公用事业公司基于峰值或平均值等离散功率水平执行,不能反映系统动态,并且通常无法准确地预测系统可靠性缺陷。因此,需要长期未来的连续配置文件,例如8760小时的简档,以实现基于时间序列的长期规划研究。然而,与用于操作研究的短期概况不同,产生可以反映历史时变特性和未来预期功率幅度的长期连续曲线非常具有挑战性。目前的方法,例如平均分析具有主要的缺点。为了解决这一挑战,本文提出了一种全新的方法来为多个代表类型生成这样的曲线。提出了多级轮廓合成过程以在不同时间级别捕获时变特性。基于公共数据集进行了评估的所提出的方法,并展示了产生长期连续多型生成配置文件的良好性能和应用值。
translated by 谷歌翻译
在能源系统的数字化中,传感器和智能电表越来越多地用于监视生产,运行和需求。基于智能电表数据的异常检测对于在早期阶段识别潜在的风险和异常事件至关重要,这可以作为及时启动适当动作和改善管理的参考。但是,来自能源系统的智能电表数据通常缺乏标签,并且包含噪声和各种模式,而没有明显的周期性。同时,在不同的能量场景中对异常的模糊定义和高度复杂的时间相关性对异常检测构成了巨大的挑战。许多传统的无监督异常检测算法(例如基于群集或基于距离的模型)对噪声不强大,也不完全利用时间序列中的时间依赖性以及在多个变量(传感器)中的其他依赖关系。本文提出了一种基于带有注意机制的变异复发自动编码器的无监督异常检测方法。凭借来自智能电表的“肮脏”数据,我们的方法预示了缺失的值和全球异常,以在训练中缩小其贡献。本文与基于VAE的基线方法和其他四种无监督的学习方法进行了定量比较,证明了其有效性和优势。本文通过一项实际案例研究进一步验证了所提出的方法,该研究方法是检测工业加热厂的供水温度异常。
translated by 谷歌翻译
与CNN的分类,分割或对象检测相比,生成网络的目标和方法根本不同。最初,它们不是作为图像分析工具,而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法,并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络(GAN)的动机进行了基本介绍,并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法,也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan,但对抗性训练范式本身并非特定于图像,并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前,将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点,但也可以对gans有好处。
translated by 谷歌翻译
评估能源转型和能源市场自由化对资源充足性的影响是一种越来越重要和苛刻的任务。能量系统的上升复杂性需要足够的能量系统建模方法,从而提高计算要求。此外,随着复杂性,同样调用概率评估和场景分析同样增加不确定性。为了充分和高效地解决这些各种要求,需要来自数据科学领域的新方法来加速当前方法。通过我们的系统文献综述,我们希望缩小三个学科之间的差距(1)电力供应安全性评估,(2)人工智能和(3)实验设计。为此,我们对所选应用领域进行大规模的定量审查,并制作彼此不同学科的合成。在其他发现之外,我们使用基于AI的方法和应用程序的AI方法和应用来确定电力供应模型的复杂安全性的元素,并作为未充分涵盖的应用领域的储存调度和(非)可用性。我们结束了推出了一种新的方法管道,以便在评估电力供应安全评估时充分有效地解决当前和即将到来的挑战。
translated by 谷歌翻译
我们提出了一个新颖的框架,按需运动产生(ODMO),用于生成现实和多样化的长期3D人体运动序列,该序列仅以具有额外的自定义能力的动作类型为条件。 ODMO在三个公共数据集(HumanAct12,UESTC和MOCAP)上进行评估时,对所有传统运动评估指标的SOTA方法显示了改进。此外,我们提供定性评估和定量指标,这些指标证明了我们框架提供的几种首要的自定义功能,包括模式发现,插值和轨迹自定义。这些功能大大扩大了此类运动产生模型的潜在应用的范围。编码器和解码器体系结构中的创新启用了新颖的按需生成能力:(i)编码器:在低维的潜在空间中利用对比度学习来创建运动序列的层次结构嵌入,不仅是不同动作的代码,类型形成不同的组,但在动作类型中,类似的固有模式(运动样式)聚集在一起的代码,使它们容易发现; (ii)解码器:使用层次解码策略,该策略首先重建运动轨迹,然后用于重建整个运动序列。这样的架构可以有效地控制轨迹控制。我们的代码发布在GitHub页面:https://github.com/roychowdhuryresearch/odmo
translated by 谷歌翻译
我们采用变化性AutoEncoders从单粒子Anderson杂质模型谱函数的数据集中提取物理洞察。培训AutoEncoders以查找低维,潜在的空间表示,其忠实地表征培训集的每个元素,通过重建误差测量。变形式自动化器,标准自动化器的概率概括,进一步条件促进了高度可解释的特征。在我们的研究中,我们发现学习的潜在变量与众所周知的众所周知,但非活动的参数强烈关联,这些参数表征了安德森杂质模型中的紧急行为。特别地,一种潜在的可变变量与粒子孔不对称相关,而另一个潜在的变量与杂质模型中动态产生的低能量尺度接近一对一的对应关系。使用符号回归,我们将此变量模拟了该变量作为已知的裸物理输入参数和“重新发现”的kondo温度的非扰动公式。我们开发的机器学习管道表明了一种通用方法,它开启了发现其他物理系统中的新领域知识的机会。
translated by 谷歌翻译
大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中,潜在变量模型(LVM)及其对应物占主要份额,并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM(DLVM)。我们首先讨论经典LVM的定义,理论和应用,该定义和应用既是综合教程,又是对经典LVM的简短申请调查。然后,我们对当前主流DLVM进行了彻底的介绍,重点是其理论和模型体系结构,此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言,经典的LVM具有简洁的原理和良好的解释性,但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力,可以在复杂的场景中实现令人满意的性能,但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点,并探索非神经网络的举止以建立深层模型,我们提出了一个新颖的概念,称为“轻量级Deep LVM(LDLVM)”。在提出了这个新想法之后,该文章首先阐述了LDLVM的动机和内涵,然后提供了两个新颖的LDLVM,并详尽地描述了其原理,建筑和优点。最后,讨论了前景和机会,包括重要的开放问题和可能的研究方向。
translated by 谷歌翻译
现代能源系统的设计和运营受到时间依赖性和不确定参数的严重影响,例如可再生发电,负荷需求和电价。这些通常由称为场景的一组离散的实现表示。一种流行的情景生成方法使用允许场景生成的深生成模型(DGM),而无需现有的数据分布。但是,生成方案的验证很困难,目前缺乏对适当的验证方法的全面讨论。为了开始讨论,我们对能源情景生成文献中当前使用的验证方法的关键评估。特别是,我们评估基于概率密度,自动相关和功率谱密度的验证方法。此外,我们建议使用多重术后波动分析(MFDFA)作为峰,爆发和平稳等非琐碎功能的额外验证方法。作为代表性的例子,我们培养了两种可再生发电时间序列(2013年到2015年德国的Photovolataic Antialsion(VAES),以及来自德国的光伏和风的变分自动化器(VAES)和一天电费时间序列在2017年至2019年形成欧洲能源交换。我们将四种验证方法应用于历史和生成的数据,并讨论验证结果的解释以及验证方法的常见错误,陷阱和局限性。我们的评估表明,没有单一方法足够特征,但理想的验证应该包括多种方法,并且在短时间内的情况下仔细解释。
translated by 谷歌翻译
神经网络在许多科学学科中发挥着越来越大的作用,包括物理学。变形AutoEncoders(VAE)是能够表示在低维潜空间中的高维数据的基本信息,该神经网络具有概率解释。特别是所谓的编码器网络,VAE的第一部分,其将其输入到潜伏空间中的位置,另外在该位置的方差方面提供不确定性信息。在这项工作中,介绍了对AutoEncoder架构的扩展,渔民。在该架构中,借助于Fisher信息度量,不使用编码器中的附加信息信道生成潜在空间不确定性,而是从解码器导出。这种架构具有来自理论观点的优点,因为它提供了从模型的直接不确定性量化,并且还考虑不确定的交叉相关。我们可以通过实验表明,渔民生产比可比较的VAE更准确的数据重建,并且其学习性能也明显较好地缩放了潜伏空间尺寸的数量。
translated by 谷歌翻译
基于深度学习的潜在表示已被广泛用于众多科学可视化应用,例如等法相似性分析,音量渲染,流场合成和数据减少,仅举几例。但是,现有的潜在表示主要以无监督的方式从原始数据生成,这使得很难合并域兴趣以控制潜在表示的大小和重建数据的质量。在本文中,我们提出了一种新颖的重要性驱动的潜在表示,以促进领域利益引导的科学数据可视化和分析。我们利用空间重要性图来代表各种科学利益,并将它们作为特征转化网络的输入来指导潜在的生成。我们通过与自动编码器一起训练的无损熵编码算法,进一步降低了潜在尺寸,从而提高了存储和存储效率。我们通过多个科学可视化应用程序的数据进行定性和定量评估我们方法产生的潜图的有效性和效率。
translated by 谷歌翻译
我们研究了通过机器学习从欧几里得相关函数重建光谱函数的逆问题。我们提出了一个新型的神经网络SVAE,该网络基于变异自动编码器(VAE),可以自然应用于逆问题。 SVAE的突出特征是,作为损失函数中的先验信息包含了频谱函数的地面真实值的香农 - jaynes熵项,要最小化。我们使用高斯混合模型产生的一般光谱函数训练网络。作为一项测试,我们使用由一个由一个共振峰制成的四种不同类型的物理动机函数产生的相关器,连续项和使用非相关性QCD获得的扰动光谱函数。从模拟数据测试我们发现,在大多数情况下,SVAE与重建光谱函数质量的最大熵方法(MEM)相媲美,甚至在光谱函数具有尖峰的情况下且数据数量不足的情况下,SVAE与MEM的表现相当。相关器中的点。通过在淬火晶格QCD中获得的charmonium的时间相关函数应用于$ 128^3 \ times96 $ lattices和$ 128^3 \ times48 $ lattices,我们找到了$ 128^3 \ times96 $ lattices in 0.75 $ t_c $ on 0.75 $ t_c $ on 0.75 $ t_c $,我们发现,我们找到了,我们找到了,我们找到从SVAE和MEM提取的$ \ eta_c $的共振峰值对晶格模拟中采用的时间方向($ n_ \ tau $)的点数具有很大的依赖为了解决$ \ eta_c $的命运为1.5 $ t_c $。
translated by 谷歌翻译
近年来,拥抱集群研究中的表演学习的深度学习技术引起了广泛的关注,产生了一个新开发的聚类范式,QZ。深度聚类(DC)。通常,DC型号大写AutoEncoders,以了解促进聚类过程的内在特征。如今,一个名为变变AualEncoder(VAE)的生成模型在DC研究中得到了广泛的认可。然而,平原VAE不足以察觉到综合潜在特征,导致细分性能恶化。本文提出了一种新的DC方法来解决这个问题。具体地,生成的逆势网络和VAE被聚结成了一种名为Fusion AutoEncoder(FAE)的新的AutoEncoder,以辨别出更多的辨别性表示,从而使下游聚类任务受益。此外,FAE通过深度剩余网络架构实施,进一步提高了表示学习能力。最后,将FAE的潜在空间转变为由深密神经网络的嵌入空间,用于彼此从彼此拉出不同的簇,并将数据点折叠在单个簇内。在几个图像数据集上进行的实验证明了所提出的DC模型对基线方法的有效性。
translated by 谷歌翻译