物理过程引起的随机噪声是测量的固有特征,也是大多数信号处理任务的限制因素。鉴于最近对数据驱动信号建模的生成对抗网络(GAN)的兴趣,重要的是要确定甘恩在目标数据集中忠实地再现噪声的程度。在本文中,我们提出了一项实证研究,旨在阐明时间序列的这个问题。也就是说,我们检查了两个通用时间序列gans,一种直接的时间序列模型和使用短时傅立叶变换(STFT)表示的基于图像的模型的能力,可以学习常见的广泛噪声类型在电子和通信系统中:带限制的热噪声,功率定律噪声,射击噪声和冲动噪声。我们发现,甘斯有能力学习许多噪声类型,尽管当gan架构不太适合噪音的某些方面,例如具有极端异常值的冲动时间序列时,它们可以预见。我们的发现提供了有关当前时间序列gan的能力和潜在局限性的见解,并突出了进一步研究的领域。此外,我们的一系列测试提供了一个有用的基准,可帮助开发时间序列的深层生成模型。
translated by 谷歌翻译
现代能源系统的设计和运营受到时间依赖性和不确定参数的严重影响,例如可再生发电,负荷需求和电价。这些通常由称为场景的一组离散的实现表示。一种流行的情景生成方法使用允许场景生成的深生成模型(DGM),而无需现有的数据分布。但是,生成方案的验证很困难,目前缺乏对适当的验证方法的全面讨论。为了开始讨论,我们对能源情景生成文献中当前使用的验证方法的关键评估。特别是,我们评估基于概率密度,自动相关和功率谱密度的验证方法。此外,我们建议使用多重术后波动分析(MFDFA)作为峰,爆发和平稳等非琐碎功能的额外验证方法。作为代表性的例子,我们培养了两种可再生发电时间序列(2013年到2015年德国的Photovolataic Antialsion(VAES),以及来自德国的光伏和风的变分自动化器(VAES)和一天电费时间序列在2017年至2019年形成欧洲能源交换。我们将四种验证方法应用于历史和生成的数据,并讨论验证结果的解释以及验证方法的常见错误,陷阱和局限性。我们的评估表明,没有单一方法足够特征,但理想的验证应该包括多种方法,并且在短时间内的情况下仔细解释。
translated by 谷歌翻译
模拟重力波(GW)检测器环境的时间域观察将使GW源有更好的了解,增强用于GW信号检测的数据集并帮助表征探测器的噪声,从而提供更好的物理学。本文提出了一种新的方法,该方法是使用三人瓦斯汀生成对抗网络(WGAN)(称为dvgan)模拟固定长度的时间域信号,其中包括一个辅助鉴别器,该辅助歧视器在输入信号的衍生物上进行区分。一项消融研究用于比较包括带有香草两种玩家wgan的辅助导数歧视器的对抗反馈的效果。我们表明,在训练阶段,对衍生物的区分可以稳定1D连续信号的GAN组件学习。这会导致更平滑的信号与实际样本不太区分,并更好地捕获训练数据的分布。 DVGAN还用于模拟高级LIGO GW检测器中捕获的真实瞬态噪声事件。
translated by 谷歌翻译
在本文中,我们专注于使用神经网络的时间序列数据的生成。通常情况下,输入时间序列数据仅实现了一个(通常是不规则采样)路径,这使得很难提取时间序列特征,并且其噪声结构比I.I.D更为复杂。类型。时间序列数据,尤其是来自水文,电信,经济学和金融的数据,也表现出长期记忆,也称为长期依赖性(LRD)。本文的主要目的是在神经网络的帮助下人为地生成时间序列,并考虑到路径的LRD。我们提出了FSDE-NET:神经分数随机微分方程网络。它通过使用大于一半的HURST索引的分数Brownian运动来概括神经随机微分方程模型,该方程式大于一半。我们得出FSDE-NET的求解器,并理论上分析了FSDE-NET溶液的存在和唯一性。我们对人工和实时序列数据进行的实验表明,FSDE-NET模型可以很好地复制分布属性。
translated by 谷歌翻译
Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.
translated by 谷歌翻译
$ \ Texit {Fermi} $数据中的银河系中多余(GCE)的两个领先假设是一个未解决的微弱毫秒脉冲条件(MSP)和暗物质(DM)湮灭。这些解释之间的二分法通常通过将它们建模为两个单独的发射组分来反映。然而,诸如MSP的点源(PSS)在超微弱的极限中具有统计变质的泊松发射(正式的位置,预期每个来源平均贡献远低于一个光子),导致可能提出问题的歧义如排放是否是PS样或性质中的泊松人。我们提出了一种概念上的新方法,以统一的方式描述PS和泊松发射,并且刚刚从此获得的结果中获得了对泊松组件的约束。为了实现这种方法,我们利用深度学习技术,围绕基于神经网络的方法,用于直方图回归,其表达量数量的不确定性。我们证明我们的方法对许多困扰先前接近的系统,特别是DM / PS误操作来稳健。在$ \ texit {fermi} $数据中,我们发现由$ \ sim4 \ times 10 ^ {-11} \ \ text {counts} \ {counts} \ text {counts} \ text {counts} \ \ text {cm} ^ { - 2} \ \ text {s} ^ { - 1} $(对应于$ \ sim3 - 4 $每pL期望计数),这需要$ n \ sim \ mathcal {o}( 10 ^ 4)$源来解释整个过剩(中位数价值$ n = \文本{29,300} $横跨天空)。虽然微弱,但这种SCD允许我们获得95%信心的Poissonian比赛的约束$ \ eta_p \ leq 66 \%$。这表明大量的GCE通量是由于PSS 。
translated by 谷歌翻译
Network-based analyses of dynamical systems have become increasingly popular in climate science. Here we address network construction from a statistical perspective and highlight the often ignored fact that the calculated correlation values are only empirical estimates. To measure spurious behaviour as deviation from a ground truth network, we simulate time-dependent isotropic random fields on the sphere and apply common network construction techniques. We find several ways in which the uncertainty stemming from the estimation procedure has major impact on network characteristics. When the data has locally coherent correlation structure, spurious link bundle teleconnections and spurious high-degree clusters have to be expected. Anisotropic estimation variance can also induce severe biases into empirical networks. We validate our findings with ERA5 reanalysis data. Moreover we explain why commonly applied resampling procedures are inappropriate for significance evaluation and propose a statistically more meaningful ensemble construction framework. By communicating which difficulties arise in estimation from scarce data and by presenting which design decisions increase robustness, we hope to contribute to more reliable climate network construction in the future.
translated by 谷歌翻译
我们合并计算力学的因果状态(预测等同历史)的定义与再现 - 内核希尔伯特空间(RKHS)表示推断。结果是一种广泛适用的方法,可直接从系统行为的观察中迁移因果结构,无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取,其提供了有效的因果状态及其拓扑。以这种方式,系统动态由用于在因果状态上的随机(普通或部分)微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程,它有效地发展了因果状态分布,并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术,以及他们的预测能力,在离散时间的离散时间离散 - 有限的无限值Markov订单流程,其中有限状态隐藏马尔可夫模型与(i)有限或(ii)不可数 - 无限因果态和(iii)连续时间,由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。
translated by 谷歌翻译
了解分布的整体和尾巴中的多元依赖性对于许多应用来说都是一个重要的问题,例如确保算法对于不经常但具有毁灭性效果的观测值是强大的。 Archimax Copulas是一个具有精确表示的分布家族,可以同时建模分布和分布的尾巴。与其在实践中通常进行的两者分开,不如将大量的其他信息纳入其中可能会改善观测值有限的尾巴的推断。在Archimax Copulas的随机表示的基础上,我们开发了一种非参数推断方法和采样算法。据我们所知,我们提出的方法是第一个允许高度灵活,可扩展的推理和采样算法,从而使Archimax Copulas在实际环境中增加了使用。我们在实验上与最新的密度建模技术进行了比较,结果表明,提出的方法有效地外推到尾部,同时缩放到更高的尺寸数据。我们的发现表明,所提出的算法可用于多种应用,在各种应用中,必须了解分配的批量和尾巴之间的相互作用,例如医疗保健和安全。
translated by 谷歌翻译
从随机字段或纹理中提取信息是科学中无处不在的任务,从探索性数据分析到分类和参数估计。从物理学到生物学,它往往通过功率谱分析来完成,这通常过于有限,或者使用需要大型训练的卷积神经网络(CNNS)并缺乏解释性。在本文中,我们倡导使用散射变换(Mallat 2012),这是一种强大的统计数据,它来自CNNS的数学思想,但不需要任何培训,并且是可解释的。我们表明它提供了一种相对紧凑的汇总统计数据,具有视觉解释,并在广泛的科学应用中携带大多数相关信息。我们向该估算者提供了非技术性介绍,我们认为它可以使数据分析有利于多种科学领域的模型和参数推断。有趣的是,了解散射变换的核心操作允许人们解读CNN的内部工作的许多关键方面。
translated by 谷歌翻译
我们确定有效的随机微分方程(SDE),用于基于精细的粒子或基于试剂的模拟的粗糙观察结果;然后,这些SDE提供了精细规模动力学的有用的粗替代模型。我们通过神经网络近似这些有效的SDE中的漂移和扩散率函数,可以将其视为有效的随机分解。损失函数的灵感来自于已建立的随机数值集成剂的结构(在这里,欧拉 - 玛鲁山和米尔斯坦);因此,我们的近似值可以受益于这些基本数值方案的向后误差分析。当近似粗的模型(例如平均场方程)可用时,它们还自然而然地适合“物理信息”的灰色盒识别。 Langevin型方程和随机部分微分方程(SPDE)的现有数值集成方案也可以用于训练;我们在随机强迫振荡器和随机波方程式上证明了这一点。我们的方法不需要长时间的轨迹,可以在散落的快照数据上工作,并且旨在自然处理每个快照的不同时间步骤。我们考虑了预先知道粗糙的集体观察物以及必须以数据驱动方式找到它们的情况。
translated by 谷歌翻译
Channel estimation is a critical task in multiple-input multiple-output (MIMO) digital communications that substantially effects end-to-end system performance. In this work, we introduce a novel approach for channel estimation using deep score-based generative models. A model is trained to estimate the gradient of the logarithm of a distribution and is used to iteratively refine estimates given measurements of a signal. We introduce a framework for training score-based generative models for wireless MIMO channels and performing channel estimation based on posterior sampling at test time. We derive theoretical robustness guarantees for channel estimation with posterior sampling in single-input single-output scenarios, and experimentally verify performance in the MIMO setting. Our results in simulated channels show competitive in-distribution performance, and robust out-of-distribution performance, with gains of up to $5$ dB in end-to-end coded communication performance compared to supervised deep learning methods. Simulations on the number of pilots show that high fidelity channel estimation with $25$% pilot density is possible for MIMO channel sizes of up to $64 \times 256$. Complexity analysis reveals that model size can efficiently trade performance for estimation latency, and that the proposed approach is competitive with compressed sensing in terms of floating-point operation (FLOP) count.
translated by 谷歌翻译
逆问题本质上是普遍存在的,几乎在科学和工程的几乎所有领域都出现,从地球物理学和气候科学到天体物理学和生物力学。解决反问题的核心挑战之一是解决他们的不良天性。贝叶斯推论提供了一种原则性的方法来克服这一方法,通过将逆问题提出为统计框架。但是,当推断具有大幅度的离散表示的字段(所谓的“维度的诅咒”)和/或仅以先前获取的解决方案的形式可用时。在这项工作中,我们提出了一种新的方法,可以使用深层生成模型进行有效,准确的贝叶斯反转。具体而言,我们证明了如何使用生成对抗网络(GAN)在贝叶斯更新中学到的近似分布,并在GAN的低维度潜在空间中重新解决所得的推断问题,从而有效地解决了大规模的解决方案。贝叶斯逆问题。我们的统计框架保留了潜在的物理学,并且被证明可以通过可靠的不确定性估计得出准确的结果,即使没有有关基础噪声模型的信息,这对于许多现有方法来说都是一个重大挑战。我们证明了提出方法对各种反问题的有效性,包括合成和实验观察到的数据。
translated by 谷歌翻译
最近,基于扩散的生成模型已引入语音增强的任务。干净的语音损坏被建模为固定的远期过程,其中逐渐添加了越来越多的噪声。通过学习以嘈杂的输入为条件的迭代方式扭转这一过程,可以产生干净的语音。我们以先前的工作为基础,并在随机微分方程的形式主义中得出训练任务。我们对基础分数匹配目标进行了详细的理论综述,并探索了不同的采样器配置,以解决测试时的反向过程。通过使用自然图像生成文献的复杂网络体系结构,与以前的出版物相比,我们可以显着提高性能。我们还表明,我们可以与最近的判别模型竞争,并在评估与培训不同的语料库时获得更好的概括。我们通过主观的听力测试对评估结果进行补充,其中我们提出的方法是最好的。此外,我们表明所提出的方法在单渠道语音覆盖中实现了出色的最新性能。我们的代码和音频示例可在线获得,请参见https://uhh.de/inf-sp-sgmse
translated by 谷歌翻译
我们考虑了使用显微镜或X射线散射技术产生的图像数据自组装的模型的贝叶斯校准。为了说明BCP平衡结构中的随机远程疾病,我们引入了辅助变量以表示这种不确定性。然而,这些变量导致了高维图像数据的综合可能性,通常可以评估。我们使用基于测量运输的可能性方法以及图像数据的摘要统计数据来解决这一具有挑战性的贝叶斯推理问题。我们还表明,可以计算出有关模型参数的数据中的预期信息收益(EIG),而无需额外的成本。最后,我们介绍了基于二嵌段共聚物薄膜自组装和自上而下显微镜表征的ohta-kawasaki模型的数值案例研究。为了进行校准,我们介绍了一些基于域的能量和傅立叶的摘要统计数据,并使用EIG量化了它们的信息性。我们证明了拟议方法研究数据损坏和实验设计对校准结果的影响的力量。
translated by 谷歌翻译
随着深度学习生成模型的最新进展,它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富,在现实世界中,它们通常受到限制,并且通常具有必须保证的隐私限制。因此,一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术,以概述所有可用的算法,并提出对最相关研究的分类法。将评估不同变体的效率;作为过程的重要组成部分,将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要,这些领域的进化和性能会产生更好的结果,以指导该领域的未来研究人员。
translated by 谷歌翻译
基于预测方法的深度学习已成为时间序列预测或预测的许多应用中的首选方法,通常通常优于其他方法。因此,在过去的几年中,这些方法现在在大规模的工业预测应用中无处不在,并且一直在预测竞赛(例如M4和M5)中排名最佳。这种实践上的成功进一步提高了学术兴趣,以理解和改善深厚的预测方法。在本文中,我们提供了该领域的介绍和概述:我们为深入预测的重要构建块提出了一定深度的深入预测;随后,我们使用这些构建块,调查了最近的深度预测文献的广度。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识,以在自己的项目中使用机器学习,并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中,我们讨论受监督,无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始,例如原理分析,T-SNE,聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构,例如密集的进料和常规神经网络,经常性的神经网络,受限的玻尔兹曼机器,(变性)自动编码器,生成的对抗性网络。讨论了潜在空间表示的解释性问题,并使用梦和对抗性攻击的例子。最后一部分致力于加强学习,我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
标准GPS为行为良好的流程提供了灵活的建模工具。然而,预计与高斯的偏差有望在现实世界数据集中出现,结构异常值和冲击通常会观察到。在这些情况下,GP可能无法充分建模不确定性,并且可能会过度推动。在这里,我们将GP框架扩展到一类新的时间变化的GP,从而可以直接建模重尾非高斯行为,同时通过非均匀GPS表示的无限混合物保留了可拖动的条件GP结构。有条件的GP结构是通过在潜在转化的输入空间上调节观测值来获得的,并使用L \'{e} Vy过程对潜在转化的随机演变进行建模,该过程允许贝叶斯在后端预测密度和潜在转化中的贝叶斯推断功能。我们为该模型提供了马尔可夫链蒙特卡洛推理程序,并证明了与标准GP相比的潜在好处。
translated by 谷歌翻译
预测组合在预测社区中蓬勃发展,近年来,已经成为预测研究和活动主流的一部分。现在,由单个(目标)系列产生的多个预测组合通过整合来自不同来源收集的信息,从而提高准确性,从而减轻了识别单个“最佳”预测的风险。组合方案已从没有估计的简单组合方法演变为涉及时间变化的权重,非线性组合,组件之间的相关性和交叉学习的复杂方法。它们包括结合点预测和结合概率预测。本文提供了有关预测组合的广泛文献的最新评论,并参考可用的开源软件实施。我们讨论了各种方法的潜在和局限性,并突出了这些思想如何随着时间的推移而发展。还调查了有关预测组合实用性的一些重要问题。最后,我们以当前的研究差距和未来研究的潜在见解得出结论。
translated by 谷歌翻译