生成模型在取样质量,多样性和特征解剖学方面的成功综合了图像数据。由于缺失的表示,时间序列的生成模型缺乏这些优势,从而捕获时间动态并允许反转进行采样。本文提出了跨期返回图(IRP)表示,以便于使用基于图像的生成对冲网络进行时间序列。该代表证明有效地捕获时间序列特征,与替代陈述相比,可靠性和尺度不变性的益处。经验基准确认这些功能并证明IRP能够具有梯度惩罚的现成的WASSERTEIN GAN来采样现实时间序列,这始于专门的基于RNN的GAN,同时降低了模型复杂性。
translated by 谷歌翻译
神经风格转移是一种强大的计算机视觉技术,可以将一个图像的艺术“样式”纳入另一个图像的“内容”。该方法背后的基本理论取决于以下假设:图像的样式由其特征的革兰氏矩阵表示,该矩阵通常是从预先训练的卷积神经网络(例如VGG-19)中提取的。这个想法并不能直接扩展到时间序列风格化,因为二维图像的样式概念与一维时间序列的样式概念不类似。在这项工作中,提出了一种新颖的时间序列样式转移的表述,以实现合成数据的生成和增强。我们介绍了时间序列的程式化功能的概念,该功能与时间序列现实主义属性直接相关,并提出了一种新型的风格化算法,称为STYLETIME,该算法使用明确的功能提取技术来结合一个时间序列的基础内容(趋势)带有另一个样式(分销属性)。此外,我们讨论了评估指标,并将我们的工作与现有的最新时间序列生成和增强方案进行比较。为了验证我们的方法的有效性,我们使用风格化的合成数据作为数据增强的手段,以提高几个预测任务上经常性神经网络模型的性能。
translated by 谷歌翻译
随着深度学习生成模型的最新进展,它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富,在现实世界中,它们通常受到限制,并且通常具有必须保证的隐私限制。因此,一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术,以概述所有可用的算法,并提出对最相关研究的分类法。将评估不同变体的效率;作为过程的重要组成部分,将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要,这些领域的进化和性能会产生更好的结果,以指导该领域的未来研究人员。
translated by 谷歌翻译
以时间序列形式出现的信号测量是医疗机学习应用中使用的最常见数据类型之一。这样的数据集的大小通常很小,收集和注释昂贵,并且可能涉及隐私问题,这阻碍了我们培训用于生物医学应用的大型,最先进的深度学习模型的能力。对于时间序列数据,我们可以用来扩展数据集大小的数据增强策略套件受到维护信号的基本属性的限制。生成对抗网络(GAN)可以用作另一种数据增强工具。在本文中,我们提出了TTS-CGAN,这是一种基于变压器的条件GAN模型,可以在现有的多级数据集上进行训练,并生成特定于类的合成时间序列序列的任意长度。我们详细介绍了模型架构和设计策略。由我们的模型生成的合成序列与真实的序列无法区分,可以用来补充或替换相同类型的真实信号,从而实现了数据增强的目标。为了评估生成的数据的质量,我们修改小波相干度量指标,以比较两组信号之间的相似性,还可以进行案例研究,其中使用合成和真实数据的混合来训练深度学习模型用于序列分类。与其他可视化技术和定性评估方法一起,我们证明TTS-CGAN生成的合成数据类似于真实数据,并且我们的模型的性能优于为时间序列数据生成而构建的其他最先进的GAN模型。
translated by 谷歌翻译
Modeling lies at the core of both the financial and the insurance industry for a wide variety of tasks. The rise and development of machine learning and deep learning models have created many opportunities to improve our modeling toolbox. Breakthroughs in these fields often come with the requirement of large amounts of data. Such large datasets are often not publicly available in finance and insurance, mainly due to privacy and ethics concerns. This lack of data is currently one of the main hurdles in developing better models. One possible option to alleviating this issue is generative modeling. Generative models are capable of simulating fake but realistic-looking data, also referred to as synthetic data, that can be shared more freely. Generative Adversarial Networks (GANs) is such a model that increases our capacity to fit very high-dimensional distributions of data. While research on GANs is an active topic in fields like computer vision, they have found limited adoption within the human sciences, like economics and insurance. Reason for this is that in these fields, most questions are inherently about identification of causal effects, while to this day neural networks, which are at the center of the GAN framework, focus mostly on high-dimensional correlations. In this paper we study the causal preservation capabilities of GANs and whether the produced synthetic data can reliably be used to answer causal questions. This is done by performing causal analyses on the synthetic data, produced by a GAN, with increasingly more lenient assumptions. We consider the cross-sectional case, the time series case and the case with a complete structural model. It is shown that in the simple cross-sectional scenario where correlation equals causation the GAN preserves causality, but that challenges arise for more advanced analyses.
translated by 谷歌翻译
Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.
translated by 谷歌翻译
时间序列数据生成近年来越来越受到关注。已经提出了几种生成的对抗网络(GaN)的方法通常是假设目标时间序列数据良好格式化并完成的假设来解决问题。然而,现实世界时间序列(RTS)数据远离该乌托邦,例如,具有可变长度的长序列和信息缺失数据,用于设计强大的发电算法的棘手挑战。在本文中,我们向RTS数据提出了一种新的生成框架 - RTSGAN来解决上述挑战。 RTSGAN首先学习编码器 - 解码器模块,该模块提供时间序列实例和固定维度潜在载体之间的映射,然后学习生成模块以在同一潜在空间中生成vectors。通过组合发电机和解码器,RTSGAN能够生成尊重原始特征分布和时间动态的RTS。为了生成具有缺失值的时间序列,我们进一步用观察嵌入层和决定和生成解码器装备了RTSGAN,以更好地利用信息缺失模式。四个RTS数据集上的实验表明,该框架在用于下游分类和预测任务的合成数据实用程序方面优于前一代方法。
translated by 谷歌翻译
Common measures of brain functional connectivity (FC) including covariance and correlation matrices are semi-positive definite (SPD) matrices residing on a cone-shape Riemannian manifold. Despite its remarkable success for Euclidean-valued data generation, use of standard generative adversarial networks (GANs) to generate manifold-valued FC data neglects its inherent SPD structure and hence the inter-relatedness of edges in real FC. We propose a novel graph-regularized manifold-aware conditional Wasserstein GAN (GR-SPD-GAN) for FC data generation on the SPD manifold that can preserve the global FC structure. Specifically, we optimize a generalized Wasserstein distance between the real and generated SPD data under an adversarial training, conditioned on the class labels. The resulting generator can synthesize new SPD-valued FC matrices associated with different classes of brain networks, e.g., brain disorder or healthy control. Furthermore, we introduce additional population graph-based regularization terms on both the SPD manifold and its tangent space to encourage the generator to respect the inter-subject similarity of FC patterns in the real data. This also helps in avoiding mode collapse and produces more stable GAN training. Evaluated on resting-state functional magnetic resonance imaging (fMRI) data of major depressive disorder (MDD), qualitative and quantitative results show that the proposed GR-SPD-GAN clearly outperforms several state-of-the-art GANs in generating more realistic fMRI-based FC samples. When applied to FC data augmentation for MDD identification, classification models trained on augmented data generated by our approach achieved the largest margin of improvement in classification accuracy among the competing GANs over baselines without data augmentation.
translated by 谷歌翻译
模拟重力波(GW)检测器环境的时间域观察将使GW源有更好的了解,增强用于GW信号检测的数据集并帮助表征探测器的噪声,从而提供更好的物理学。本文提出了一种新的方法,该方法是使用三人瓦斯汀生成对抗网络(WGAN)(称为dvgan)模拟固定长度的时间域信号,其中包括一个辅助鉴别器,该辅助歧视器在输入信号的衍生物上进行区分。一项消融研究用于比较包括带有香草两种玩家wgan的辅助导数歧视器的对抗反馈的效果。我们表明,在训练阶段,对衍生物的区分可以稳定1D连续信号的GAN组件学习。这会导致更平滑的信号与实际样本不太区分,并更好地捕获训练数据的分布。 DVGAN还用于模拟高级LIGO GW检测器中捕获的真实瞬态噪声事件。
translated by 谷歌翻译
Generating multivariate time series is a promising approach for sharing sensitive data in many medical, financial, and IoT applications. A common type of multivariate time series originates from a single source such as the biometric measurements from a medical patient. This leads to complex dynamical patterns between individual time series that are hard to learn by typical generation models such as GANs. There is valuable information in those patterns that machine learning models can use to better classify, predict or perform other downstream tasks. We propose a novel framework that takes time series' common origin into account and favors channel/feature relationships preservation. The two key points of our method are: 1) the individual time series are generated from a common point in latent space and 2) a central discriminator favors the preservation of inter-channel/feature dynamics. We demonstrate empirically that our method helps preserve channel/feature correlations and that our synthetic data performs very well in downstream tasks with medical and financial data.
translated by 谷歌翻译
建模生物软组织是由于材料异质性而部分复杂的。微观结构模式在定义这些组织的机械行为方面起着主要作用,既具有挑战性,又难以模拟。最近,基于机器学习的方法来预测异质材料的机械行为,使得更彻底地探索与异质材料块相关的大量输入参数空间。具体而言,我们可以训练机器学习(ML)模型,以近似于计算上昂贵的异质材料模拟,其中ML模型在模拟的数据集上进行了训练,该模拟捕获了感兴趣的材料中存在的空间异质性范围。但是,在更广泛地将这些技术应用于生物组织时,存在一个主要的局限性:相关的微观结构模式既具有挑战性又难以分析。因此,可用于表征正在研究的输入域的有用示例的数量有限。在这项工作中,我们研究了基于ML的生成模型以及程序方法的功效,作为增强有限输入模式数据集的工具。我们发现,具有自适应判别器增强器的基于样式的生成对抗网络能够成功利用1,000个示例模式来创建最真实的生成模式。通常,与真实模式有足够相似之处的不同生成模式可以用作有限元模拟的输入,以有意义地增强训练数据集。为了实现这一方法论贡献,我们创建了一个基于Cahn-Hilliard模式的有限元分析模拟的开放访问数据集。我们预计未来的研究人员将能够利用此数据集并基于此处介绍的工作。
translated by 谷歌翻译
在这项研究中,我们展示了如何扩展使用生成对抗网络(GAN)作为经济情景发电机(ESG)的现有方法到整个内部市场风险模型 - 具有足够的风险因素,可以为保险的全部投资范围建模。公司和偿付能力2中所需的一年时间范围内的一年时间范围。我们证明了基于GAN的内部模型的结果与欧洲的监管批准的内部模型相似。因此,基于GAN的模型可以看作是数据驱动的替代市场风险建模方式。
translated by 谷歌翻译
“轨迹”是指由地理空间中的移动物体产生的迹线,通常由一系列按时间顺序排列的点表示,其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此,许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中,我们专注于“城市车辆轨迹”,这是指城市交通网络中车辆的轨迹,我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会,可以了解城市交通网络中的车辆运动模式,包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联,因此,许多先前的研究人员使用了各种方法来理解这种结构。特别是,由于其强大的函数近似和特征表示能力,深度学习模型是由于许多研究人员的注意。因此,本文的目的是开发基于深度学习的城市车辆轨迹分析模型,以更好地了解城市交通网络的移动模式。特别是,本文重点介绍了两项研究主题,具有很高的必要性,重要性和适用性:下一个位置预测,以及合成轨迹生成。在这项研究中,我们向城市车辆轨迹分析提供了各种新型模型,使用深度学习。
translated by 谷歌翻译
以时间序列形式出现的信号测量是医疗机学习应用中使用的最常见数据类型之一。但是,这样的数据集通常很小,使深度神经网络体系结构的培训无效。对于时间序列,我们可以用来扩展数据集大小的数据增强技巧套件受到维护信号的基本属性的限制。生成对抗网络(GAN)生成的数据可以用作另一个数据增强工具。基于RNN的GAN遭受了这样一个事实,即它们无法有效地模拟具有不规则时间关系的长序列数据点。为了解决这些问题,我们介绍了TTS-GAN,这是一种基于变压器的GAN,可以成功生成与实际长度相似的任意长度的现实合成时间序列数据序列。 GAN模型的生成器和鉴别网络均使用纯变压器编码器体系结构构建。我们使用可视化和降低降低技术来证明真实和生成的时间序列数据的相似性。我们还将生成数据的质量与最佳现有替代方案进行了比较,即基于RNN的时间序列GAN。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.
translated by 谷歌翻译
In data-driven systems, data exploration is imperative for making real-time decisions. However, big data is stored in massive databases that are difficult to retrieve. Approximate Query Processing (AQP) is a technique for providing approximate answers to aggregate queries based on a summary of the data (synopsis) that closely replicates the behavior of the actual data, which can be useful where an approximate answer to the queries would be acceptable in a fraction of the real execution time. In this paper, we discuss the use of Generative Adversarial Networks (GANs) for generating tabular data that can be employed in AQP for synopsis construction. We first discuss the challenges associated with constructing synopses in relational databases and then introduce solutions to those challenges. Following that, we organized statistical metrics to evaluate the quality of the generated synopses. We conclude that tabular data complexity makes it difficult for algorithms to understand relational database semantics during training, and improved versions of tabular GANs are capable of constructing synopses to revolutionize data-driven decision-making systems.
translated by 谷歌翻译
最近在时间序列域中的合成数据生成的工作集中在使用生成的对抗网络。我们提出了一种用于综合生成时间序列数据的新型架构,使用变分自动编码器(VAES)。拟议的架构具有多种不同的特性:可解释性,编码域知识的能力,以及减少培训时间。我们通过对四个多变量数据集的相似性和可预测性评估数据生成质量。我们试验不同尺寸的培训数据,以测量数据可用性对我们VAE方法的产生质量的影响以及几种最先进的数据生成方法。我们对相似​​性测试的结果表明,VAE方法能够准确地代表原始数据的时间属性。在使用生成数据的下一步预测任务上,所提出的VAE架构一致地满足或超过最先进的数据生成方法的性能。虽然降噪可能导致所生成的数据偏离原始数据,但是我们演示了所产生的去噪数据可以使用生成的数据显着提高下一步预测的性能。最后,所提出的架构可以包含域特定的时间模式,例如多项式趋势和季节性,以提供可解释的输出。这种解释性在需要模型输出的透明度的应用中可以是非常有利的,或者用户希望将时间序列模式的先验知识注入到生成模型中。
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译
时间序列数据在现实世界应用中无处不在。但是,最常见的问题之一是,时间序列数据可能会通过数据收集过程的固有性质丢失值。因此,必须从多元(相关)时间序列数据中推出缺失值,这对于改善预测性能的同时做出准确的数据驱动决策至关重要。插补的常规工作简单地删除缺失值或基于平均/零填充它们。尽管基于深层神经网络的最新作品显示出了显着的结果,但它们仍然有一个限制来捕获多元时间序列的复杂生成过程。在本文中,我们提出了一种用于多变量时间序列数据的新型插补方法,称为sting(使用GAN基于自我注意的时间序列插补网络)。我们利用生成的对抗网络和双向复发性神经网络来学习时间序列的潜在表示。此外,我们引入了一种新型的注意机制,以捕获整个序列的加权相关性,并避免无关序列带来的潜在偏见。三个现实世界数据集的实验结果表明,刺痛在插补精度以及具有估算值的下游任务方面优于现有的最新方法。
translated by 谷歌翻译
从文本描述中综合现实图像是计算机视觉中的主要挑战。当前对图像合成方法的文本缺乏产生代表文本描述符的高分辨率图像。大多数现有的研究都依赖于生成的对抗网络(GAN)或变异自动编码器(VAE)。甘斯具有产生更清晰的图像的能力,但缺乏输出的多样性,而VAE擅长生产各种输出,但是产生的图像通常是模糊的。考虑到gan和vaes的相对优势,我们提出了一个新的有条件VAE(CVAE)和条件gan(CGAN)网络架构,用于合成以文本描述为条件的图像。这项研究使用条件VAE作为初始发电机来生成文本描述符的高级草图。这款来自第一阶段的高级草图输出和文本描述符被用作条件GAN网络的输入。第二阶段GAN产生256x256高分辨率图像。所提出的体系结构受益于条件加强和有条件的GAN网络的残留块,以实现结果。使用CUB和Oxford-102数据集进行了多个实验,并将所提出方法的结果与Stackgan等最新技术进行了比较。实验表明,所提出的方法生成了以文本描述为条件的高分辨率图像,并使用两个数据集基于Inception和Frechet Inception评分产生竞争结果
translated by 谷歌翻译