模拟重力波(GW)检测器环境的时间域观察将使GW源有更好的了解,增强用于GW信号检测的数据集并帮助表征探测器的噪声,从而提供更好的物理学。本文提出了一种新的方法,该方法是使用三人瓦斯汀生成对抗网络(WGAN)(称为dvgan)模拟固定长度的时间域信号,其中包括一个辅助鉴别器,该辅助歧视器在输入信号的衍生物上进行区分。一项消融研究用于比较包括带有香草两种玩家wgan的辅助导数歧视器的对抗反馈的效果。我们表明,在训练阶段,对衍生物的区分可以稳定1D连续信号的GAN组件学习。这会导致更平滑的信号与实际样本不太区分,并更好地捕获训练数据的分布。 DVGAN还用于模拟高级LIGO GW检测器中捕获的真实瞬态噪声事件。
translated by 谷歌翻译
Generative adversarial networks (GANs) provide a way to learn deep representations without extensively annotated training data. They achieve this through deriving backpropagation signals through a competitive process involving a pair of networks. The representations that can be learned by GANs may be used in a variety of applications, including image synthesis, semantic image editing, style transfer, image super-resolution and classification. The aim of this review paper is to provide an overview of GANs for the signal processing community, drawing on familiar analogies and concepts where possible. In addition to identifying different methods for training and constructing GANs, we also point to remaining challenges in their theory and application.
translated by 谷歌翻译
与CNN的分类,分割或对象检测相比,生成网络的目标和方法根本不同。最初,它们不是作为图像分析工具,而是生成自然看起来的图像。已经提出了对抗性训练范式来稳定生成方法,并已被证明是非常成功的 - 尽管绝不是第一次尝试。本章对生成对抗网络(GAN)的动机进行了基本介绍,并通​​过抽象基本任务和工作机制并得出了早期实用方法的困难来追溯其成功的道路。将显示进行更稳定的训练方法,也将显示出不良收敛及其原因的典型迹象。尽管本章侧重于用于图像生成和图像分析的gan,但对抗性训练范式本身并非特定于图像,并且在图像分析中也概括了任务。在将GAN与最近进入场景的进一步生成建模方法进行对比之前,将闻名图像语义分割和异常检测的架构示例。这将允许对限制的上下文化观点,但也可以对gans有好处。
translated by 谷歌翻译
我们介绍了第一个机器学习引力波搜索模拟数据挑战(MLGWSC-1)的结果。在这一挑战中,参与的小组必须从二进制黑洞合并中识别出复杂性和持续时间逐渐嵌入在逐渐更现实的噪声中的引力波信号。 4个提供的数据集中的决赛包含O3A观察的真实噪声,并发出了20秒的持续时间,其中包含进动效应和高阶模式。我们介绍了在提交前从参与者未知的1个月的测试数据中得出的6个输入算法的平均灵敏度距离和运行时。其中4个是机器学习算法。我们发现,最好的基于机器学习的算法能够以每月1个的错误警报率(FAR)的速度(FAR)实现基于匹配过滤的生产分析的敏感距离的95%。相反,对于真实的噪音,领先的机器学习搜索获得了70%。为了更高的范围,敏感距离缩小的差异缩小到某些数据集上选择机器学习提交的范围$ \ geq 200 $以优于传统搜索算法的程度。我们的结果表明,当前的机器学习搜索算法可能已经在有限的参数区域中对某些生产设置有用。为了改善最新的技术,机器学习算法需要降低他们能够检测信号并将其有效性扩展到参数空间区域的虚假警报率,在这些区域中,建模的搜索在计算上很昂贵。根据我们的发现,我们汇编了我们认为,将机器学习搜索提升到重力波信号检测中的宝贵工具,我们认为这是最重要的研究领域。
translated by 谷歌翻译
随着深度学习生成模型的最新进展,它在时间序列领域的出色表现并没有花费很长时间。用于与时间序列合作的深度神经网络在很大程度上取决于培训中使用的数据集的广度和一致性。这些类型的特征通常在现实世界中不丰富,在现实世界中,它们通常受到限制,并且通常具有必须保证的隐私限制。因此,一种有效的方法是通过添加噪声或排列并生成新的合成数据来使用\ gls {da}技术增加数据数。它正在系统地审查该领域的当前最新技术,以概述所有可用的算法,并提出对最相关研究的分类法。将评估不同变体的效率;作为过程的重要组成部分,将分析评估性能的不同指标以及有关每个模型的主要问题。这项研究的最终目的是摘要摘要,这些领域的进化和性能会产生更好的结果,以指导该领域的未来研究人员。
translated by 谷歌翻译
以时间序列形式出现的信号测量是医疗机学习应用中使用的最常见数据类型之一。这样的数据集的大小通常很小,收集和注释昂贵,并且可能涉及隐私问题,这阻碍了我们培训用于生物医学应用的大型,最先进的深度学习模型的能力。对于时间序列数据,我们可以用来扩展数据集大小的数据增强策略套件受到维护信号的基本属性的限制。生成对抗网络(GAN)可以用作另一种数据增强工具。在本文中,我们提出了TTS-CGAN,这是一种基于变压器的条件GAN模型,可以在现有的多级数据集上进行训练,并生成特定于类的合成时间序列序列的任意长度。我们详细介绍了模型架构和设计策略。由我们的模型生成的合成序列与真实的序列无法区分,可以用来补充或替换相同类型的真实信号,从而实现了数据增强的目标。为了评估生成的数据的质量,我们修改小波相干度量指标,以比较两组信号之间的相似性,还可以进行案例研究,其中使用合成和真实数据的混合来训练深度学习模型用于序列分类。与其他可视化技术和定性评估方法一起,我们证明TTS-CGAN生成的合成数据类似于真实数据,并且我们的模型的性能优于为时间序列数据生成而构建的其他最先进的GAN模型。
translated by 谷歌翻译
物理过程引起的随机噪声是测量的固有特征,也是大多数信号处理任务的限制因素。鉴于最近对数据驱动信号建模的生成对抗网络(GAN)的兴趣,重要的是要确定甘恩在目标数据集中忠实地再现噪声的程度。在本文中,我们提出了一项实证研究,旨在阐明时间序列的这个问题。也就是说,我们检查了两个通用时间序列gans,一种直接的时间序列模型和使用短时傅立叶变换(STFT)表示的基于图像的模型的能力,可以学习常见的广泛噪声类型在电子和通信系统中:带限制的热噪声,功率定律噪声,射击噪声和冲动噪声。我们发现,甘斯有能力学习许多噪声类型,尽管当gan架构不太适合噪音的某些方面,例如具有极端异常值的冲动时间序列时,它们可以预见。我们的发现提供了有关当前时间序列gan的能力和潜在局限性的见解,并突出了进一步研究的领域。此外,我们的一系列测试提供了一个有用的基准,可帮助开发时间序列的深层生成模型。
translated by 谷歌翻译
机器学习中的半监管可用于搜索信号加背景区域未标记的新物理学。这强烈降低了搜索标准模型的信号的模型依赖性。这种方法显示了过度拟合可以产生假信号的缺点。折腾玩具蒙特卡罗(MC)事件可用于通过频繁推断估计相应的试验因子。但是,基于完全检测器模拟的MC事件是资源密集型的。生成的对抗网络(GANS)可用于模拟MC发生器。 GANS是强大的生成模型,但经常遭受培训不稳定。今后我们展示了对GAN的审查。我们倡导使用Wassersein Gan(Wan)的重量剪裁和渐变刑罚(Wan-GP),批评评论者的渐变率是对其投入的惩罚。在多Lepton异常的出现之后,我们在LHC的$ B $ -Quark结合时使用GANS为Di-Leptons最终状态。找到MC和Wgan-GP生成的事件之间的良好一致性,用于研究中选择的可观察结果。
translated by 谷歌翻译
Quantum machine learning (QML) has received increasing attention due to its potential to outperform classical machine learning methods in various problems. A subclass of QML methods is quantum generative adversarial networks (QGANs) which have been studied as a quantum counterpart of classical GANs widely used in image manipulation and generation tasks. The existing work on QGANs is still limited to small-scale proof-of-concept examples based on images with significant down-scaling. Here we integrate classical and quantum techniques to propose a new hybrid quantum-classical GAN framework. We demonstrate its superior learning capabilities by generating $28 \times 28$ pixels grey-scale images without dimensionality reduction or classical pre/post-processing on multiple classes of the standard MNIST and Fashion MNIST datasets, which achieves comparable results to classical frameworks with 3 orders of magnitude less trainable generator parameters. To gain further insight into the working of our hybrid approach, we systematically explore the impact of its parameter space by varying the number of qubits, the size of image patches, the number of layers in the generator, the shape of the patches and the choice of prior distribution. Our results show that increasing the quantum generator size generally improves the learning capability of the network. The developed framework provides a foundation for future design of QGANs with optimal parameter set tailored for complex image generation tasks.
translated by 谷歌翻译
生成的对抗网络(GANS)是用于各种应用的一类生成模型,但是已知它们遭受模式崩溃问题,其中由发电机忽略目标分布的一些模式。使用新数据生成程序的调查研究表明,发电机的模式崩溃是由鉴别者在先前看到的样本上维持分类准确性的模式,这是一种被持续学习的灾难性遗忘的现象。这种观察的动机,我们介绍了一种新颖的培训程序,可以自适应地产生额外的鉴别者来记住以前的一代模式。在几个数据集上,我们表明我们的培训方案可以插入现有的GaN框架,以减轻模式崩溃并改进GaN评估的标准度量。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识,以在自己的项目中使用机器学习,并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中,我们讨论受监督,无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始,例如原理分析,T-SNE,聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构,例如密集的进料和常规神经网络,经常性的神经网络,受限的玻尔兹曼机器,(变性)自动编码器,生成的对抗性网络。讨论了潜在空间表示的解释性问题,并使用梦和对抗性攻击的例子。最后一部分致力于加强学习,我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
Common measures of brain functional connectivity (FC) including covariance and correlation matrices are semi-positive definite (SPD) matrices residing on a cone-shape Riemannian manifold. Despite its remarkable success for Euclidean-valued data generation, use of standard generative adversarial networks (GANs) to generate manifold-valued FC data neglects its inherent SPD structure and hence the inter-relatedness of edges in real FC. We propose a novel graph-regularized manifold-aware conditional Wasserstein GAN (GR-SPD-GAN) for FC data generation on the SPD manifold that can preserve the global FC structure. Specifically, we optimize a generalized Wasserstein distance between the real and generated SPD data under an adversarial training, conditioned on the class labels. The resulting generator can synthesize new SPD-valued FC matrices associated with different classes of brain networks, e.g., brain disorder or healthy control. Furthermore, we introduce additional population graph-based regularization terms on both the SPD manifold and its tangent space to encourage the generator to respect the inter-subject similarity of FC patterns in the real data. This also helps in avoiding mode collapse and produces more stable GAN training. Evaluated on resting-state functional magnetic resonance imaging (fMRI) data of major depressive disorder (MDD), qualitative and quantitative results show that the proposed GR-SPD-GAN clearly outperforms several state-of-the-art GANs in generating more realistic fMRI-based FC samples. When applied to FC data augmentation for MDD identification, classification models trained on augmented data generated by our approach achieved the largest margin of improvement in classification accuracy among the competing GANs over baselines without data augmentation.
translated by 谷歌翻译
频谱图分类在分析引力波数据中起重要作用。在本文中,我们提出了一个框架来通过使用生成对抗网络(GAN)来改善分类性能。由于注释光谱图需要大量的努力和专业知识,因此训练示例的数量非常有限。但是,众所周知,只有当训练集的样本量足够大时,深层网络才能表现良好。此外,不同类别中的样本数量不平衡也会阻碍性能。为了解决这些问题,我们提出了一个基于GAN的数据增强框架。虽然无法在频谱图上应用常规图像的标准数据增强方法,但我们发现,甘恩(Progan)的一种变体能够生成高分辨率频谱图,这些光谱图与高分辨率原始图像的质量一致并提供了理想的多样性。我们通过将{\ it Gravity间谍}数据集中的小故障与GAN生成的频谱图分类为训练,从而验证了我们的框架。我们表明,所提出的方法可以为使用深网的分类提供转移学习的替代方法,即使用高分辨率GAN进行数据增强。此外,可以大大降低分类性能的波动,用于训练和评估的小样本量。在我们的框架中,使用训练有素的网络,我们还检查了{\ it Gravity Spy}中标签异常的频谱图。
translated by 谷歌翻译
在过去的几十年中,数据科学领域已经存在着激烈的进展,而其他学科则不断受益于此。结构健康监测(SHM)是使用人工智能(AI)的那些领域之一,例如机器学习(ML)和深度学习(DL)算法,用于基于所收集的数据的民用结构的条件评估。 ML和DL方法需要大量的培训程序数据;但是,在SHM中,来自民间结构的数据收集非常详尽;特别是获得有用的数据(相关数据损坏)可能非常具有挑战性。本文使用1-D Wasserstein深卷积生成的对抗网络,使用梯度惩罚(1-D WDCGAN-GP)进行合成标记的振动数据生成。然后,通过使用1-D深卷积神经网络(1-D DCNN)来实现在不同级别的合成增强振动数据集的结构损伤检测。损伤检测结果表明,1-D WDCAN-GP可以成功地利用以解决基于振动的民用结构的损伤诊断数据稀缺。关键词:结构健康监测(SHM),结构损伤诊断,结构损伤检测,1-D深卷积神经网络(1-D DCNN),1-D生成对抗网络(1-D GAN),深卷积生成的对抗网络( DCGAN),Wassersein生成的对抗性网络具有梯度惩罚(WAN-GP)
translated by 谷歌翻译
Generating multivariate time series is a promising approach for sharing sensitive data in many medical, financial, and IoT applications. A common type of multivariate time series originates from a single source such as the biometric measurements from a medical patient. This leads to complex dynamical patterns between individual time series that are hard to learn by typical generation models such as GANs. There is valuable information in those patterns that machine learning models can use to better classify, predict or perform other downstream tasks. We propose a novel framework that takes time series' common origin into account and favors channel/feature relationships preservation. The two key points of our method are: 1) the individual time series are generated from a common point in latent space and 2) a central discriminator favors the preservation of inter-channel/feature dynamics. We demonstrate empirically that our method helps preserve channel/feature correlations and that our synthetic data performs very well in downstream tasks with medical and financial data.
translated by 谷歌翻译
引力波(GW)检测现在是普遍的,并且随着GW探测器的全球网络的灵敏度,我们将观察每年瞬态GW事件的$ \ MATHCAL {O}(100)美元。用于估计其源参数的目前的方法采用最佳敏感但是计算昂贵的贝叶斯推理方法,其中典型的分析在6小时和5天之间取。对于二元中子星和中子星黑洞系统提示,预计在1秒 - 1分钟的时间尺度和用于提醒EM随访观察员的最快方法,可以提供估计在$ \ mathcal {o }(1)$分钟,在有限的关键源参数范围内。在这里,我们表明,在二进制黑洞信号上预先培训的条件变形Autiachoder可以返回贝叶斯后概率估计。仅针对给定的先前参数空间执行一次训练程序,然后可以将所得培训的机器能够生成描述后部分配$ \ SIM 6 $幅度的样本比现有技术更快。
translated by 谷歌翻译
Generative Adversarial Networks (GANs) have received wide acclaim among the machine learning (ML) community for their ability to generate realistic 2D images. ML is being applied more often to complex problems beyond those of computer vision. However, current frameworks often serve as black boxes and lack physics embeddings, leading to poor ability in enforcing constraints and unreliable models. In this work, we develop physics embeddings that can be stringently imposed, referred to as hard constraints, in the neural network architecture. We demonstrate their capability for 3D turbulence by embedding them in GANs, particularly to enforce the mass conservation constraint in incompressible fluid turbulence. In doing so, we also explore and contrast the effects of other methods of imposing physics constraints within the GANs framework, especially penalty-based physics constraints popular in literature. By using physics-informed diagnostics and statistics, we evaluate the strengths and weaknesses of our approach and demonstrate its feasibility.
translated by 谷歌翻译
生成模型在取样质量,多样性和特征解剖学方面的成功综合了图像数据。由于缺失的表示,时间序列的生成模型缺乏这些优势,从而捕获时间动态并允许反转进行采样。本文提出了跨期返回图(IRP)表示,以便于使用基于图像的生成对冲网络进行时间序列。该代表证明有效地捕获时间序列特征,与替代陈述相比,可靠性和尺度不变性的益处。经验基准确认这些功能并证明IRP能够具有梯度惩罚的现成的WASSERTEIN GAN来采样现实时间序列,这始于专门的基于RNN的GAN,同时降低了模型复杂性。
translated by 谷歌翻译
以时间序列形式出现的信号测量是医疗机学习应用中使用的最常见数据类型之一。但是,这样的数据集通常很小,使深度神经网络体系结构的培训无效。对于时间序列,我们可以用来扩展数据集大小的数据增强技巧套件受到维护信号的基本属性的限制。生成对抗网络(GAN)生成的数据可以用作另一个数据增强工具。基于RNN的GAN遭受了这样一个事实,即它们无法有效地模拟具有不规则时间关系的长序列数据点。为了解决这些问题,我们介绍了TTS-GAN,这是一种基于变压器的GAN,可以成功生成与实际长度相似的任意长度的现实合成时间序列数据序列。 GAN模型的生成器和鉴别网络均使用纯变压器编码器体系结构构建。我们使用可视化和降低降低技术来证明真实和生成的时间序列数据的相似性。我们还将生成数据的质量与最佳现有替代方案进行了比较,即基于RNN的时间序列GAN。
translated by 谷歌翻译
Electronic Health Records (EHRs) are a valuable asset to facilitate clinical research and point of care applications; however, many challenges such as data privacy concerns impede its optimal utilization. Deep generative models, particularly, Generative Adversarial Networks (GANs) show great promise in generating synthetic EHR data by learning underlying data distributions while achieving excellent performance and addressing these challenges. This work aims to review the major developments in various applications of GANs for EHRs and provides an overview of the proposed methodologies. For this purpose, we combine perspectives from healthcare applications and machine learning techniques in terms of source datasets and the fidelity and privacy evaluation of the generated synthetic datasets. We also compile a list of the metrics and datasets used by the reviewed works, which can be utilized as benchmarks for future research in the field. We conclude by discussing challenges in GANs for EHRs development and proposing recommended practices. We hope that this work motivates novel research development directions in the intersection of healthcare and machine learning.
translated by 谷歌翻译