我们表明,生成对抗网络(GAN)的训练可能不具有良好的泛化属性;例如,训练可能看起来成功,但训练分布可能远离标准指标中的目标分布。然而,对于称为神经网络距离的较弱度量,确实会出现泛化。还表明,当发电机容量和训练集大小合适时,对于具有自然训练目标的特殊类别的发电机,在识别器/发电机游戏中存在近似纯正平衡。这种均衡的存在激发了MIX + GAN协议,该协议可以与任何现有的GAN训练结合,并且凭经验证明可以改进其中的一些。
translated by 谷歌翻译
Despite the growing prominence of generative adversarial networks (GANs),optimization in GANs is still a poorly understood topic. In this paper, weanalyze the "gradient descent" form of GAN optimization i.e., the naturalsetting where we simultaneously take small gradient steps in both generator anddiscriminator parameters. We show that even though GAN optimization does notcorrespond to a convex-concave game (even for simple parameterizations), underproper conditions, equilibrium points of this optimization procedure are still\emph{locally asymptotically stable} for the traditional GAN formulation. Onthe other hand, we show that the recently proposed Wasserstein GAN can havenon-convergent limit cycles near equilibrium. Motivated by this stabilityanalysis, we propose an additional regularization term for gradient descent GANupdates, which \emph{is} able to guarantee local stability for both the WGANand the traditional GAN, and also shows practical promise in speeding upconvergence and addressing mode collapse.
translated by 谷歌翻译
最近的工作表明,GAN培训的绝对连续数据和发电机分布的局部收敛。在本文中,我们证明了对绝对连续性的要求是必要的:我们描述了一个简单而又原型的反例,表明在更为现实的分布不是绝对连续的情况下,非规范化的GAN训练并不总是收敛的。此外,我们讨论了最近提出的稳定GAN培训的正规化策略。我们的分析表明,具有实例噪声或零中心梯度罚分的GAN训练收敛。另一方面,我们表明,每个发生器更新具有有限数量的鉴别器更新的Wasserstein-GAN和WGAN-GP并不总是收敛到平衡点。我们讨论这些结果,使我们对GAN训练的稳定性问题有了新的解释。基于我们的分析,我们将收敛结果扩展到更一般的GAN,并证明局部收敛的简化梯度惩罚,即使发生器和数据分布位于较低维度的流形。我们发现这些惩罚在实践中运作良好,并使用它们来学习具有很少超参数调整的各种数据集的高分辨率生成图像模型。
translated by 谷歌翻译
生成对抗网络(GAN)是一种新颖的生成模型方法,其目标是学习实际数据点的分布。它们经常被证明难以训练:GAN与机器学习中的许多技术不同,因为它们最好描述作为鉴别器和发电机之间的双人游戏。这已经在训练过程中产生了不可靠性,并且对于GAN如何收敛,以及如果收敛,通常缺乏理解。本文的目的是提供适用于数学家的GAN理论,突出正面和负面结果。这包括确定引导GAN的问题,以及近年来GAN的拓扑和博弈理论如何为我们的理解和改进我们的技术做出贡献。
translated by 谷歌翻译
Wasserstein GAN(WGAN)是一种模型,可以最小化数据分布和样本分布之间的Wasserstein距离。最近的研究提出稳定WGAN的训练过程并实施Lipschitz约束。在这项研究中,我们证明了在关于平衡和惩罚措施$ \ mu $的适当假设下优化简单梯度惩罚的局部稳定性$ \ mu $ -WGAN(SGP $ \ mu $ -WGAN)。采用度量评估的差异化概念来处理罚款项的导数,这有助于处理具有较低维度支持的抽象奇异度量。基于这种分析,我们声称惩罚数据流形或样本流形是使原始WGAN正规化并具有梯度惩罚的关键。通过满足我们假设的非直观惩罚措施获得的实验结果也被提供用于支持理论结果。
translated by 谷歌翻译
We consider the problem of training generative models with a Generative Adversarial Network (GAN). Although GANs can accurately model complex distributions, they are known to be difficult to train due to instabilities caused by a difficult minimax optimization problem. In this paper, we view the problem of training GANs as finding a mixed strategy in a zero-sum game. Building on ideas from online learning we propose a novel training method named Chekhov GAN 1. On the theory side, we show that our method provably converges to an equilibrium for semi-shallow GAN architectures, i.e. architectures where the discriminator is a one layer network and the generator is arbitrary. On the practical side, we develop an efficient heuristic guided by our theoretical results, which we apply to commonly used deep GAN architectures. On several real world tasks our approach exhibits improved stability and performance compared to standard GAN training. 1 We base this name on the Chekhov's gun (dramatic) principle that states that every element in a story must be necessary, and irrelevant elements should be removed. Analogously, our Chekhov GAN algorithm introduces a sequence of elements which are eventually composed to yield a generator.
translated by 谷歌翻译
We relate the minimax game of generative adversarial networks (GANs) to finding the saddle points of the Lagrangian function for a convex optimization problem, where the discriminator outputs and the distribution of generator outputs play the roles of primal variables and dual variables, respectively. This formulation shows the connection between the standard GAN training process and the primal-dual subgradient methods for convex optimization. The inherent connection does not only provide a theoretical convergence proof for training GANs in the function space, but also inspires a novel objective function for training. The modified objective function forces the distribution of generator outputs to be updated along the direction according to the primal-dual subgradient methods. A toy example shows that the proposed method is able to resolve mode collapse, which in this case cannot be avoided by the standard GAN or Wasserstein GAN. Experiments on both Gaussian mixture synthetic data and real-world image datasets demonstrate the performance of the proposed method on generating diverse samples.
translated by 谷歌翻译
生成性对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,我们的目的是为那些熟悉的读者讨论GAN的细节,但不要深入理解GAN或者希望从各个角度看待GAN。另外,我们解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,我们将重点放在如何将GAN与自动编码器框架相结合。最后,我们列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。
translated by 谷歌翻译
Although Generative Adversarial Networks achieve state-of-the-art results ona variety of generative tasks, they are regarded as highly unstable and proneto miss modes. We argue that these bad behaviors of GANs are due to the veryparticular functional shape of the trained discriminators in high dimensionalspaces, which can easily make training stuck or push probability mass in thewrong direction, towards that of higher concentration than that of the datagenerating distribution. We introduce several ways of regularizing theobjective, which can dramatically stabilize the training of GAN models. We alsoshow that our regularizers can help the fair distribution of probability massacross the modes of the data generating distribution, during the early phasesof training and thus providing a unified solution to the missing modes problem.
translated by 谷歌翻译
生成对抗网络(GAN)是用于学习来自样本的复杂数据分布的生成模型的创新技术。尽管最近在生成逼真图像方面取得了显着的进步,但是它们的主要缺点之一是,在实践中,即使在对不同数据集进行训练时,它们也倾向于生成具有很小多样性的样本。这种被称为模式崩溃的现象一直是GAN最近几项进展的主要焦点。然而,很少有人理解为什么模式崩溃发生,而且即将出现的方法能够缓解模式崩溃。我们提出了处理模式崩溃的原则方法,我们称之为打包。主要思想是使鉴别器基于来自同一类的多个样本做出决策,无论是真实的还是人工生成的。我们借用二元假设检验的分析工具 - 特别是Blackwell [Bla53]的开创性结果---来证明包装和模式崩溃之间的基本联系。我们证明了包装自然会对模式崩溃的发电机进行处罚,从而减少了发电机的分布。模式在训练过程中崩溃。基准数据集的数值实验表明,包装在实践中也提供了显着的改进。
translated by 谷歌翻译
本文讨论了生成对抗网络(GAN)的模式崩溃。我们将模式视为度量空间中数据分布的几何结构。在这个几何透镜下,我们将数据集的子样本从任意度量空间嵌入到l2空间中,同时保留它们的配对电阻分布。该度量嵌入不仅自动确定潜在空间的维度,还使我们能够构造高斯混合物来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强来训练GAN。我们的方法的每个主要步骤都得到理论分析的支持,我们对实际和合成数据的实验证实,生成器能够生成遍布大多数模式的样本,同时避免不需要的样本,在多个指标上提供优于几个近期GAN变体并提供新功能。
translated by 谷歌翻译
基于生成对抗网络(GAN)的深度生成模型已经证明了令人印象深刻的样本质量,但是为了工作,它们需要可选择的体系结构,参数初始化和超参数的选择。这种脆弱性部分是由于模型分布和数据分布之间的尺寸不匹配或非重叠支持,导致它们的密度比和相关的f-发散被定义。我们克服了这一基本限制,并提出了一种新的规划方法,其计算成本低,可以产生稳定的GAN训练程序。我们在通用基准图像生成任务培训的几个架构上展示了这个正则化器的有效性。 Ourregularization将GAN模型转变为可靠的构建模块,用于深度学习。
translated by 谷歌翻译
生成对抗网络(GAN)是学习生成模型的强大工具。在实践中,训练可能会因缺乏融合而受到影响。 GAN通常被视为双人网络之间的双人零和游戏。在这里,我们利用这个博弈论视角来研究训练过程的收敛行为。受虚构的学习过程的启发,引入了一种被称为虚拟GAN的新型训练方法。虚构的GAN使用历史模型的混合来训练深度神经网络。具体地,根据对来自一系列先前训练的发生器(相应的鉴别器)的混合输出的最佳响应来更新鉴别器(相应的发生器)。结果表明,虚拟GAN可以有效地解决标准培训方法无法解决的一些收敛问题。事实证明,渐近地,发电机输出的平均值与数据样本具有相同的分布。
translated by 谷歌翻译
Wasserstein gan
分类:
translated by 谷歌翻译
我们通过新的架构设计研究了缓解GAN训练过程中的不稳定性问题。 minimax和maximin目标值之间的差异可以作为替代梯度下降在GAN优化中遇到的困难的代理。在这项工作中,我们给出了关于GAN的多发电机架构的好处的新结果。我们表明,当生成器的数量随着$ \ widetilde {O}(1 / \ epsilon)$的增加而增加时,minimax间隙缩小到$ \ epsilon $。这改善了$ \ widetilde {O}(1 / \ epsilon ^ 2)$的最佳结果。 ourtechniques的核心是Shapley-Folkman引理对于通用minimax问题的一种新颖应用,其中在文献中只有当目标函数局限于aconstraint优化问题的拉格朗日函数时才知道该技术。我们提出的Stackelberg GAN在合成数据集和现实数据集中都可以进行实验,与先前的基准数据集上的多生成器GAN相比,Fr \'echetInception Distance提高了$ 14.61 \%$。
translated by 谷歌翻译
生成性对抗网络(GAN)是学习复杂高维分布的最流行的工具之一。然而,GAN的泛化性质尚未得到很好的理解。在本文中,我们分析了实际环境中GAN的概括。我们表明,在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力,并且不接近理论上的最优判别。我们提出了一种零中心梯度惩罚,用于通过将鉴别器推向最佳鉴别器来改进鉴别器的一般化。惩罚保证了GAN的泛化和收敛。合成和大规模数据集的实验验证了我们的理论分析。
translated by 谷歌翻译
众所周知,生成对抗网络(GAN)难以训练,其(非)收敛行为的原因仍未完全理解。使用简单的GAN示例,我们以非渐近的方式在数学上分析其训练动力学的局部收敛行为。我们发现为了确保良好的收敛速度,Jacobian的两个因子应该是{textit {同时}避免,它们是(1)相位因子:雅可比具有复数特征值,具有较大的虚实比,(2)调节因子雅各布派病态恶劣。以前的雅可比规则化方法只能减轻这两个因素中的一个,而另一个则更为严重。从我们的理论分析,我们提出雅各比规范化的GAN(JR-GANs),确保这两个因素通过建设来减轻。通过对几个流行数据集的大量实验,我们证明了JR-GAN训练非常稳定,并且在质量和数量上都达到了近乎最先进的结果。
translated by 谷歌翻译
生成对抗网络(GAN)中的两个关键参与者,即识别器和生成器,通常被参数化为深度神经网络(DNN)。在许多生成任务中,GAN实现了最先进的性能,但通常不稳定以训练并且有时会错过模式。典型的故障模式是将发电机故障转换为其输出相同的单个参数配置。当发生这种崩溃时,识别器的梯度可以指向许多相似点的类似方向。我们假设这些缺点中的一些部分是由于鉴别器提取的原始和冗余特征,这很容易使训练卡住。我们提出了一种通过实施多种特征学习来规范对抗模型的新方法。为了做到这一点,发生器和识别器都是通过根据它们的区别并基于它们的相对余弦距离来惩罚负相关和正相关特征来规则化的。除了由鉴别器提供的来自对抗性损失的梯度信息之外,多样性正则化还确保提供更稳定的梯度以更新发生器和鉴别器。结果表明我们的正规化器强制执行各种功能,稳定培训并改善图像合成。
translated by 谷歌翻译
培养生成对抗网络在高维度上是不稳定的,因为真正的数据分布往往集中在环境空间的一小部分。然后鉴别器能够快速地将几乎所有生成的样本分类为假的,使得发生器没有有意义的梯度并且在训练点之后使其恶化。在这项工作中,我们建议同时对一组识别器进行单个发生器的训练,每个识别器都会查看数据的不同随机低维投影。现在提供输入限制视图的个体鉴别器不能完全拒绝生成的样本并且在整个训练期间继续为生成器提供有意义的梯度。同时,生成器学习生成与全数据分布一致的样本以同时满足所有鉴别器。我们通过实验证明了这种方法的实用性,并表明它能够产生比传统训练具有更高质量的图像样本和单一鉴别器。
translated by 谷歌翻译
虽然生成性对抗网络(GAN)在学习复杂的现实世界分布方面具有经验性的成果,但最近的研究表明它们缺乏多样性或模式崩溃。 Arora等人的理论工作。提出了关于GAN统计特性的两难问题:强大的判别器会导致过度拟合,而弱判别者则无法检测到模式崩溃。相比之下,我们在本文中表明,如果鉴别器类具有与特定发生器类(而不是所有可能的发生器)的强区别能力,那么GAN原则上可以在多项式样本复杂度下在Wasserstein距离(或在许多情况下为KL-发散)中学习分布。对于各种生成器类,如澳大利亚,指数族和可逆神经网络生成器的混合,我们设计了相应的鉴别器(通常是特定体系结构的神经网络),使得由鉴别器引起的积分概率度量(IPM)可以证明接近Wasserstein距离和/或orKL发散。这意味着如果训练成功,那么学习的分布接近于Wasserstein距离或KL发散的真实分布,因此不能下降模式。我们的初步实验表明,在合成数据集上,测试IPM与KL分歧很好​​地相关,表明缺乏多样性可能是由于次优化的优化而不是统计效率低。
translated by 谷歌翻译