我们表明,生成对抗网络(GAN)的训练可能不具有良好的泛化属性;例如,训练可能看起来成功,但训练分布可能远离标准指标中的目标分布。然而,对于称为神经网络距离的较弱度量,确实会出现泛化。还表明,当发电机容量和训练集大小合适时,对于具有自然训练目标的特殊类别的发电机,在识别器/发电机游戏中存在近似纯正平衡。这种均衡的存在激发了MIX + GAN协议,该协议可以与任何现有的GAN训练结合,并且凭经验证明可以改进其中的一些。
translated by 谷歌翻译
Despite the growing prominence of generative adversarial networks (GANs),optimization in GANs is still a poorly understood topic. In this paper, weanalyze the "gradient descent" form of GAN optimization i.e., the naturalsetting where we simultaneously take small gradient steps in both generator anddiscriminator parameters. We show that even though GAN optimization does notcorrespond to a convex-concave game (even for simple parameterizations), underproper conditions, equilibrium points of this optimization procedure are still\emph{locally asymptotically stable} for the traditional GAN formulation. Onthe other hand, we show that the recently proposed Wasserstein GAN can havenon-convergent limit cycles near equilibrium. Motivated by this stabilityanalysis, we propose an additional regularization term for gradient descent GANupdates, which \emph{is} able to guarantee local stability for both the WGANand the traditional GAN, and also shows practical promise in speeding upconvergence and addressing mode collapse.
translated by 谷歌翻译
最近的工作表明,GAN培训的绝对连续数据和发电机分布的局部收敛。在本文中,我们证明了对绝对连续性的要求是必要的:我们描述了一个简单而又原型的反例,表明在更为现实的分布不是绝对连续的情况下,非规范化的GAN训练并不总是收敛的。此外,我们讨论了最近提出的稳定GAN培训的正规化策略。我们的分析表明,具有实例噪声或零中心梯度罚分的GAN训练收敛。另一方面,我们表明,每个发生器更新具有有限数量的鉴别器更新的Wasserstein-GAN和WGAN-GP并不总是收敛到平衡点。我们讨论这些结果,使我们对GAN训练的稳定性问题有了新的解释。基于我们的分析,我们将收敛结果扩展到更一般的GAN,并证明局部收敛的简化梯度惩罚,即使发生器和数据分布位于较低维度的流形。我们发现这些惩罚在实践中运作良好,并使用它们来学习具有很少超参数调整的各种数据集的高分辨率生成图像模型。
translated by 谷歌翻译
生成对抗网络(GAN)是一种新颖的生成模型方法,其目标是学习实际数据点的分布。它们经常被证明难以训练:GAN与机器学习中的许多技术不同,因为它们最好描述作为鉴别器和发电机之间的双人游戏。这已经在训练过程中产生了不可靠性,并且对于GAN如何收敛,以及如果收敛,通常缺乏理解。本文的目的是提供适用于数学家的GAN理论,突出正面和负面结果。这包括确定引导GAN的问题,以及近年来GAN的拓扑和博弈理论如何为我们的理解和改进我们的技术做出贡献。
translated by 谷歌翻译
Wasserstein GAN(WGAN)是一种模型,可以最小化数据分布和样本分布之间的Wasserstein距离。最近的研究提出稳定WGAN的训练过程并实施Lipschitz约束。在这项研究中,我们证明了在关于平衡和惩罚措施$ \ mu $的适当假设下优化简单梯度惩罚的局部稳定性$ \ mu $ -WGAN(SGP $ \ mu $ -WGAN)。采用度量评估的差异化概念来处理罚款项的导数,这有助于处理具有较低维度支持的抽象奇异度量。基于这种分析,我们声称惩罚数据流形或样本流形是使原始WGAN正规化并具有梯度惩罚的关键。通过满足我们假设的非直观惩罚措施获得的实验结果也被提供用于支持理论结果。
translated by 谷歌翻译
We relate the minimax game of generative adversarial networks (GANs) to finding the saddle points of the Lagrangian function for a convex optimization problem, where the discriminator outputs and the distribution of generator outputs play the roles of primal variables and dual variables, respectively. This formulation shows the connection between the standard GAN training process and the primal-dual subgradient methods for convex optimization. The inherent connection does not only provide a theoretical convergence proof for training GANs in the function space, but also inspires a novel objective function for training. The modified objective function forces the distribution of generator outputs to be updated along the direction according to the primal-dual subgradient methods. A toy example shows that the proposed method is able to resolve mode collapse, which in this case cannot be avoided by the standard GAN or Wasserstein GAN. Experiments on both Gaussian mixture synthetic data and real-world image datasets demonstrate the performance of the proposed method on generating diverse samples.
translated by 谷歌翻译
基于生成对抗网络(GAN)的深度生成模型已经证明了令人印象深刻的样本质量,但是为了工作,它们需要可选择的体系结构,参数初始化和超参数的选择。这种脆弱性部分是由于模型分布和数据分布之间的尺寸不匹配或非重叠支持,导致它们的密度比和相关的f-发散被定义。我们克服了这一基本限制,并提出了一种新的规划方法,其计算成本低,可以产生稳定的GAN训练程序。我们在通用基准图像生成任务培训的几个架构上展示了这个正则化器的有效性。 Ourregularization将GAN模型转变为可靠的构建模块,用于深度学习。
translated by 谷歌翻译
We consider the problem of training generative models with a Generative Adversarial Network (GAN). Although GANs can accurately model complex distributions, they are known to be difficult to train due to instabilities caused by a difficult minimax optimization problem. In this paper, we view the problem of training GANs as finding a mixed strategy in a zero-sum game. Building on ideas from online learning we propose a novel training method named Chekhov GAN 1. On the theory side, we show that our method provably converges to an equilibrium for semi-shallow GAN architectures, i.e. architectures where the discriminator is a one layer network and the generator is arbitrary. On the practical side, we develop an efficient heuristic guided by our theoretical results, which we apply to commonly used deep GAN architectures. On several real world tasks our approach exhibits improved stability and performance compared to standard GAN training. 1 We base this name on the Chekhov's gun (dramatic) principle that states that every element in a story must be necessary, and irrelevant elements should be removed. Analogously, our Chekhov GAN algorithm introduces a sequence of elements which are eventually composed to yield a generator.
translated by 谷歌翻译
生成性对抗网络(GAN)在机器学习领域受到广泛关注,因为它们有可能学习高维,复杂的数据分布。具体而言,它们不依赖于关于分布的任何假设,并且可以以简单的方式从潜在空间生成真实样本。这种强大的属性使GAN可以应用于各种应用,如图像合成,图像属性编辑,图像翻译,领域适应和其他学术领域。在本文中,我们的目的是为那些熟悉的读者讨论GAN的细节,但不要深入理解GAN或者希望从各个角度看待GAN。另外,我们解释了GAN如何运作以及最近提出的各种目标函数的基本含义。然后,我们将重点放在如何将GAN与自动编码器框架相结合。最后,我们列举了适用于各种任务和其他领域的GAN变体,适用于那些有兴趣利用GAN进行研究的人。
translated by 谷歌翻译
生成对抗网络(GAN)是用于学习来自样本的复杂数据分布的生成模型的创新技术。尽管最近在生成逼真图像方面取得了显着的进步,但是它们的主要缺点之一是,在实践中,即使在对不同数据集进行训练时,它们也倾向于生成具有很小多样性的样本。这种被称为模式崩溃的现象一直是GAN最近几项进展的主要焦点。然而,很少有人理解为什么模式崩溃发生,而且即将出现的方法能够缓解模式崩溃。我们提出了处理模式崩溃的原则方法,我们称之为打包。主要思想是使鉴别器基于来自同一类的多个样本做出决策,无论是真实的还是人工生成的。我们借用二元假设检验的分析工具 - 特别是Blackwell [Bla53]的开创性结果---来证明包装和模式崩溃之间的基本联系。我们证明了包装自然会对模式崩溃的发电机进行处罚,从而减少了发电机的分布。模式在训练过程中崩溃。基准数据集的数值实验表明,包装在实践中也提供了显着的改进。
translated by 谷歌翻译
本文讨论了生成对抗网络(GAN)的模式崩溃。我们将模式视为度量空间中数据分布的几何结构。在这个几何透镜下,我们将数据集的子样本从任意度量空间嵌入到l2空间中,同时保留它们的配对电阻分布。该度量嵌入不仅自动确定潜在空间的维度,还使我们能够构造高斯混合物来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强来训练GAN。我们的方法的每个主要步骤都得到理论分析的支持,我们对实际和合成数据的实验证实,生成器能够生成遍布大多数模式的样本,同时避免不需要的样本,在多个指标上提供优于几个近期GAN变体并提供新功能。
translated by 谷歌翻译
Although Generative Adversarial Networks achieve state-of-the-art results ona variety of generative tasks, they are regarded as highly unstable and proneto miss modes. We argue that these bad behaviors of GANs are due to the veryparticular functional shape of the trained discriminators in high dimensionalspaces, which can easily make training stuck or push probability mass in thewrong direction, towards that of higher concentration than that of the datagenerating distribution. We introduce several ways of regularizing theobjective, which can dramatically stabilize the training of GAN models. We alsoshow that our regularizers can help the fair distribution of probability massacross the modes of the data generating distribution, during the early phasesof training and thus providing a unified solution to the missing modes problem.
translated by 谷歌翻译
Wasserstein gan
分类:
translated by 谷歌翻译
我们将GAN的性能解构为三个组成部分:1。制定:我们提出了GAN的人口目标的扰动视图。在此解释的基础上,我们表明GAN可以被视为鲁棒统计框架的年龄化,并提出一种新的GAN架构,称为级联GAN,当真实分布是高维度并被异常值破坏时,可证明恢复有意义的低维生成近似。 。 2.推广:给定GAN的人口目标,我们设计了一个系统原则,在允许距离下进行预测,设计GAN以满足使用有限样本的人口需求。我们在三种情况下实现了我们的原则,以实现多项式,有时接近最优的样本复杂度:(1)在任意假设下学习任意生成器; (2)在总变差距离下学习高斯位置族,我们利用原理为Tukey中值最优性提供了新的证据,即GAN; (3)在Wassersteindistance下学习高维任意分布的低维高斯近似。我们展示了GAN中近似误差和统计误差的基本权衡,并展示了如何将经验样本应用于我们的原理,以预测有多少样本足以满足GAN,以免从鉴别器获胜问题中解脱出来。 3.优化:我们证明,在优化PCA的GAN配方时,交替的梯度下降可证明是局部稳定的。我们将问题诊断为最小极大二元性差距为非零,并提出一个新的GAN架构,其二元性差距为零,其中游戏的值等于之前的最小值(不是最大值)。我们证明新的GANarchitecture在交替梯度下的优化中是全局稳定的。
translated by 谷歌翻译
生成性对抗网络(GAN)是学习复杂高维分布的最流行的工具之一。然而,GAN的泛化性质尚未得到很好的理解。在本文中,我们分析了实际环境中GAN的概括。我们表明,在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力,并且不接近理论上的最优判别。我们提出了一种零中心梯度惩罚,用于通过将鉴别器推向最佳鉴别器来改进鉴别器的一般化。惩罚保证了GAN的泛化和收敛。合成和大规模数据集的实验验证了我们的理论分析。
translated by 谷歌翻译
生成矩匹配网络(GMMN)是一种深度生成模型,它通过用基于内核最大度差异(MMD)的双样本测试替换GAN中的识别符来改变生成对抗网络(GAN)。尽管已经研究了MMD的一些理论保证,但GMMN的经验性能仍然不如GAN在具有挑战性的大型基准数据集上具有竞争力。与GAN相比,GMMN的计算效率也不太理想,部分地在训练期间需要相当大的批量大小。在本文中,我们提出通过引入对抗核学习技术来改进GMMN的模型表达性及其计算效率,作为原始GMMN中固定高斯核的替代。新方法结合了GMMN和GAN中的关键思想,因此我们将其命名为MMD GAN .MMD GAN中的新距离测量是一种有意义的损失,具有弱拓扑的优点,并且可以通过梯度下降和相对较小的批量大小进行优化。在我们对多个基准数据集(包括MNIST,CIFAR-10,CelebA和LSUN)的评估中,MMD-GAN的性能明显优于GMMN,并且与其他代表性的GAN工作相比具有竞争力。
translated by 谷歌翻译
We introduce a new algorithm named WGAN, an alternative to traditional GAN training. In this new model, we show that we can improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches. Furthermore, we show that the corresponding optimization problem is sound, and provide extensive theoretical work highlighting the deep connections to different distances between distributions.
translated by 谷歌翻译
生成对抗网络(GAN)是学习生成模型的强大工具。在实践中,训练可能会因缺乏融合而受到影响。 GAN通常被视为双人网络之间的双人零和游戏。在这里,我们利用这个博弈论视角来研究训练过程的收敛行为。受虚构的学习过程的启发,引入了一种被称为虚拟GAN的新型训练方法。虚构的GAN使用历史模型的混合来训练深度神经网络。具体地,根据对来自一系列先前训练的发生器(相应的鉴别器)的混合输出的最佳响应来更新鉴别器(相应的发生器)。结果表明,虚拟GAN可以有效地解决标准培训方法无法解决的一些收敛问题。事实证明,渐近地,发电机输出的平均值与数据样本具有相同的分布。
translated by 谷歌翻译
众所周知,生成对抗网络(GAN)难以训练,其(非)收敛行为的原因仍未完全理解。使用简单的GAN示例,我们以非渐近的方式在数学上分析其训练动力学的局部收敛行为。我们发现为了确保良好的收敛速度,Jacobian的两个因子应该是{textit {同时}避免,它们是(1)相位因子:雅可比具有复数特征值,具有较大的虚实比,(2)调节因子雅各布派病态恶劣。以前的雅可比规则化方法只能减轻这两个因素中的一个,而另一个则更为严重。从我们的理论分析,我们提出雅各比规范化的GAN(JR-GANs),确保这两个因素通过建设来减轻。通过对几个流行数据集的大量实验,我们证明了JR-GAN训练非常稳定,并且在质量和数量上都达到了近乎最先进的结果。
translated by 谷歌翻译
生成对抗网络(GAN)在深度学习领域获得了广泛的研究兴趣。 GAN的变化在特定任务中取得了竞争性成果。然而,训练的稳定性和生成实例的多样性仍值得进一步研究。 GAN的训练可以考虑作为一种贪婪的过程,其中生成网试图在每次尝试中做出局部最优选择(最小化鉴别器的损失函数)。不幸的是,这通常使得生成的数据仅类似于真实数据的几个模式并且在模式之间旋转。为了缓解这些问题,我们提出了一种新的训练策略来限制GAN训练中的贪婪。借助我们的方法,生成的样本可以覆盖更多的实例模式,培训过程更加稳定。在几个代表性的数据集上评估我们的方法,我们证明了改进的训练策略在具有不同距离度量的典型GAN模型上的优越性。
translated by 谷歌翻译