通过从最佳运输理论的思想启发，我们呈现了信任评论家（TTC），一种新的生成型材算法。该算法消除了来自Wassersein GaN的可培训发电机;相反，它迭代地使用培训批评网络序列的梯度下降来修改源数据。这部分是由我们在评论者的梯度提供的最佳运输方向之间观察到的未对准，以及在由可训练发电机参数化的数据点实际移动的方向之间的最佳运输方向之间观察到的未对准。以前的工作已经从不同的观点到达类似的想法，但我们在最佳运输理论中的基础是激励自适应步长的选择，与恒定步长相比大大加速了会聚。使用此步骤规则，我们在具有密度的源分布的情况下证明了初始几何收敛速率。这些融合率仅停止仅在非可忽略的生成数据与真实数据中无法区分时申请。解决未对准问题提高了性能，我们在实验中表明，显示给出了定期的训练时期，TTC产生更高的质量图像，尽管在增加的内存要求上。此外，TTC提供了转化密度的迭代公式，传统的WGAN没有。最后，可以应用TTC将任何源分布映射到任何目标上;我们通过实验证明TTC可以在没有专用算法的图像生成，翻译和去噪中获得竞争性能。

Wasserstein Gans具有梯度惩罚（WGAN-GP）是一种非常流行的方法，用于培训生成模型以产生高质量的合成数据。虽然最初开发了WGAN-GP来计算生成数据和真实数据之间的Wasserstein 1距离，但最近的工作（例如[23]）提供了经验证据，表明这没有发生，并认为WGAN-GP表现不佳，尽管没有很好地表现这个问题，但由于此问题。在本文中，我们首次表明WGAN-GP计算了最小的最佳运输问题的最小值，即所谓的拥挤运输[7]。拥挤的运输决定了在惩罚拥塞的运输模型下将一个分配转移到另一种分配的成本。对于WGAN-GP，我们发现拥塞的罚款具有由[12]中使用的采样策略所确定的空间变化的组件，其作用像是局部速度限制，使某些地区的拥塞成本比其他地区少。拥挤的运输问题的这一方面是新的，因为事实证明，拥塞的罚款是无限的，并且取决于要运输的分配，因此我们为这种情况提供了必要的数学证明。我们发现的一个方面是一个公式，将解决方案的梯度连接到WGAN-GP中的优化问题与最佳质量流量的平均动量。这与Wasserstein 1距离Kantorovich电位的梯度相反，Wasserstein 1距离仅是流动的归一化方向。基于此和其他考虑因素，我们推测我们的结果如何解释了观察到的WGAN-GP的性能。除了对gan的应用外，我们的定理还指出，使用神经网络技术大致解决大规模拥堵的运输问题的可能性。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

在概率密度范围内相对于Wassersein度量的空间的梯度流程通常具有很好的特性，并且已在几种机器学习应用中使用。计算Wasserstein梯度流量的标准方法是有限差异，使网格上的基础空间离散，并且不可扩展。在这项工作中，我们提出了一种可扩展的近端梯度型算法，用于Wassersein梯度流。我们的方法的关键是目标函数的变分形式，这使得可以通过引流 - 双重优化实现JKO近端地图。可以通过替代地更新内部和外环中的参数来有效地解决该原始问题。我们的框架涵盖了包括热方程和多孔介质方程的所有经典Wasserstein梯度流。我们展示了若干数值示例的算法的性能和可扩展性。

We investigate the training and performance of generative adversarial networks using the Maximum Mean Discrepancy (MMD) as critic, termed MMD GANs. As our main theoretical contribution, we clarify the situation with bias in GAN loss functions raised by recent work: we show that gradient estimators used in the optimization process for both MMD GANs and Wasserstein GANs are unbiased, but learning a discriminator based on samples leads to biased gradients for the generator parameters. We also discuss the issue of kernel choice for the MMD critic, and characterize the kernel corresponding to the energy distance used for the Cramér GAN critic. Being an integral probability metric, the MMD benefits from training strategies recently developed for Wasserstein GANs. In experiments, the MMD GAN is able to employ a smaller critic network than the Wasserstein GAN, resulting in a simpler and faster-training algorithm with matching performance. We also propose an improved measure of GAN convergence, the Kernel Inception Distance, and show how to use it to dynamically adapt learning rates during GAN training.

生成的对抗网络后面的数学力量提高了具有挑战性的理论问题。通过表征产生的分布的几何特性的重要问题，我们在有限的样本和渐近制度中对Wassersein Gans（WGAN）进行了彻底分析。我们研究了潜伏空间是单变量的特定情况，并且不管输出空间的尺寸如何有效。我们特别地显示出用于固定的样本大小，最佳WGAN与连接路径紧密相连，最小化采样点之间的平方欧几里德距离的总和。我们还强调了WGAN能够接近的事实（对于1-Wasserstein距离）目标分布，因为样本大小趋于无穷大，在给定的会聚速率下，并且提供了生成的Lipschitz函数的家族适当地增长。我们在半离散环境中获得了在最佳运输理论上传递新结果。

Quantum machine learning (QML) has received increasing attention due to its potential to outperform classical machine learning methods in various problems. A subclass of QML methods is quantum generative adversarial networks (QGANs) which have been studied as a quantum counterpart of classical GANs widely used in image manipulation and generation tasks. The existing work on QGANs is still limited to small-scale proof-of-concept examples based on images with significant down-scaling. Here we integrate classical and quantum techniques to propose a new hybrid quantum-classical GAN framework. We demonstrate its superior learning capabilities by generating $28 \times 28$ pixels grey-scale images without dimensionality reduction or classical pre/post-processing on multiple classes of the standard MNIST and Fashion MNIST datasets, which achieves comparable results to classical frameworks with 3 orders of magnitude less trainable generator parameters. To gain further insight into the working of our hybrid approach, we systematically explore the impact of its parameter space by varying the number of qubits, the size of image patches, the number of layers in the generator, the shape of the patches and the choice of prior distribution. Our results show that increasing the quantum generator size generally improves the learning capability of the network. The developed framework provides a foundation for future design of QGANs with optimal parameter set tailored for complex image generation tasks.

Learning high-dimensional distributions is often done with explicit likelihood modeling or implicit modeling via minimizing integral probability metrics (IPMs). In this paper, we expand this learning paradigm to stochastic orders, namely, the convex or Choquet order between probability measures. Towards this end, exploiting the relation between convex orders and optimal transport, we introduce the Choquet-Toland distance between probability measures, that can be used as a drop-in replacement for IPMs. We also introduce the Variational Dominance Criterion (VDC) to learn probability measures with dominance constraints, that encode the desired stochastic order between the learned measure and a known baseline. We analyze both quantities and show that they suffer from the curse of dimensionality and propose surrogates via input convex maxout networks (ICMNs), that enjoy parametric rates. We provide a min-max framework for learning with stochastic orders and validate it experimentally on synthetic and high-dimensional image generation, with promising results. Finally, our ICMNs class of convex functions and its derived Rademacher Complexity are of independent interest beyond their application in convex orders.

在共享潜在空间中对齐两个或更多个分布的无监督任务具有许多应用，包括公平表示，批量效果缓解和无监督域适应。现有的基于流动的方法独立估计多个流动，这相当于学习多个完整的生成模型。其他方法需要对抗性学习，这可以是可以计算地昂贵和挑战的优化。因此，我们的目标是在避免对抗性学习的同时联合对齐多个分布。通过从最佳运输（OT）理论的高效对准算法的启发，我们开发了一种简单的迭代方法来构建深层和富有效力的流动。我们的方法将每次迭代分成两个子问题：1）形成分配分配的变化近似，并且2）通过基于已知的OT结果的闭合形式可逆对准映射最小化该变分近似。我们的经验结果证明了这种迭代算法以低计算成本实现了竞争分布对准，同时能够自然地处理两个以上的分布。

现代生成的对抗网络（GANS）主要使用判别者（或批评者）中的分段线性激活功能，包括Relu和Leaceryru。这些模型学习分段线性映射，其中每个部分处理输入空间的子集，每个子​​集的梯度​​是分段常数。在这样一类鉴别者（或批评者）函数下，我们呈现梯度标准化（Gran），一种新的输入相关标准化方法，可确保输入空间中的分段k-lipschitz约束。与光谱归一化相比，Gran不约束各个网络层的处理，并且与梯度惩罚不同，严格执行几乎无处不在的分段Lipschitz约束。凭经验，我们展示了多个数据集的改进了图像生成性能（包括Cifar-10/100，STL-10，LSUN卧室和Celeba），GaN丢失功能和指标。此外，我们分析了在几个标准GAN中改变了经常无核的Lipschitz常数K，而不仅仅是实现显着的性能增益，还可以在普通的ADAM优化器中找到K和培训动态之间的连接，特别是在低梯度损失平台之间。

切片 - Wasserstein距离（SW）越来越多地用于机器学习应用，作为Wassersein距离的替代方案，并提供了显着的计算和统计效益。由于它被定义为随机投影的期望，因此SW通常由Monte Carlo近似。我们通过利用测量现象的浓度来采用新的视角来近似SW：在温和的假设下，高维随机向量的一维突起大致高斯。基于此观察，我们为SW开发了一个简单的确定性近似。我们的方法不需要采样许多随机投影，因此与通常的Monte Carlo近似相比，准确且易于使用。我们派生了我们的方法的非对应保证，并且显示近似误差随着数据分布的弱依赖条件下的弱依赖条件而变为零。我们验证了对合成数据集的理论发现，并说明了在生成建模问题上提出的近似。

Generative Adversarial Networks (GANs) excel at creating realistic images with complex models for which maximum likelihood is infeasible. However, the convergence of GAN training has still not been proved. We propose a two time-scale update rule (TTUR) for training GANs with stochastic gradient descent on arbitrary GAN loss functions. TTUR has an individual learning rate for both the discriminator and the generator. Using the theory of stochastic approximation, we prove that the TTUR converges under mild assumptions to a stationary local Nash equilibrium. The convergence carries over to the popular Adam optimization, for which we prove that it follows the dynamics of a heavy ball with friction and thus prefers flat minima in the objective landscape. For the evaluation of the performance of GANs at image generation, we introduce the 'Fréchet Inception Distance" (FID) which captures the similarity of generated images to real ones better than the Inception Score. In experiments, TTUR improves learning for DCGANs and Improved Wasserstein GANs (WGAN-GP) outperforming conventional GAN training on CelebA, CIFAR-10, SVHN, LSUN Bedrooms, and the One Billion Word Benchmark.

One of the challenges in the study of generative adversarial networks is the instability of its training. In this paper, we propose a novel weight normalization technique called spectral normalization to stabilize the training of the discriminator. Our new normalization technique is computationally light and easy to incorporate into existing implementations. We tested the efficacy of spectral normalization on CIFAR10, STL-10, and ILSVRC2012 dataset, and we experimentally confirmed that spectrally normalized GANs (SN-GANs) is capable of generating images of better or equal quality relative to the previous training stabilization techniques. The code with Chainer (Tokui et al., 2015), generated images and pretrained models are available at https://github.com/pfnet-research/sngan_ projection.

Wasserstein生成的对抗网络（WGANS）是基于最佳运输理论（OT）和Kantorovich二元性的流行生成模型。尽管WGAN取得了成功，但仍不清楚基础双求解器的基础差如何近似OT成本（Wasserstein-1距离，$ \ Mathbb {W} _ {1} $）和更新发电机所需的OT梯度。在本文中，我们解决了这些问题。我们构建1-卢比奇的功能，并使用它们来构建射线单调传输计划。该策略在高维空间（例如图像空间）中产生了与分析已知的OT计划，OT成本和OT梯度的连续基准分布对。我们使用这些基准对彻底评估了流行的wgan双表求解器（梯度惩罚，光谱归一化，熵正则化等）。即使这些求解器在WGAN中表现良好，也没有一个忠实地计算出高维度的$ \ Mathbb {w} _ {1} $。然而，许多人提供了OT梯度的有意义的近似。这些观察结果表明，这些求解器不应被视为$ \ mathbb {w} _ {1} $的良好估计量，但在某种程度上，它们确实可以用于各种问题，需要最小化$ \ mathbb {w} _ { 1} $。

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

近年来，深度学习在图像重建方面取得了显着的经验成功。这已经促进了对关键用例中数据驱动方法的正确性和可靠性的精确表征的持续追求，例如在医学成像中。尽管基于深度学习的方法具有出色的性能和功效，但对其稳定性或缺乏稳定性的关注以及严重的实际含义。近年来，已经取得了重大进展，以揭示数据驱动的图像恢复方法的内部运作，从而挑战了其广泛认为的黑盒本质。在本文中，我们将为数据驱动的图像重建指定相关的融合概念，该概念将构成具有数学上严格重建保证的学习方法调查的基础。强调的一个例子是ICNN的作用，提供了将深度学习的力量与经典凸正则化理论相结合的可能性，用于设计被证明是融合的方法。这篇调查文章旨在通过提供对数据驱动的图像重建方法以及从业人员的理解，旨在通过提供可访问的融合概念的描述，并通过将一些现有的经验实践放在可靠的数学上，来推进我们对数据驱动图像重建方法的理解以及从业人员的了解。基础。

虽然在巨大数据上培训的机器学习模型导致了几个领域的断路器，但由于限制数据的访问，他们在隐私敏感域中的部署仍然有限。在私有数据上具有隐私约束的生成模型可以避免此挑战，而是提供对私有数据的间接访问。我们提出DP-Sinkhorn，一种新的最优传输的生成方法，用于从具有差异隐私的私有数据学习数据分布。 DP-Sinkhorn以差别私人方式在模型和数据之间的模型和数据之间最小化陷阱的分歧，将计算上有效的近似值，并在模型和数据之间使用新技术来控制梯度估计的偏差差异的偏差折衷。与现有的培训方法不同，差异私人生成模型主要基于生成的对抗网络，我们不依赖于对抗性目标，这令人惊叹的难以优化，特别是在隐私约束所施加的噪声存在下。因此，DP-Sinkhorn易于训练和部署。通过实验，我们改进了多种图像建模基准的最先进，并显示了差异私有的信息RGB图像综合。项目页面：https：//nv-tlabs.github.io/dp-sinkhorn。

Training generative adversarial networks (GAN) using too little data typically leads to discriminator overfitting, causing training to diverge. We propose an adaptive discriminator augmentation mechanism that significantly stabilizes training in limited data regimes. The approach does not require changes to loss functions or network architectures, and is applicable both when training from scratch and when fine-tuning an existing GAN on another dataset. We demonstrate, on several datasets, that good results are now possible using only a few thousand training images, often matching StyleGAN2 results with an order of magnitude fewer images. We expect this to open up new application domains for GANs. We also find that the widely used CIFAR-10 is, in fact, a limited data benchmark, and improve the record FID from 5.59 to 2.42.

We introduce a new algorithm named WGAN, an alternative to traditional GAN training. In this new model, we show that we can improve the stability of learning, get rid of problems like mode collapse, and provide meaningful learning curves useful for debugging and hyperparameter searches. Furthermore, we show that the corresponding optimization problem is sound, and provide extensive theoretical work highlighting the deep connections to different distances between distributions.

学习将模型分布与观察到的数据区分开来是统计和机器学习中的一个基本问题，而高维数据仍然是这些问题的挑战性环境。量化概率分布差异的指标（例如Stein差异）在高维度的统计测试中起重要作用。在本文中，我们考虑了一个希望区分未知概率分布和名义模型分布的数据的设置。虽然最近的研究表明，最佳$ l^2 $ regularized Stein评论家等于两个概率分布的分数函数的差异，最多是乘法常数，但我们研究了$ l^2 $正则化的作用，训练神经网络时差异评论家功能。由训练神经网络的神经切线内核理论的激励，我们开发了一种新的分期程序，用于训练时间的正则化重量。这利用了早期培训的优势，同时还可以延迟过度拟合。从理论上讲，我们将训练动态与大的正则重量与在早期培训时间的“懒惰训练”制度的内核回归优化相关联。在模拟的高维分布漂移数据和评估图像数据的生成模型的应用中，证明了分期$ l^2 $正则化的好处。