生成对抗网络（GAN）是基于生成器和歧视器之间的两种玩家游戏的一类分配学习方法，通常可以根据未知与生成的生成的差异表示的变异表示形式来表达为Minmax问题。分布。我们通过开发针对差异的新变分表示，将结构传播的gans作为学习分布的数据效率框架。我们的理论表明，我们可以利用与与基础结构相关的Sigma-algebra的条件期望，将歧视空间缩小为对不变歧视空间的投影。此外，我们证明了鉴别空间的缩小必须伴随着结构化发电机的仔细设计，因为有缺陷的设计很容易导致学习分布的灾难性的“模式崩溃”。我们通过构建具有对称性的gan来进行固有的群体对称性分布来使我们的框架背景化，并证明两个参与者，即epoiriant发电机和不变歧视者，都在学习过程中扮演重要但独特的角色。跨广泛的数据集的经验实验和消融研究，包括现实世界的医学成像，验证我们的理论，并显示我们所提出的方法可显着提高样品保真度和多样性 - 几乎是在FR \'Echet Intection中衡量的数量级距离 - 尤其是在小型数据制度中。

Lipschitz regularized f-divergences are constructed by imposing a bound on the Lipschitz constant of the discriminator in the variational representation. They interpolate between the Wasserstein metric and f-divergences and provide a flexible family of loss functions for non-absolutely continuous (e.g. empirical) distributions, possibly with heavy tails. We construct Lipschitz regularized gradient flows on the space of probability measures based on these divergences. Examples of such gradient flows are Lipschitz regularized Fokker-Planck and porous medium partial differential equations (PDEs) for the Kullback-Leibler and alpha-divergences, respectively. The regularization corresponds to imposing a Courant-Friedrichs-Lewy numerical stability condition on the PDEs. For empirical measures, the Lipschitz regularization on gradient flows induces a numerically stable transporter/discriminator particle algorithm, where the generative particles are transported along the gradient of the discriminator. The gradient structure leads to a regularized Fisher information (particle kinetic energy) used to track the convergence of the algorithm. The Lipschitz regularized discriminator can be implemented via neural network spectral normalization and the particle algorithm generates approximate samples from possibly high-dimensional distributions known only from data. Notably, our particle algorithm can generate synthetic data even in small sample size regimes. A new data processing inequality for the regularized divergence allows us to combine our particle algorithm with representation learning, e.g. autoencoder architectures. The resulting algorithm yields markedly improved generative properties in terms of efficiency and quality of the synthetic samples. From a statistical mechanics perspective the encoding can be interpreted dynamically as learning a better mobility for the generative particles.

概率分布之间的差异措施是统计推理和机器学习的核心。在许多应用中，在不同的空格上支持感兴趣的分布，需要在数据点之间进行有意义的对应。激励明确地将一致的双向图编码为差异措施，这项工作提出了一种用于匹配的新型不平衡的Monge最佳运输制剂，达到异构体，在不同空间上的分布。我们的配方由于公制空间之间的Gromov-Haussdrow距离而受到了原则放松，并且采用了两个周期一致的地图，将每个分布推向另一个分布。我们研究了拟议的差异的结构性，并且特别表明它将流行的循环一致的生成对抗网络（GaN）框架捕获为特殊情况，从而提供理论解释它。通过计算效率激励，然后我们将差异括起来并将映射限制为参数函数类。由此产生的核化版本被创建为广义最大差异（GMMD）。研究了GMMD的经验估计的收敛速率，并提供了支持我们理论的实验。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

The modeling of probability distributions, specifically generative modeling and density estimation, has become an immensely popular subject in recent years by virtue of its outstanding performance on sophisticated data such as images and texts. Nevertheless, a theoretical understanding of its success is still incomplete. One mystery is the paradox between memorization and generalization: In theory, the model is trained to be exactly the same as the empirical distribution of the finite samples, whereas in practice, the trained model can generate new samples or estimate the likelihood of unseen samples. Likewise, the overwhelming diversity of distribution learning models calls for a unified perspective on this subject. This paper provides a mathematical framework such that all the well-known models can be derived based on simple principles. To demonstrate its efficacy, we present a survey of our results on the approximation error, training error and generalization error of these models, which can all be established based on this framework. In particular, the aforementioned paradox is resolved by proving that these models enjoy implicit regularization during training, so that the generalization error at early-stopping avoids the curse of dimensionality. Furthermore, we provide some new results on landscape analysis and the mode collapse phenomenon.

我们为生成对抗网络（GAN）提出了一个新颖的理论框架。我们揭示了先前分析的基本缺陷，通过错误地对GANS的训练计划进行了错误的建模，该缺陷受到定义不定的鉴别梯度的约束。我们克服了这个问题，该问题阻碍了对GAN培训的原则研究，并考虑了歧视者的体系结构在我们的框架内解决它。为此，我们通过其神经切线核为歧视者提供了无限宽度神经网络的理论。我们表征了训练有素的判别器，以实现广泛的损失，并建立网络的一般可怜性属性。由此，我们获得了有关生成分布的融合的新见解，从而促进了我们对GANS训练动态的理解。我们通过基于我们的框架的分析工具包来证实这些结果，并揭示了与GAN实践一致的直觉。

本文介绍了一种新的基于仿真的推理程序，以对访问I.I.D. \ samples的多维概率分布进行建模和样本，从而规避明确建模密度函数或设计Markov Chain Monte Carlo的通常方法。我们提出了一个称为可逆的Gromov-monge（RGM）距离的新概念的距离和同构的动机，并研究了RGM如何用于设计新的转换样本，以执行基于模拟的推断。我们的RGM采样器还可以估计两个异质度量度量空间之间的最佳对齐$（\ cx，\ mu，c _ {\ cx}）$和$（\ cy，\ cy，\ nu，c _ {\ cy}）$从经验数据集中，估计的地图大约将一个量度$ \ mu $推向另一个$ \ nu $，反之亦然。我们研究了RGM距离的分析特性，并在轻度条件下得出RGM等于经典的Gromov-Wasserstein距离。奇怪的是，与Brenier的两极分解结合了连接，我们表明RGM采样器以$ C _ {\ cx} $和$ C _ {\ cy} $的正确选择诱导了强度同构的偏见。研究了有关诱导采样器的收敛，表示和优化问题的统计率。还展示了展示RGM采样器有效性的合成和现实示例。

我们介绍了用于生成建模的广义能量模型（GEBM）。这些模型组合了两个训练有素的组件：基本分布（通常是隐式模型），可以在高维空间中学习具有低固有尺寸的数据的支持;和能量功能，优化学习支持的概率质量。能量函数和基座都共同构成了最终模型，与GANS不同，它仅保留基本分布（“发电机”）。通过在学习能量和基础之间交替进行培训GEBMS。我们表明，两种培训阶段都明确定义：通过最大化广义可能性来学习能量，并且由此产生的能源的损失提供了学习基础的信息梯度。可以通过MCMC获得来自训练模型的潜在空间的后部的样品，从而在该空间中找到产生更好的质量样本的区域。经验上，图像生成任务上的GEBM样本比来自学习发电机的图像更好，表明所有其他相同，GEBM将优于同样复杂性的GAN。当使用归一化流作为基础测量时，GEBMS成功地启动密度建模任务，返回相当的性能以直接相同网络的最大可能性。

生成的对抗网络（GAN）在无监督学习方面取得了巨大的成功。尽管具有显着的经验表现，但关于gan的统计特性的理论研究有限。本文提供了gan的近似值和统计保证，以估算具有H \“ {o} lder空间密度的数据分布。我们的主要结果表明，如果正确选择了生成器和鉴别器网络架构，则gan是一致的估计器在较强的差异指标下的数据分布（例如Wasserstein-1距离。 ，这不受环境维度的诅咒。我们对低维数据的分析基于具有Lipschitz连续性保证的神经网络的通用近似理论，这可能具有独立的兴趣。

三角形流量，也称为kn \“{o}的Rosenblatt测量耦合，包括用于生成建模和密度估计的归一化流模型的重要构建块，包括诸如实值的非体积保存变换模型的流行自回归流模型（真实的NVP）。我们提出了三角形流量统计模型的统计保证和样本复杂性界限。特别是，我们建立了KN的统计一致性和kullback-leibler估算器的rospblatt的kullback-leibler估计的有限样本会聚率使用实证过程理论的工具测量耦合。我们的结果突出了三角形流动下播放功能类的各向异性几何形状，优化坐标排序，并导致雅各比比流动的统计保证。我们对合成数据进行数值实验，以说明我们理论发现的实际意义。

我们介绍了统计实验的两种新的信息度量，它们概括和包含$ \ phi $ -diverences，积分概率指标，$ \ mathfrak {n} $ - distances（mmd）和$（f，\ gamma）$ divergences $ divergences在两个或多个分布之间。这使我们能够在信息的度量与统计决策问题的贝叶斯风险之间得出简单的几何关系，从而将变异的$ \ phi $ -divergence代表扩展到多个分布，以完全对称的方式。在马尔可夫运营商的行动下，新的分歧家庭被关闭，该家族产生了信息处理平等，这是经典数据处理不平等的完善和概括。这种平等使人深入了解假设类别在经典风险最小化中的重要性。

近年来，生成的对抗性网络（GANS）已经证明了令人印象深刻的实验结果，同时只有一些作品促进了统计学习理论。在这项工作中，我们提出了一种用于生成对抗性学习的无限尺寸理论框架。假设统一界限的$ k $-times $ \ alpha $ -h \“较旧的可分辨率和统一的正密度，我们表明Rosenblatt的转换引起了最佳发电机，可在$ \ alpha $的假设空间中可实现H \“较旧的微分发电机。通过一致的鉴别者假设空间的定义，我们进一步表明，在我们的框架中，由发电机引起的分布与来自对手学习过程的分布之间的jensen-shannon发散，并且数据生成分布会聚到零。在足够严格的规律性假设下对数据产生过程密度的假设，我们还基于浓度和链接提供会聚率。

最大平均差异（MMD）（例如内核Stein差异（KSD））已成为广泛应用的中心，包括假设测试，采样器选择，分布近似和变异推断。在每种情况下，这些基于内核的差异度量都需要（i）（i）将目标p与其他概率度量分开，甚至（ii）控制弱收敛到P。在本文中，我们得出了新的足够和必要的条件，以确保（i） （ii）。对于可分开的度量空间上的MMD，我们表征了那些将BOCHNER嵌入量度分开的内核，并引入了简单条件，以将所有措施用无限的内核分开，并控制与有界内核的收敛。我们在$ \ mathbb {r}^d $上使用这些结果来实质性地扩大了KSD分离和收敛控制的已知条件，并开发了已知的第一个KSD，以恰好将弱收敛到P。我们的假设检验，测量和改善样本质量以及用Stein变异梯度下降进行抽样的结果。

本文涉及高维度中经验措施的收敛。我们提出了一类新的指标，并表明在这样的指标下，融合不受维度的诅咒（COD）。这样的特征对于高维分析至关重要，并且与经典指标相反（{\ it，例如，瓦斯泰尔距离）。所提出的指标源自最大平均差异，我们通过提出选择测试功能空间的特定标准来概括，以确保没有COD的属性。因此，我们将此类别称为广义最大平均差异（GMMD）。所选测试功能空间的示例包括复制的内核希尔伯特空间，巴伦空间和流动诱导的功能空间。提出了所提出的指标的三种应用：1。在随机变量的情况下，经验度量的收敛； 2. $ n $粒子系统的收敛到麦基·维拉索夫随机微分方程的解决方案； 3.构建$ \ varepsilon $ -NASH平衡，用于均质$ n $ - 玩家游戏的平均范围限制。作为副产品，我们证明，考虑到接近GMMD测量的目标分布和目标分布的一定表示，我们可以在Wasserstein距离和相对熵方面生成接近目标的分布。总体而言，我们表明，所提出的指标类是一种强大的工具，可以在没有COD的高维度中分析经验度量的收敛性。

生成的对抗网络（GaN）是学习高维分布的众所周知的模型，但是没有理解其泛化能力的机制。特别是，GaN容易受到记忆现象的影响，最终会聚到经验分布。我们考虑一个简化的GaN模型，发电机替换为密度，分析鉴别者如何有助于泛化。我们表明，随着早期停下来，威尔斯坦度量测量的泛化误差从维度的诅咒中逃脱，尽管长期来看，记忆是不可避免的。此外，我们展示了WAN的学习结果的硬度。

内核Stein差异（KSD）是一种基于内核的广泛使用概率指标之间差异的非参数量度。它通常在用户从候选概率度量中收集的样本集合的情况下使用，并希望将它们与指定的目标概率度量进行比较。 KSD的一个有用属性是，它可以仅从候选度量的样本中计算出来，并且不知道目标度量的正常化常数。 KSD已用于一系列设置，包括合适的测试，参数推断，MCMC输出评估和生成建模。当前KSD方法论的两个主要问题是（i）超出有限维度欧几里得环境之外的适用性以及（ii）缺乏影响KSD性能的清晰度。本文提供了KSD的新频谱表示，这两种补救措施都使KSD适用于希尔伯特（Hilbert）评估数据，并揭示了内核和Stein oterator Choice对KSD的影响。我们通过在许多合成数据实验中对各种高斯和非高斯功能模型进行拟合优度测试来证明所提出的方法的功效。

生成对抗网络（GAN）在数据生成方面取得了巨大成功。但是，其统计特性尚未完全理解。在本文中，我们考虑了GAN的一般$ f $ divergence公式的统计行为，其中包括Kullback- Leibler Divergence与最大似然原理密切相关。我们表明，对于正确指定的参数生成模型，在适当的规律性条件下，所有具有相同歧视类别类别的$ f $ divergence gans均在渐近上等效。 Moreover, with an appropriately chosen local discriminator, they become equivalent to the maximum likelihood estimate asymptotically.对于被误解的生成模型，具有不同$ f $ -Divergences {收敛到不同估计器}的gan，因此无法直接比较。但是，结果表明，对于某些常用的$ f $ -Diverences，原始的$ f $ gan并不是最佳的，因为当更换原始$ f $ gan配方中的判别器培训时，可以实现较小的渐近方差通过逻辑回归。结果估计方法称为对抗梯度估计（年龄）。提供了实证研究来支持该理论，并证明了年龄的优势，而不是模型错误的原始$ f $ gans。

条件分布是描述响应与预测因子之间关系的基本数量。我们提出了一种学习条件分布的Wasserstein生成方法。所提出的方法使用条件发生器将已知分布转换为目标条件分布。通过匹配涉及条件发生器和目标关节分布的联合分布估计条件发生器，使用Wassersein距离作为这些关节分布的差异测量。我们建立了所提出的方法产生的条件采样分布的非渐近误差，并表明它能够减轻维度的诅咒，假设数据分布被支持在低维集上。我们进行数值实验以验证提出的方法，并将其应用于条件采样生成，非参数条件密度估计，预测不确定性量化，二抗体响应数据，图像重构和图像生成的应用。

对抗性鲁棒性是各种现代机器学习应用中的关键财产。虽然它是最近几个理论研究的主题，但与对抗性稳健性有关的许多重要问题仍然是开放的。在这项工作中，我们研究了有关对抗对抗鲁棒性的贝叶斯最优性的根本问题。我们提供了一般的充分条件，可以保证贝叶斯最佳分类器的存在，以满足对抗性鲁棒性。我们的结果可以提供一种有用的工具，用于随后研究对抗性鲁棒性及其一致性的替代损失。这份稿件是“关于普通贝叶斯分类器的存在”在神经潮端中发表的延伸版本。原始纸张的结果不适用于一些非严格凸的规范。在这里，我们将结果扩展到所有可能的规范。

我们在非标准空间上介绍了积极的确定核的新类别，这些空间完全是严格的确定性或特征。特别是，我们讨论了可分离的希尔伯特空间上的径向内核，并在Banach空间和强型负类型的度量空间上引入了广泛的内核。一般结果用于在可分离的$ l^p $空间和一组措施上提供明确的核类。