我们考虑在高维空间中学习数据的判别性表示的问题，并在多个低维线性子空间上或周围支持分布。也就是说，我们希望计算数据的线性注射映射，以便该功能位于多个正交子空间上。我们没有使用多个PCAS处理这个学习问题，而是使用最近提出的用于学习一般低维基符号的判别性和生成性表示的闭环转录（CTRL）框架作为顺序游戏。我们证明，游戏的平衡解决方案确实提供了正确的表示。我们的方法通过表明可以证明使用现代表示学习工具包可以解决子空间学习问题，从而将学习子空间的经典方法统一了学习子空间。此外，在线性子空间的重要情况下，我们的工作为CTRL框架提供了第一个理论理由。我们以令人信服的经验证据来支持我们的理论发现。我们还将顺序的游戏公式推广到更通用的表示学习问题。我们的代码，包括容易复制实验结果的方法，在GitHub上公开可用。

这项工作提出了一种新的计算框架，用于学习用于真实数据集的明确生成模型。特别地，我们建议在包含多个独立的多维线性子空间组成的特征空间中的多类多维数据分发和{线性判别表示（LDR）}之间学习{\ EM闭环转录}。特别地，我们认为寻求的最佳编码和解码映射可以被配制为编码器和解码器之间的{\ em二手最小游戏的均衡点}。该游戏的自然实用功能是所谓的{\ em速率减少}，这是一个简单的信息定理措施，用于特征空间中子空间类似的高斯的混合物之间的距离。我们的配方利用来自控制系统的闭环误差反馈的灵感，避免昂贵的评估和最小化数据空间或特征空间的任意分布之间的近似距离。在很大程度上，这种新的制定统一了自动编码和GaN的概念和益处，并自然将它们扩展到学习多级和多维实际数据的判别和生成}表示的设置。我们对许多基准图像数据集的广泛实验表明了这种新的闭环配方的巨大潜力：在公平的比较下，学习的解码器的视觉质量和编码器的分类性能是竞争力的，并且通常比基于GaN，VAE或基于GaN，VAE或基于GaN，VAE的方法更好的方法两者的组合。我们注意到所以，不同类别的特征在特征空间中明确地映射到大约{em独立的主管子空间};每个类中的不同视觉属性由每个子空间中的{\ em独立主体组件}建模。

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

比较概率分布是许多机器学习算法的关键。最大平均差异（MMD）和最佳运输距离（OT）是在过去几年吸引丰富的关注的概率措施之间的两类距离。本文建立了一些条件，可以通过MMD规范控制Wassersein距离。我们的作品受到压缩统计学习（CSL）理论的推动，资源有效的大规模学习的一般框架，其中训练数据总结在单个向量（称为草图）中，该训练数据捕获与所考虑的学习任务相关的信息。在CSL中的现有结果启发，我们介绍了H \“较旧的较低限制的等距属性（H \”较旧的LRIP）并表明这家属性具有有趣的保证对压缩统计学习。基于MMD与Wassersein距离之间的关系，我们通过引入和研究学习任务的Wassersein可读性的概念来提供压缩统计学习的保证，即概率分布之间的某些特定于特定的特定度量，可以由Wassersein界定距离。

We reformulate unsupervised dimension reduction problem (UDR) in the language of tempered distributions, i.e. as a problem of approximating an empirical probability density function by another tempered distribution, supported in a $k$-dimensional subspace. We show that this task is connected with another classical problem of data science -- the sufficient dimension reduction problem (SDR). In fact, an algorithm for the first problem induces an algorithm for the second and vice versa. In order to reduce an optimization problem over distributions to an optimization problem over ordinary functions we introduce a nonnegative penalty function that ``forces'' the support of the model distribution to be $k$-dimensional. Then we present an algorithm for the minimization of the penalized objective, based on the infinite-dimensional low-rank optimization, which we call the alternating scheme. Also, we design an efficient approximate algorithm for a special case of the problem, where the distance between the empirical distribution and the model distribution is measured by Maximum Mean Discrepancy defined by a Mercer kernel of a certain type. We test our methods on four examples (three UDR and one SDR) using synthetic data and standard datasets.

Many problems in causal inference and economics can be formulated in the framework of conditional moment models, which characterize the target function through a collection of conditional moment restrictions. For nonparametric conditional moment models, efficient estimation often relies on preimposed conditions on various measures of ill-posedness of the hypothesis space, which are hard to validate when flexible models are used. In this work, we address this issue by proposing a procedure that automatically learns representations with controlled measures of ill-posedness. Our method approximates a linear representation defined by the spectral decomposition of a conditional expectation operator, which can be used for kernelized estimators and is known to facilitate minimax optimal estimation in certain settings. We show this representation can be efficiently estimated from data, and establish L2 consistency for the resulting estimator. We evaluate the proposed method on proximal causal inference tasks, exhibiting promising performance on high-dimensional, semi-synthetic data.

生成对抗网络（GAN）通过两人游戏从数据样本中学习隐含的生成模型。在本文中，我们研究了游戏的NASH平衡存在，随着数据样本的数量增长到无穷大。在一个可实现的环境中，目标是估计固定高斯过程的基本真相发生器，我们表明，始终如一的nash平衡的存在至关重要取决于歧视家族的选择。根据二阶统计力矩定义的歧视器可能导致NASH平衡不存在，存在一致的非NASH平衡，或者是始终如一的NASH平衡的存在和唯一性，具体取决于发电机家族的对称特性是否受到尊重。我们进一步研究了梯度下降方法对一致平衡的局部稳定性和全球收敛。

Recent work has shown local convergence of GAN training for absolutely continuous data and generator distributions. In this paper, we show that the requirement of absolute continuity is necessary: we describe a simple yet prototypical counterexample showing that in the more realistic case of distributions that are not absolutely continuous, unregularized GAN training is not always convergent. Furthermore, we discuss regularization strategies that were recently proposed to stabilize GAN training. Our analysis shows that GAN training with instance noise or zerocentered gradient penalties converges. On the other hand, we show that Wasserstein-GANs and WGAN-GP with a finite number of discriminator updates per generator update do not always converge to the equilibrium point. We discuss these results, leading us to a new explanation for the stability problems of GAN training. Based on our analysis, we extend our convergence results to more general GANs and prove local convergence for simplified gradient penalties even if the generator and data distributions lie on lower dimensional manifolds. We find these penalties to work well in practice and use them to learn highresolution generative image models for a variety of datasets with little hyperparameter tuning.

考虑Huber污染高斯模型下的位置与差异矩阵的同时估计问题。首先，我们在人口层面上学习最低$ F $估计，对应于具有非参数鉴别者的生成对抗方法，并在$ F $建立条件，这导致强大的估计，类似于最小距离估计的鲁棒性。更重要的是，我们开发具有简单的样条鉴别器的贸易对抗算法，其可以通过嵌套优化实现，使得可以通过给出当前发生器来最大化凹形物理函数来完全更新鉴别器参数。提出的方法显示，根据$ F $ -diverence和所使用的罚款，可以实现最低限度的最佳速率或接近最佳速率。我们提出了模拟研究，以证明具有经典鲁棒估算器，成对方法和神经网络鉴别器的成对方法和生成对抗方法的提出方法的优势。

在深层网络和人工智能复兴的十年中，我们提出了一个理论框架，该框架阐明了一般智力的更大范围内的深层网络。我们介绍了两个基本原则，即简短和自持矛盾，我们认为这是智力，人为或自然的兴起的基石。尽管这两个原则具有丰富的古典根源，但我们认为可以以完全可衡量和可计算的方式重新说明它们。更具体地说，这两个原理导致了有效，有效的计算框架，即压缩闭环转录，该框架统一并解释了现代深层网络和许多人工智能实践的演变。尽管我们主要以视觉数据的建模为例，但我们认为这两个原则将统一对自主智能系统的广泛家庭的理解，并为理解大脑提供了一个框架。

变形AutoEncoders（VAES）是最常用的生成模型之一，特别是对于图像数据。训练VAE中的突出困难是在低维歧管上支持的数据。戴伊和WIPF（2019年）的最新工作表明，在低维数据上，发电机将收敛到具有0方差的解决方案，该方案被正确地支持地面真相歧管。在本文中，通过组合理论和经验结果，我们表明故事更加微妙。正是，我们表明，对于线性编码器/解码器，故事大多是真实的，VAE训练确实恢复了一个等于地面真理歧管的支撑的发电机，但这是由于梯度下降的隐含偏差而不是仅仅是vae损失本身。在非线性案例中，我们表明VAE训练经常学习更高度的歧管，这是地面真相歧管的超集。

对比学习在各种自我监督的学习任务中取得了最先进的表现，甚至优于其监督的对应物。尽管其经验成功，但对为什么对比学习作品的理论认识仍然有限。在本文中，（i）我们证明，对比学习胜过AutoEncoder，一种经典无监督的学习方法，适用于特征恢复和下游任务;（ii）我们还说明标记数据在监督对比度学习中的作用。这为最近的发现提供了理论支持，即对标签对比学习的结果提高了域名下游任务中学识表的表现，但它可能会损害转移学习的性能。我们通过数值实验验证了我们的理论。

近似消息传递（AMP）是解决高维统计问题的有效迭代范式。但是，当迭代次数超过$ o \ big（\ frac {\ log n} {\ log log \ log \ log n} \时big）$（带有$ n $问题维度）。为了解决这一不足，本文开发了一个非吸附框架，用于理解峰值矩阵估计中的AMP。基于AMP更新的新分解和可控的残差项，我们布置了一个分析配方，以表征在存在独立初始化的情况下AMP的有限样本行为，该过程被进一步概括以进行光谱初始化。作为提出的分析配方的两个具体后果：（i）求解$ \ mathbb {z} _2 $同步时，我们预测了频谱初始化AMP的行为，最高为$ o \ big（\ frac {n} {\ mathrm {\ mathrm { poly} \ log n} \ big）$迭代，表明该算法成功而无需随后的细化阶段（如最近由\ citet {celentano2021local}推测）; （ii）我们表征了稀疏PCA中AMP的非反应性行为（在尖刺的Wigner模型中），以广泛的信噪比。

在本文中，我们研究了主要成分分析的问题，并采用了生成建模假设，采用了一个普通矩阵的通用模型，该模型包括涉及尖峰矩阵恢复和相位检索在内的明显特殊情况。关键假设是，基础信号位于$ l $ -Lipschitz连续生成模型的范围内，该模型具有有限的$ k $二维输入。我们提出了一个二次估计器，并证明它享有顺序的统计率$ \ sqrt {\ frac {k \ log l} {m} {m}} $，其中$ m $是样本的数量。我们还提供了近乎匹配的算法独立的下限。此外，我们提供了经典功率方法的一种变体，该方法将计算的数据投射到每次迭代期间生成模型的范围内。我们表明，在适当的条件下，该方法将指数级的快速收敛到达到上述统计率的点。我们在各种图像数据集上对峰值矩阵和相位检索模型进行实验，并说明了我们方法的性能提高到经典功率方法，并为稀疏主组件分析设计了截断的功率方法。

Autoencoders are a popular model in many branches of machine learning and lossy data compression. However, their fundamental limits, the performance of gradient methods and the features learnt during optimization remain poorly understood, even in the two-layer setting. In fact, earlier work has considered either linear autoencoders or specific training regimes (leading to vanishing or diverging compression rates). Our paper addresses this gap by focusing on non-linear two-layer autoencoders trained in the challenging proportional regime in which the input dimension scales linearly with the size of the representation. Our results characterize the minimizers of the population risk, and show that such minimizers are achieved by gradient methods; their structure is also unveiled, thus leading to a concise description of the features obtained via training. For the special case of a sign activation function, our analysis establishes the fundamental limits for the lossy compression of Gaussian sources via (shallow) autoencoders. Finally, while the results are proved for Gaussian data, numerical simulations on standard datasets display the universality of the theoretical predictions.

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

生成的对策网络是一种流行的方法，用于通过根据已知分发的函数来建立目标分布来从数据学习分布的流行方法。经常被称为发电机的功能优化，以最小化所生成和目标分布之间的所选距离测量。这种目的的一个常用措施是Wassersein距离。然而，Wassersein距离难以计算和优化，并且在实践中，使用熵正则化技术来改善数值趋同。然而，正规化对学到的解决方案的影响仍未得到很好的理解。在本文中，我们研究了Wassersein距离的几个流行的熵正规提出如何在一个简单的基准设置中冲击解决方案，其中发电机是线性的，目标分布是高维高斯的。我们表明，熵正则化促进了解决方案稀疏化，同时更换了与秸秆角偏差的Wasserstein距离恢复了不断的解决方案。两种正则化技术都消除了Wasserstein距离所遭受的维度的诅咒。我们表明，可以从目标分布中学习最佳发电机，以$ O（1 / \ epsilon ^ 2）$ samples从目标分布中学习。因此，我们得出结论，这些正则化技术可以提高来自大量分布的经验数据的发电机的质量。

生成的对抗网络（GAN）在无监督学习方面取得了巨大的成功。尽管具有显着的经验表现，但关于gan的统计特性的理论研究有限。本文提供了gan的近似值和统计保证，以估算具有H \“ {o} lder空间密度的数据分布。我们的主要结果表明，如果正确选择了生成器和鉴别器网络架构，则gan是一致的估计器在较强的差异指标下的数据分布（例如Wasserstein-1距离。 ，这不受环境维度的诅咒。我们对低维数据的分析基于具有Lipschitz连续性保证的神经网络的通用近似理论，这可能具有独立的兴趣。

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the 1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.