Unsupervised representation learning aims at describing raw data efficiently to solve various downstream tasks. It has been approached with many techniques, such as manifold learning, diffusion maps, or more recently self-supervised learning. Those techniques are arguably all based on the underlying assumption that target functions, associated with future downstream tasks, have low variations in densely populated regions of the input space. Unveiling minimal variations as a guiding principle behind unsupervised representation learning paves the way to better practical guidelines for self-supervised learning algorithms.

由于数据的注释可以在大规模的实际问题中稀缺，利用未标记的示例是机器学习中最重要的方面之一。这是半监督学习的目的。从访问未标记数据的访问中受益，它很自然地弥漫将标记数据平稳地知识到未标记的数据。这诱导了Laplacian正规化的使用。然而，Laplacian正则化的当前实施遭受了几种缺点，特别是众所周知的维度诅咒。在本文中，我们提供了统计分析以克服这些问题，并揭示了具有所需行为的大型光谱滤波方法。它们通过（再现）内核方法来实现，我们提供了现实的计算指南，以使我们的方法可用于大量数据。

自我监督的学习（SSL）推测，投入和成对的积极关系足以学习有意义的表示。尽管SSL最近达到了一个里程碑：在许多模式下，胜过监督的方法\点，理论基础是有限的，特定于方法的，并且未能向从业者提供原则上的设计指南。在本文中，我们提出了一个统一的框架，这些框架是在光谱歧管学习的掌舵下，以解决这些局限性。通过这项研究的过程，我们将严格证明Vic​​reg，Simclr，Barlowtwins等。对应于诸如Laplacian eigenmaps，多维缩放等方面的同名光谱方法。然后，此统一将使我们能够获得（i）每种方法的闭合形式的最佳表示，（ii）每种方法的线性态度中的封闭形式的最佳网络参数，（iii）在期间使用的成对关系的影响对每个数量和下游任务性能的培训，以及最重要的是，（iv）分别针对全球和局部光谱嵌入方法的对比度和非对抗性方法之间的第一个理论桥梁，暗示了每种方法的益处和限制。例如，（i）如果成对关系与下游任务一致，则可以成功采用任何SSL方法并将恢复监督方法，但是在低数据状态下，Vicreg的不变性超参数应该很高； （ii）如果成对关系与下游任务未对准，则与SIMCLR或BARLOWTWINS相比，具有小型不变性高参数的VICREG。

自我监督学习中的最新作品通过依靠对比度学习范式来推动最先进的工作，该范式通过推动正面对或从同一班级中的类似示例来学习表示形式，同时将负面对截然不同。尽管取得了经验的成功，但理论基础是有限的 - 先前的分析假设鉴于同一类标签的正对有条件独立性，但是最近的经验应用使用了密切相关的正对（即同一图像的数据增强）。我们的工作分析了对比度学习，而无需在数据上使用增强图的新概念假设正对的有条件独立性。此图中的边缘连接相同数据的增强，而地面实际类别自然形成了连接的子图。我们提出了在人口增强图上执行光谱分解的损失，并且可以简洁地作为对神经净表示的对比学习目标。最小化此目标会导致在线性探针评估下具有可证明准确性的功能。通过标准的概括范围，在最大程度地减少训练对比度损失时，这些准确性也可以保证。从经验上讲，我们目标所学的功能可以匹配或胜过基准视觉数据集上的几个强基线。总的来说，这项工作为对比度学习提供了首次可证明的分析，在该学习中，线性探针评估的保证可以适用于现实的经验环境。

在本文中，我们研究了自我监督的学习方法，尤其是VICREG，以提供对其构建的信息理论理解。作为第一步，我们演示了如何获得确定性网络的信息理论数量，为依赖随机模型的先前工作提供了可能的替代方法。这使我们能够证明如何从第一原则及其对数据分布的假设中发现的（重新）。此外，我们从经验上证明了我们的假设的有效性，证实了我们对Vicreg的新理解。最后，我们认为，我们获得的派生和见解可以推广到许多其他SSL方法，为SSL和转移学习的理论和实际理解开辟了新的途径。

The workhorse of machine learning is stochastic gradient descent. To access stochastic gradients, it is common to consider iteratively input/output pairs of a training dataset. Interestingly, it appears that one does not need full supervision to access stochastic gradients, which is the main motivation of this paper. After formalizing the "active labeling" problem, which focuses on active learning with partial supervision, we provide a streaming technique that provably minimizes the ratio of generalization error over the number of samples. We illustrate our technique in depth for robust regression.

尽管自我监督学习（SSL）方法取得了经验成功，但尚不清楚其表示的哪些特征导致了高下游精度。在这项工作中，我们表征了SSL表示应该满足的属性。具体而言，我们证明了必要和充分的条件，因此，对于给出的数据增强的任何任务，在该表示形式上训练的所需探针（例如，线性或MLP）具有完美的准确性。这些要求导致一个统一的概念框架，用于改善现有的SSL方法并得出新方法。对于对比度学习，我们的框架规定了对以前的方法（例如使用不对称投影头）的简单但重大改进。对于非对比度学习，我们使用框架来得出一个简单新颖的目标。我们所得的SSL算法在标准基准测试上的表现优于基线，包括Imagenet线性探测的SHAV+多螺旋桨。

We propose a family of learning algorithms based on a new form of regularization that allows us to exploit the geometry of the marginal distribution. We focus on a semi-supervised framework that incorporates labeled and unlabeled data in a general-purpose learner. Some transductive graph learning algorithms and standard methods including support vector machines and regularized least squares can be obtained as special cases. We use properties of reproducing kernel Hilbert spaces to prove new Representer theorems that provide theoretical basis for the algorithms. As a result (in contrast to purely graph-based approaches) we obtain a natural out-of-sample extension to novel examples and so are able to handle both transductive and truly semi-supervised settings. We present experimental evidence suggesting that our semi-supervised algorithms are able to use unlabeled data effectively. Finally we have a brief discussion of unsupervised and fully supervised learning within our general framework.

近几十年来，科学和工程的可用数据数量的重大增长彻底改变了。然而，尽管现在收集和存储数据的空前很容易，但通过补充每个功能的标签来标记数据仍然是具有挑战性的。标签过程需要专家知识或乏味且耗时的说明任务包括用诊断X射线标记X射线，具有蛋白质类型的蛋白质序列，其主题的文本，通过其情感推文或视频通过其类型的视频。在这些和许多其他示例中，由于成本和时间限制，只能手动标记一些功能。我们如何才能最好地将标签信息从少数昂贵的标签功能到大量未标记的标签信息传播？这是半监督学习（SSL）提出的问题。本文概述了基于图的贝叶斯SSL的最新基础发展，这是一种使用功能之间的相似性的标签传播概率框架。 SSL是一个活跃的研究领域，对现有文献的彻底回顾超出了本文的范围。我们的重点将放在我们自己的研究中得出的主题，这些主题说明了对基于图的贝叶斯SSL的统计准确性和计算效率进行严格研究的广泛数学工具和思想。

我们从统计依赖性角度接近自我监督的图像表示学习，提出与希尔伯特 - 施密特独立性标准（SSL-HSIC）自我监督的学习。 SSL-HSIC最大化图像和图像标识的变换表示之间的依赖性，同时最小化这些表示的核化方差。该框架产生了对Infonce的新了解，在不同转换之间的相互信息（MI）上的变分下限。虽然已知MI本身具有可能导致学习无意义的表示的病理学，但其绑定表现得更好：我们表明它隐含地近似于SSL-HSIC（具有略微不同的规范器）。我们的方法还向我们深入了解Byol，一种无与伦比的SSL方法，因为SSL-HSIC类似地了解了当地的样本邻居。 SSL-HSIC允许我们在批量大小中直接在时间线性上直接优化统计依赖性，而无需限制数据假设或间接相互信息估计。 SSL-HSIC培训或没有目标网络，SSL-HSIC与Imagenet的标准线性评估相匹配，半监督学习和转移到其他分类和视觉任务，如语义分割，深度估计和对象识别等。代码可在https://github.com/deepmind/ssl_hsic提供。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

本文研究了基于Laplacian Eigenmaps（Le）的基于Laplacian EIGENMAPS（PCR-LE）的主要成分回归的统计性质，这是基于Laplacian Eigenmaps（Le）的非参数回归的方法。 PCR-LE通过投影观察到的响应的向量$ {\ bf y} =（y_1，\ ldots，y_n）$ to to changbood图表拉普拉斯的某些特征向量跨越的子空间。我们表明PCR-Le通过SoboLev空格实现了随机设计回归的最小收敛速率。在设计密度$ P $的足够平滑条件下，PCR-le达到估计的最佳速率（其中已知平方$ l ^ 2 $ norm的最佳速率为$ n ^ { - 2s /（2s + d） ）} $）和健美的测试（$ n ^ { - 4s /（4s + d）$）。我们还表明PCR-LE是\ EMPH {歧管Adaptive}：即，我们考虑在小型内在维度$ M $的歧管上支持设计的情况，并为PCR-LE提供更快的界限Minimax估计（$ n ^ { - 2s /（2s + m）$）和测试（$ n ^ { - 4s /（4s + m）$）收敛率。有趣的是，这些利率几乎总是比图形拉普拉斯特征向量的已知收敛率更快;换句话说，对于这个问题的回归估计的特征似乎更容易，统计上讲，而不是估计特征本身。我们通过经验证据支持这些理论结果。

We consider neural networks with a single hidden layer and non-decreasing positively homogeneous activation functions like the rectified linear units. By letting the number of hidden units grow unbounded and using classical non-Euclidean regularization tools on the output weights, they lead to a convex optimization problem and we provide a detailed theoretical analysis of their generalization performance, with a study of both the approximation and the estimation errors. We show in particular that they are adaptive to unknown underlying linear structures, such as the dependence on the projection of the input variables onto a low-dimensional subspace. Moreover, when using sparsity-inducing norms on the input weights, we show that high-dimensional non-linear variable selection may be achieved, without any strong assumption regarding the data and with a total number of variables potentially exponential in the number of observations. However, solving this convex optimization problem in infinite dimensions is only possible if the non-convex subproblem of addition of a new unit can be solved efficiently. We provide a simple geometric interpretation for our choice of activation functions and describe simple conditions for convex relaxations of the finite-dimensional non-convex subproblem to achieve the same generalization error bounds, even when constant-factor approximations cannot be found. We were not able to find strong enough convex relaxations to obtain provably polynomial-time algorithms and leave open the existence or non-existence of such tractable algorithms with non-exponential sample complexities.

The success of machine learning algorithms generally depends on data representation, and we hypothesize that this is because different representations can entangle and hide more or less the different explanatory factors of variation behind the data. Although specific domain knowledge can be used to help design representations, learning with generic priors can also be used, and the quest for AI is motivating the design of more powerful representation-learning algorithms implementing such priors. This paper reviews recent work in the area of unsupervised feature learning and deep learning, covering advances in probabilistic models, auto-encoders, manifold learning, and deep networks. This motivates longer-term unanswered questions about the appropriate objectives for learning good representations, for computing representations (i.e., inference), and the geometrical connections between representation learning, density estimation and manifold learning.

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

我们研究了紧凑型歧管M上的回归问题。为了利用数据的基本几何形状和拓扑结构，回归任务是基于歧管的前几个特征函数执行的，该特征是歧管的laplace-beltrami操作员，通过拓扑处罚进行正规化。提出的惩罚基于本征函数或估计功能的子级集的拓扑。显示总体方法可在合成和真实数据集上对各种应用产生有希望的和竞争性能。我们还根据回归函数估计，其预测误差及其平滑度（从拓扑意义上）提供理论保证。综上所述，这些结果支持我们方法在目标函数“拓扑平滑”的情况下的相关性。

近年来出现的一种意外技术包括使用自我监督学习（SSL）方法培训深网（DN），并在下游任务上使用此网络，但其最后几层已完全删除。这种通常的脱脂技巧实际上对于SSL方法显示竞争性表演至关重要。例如，在成像网分类上，可以以这种方式获得超过30个百分比。这有点令人烦恼，因为人们希望在训练期间SSL标准明确执行不变性的网络层（最后一层）应该是用于下游最佳概括性能的一种。但这似乎并非如此，这项研究阐明了原因。我们将这种技巧称为断头台正则化（GR），实际上是一种普遍适用的正则化形式，也已用于改善转移学习方案中的泛化性能。在这项工作中，通过理论和实验，我们将GR形式化并确定其在SSL方法中成功背后的根本原因。我们的研究表明，这种技巧对于SSL的性能至关重要，原因有两个：（i）确定训练过程中使用的正面对的数据启发不当，和/或（ii）次优选择了该训练的超参数。 SSL损失。

These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

当图形亲和力矩阵是由$ n $随机样品构建的，在$ d $ d $维歧管上构建图形亲和力矩阵时，这项工作研究图形拉普拉斯元素与拉普拉斯 - 贝特拉米操作员的光谱收敛。通过分析DIRICHLET形成融合并通过歧管加热核卷积构建候选本本函数，我们证明，使用高斯内核，可以设置核band band band band parame $ \ epsilon \ sim \ sim（\ log n/ n/ n）^{1/（D /2+2）} $使得特征值收敛率为$ n^{ - 1/（d/2+2）} $，并且2-norm中的特征向量收敛率$ n^{ - 1/（d+） 4）} $;当$ \ epsilon \ sim（\ log n/n）^{1/（d/2+3）} $时，eigenValue和eigenVector速率均为$ n^{ - 1/（d/2+3）} $。这些费率最高为$ \ log n $因素，并被证明是有限的许多低洼特征值。当数据在歧管上均匀采样以及密度校正的图laplacian（在两个边的度矩阵中归一化）时，结果适用于非归一化和随机漫步图拉普拉斯laplacians laplacians laplacians以及密度校正的图laplacian（其中两侧的级别矩阵）采样数据。作为中间结果，我们证明了密度校正图拉普拉斯的新点和差异形式的收敛速率。提供数值结果以验证理论。