在样本量有限的域中，有效的学习算法至关重要。使用特权信息（LUPI）学习，通过允许预测模型在培训时间访问信息类型，从而提高了样本效率，而在使用模型时，这是不可用的。在最近的工作中，有证据表明，对于线性高斯动力学系统的预测，具有中间时间序列数据访问的卢比学习者永远不会比任何公正的经典学习者更糟糕，而且常常更好。我们为该分析提供了新的见解，并将其推广到潜在动力学系统中的非线性预测任务，从而将理论保证扩展到连接潜在变量和观察值的地图已知到线性变换的情况下。此外，我们提出了基于随机特征和表示该地图未知的情况的表示算法。一套经验结果证实了理论发现，并显示了在非线性预测中使用特权时间序列信息的潜力。

在机器学习的许多应用中，不可避免的值是不可避免的，并且在培训和测试时都提出了挑战。当反复出现的模式中缺少变量时，已经提出了单独的图案子模型作为解决方案。但是，独立模型并不能有效利用所有可用数据。相反，将共享模型拟合到完整数据集通常取决于插补，而当丢失度取决于未观察到的因素时，这可能是次优的。我们提出了一种替代方法，称为共享模式子模型，该方法做出了a）在测试时对缺失值的强大预测，b）维持或提高模式子模型的预测能力，c）有一个简短的描述，可改善可解释性。我们确定共享是最佳的情况，即使缺失本身具有预测性以及预测目标取决于未观察到的变量。关于合成数据和两个医疗保健数据集的分类和回归实验表明，我们的模型在模式专业化和信息共享之间实现了良好的权衡。

我们证明了由例如He等人提出的广泛使用的方法。（2015年）并使用梯度下降对最小二乘损失进行训练并不普遍。具体而言，我们描述了一大批一维数据生成分布，较高的概率下降只会发现优化景观的局部最小值不好，因为它无法将其偏离偏差远离其初始化，以零移动。。事实证明，在这些情况下，即使目标函数是非线性的，发现的网络也基本执行线性回归。我们进一步提供了数值证据，表明在实际情况下，对于某些多维分布而发生这种情况，并且随机梯度下降表现出相似的行为。我们还提供了有关初始化和优化器的选择如何影响这种行为的经验结果。

在考虑混杂变量时估计干预措施的效果是因果推断的关键任务。通常，混杂因素没有观察到，但是我们可以访问大量的非结构化数据（图像，文本），这些数据包含有关缺失混杂因素的有价值的代理信号。本文表明，利用通常被现有算法未使用的非结构化数据提高了因果效应估计的准确性。具体而言，我们引入了深层多模式结构方程，这是一个生成模型，其中混杂因素是潜在变量，非结构化数据是代理变量。该模型支持多个多模式代理（图像，文本）以及缺少数据。我们从经验上证明了基因组学和医疗保健的任务，我们的方法纠正了使用非结构化输入混淆，从而有可能使用以前在因果推理中不使用的大量数据。

Learning curves provide insight into the dependence of a learner's generalization performance on the training set size. This important tool can be used for model selection, to predict the effect of more training data, and to reduce the computational complexity of model training and hyperparameter tuning. This review recounts the origins of the term, provides a formal definition of the learning curve, and briefly covers basics such as its estimation. Our main contribution is a comprehensive overview of the literature regarding the shape of learning curves. We discuss empirical and theoretical evidence that supports well-behaved curves that often have the shape of a power law or an exponential. We consider the learning curves of Gaussian processes, the complex shapes they can display, and the factors influencing them. We draw specific attention to examples of learning curves that are ill-behaved, showing worse learning performance with more training data. To wrap up, we point out various open problems that warrant deeper empirical and theoretical investigation. All in all, our review underscores that learning curves are surprisingly diverse and no universal model can be identified.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

在许多学科中，动态系统的数据信息预测模型的开发引起了广泛的兴趣。我们提出了一个统一的框架，用于混合机械和机器学习方法，以从嘈杂和部分观察到的数据中识别动态系统。我们将纯数据驱动的学习与混合模型进行比较，这些学习结合了不完善的域知识。我们的公式与所选的机器学习模型不可知，在连续和离散的时间设置中都呈现，并且与表现出很大的内存和错误的模型误差兼容。首先，我们从学习理论的角度研究无内存线性（W.R.T.参数依赖性）模型误差，从而定义了过多的风险和概括误差。对于沿阵行的连续时间系统，我们证明，多余的风险和泛化误差都通过与T的正方形介于T的术语（指定训练数据的时间间隔）的术语界定。其次，我们研究了通过记忆建模而受益的方案，证明了两类连续时间复发性神经网络（RNN）的通用近似定理：两者都可以学习与内存有关的模型误差。此外，我们将一类RNN连接到储层计算，从而将学习依赖性错误的学习与使用随机特征在Banach空间之间进行监督学习的最新工作联系起来。给出了数值结果（Lorenz '63，Lorenz '96多尺度系统），以比较纯粹的数据驱动和混合方法，发现混合方法较少，渴望数据较少，并且更有效。最后，我们从数值上证明了如何利用数据同化来从嘈杂，部分观察到的数据中学习隐藏的动态，并说明了通过这种方法和培训此类模型来表示记忆的挑战。

尽管深度强化学习（RL）最近取得了许多成功，但其方法仍然效率低下，这使得在数据方面解决了昂贵的许多问题。我们的目标是通过利用未标记的数据中的丰富监督信号来进行学习状态表示，以解决这一问题。本文介绍了三种不同的表示算法，可以访问传统RL算法使用的数据源的不同子集使用：（i）GRICA受到独立组件分析（ICA）的启发，并训练深层神经网络以输出统计独立的独立特征。输入。 Grica通过最大程度地减少每个功能与其他功能之间的相互信息来做到这一点。此外，格里卡仅需要未分类的环境状态。 （ii）潜在表示预测（LARP）还需要更多的上下文：除了要求状态作为输入外，它还需要先前的状态和连接它们的动作。该方法通过预测当前状态和行动的环境的下一个状态来学习状态表示。预测器与图形搜索算法一起使用。 （iii）重新培训通过训练深层神经网络来学习国家表示，以学习奖励功能的平滑版本。该表示形式用于预处理输入到深度RL，而奖励预测指标用于奖励成型。此方法仅需要环境中的状态奖励对学习表示表示。我们发现，每种方法都有其优势和缺点，并从我们的实验中得出结论，包括无监督的代表性学习在RL解决问题的管道中可以加快学习的速度。

收购用于监督学习的标签可能很昂贵。为了提高神经网络回归的样本效率，我们研究了活跃的学习方法，这些方法可以适应地选择未标记的数据进行标记。我们提出了一个框架，用于从（与网络相关的）基础内核，内核转换和选择方法中构造此类方法。我们的框架涵盖了许多基于神经网络的高斯过程近似以及非乘式方法的现有贝叶斯方法。此外，我们建议用草图的有限宽度神经切线核代替常用的最后层特征，并将它们与一种新型的聚类方法结合在一起。为了评估不同的方法，我们引入了一个由15个大型表格回归数据集组成的开源基准。我们所提出的方法的表现优于我们的基准测试上的最新方法，缩放到大数据集，并在不调整网络体系结构或培训代码的情况下开箱即用。我们提供开源代码，包括所有内核，内核转换和选择方法的有效实现，并可用于复制我们的结果。

观察数据中估算单个治疗效果（ITE）在许多领域，例如个性化医学等领域。但是，实际上，治疗分配通常被未观察到的变量混淆，因此引入了偏见。消除偏见的一种补救措施是使用仪器变量（IVS）。此类环境在医学中广泛存在（例如，将合规性用作二进制IV的试验）。在本文中，我们提出了一个新颖的，可靠的机器学习框架，称为MRIV，用于使用二进制IV估算ITES，从而产生无偏见的ITE估计器。与以前的二进制IV的工作不同，我们的框架通过伪结果回归直接估算了ITE。 （1）我们提供了一个理论分析，我们表明我们的框架产生了多重稳定的收敛速率：即使几个滋扰估计器的收敛缓慢，我们的ITE估计器也会达到快速收敛。 （2）我们进一步表明，我们的框架渐近地优于最先进的插件IV方法，以进行ITE估计。 （3）我们以理论结果为基础，并提出了一种使用二进制IVS的ITE估算的定制的，称为MRIV-NET的深度神经网络结构。在各种计算实验中，我们从经验上证明了我们的MRIV-NET实现最先进的性能。据我们所知，我们的MRIV是第一个机器学习框架，用于估算显示出倍增功能的二进制IV设置。

Many problems in causal inference and economics can be formulated in the framework of conditional moment models, which characterize the target function through a collection of conditional moment restrictions. For nonparametric conditional moment models, efficient estimation often relies on preimposed conditions on various measures of ill-posedness of the hypothesis space, which are hard to validate when flexible models are used. In this work, we address this issue by proposing a procedure that automatically learns representations with controlled measures of ill-posedness. Our method approximates a linear representation defined by the spectral decomposition of a conditional expectation operator, which can be used for kernelized estimators and is known to facilitate minimax optimal estimation in certain settings. We show this representation can be efficiently estimated from data, and establish L2 consistency for the resulting estimator. We evaluate the proposed method on proximal causal inference tasks, exhibiting promising performance on high-dimensional, semi-synthetic data.

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

当我们扩大数据集，模型尺寸和培训时间时，深入学习方法的能力中存在越来越多的经验证据。尽管有一些关于这些资源如何调节统计能力的说法，但对它们对模型培训的计算问题的影响知之甚少。这项工作通过学习$ k $ -sparse $ n $ bits的镜头进行了探索，这是一个构成理论计算障碍的规范性问题。在这种情况下，我们发现神经网络在扩大数据集大小和运行时间时会表现出令人惊讶的相变。特别是，我们从经验上证明，通过标准培训，各种体系结构以$ n^{o（k）} $示例学习稀疏的平等，而损失（和错误）曲线在$ n^{o（k）}后突然下降。 $迭代。这些积极的结果几乎匹配已知的SQ下限，即使没有明确的稀疏性先验。我们通过理论分析阐明了这些现象的机制：我们发现性能的相变不到SGD“在黑暗中绊倒”，直到它找到了隐藏的特征集（自然算法也以$ n^中的方式运行{o（k）} $ time）;取而代之的是，我们表明SGD逐渐扩大了人口梯度的傅立叶差距。

近年来目睹了采用灵活的机械学习模型进行乐器变量（IV）回归的兴趣，但仍然缺乏不确定性量化方法的发展。在这项工作中，我们为IV次数回归提出了一种新的Quasi-Bayesian程序，建立了最近开发的核化IV模型和IV回归的双/极小配方。我们通过在$ l_2 $和sobolev规范中建立最低限度的最佳收缩率，并讨论可信球的常见有效性来分析所提出的方法的频繁行为。我们进一步推出了一种可扩展的推理算法，可以扩展到与宽神经网络模型一起工作。实证评价表明，我们的方法对复杂的高维问题产生了丰富的不确定性估计。

我们的目标是恢复时间延迟的潜在因果变量，并确定其与测量的时间数据的关系。由于在最常规情况下潜在的变量并不唯一可恢复，估计来自观察的因果关系差别尤其具有挑战性。在这项工作中，我们考虑潜在过程的非参数，非间断设置和参数设置，并提出了两个可提供的条件，在该可提供条件下，可以从其非线性混合物中识别时间上发生因果潜在过程。我们提出了一系列的理论上接地的架构，通过在原因过程中通过适当的约束来实现我们的条件来扩展变形AutoEncoders（VAES）。各种数据集的实验结果表明，在不同依赖结构下，从观察到的变量可靠地识别了时间的因果关系潜在过程，并且我们的方法显着优于不利用历史记录或非间常信息的基线。这是第一种工作之一，即在不使用稀疏性或最小的假设的情况下成功地从非线性混合物中恢复时间延迟潜在的过程之一。

自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。

标签稀缺，高维领域，如医疗保健为现代机器学习技术带来了挑战。为了克服缺乏标记数据所带来的困难，我们探讨了对纵向数据的自我监督预训练的“订单对比”方法。我们采样对时间片段对，切换它们的一半，并训练模型以预测给定对是否正确顺序。直观地，订购任务允许模型参加最小的时间可逆特征（例如，表明慢性疾病进展的特征）。相同的功能通常对兴趣的下游任务有用。为了量化这一点，我们研究了一个简单的理论设置，在这里，我们证明了具有订单对比预训练的代表下游误差的有限样本保证。凭经验，在合成和纵向医疗保健环境中，我们展示了令人令人满意的对比训练在监督学习和其他自我监督的预训练前基线的小数据制度中的秩序对比预训练的有效性。我们的结果表明，为特定类别的分布和下游任务设计的预培训方法可以提高自我监督学习的性能。

我们合并计算力学的因果状态（预测等同历史）的定义与再现 - 内核希尔伯特空间（RKHS）表示推断。结果是一种广泛适用的方法，可直接从系统行为的观察中迁移因果结构，无论它们是否超过离散或连续事件或时间。结构表示 - 有限或无限状态内核$ \ epsilon $ -Machine - 由减压变换提取，其提供了有效的因果状态及其拓扑。以这种方式，系统动态由用于在因果状态上的随机（普通或部分）微分方程表示。我们介绍了一种算法来估计相关的演化运营商。平行于Fokker-Plank方程，它有效地发展了因果状态分布，并通过RKHS功能映射在原始数据空间中进行预测。我们展示了这些技术，以及他们的预测能力，在离散时间的离散时间离散 - 有限的无限值Markov订单流程，其中有限状态隐藏马尔可夫模型与（i）有限或（ii）不可数 - 无限因果态和（iii）连续时间，由热驱动的混沌流产生的连续值处理。该方法在存在不同的外部和测量噪声水平和非常高的维数据存在下鲁棒地估计因果结构。

无监督的学习通常用于揭示数据中的群集。然而，不同类型的噪声可能会妨碍来自真实世界的时间序列数据的有用模式的发现。在这项工作中，我们专注于减轻疾病表型群体任务中的间隔审查的干扰。我们开发了一个深入的生成，连续时间模型，时间序列数据串联时间系列，同时纠正审查时间。我们提供了在无噪声模型下的数据中识别群集和延迟条目的条件。

从视觉观察中了解动态系统的潜在因果因素被认为是对复杂环境中推理的推理的关键步骤。在本文中，我们提出了Citris，这是一种变异自动编码器框架，从图像的时间序列中学习因果表示，其中潜在的因果因素可能已被干预。与最近的文献相反，Citris利用了时间性和观察干预目标，以鉴定标量和多维因果因素，例如3D旋转角度。此外，通过引入归一化流，可以轻松扩展柑橘，以利用和删除已验证的自动编码器获得的删除表示形式。在标量因果因素上扩展了先前的结果，我们在更一般的环境中证明了可识别性，其中仅因果因素的某些成分受干预措施影响。在对3D渲染图像序列的实验中，柑橘类似于恢复基本因果变量的先前方法。此外，使用预验证的自动编码器，Citris甚至可以概括为因果因素的实例化，从而在SIM到现实的概括中开放了未来的研究领域，以进行因果关系学习。