哪种结构可以使学习者能够从未标记的数据中发现类？传统方法取决于功能空间的相似性和对数据的英勇假设。在本文中，我们在潜在标签换档（LLS）下介绍了无监督的学习，我们可以从多个域中访问未标记的数据，以便标签边缘$ p_d（y）$可以跨域变化，但是类有条件的$ p（\ mathbf） {x} | y）$不。这项工作实例化了识别类别的新原则：将分组分组的元素。对于有限输入空间，我们在LLS和主题建模之间建立了同构：输入对应于单词，域，文档和标签与主题。解决连续数据时，我们证明，当每个标签的支持包含一个可分离区域时，类似于锚词，Oracle访问$ P（d | \ Mathbf {x}）$足以识别$ p_d（y）$和$ p_d（ y | \ mathbf {x}）$ for排列。因此，我们引入了一种实用算法，该算法利用域 - 歧义模型如下：（i）通过域歧视器$ p（d | \ mathbf {x}）推动示例； （ii）通过$ p（d | \ mathbf {x}）$ space中的聚类示例来离散数据； （iii）对离散数据执行非负矩阵分解； （iv）将回收的$ P（y | d）$与鉴别器输出$ p（d | \ mathbf {x}）$结合在一起计算$ p_d（y | x）\; \ forall d $。通过半合成实验，我们表明我们的算法可以利用域信息来改善无监督的分类方法。当功能空间相似性并不表示真实分组时，我们揭示了标准无监督分类方法的故障模式，并从经验上证明我们的方法可以更好地处理这种情况。我们的结果建立了分销转移与主题建模之间的密切联系，为将来的工作开辟了有希望的界限。
translated by 谷歌翻译
我们介绍了在打开集标签偏移（OSL）下进行域适应的问题，该标签分布可以任意更改，并且在部署期间可能会到达新类，但是类别条件分布p（x | y）是域不变的。 OSLS在标签转移和未标记（PU）学习下适应域的域名。学习者的目标是两个方面：（a）估计目标标签分布，包括新颖的班级； （b）学习目标分类器。首先，我们建立了确定这些数量的必要条件。其次，在标签转移和PU学习方面的进步中，我们提出了针对利用黑盒预测变量的两项任务的实用方法。与典型的开放式域适应（OSDA）问题不同，该问题往往不适合且仅适合启发式方法，OSLS提供了一个适合原则性机械的良好问题。关于视觉，语言和医学数据集的众多半合成基准测试的实验表明，我们的方法始终超过OSDA基线，实现目标域精度的10--25％提高。最后，我们分析了提出的方法，建立了与真正的标签边缘和收敛到高斯设置中线性模型的最佳分类器的有限样本收敛性。代码可在https://github.com/acmi-lab/open-set-label-shift上找到。
translated by 谷歌翻译
只给出了积极的例子和未标记的例子（来自正面和负数），我们可能希望估计准确的正面与负分类器。正式地，该任务分为两个子任务：（i）混合比例估计（MPE） - 确定未标记数据中的正例的分数; （ii）PU-Learning - 鉴于这样的估计，学习所需的正面与负分类器。不幸的是，两个问题的古典方法在高维设置中分解。与此同时，最近提出的启发式缺乏理论一致性，并效力依赖于近双车调谐。在本文中，我们提出了两种简单的技术：最好的箱估计（BBE）（用于MPE）;而有条件的价值忽略风险（CVIR），对PU学习的简单目标。这两种方法都主导了先前的方法，并且对于BBE，我们建立正式保证，每当我们可以培训模型来干净地分离出一小部分积极示例的担保。我们的最终算法（TED）$ ^ N $，两种程序之间交替，显着改善了我们的混合比例估计器和分类器
translated by 谷歌翻译
主题模型为学习，提取和发现大型文本语料库中的潜在结构提供了有用的文本挖掘工具。尽管已经为主题建模提出了大量方法，但文献缺乏是对潜在主题估计的统计识别性和准确性的正式理论研究。在本文中，我们提出了一个基于特定的集成可能性的潜在主题的最大似然估计量（MLE），该主题自然地与该概念相连，在计算几何学中，体积最小化。我们的理论介绍了主题模型可识别性的一组新几何条件，这些条件比常规的可分离性条件弱，这些条件通常依赖于纯主题文档或锚定词的存在。较弱的条件允许更广泛的调查，因此可能会更加富有成果的研究。我们对拟议的估计器进行有限样本误差分析，并讨论我们的结果与先前研究的结果之间的联系。我们以使用模拟和真实数据集的实证研究结论。
translated by 谷歌翻译
为了评估泛化，机器学习科学家通常（i）涉及泛化差距，然后（训练后）插入经验风险，以获得真正风险的界限;或（ii）验证持续数据验证。但是，（i）通常会给过度分开的模型产生脏污保证。此外，（ii）缩小训练集及其保证侵蚀，每次重复抵押邮件集。在本文中，我们介绍了一种利用未标记数据来产生泛化界限的方法。通过随机标记的新鲜例子增强我们（标签）培训，我们以标准方式训练。每当分类器在清洁数据上实现低误差和嘈杂数据的高误差时，我们的绑定都会为真正风险提供紧密的上限。我们证明我们的界限有效期为0-1经验风险最小化，并通过梯度下降训练的线性分类器。由于早期学习现象，我们的方法与深度学习结合尤其有用，由此网络在嘈杂的标签前拟合真正的标签，但需要一个直观的假设。在经验上，在规范计算机视觉和NLP任务上，我们的绑定提供了不受空广的泛化保证，可密切跟踪实际性能。这项工作为从业者提供了一个选择，即使在未经看跌的数据不可用的情况下也能够认证深网络的泛化，并为随机标签噪声和泛化之间的关系提供理论洞察力。
translated by 谷歌翻译
现实世界机器学习部署的特点是源（训练）和目标（测试）分布之间的不匹配，可能导致性能下降。在这项工作中，我们研究了仅使用标记的源数据和未标记的目标数据来预测目标域精度的方法。我们提出了平均阈值的置信度（ATC），一种实用的方法，用于了解模型的置信度的阈值，预测精度作为模型置信度超过该阈值的未标记示例的分数。 ATC优于多种模型架构的先前方法，分发班次类型（例如，由于综合损坏，数据集再现或新颖的群体）和数据集（野外，想象成，品种，CNIST）。在我们的实验中，ATC估计目标性能$ 2 $ 2美元 - 比以前的方法更准确地获得4美元。我们还探讨了问题的理论基础，证明通常，识别精度与识别最佳预测因子一样难以识别，因此，任何方法的功效都依赖于（可能是未列区）假设对移位的性质。最后，在一些玩具分布中分析了我们的方法，我们提供了有关其工作时的见解。
translated by 谷歌翻译
将离散域上的功能集成到神经网络中是开发其推理离散对象的能力的关键。但是，离散域是（1）自然不适合基于梯度的优化，并且（2）与依赖于高维矢量空间中表示形式的深度学习体系结构不相容。在这项工作中，我们解决了设置功能的两个困难，这些功能捕获了许多重要的离散问题。首先，我们开发了将设置功能扩展到低维连续域的框架，在该域中，许多扩展是自然定义的。我们的框架包含许多众所周知的扩展，作为特殊情况。其次，为避免不良的低维神经网络瓶颈，我们将低维扩展转换为高维空间中的表示形式，从半际计划进行组合优化的成功中获得了灵感。从经验上讲，我们观察到扩展对无监督的神经组合优化的好处，特别是具有高维其表示。
translated by 谷歌翻译
我们认为，从其嘈杂的瞬间信息中，在任何维度上学习$ k $ spike混合物的稀疏力矩问题。我们使用运输距离来测量学习混合物的准确性。先前的算法要么假设某些分离假设，使用更多的恢复力矩，要么在（超级）指数时间内运行。我们针对一维问题的算法（也称为稀疏Hausdorff Moment问题）是经典Prony方法的强大版本，我们的贡献主要在于分析。我们比以前的工作进行了全球和更严格的分析（分析了Prony方法的中间结果的扰动）。有用的技术成分是由Vandermonde矩阵定义的线性系统与Schur多项式之间的连接，这使我们能够提供独立于分离的紧密扰动，并且在其他情况下可能很有用。为了解决高维问题，我们首先通过将1维算法和分析扩展到复数来解决二维问题。我们针对高维情况的算法通过将混合物的1-D投影与随机矢量和一组混合物的一组2D投影来确定每个尖峰的坐标。我们的结果在学习主题模型和高斯混合物中有应用，这意味着改善了样本复杂性结果或在先前的工作中运行时间。
translated by 谷歌翻译
自我监督学习中的最新作品通过依靠对比度学习范式来推动最先进的工作，该范式通过推动正面对或从同一班级中的类似示例来学习表示形式，同时将负面对截然不同。尽管取得了经验的成功，但理论基础是有限的 - 先前的分析假设鉴于同一类标签的正对有条件独立性，但是最近的经验应用使用了密切相关的正对（即同一图像的数据增强）。我们的工作分析了对比度学习，而无需在数据上使用增强图的新概念假设正对的有条件独立性。此图中的边缘连接相同数据的增强，而地面实际类别自然形成了连接的子图。我们提出了在人口增强图上执行光谱分解的损失，并且可以简洁地作为对神经净表示的对比学习目标。最小化此目标会导致在线性探针评估下具有可证明准确性的功能。通过标准的概括范围，在最大程度地减少训练对比度损失时，这些准确性也可以保证。从经验上讲，我们目标所学的功能可以匹配或胜过基准视觉数据集上的几个强基线。总的来说，这项工作为对比度学习提供了首次可证明的分析，在该学习中，线性探针评估的保证可以适用于现实的经验环境。
translated by 谷歌翻译
我们考虑无监督的域适应性（UDA），其中使用来自源域（例如照片）的标记数据，而来自目标域（例如草图）的未标记数据用于学习目标域的分类器。常规的UDA方法（例如，域对抗训练）学习域不变特征，以改善对目标域的概括。在本文中，我们表明，对比的预训练，它在未标记的源和目标数据上学习功能，然后在标记的源数据上进行微调，具有强大的UDA方法的竞争力。但是，我们发现对比前训练不会学习域不变特征，这与常规的UDA直觉不同。从理论上讲，我们证明了对比的预训练可以学习在跨域下微调但仍通过解开域和类信息来概括到目标域的特征。我们的结果表明，UDA不需要域的不变性。我们从经验上验证了基准视觉数据集的理论。
translated by 谷歌翻译
机器学习通常以经典的概率理论为前提，这意味着聚集是基于期望的。现在有多种原因可以激励人们将经典概率理论作为机器学习的数学基础。我们系统地检查了一系列强大而丰富的此类替代品，即各种称为光谱风险度量，Choquet积分或Lorentz规范。我们提出了一系列的表征结果，并演示了使这个光谱家族如此特别的原因。在此过程中，我们证明了所有连贯的风险度量的自然分层，从它们通过利用重新安排不变性Banach空间理论的结果来诱导的上层概率。我们凭经验证明了这种新的不确定性方法如何有助于解决实用的机器学习问题。
translated by 谷歌翻译
We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.
translated by 谷歌翻译
如果预测类的概率（顶级标签）是校准的，则在顶部标签上进行条件，则据说多类分类器将是顶级标签的校准。在密切相关和流行的置信度校准概念中，这种条件不存在，我们认为这使得置信校准难以解释决策。我们提出顶级标签校准作为置信校准的纠正。此外，我们概述了一个多类对二进制（M2B）还原框架，该框架统一了信心，顶级标签和班级校准等。顾名思义，M2B通过将多类校准减少到众多二元校准问题来起作用，每个二进制校准问题都可以使用简单的二进制校准例程来解决。我们将M2B框架实例化使用经过良好研究的直方图（HB）二进制校准器，并证明整体过程是多类校准的，而无需对基础数据分布进行任何假设。在CIFAR-10和CIFAR-100上具有四个深净体系结构的经验评估中，我们发现M2B + HB程序比其他方法（例如温度缩放）获得了较低的顶级标签和类别校准误差。这项工作的代码可在\ url {https://github.com/aigen/df-posthoc-calibration}中获得。
translated by 谷歌翻译
自我监督的表示学习解决辅助预测任务（称为借口任务），而不需要标记数据以学习有用的语义表示。这些借口任务仅使用输入特征，例如预测缺失的图像修补程序，从上下文中恢复图像的颜色通道，或者预测文本中的缺失单词;然而，预测该\ Texit {已知}信息有助于学习对下游预测任务的学习陈述。我们提供利用某些{\ EM重建}借口任务之间的统计连接的机制，以保证学习良好代表性。正式地，我们量化了借口任务的组件之间的近似独立性（标签和潜在变量的条件）允许我们学习可以通过训练在学习表示的顶部的线性层来解决下游任务的表示。我们证明了线性层即使对于复杂的地面真理函数类，也会产生小的近似误差，并且将急剧减少标记的样本复杂性。接下来，我们展示了我们方法的简单修改，导致非线性CCA，类似于流行的Simsiam算法，并显示了非线性CCA的类似保证。
translated by 谷歌翻译
关于二进制分类的绝大多数统计理论都以准确性为特征。然而，在许多情况下，已知准确性反映了分类错误的实际后果，最著名的是在不平衡的二元分类中，其中数据以两个类别之一的样本为主。本文的第一部分将贝叶斯最佳分类器的新概括从精度到从混淆矩阵计算的任何性能度量标准中。具体而言，该结果（a）表明，随机分类器有时优于最佳确定性分类器，并且（b）删除了经验上无法验证的绝对连续性假设，该假设是较知差的，但遍及现有结果。然后，我们演示了如何使用这种广义的贝叶斯分类器来获得遗憾的界限，以估算统一损失下的回归函数的误差。最后，我们使用这些结果来开发一些针对不平衡算法分类的第一个有限样本统计保证。具体而言，我们证明了最佳分类性能取决于类不平衡的属性，例如一种称为统一类不平衡的新颖概念，以前尚未正式化。在$ k $ neart的邻居分类的情况下，我们进一步以数值说明这些贡献
translated by 谷歌翻译
我们研究了在存在潜在变量存在下从数据重建因果图形模型的问题。感兴趣的主要问题是在潜在变量上恢复因果结构，同时允许一般，可能在变量之间的非线性依赖性。在许多实际问题中，原始观测之间的依赖性（例如，图像中的像素）的依赖性比某些高级潜在特征（例如概念或对象）之间的依赖性要小得多，这是感兴趣的设置。我们提供潜在表示和潜在潜在因果模型的条件可通过减少到混合甲骨文来识别。这些结果突出了学习混合模型的顺序的良好研究问题与观察到和解开的基础结构的问题之间的富裕问题之间的有趣连接。证明是建设性的，并导致几种算法用于明确重建全图形模型。我们讨论高效算法并提供说明实践中算法的实验。
translated by 谷歌翻译
2022-07-20
域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。
translated by 谷歌翻译
尽管自我监督学习（SSL）方法取得了经验成功，但尚不清楚其表示的哪些特征导致了高下游精度。在这项工作中，我们表征了SSL表示应该满足的属性。具体而言，我们证明了必要和充分的条件，因此，对于给出的数据增强的任何任务，在该表示形式上训练的所需探针（例如，线性或MLP）具有完美的准确性。这些要求导致一个统一的概念框架，用于改善现有的SSL方法并得出新方法。对于对比度学习，我们的框架规定了对以前的方法（例如使用不对称投影头）的简单但重大改进。对于非对比度学习，我们使用框架来得出一个简单新颖的目标。我们所得的SSL算法在标准基准测试上的表现优于基线，包括Imagenet线性探测的SHAV+多螺旋桨。
translated by 谷歌翻译
本文研究了主题模型中高维，离散，可能稀疏的混合模型的估计。数据包括在$ n $独立文档中观察到的$ p $单词的多项式计数。在主题模型中，$ p \ times n $预期的单词频率矩阵被认为被分解为$ p \ times k $ word-top-topic矩阵$ a $ a $和a $ k \ times n $ topic-document $ t $ t $ 。由于两个矩阵的列代表属于概率简单的条件概率，因此$ a $的列被视为$ p $ - 二维混合组件，这些混合组件是所有文档共有的，而$ t $的列被视为$ k $二维的混合物特定文档并允许稀疏的权重。主要的兴趣是提供鲜明的，有限的样本，$ \ ell_1 $ norm收敛速率，用于混合物重量$ t $的估计量，当$ a $是已知或未知时。对于已知的$ a $，我们建议MLE估计为$ t $。我们对MLE的非标准分析不仅建立了其$ \ ell_1 $收敛率，而且揭示了一个非凡的属性：MLE，没有额外的正则化，可能完全稀疏，并且包含$ t $的真实零模式。我们进一步表明，MLE既是最佳的最佳选择，又适应了一大批稀疏主题分布中未知的稀疏性。当$ a $未知时，我们通过优化与$ a $ a $的插件的可能性功能来估计$ t $。对于任何满足与$ a $ $ a $的详细条件的估计器$ \ hat {a} $，显示出$ t $的估计器可保留为MLE建立的属性。环境尺寸$ k $和$ p $可以随着样本量而增长。我们的应用是对文档生成分布之间1-Wasserstein距离的估计。我们建议，估计和分析两个概率文档表示之间的新1-Wasserstein距离。
translated by 谷歌翻译
The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.
translated by 谷歌翻译