We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.
translated by 谷歌翻译
Faced with distribution shift between training and test set, we wish to detect and quantify the shift, and to correct our classifiers without test set labels. Motivated by medical diagnosis, where diseases (targets), cause symptoms (observations), we focus on label shift, where the label marginal p(y) changes but the conditional p(x|y) does not. We propose Black Box Shift Estimation (BBSE) to estimate the test distribution p(y). BBSE exploits arbitrary black box predictors to reduce dimensionality prior to shift correction. While better predictors give tighter estimates, BBSE works even when predictors are biased, inaccurate, or uncalibrated, so long as their confusion matrices are invertible. We prove BBSE's consistency, bound its error, and introduce a statistical test that uses BBSE to detect shift. We also leverage BBSE to correct classifiers. Experiments demonstrate accurate estimates and improved prediction, even on high-dimensional datasets of natural images.
translated by 谷歌翻译
我们解决了在没有观察到的混杂的存在下的因果效应估计的问题，但是观察到潜在混杂因素的代理。在这种情况下，我们提出了两种基于内核的方法，用于非线性因果效应估计：（a）两阶段回归方法，以及（b）最大矩限制方法。我们专注于近端因果学习设置，但是我们的方法可以用来解决以弗雷霍尔姆积分方程为特征的更广泛的逆问题。特别是，我们提供了在非线性环境中解决此问题的两阶段和矩限制方法的统一视图。我们为每种算法提供一致性保证，并证明这些方法在合成数据和模拟现实世界任务的数据上获得竞争结果。特别是，我们的方法优于不适合利用代理变量的早期方法。
translated by 谷歌翻译
监督学习的关键假设是培训和测试数据遵循相同的概率分布。然而，这种基本假设在实践中并不总是满足，例如，由于不断变化的环境，样本选择偏差，隐私问题或高标签成本。转移学习（TL）放松这种假设，并允许我们在分销班次下学习。通常依赖于重要性加权的经典TL方法 - 基于根据重要性（即测试过度训练密度比率）的训练损失培训预测器。然而，由于现实世界机器学习任务变得越来越复杂，高维和动态，探讨了新的新方法，以应对这些挑战最近。在本文中，在介绍基于重要性加权的TL基础之后，我们根据关节和动态重要预测估计审查最近的进步。此外，我们介绍一种因果机制转移方法，该方法包含T1中的因果结构。最后，我们讨论了TL研究的未来观点。
translated by 谷歌翻译
作为因果推断中的重要问题，我们讨论了治疗效果（TES）的估计。代表混淆器作为潜在的变量，我们提出了完整的VAE，这是一个变形AutoEncoder（VAE）的新变种，其具有足以识别TES的预后分数的动机。我们的VAE也自然地提供了使用其之前用于治疗组的陈述。（半）合成数据集的实验显示在各种环境下的最先进的性能，包括不观察到的混淆。基于我们模型的可识别性，我们在不协调下证明TES的识别，并讨论（可能）扩展到更难的设置。
translated by 谷歌翻译
当用于训练模型的源数据与用于测试模型的目标数据不同时，域适应（DA）作为统计机器学习的重要问题。 DA最近的进展主要是应用驱动的，并且主要依赖于源和目标数据的常见子空间的想法。要了解DA方法的经验成功和失败，我们通过结构因果模型提出了理论框架，可以实现DA方法的预测性能的分析和比较。此框架还允许我们逐项逐项列出DA方法具有低目标错误所需的假设。此外，通过我们理论的见解，我们提出了一种名为CIRM的新DA方法，当协变量和标签分布都在目标数据中被扰乱时，胜过现有的DA方法。我们补充了广泛的模拟的理论分析，以表明设计了设计的必要性。还提供可重复的合成和实际数据实验，以说明当我们理论中的某些假设的某些问题被侵犯时DA方法的强度和弱点。
translated by 谷歌翻译
因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。
translated by 谷歌翻译
上下文的强盗和强化学习算法已成功用于各种交互式学习系统，例如在线广告，推荐系统和动态定价。但是，在高风险应用领域（例如医疗保健）中，它们尚未被广泛采用。原因之一可能是现有方法假定基本机制是静态的，因为它们不会在不同的环境上改变。但是，在许多现实世界中，这些机制可能会跨环境变化，这可能使静态环境假设无效。在本文中，考虑到离线上下文匪徒的框架，我们迈出了解决环境转变问题的一步。我们认为环境转移问题通过因果关系的角度，并提出了多种环境的背景匪徒，从而可以改变基本机制。我们采用因果关系文献的不变性概念，并介绍了政策不变性的概念。我们认为，仅当存在未观察到的变量时，政策不变性才有意义，并表明在这种情况下，保证在适当假设下跨环境概括最佳不变政策。我们的结果建立了因果关系，不变性和上下文土匪之间的具体联系。
translated by 谷歌翻译
数据驱动决策的经验风险最小化方法假设我们可以从与我们想要在下面部署的条件相同的条件下绘制的数据中学习决策规则。但是，在许多设置中，我们可能会担心我们的培训样本是有偏见的，并且某些组（以可观察或无法观察到的属性为特征）可能相对于一般人群而言是不足或代表过多的；在这种情况下，对培训集的经验风险最小化可能无法产生在部署时表现良好的规则。我们基于分配强大的优化和灵敏度分析的概念，我们提出了一种学习决策规则的方法，该方法将在测试分布家族的家庭中最小化最糟糕的案例风险，其有条件的结果分布$ y $ y $ y $ y $ x $有所不同有条件的训练分布最多是一个恒定因素，并且相对于训练数据的协变量分布，其协变量分布绝对是连续的。我们应用Rockafellar和Uryasev的结果表明，此问题等同于增强的凸风险最小化问题。我们提供了使用筛子的方法来学习健壮模型的统计保证，并提出了一种深度学习算法，其损失函数捕获了我们的稳健性目标。我们从经验上验证了我们在模拟中提出的方法和使用MIMIC-III数据集的案例研究。
translated by 谷歌翻译
2022-07-20
域的概括（DG）通过利用来自多个相关分布或域的标记培训数据在看不见的测试分布上表现良好的预测因子。为了实现这一目标，标准公式优化了所有可能域的最差性能。但是，由于最糟糕的转变在实践中的转变极不可能，这通常会导致过度保守的解决方案。实际上，最近的一项研究发现，没有DG算法在平均性能方面优于经验风险最小化。在这项工作中，我们认为DG既不是最坏的问题，也不是一个普通的问题，而是概率问题。为此，我们为DG提出了一个概率框架，我们称之为可能的域概括，其中我们的关键想法是在训练期间看到的分配变化应在测试时告诉我们可能的变化。为了实现这一目标，我们将培训和测试域明确关联为从同一基础元分布中获取的，并提出了一个新的优化问题 - 分数风险最小化（QRM） - 要求该预测因子以很高的概率概括。然后，我们证明了QRM：（i）产生的预测因子，这些预测因素将具有所需概率的新域（给定足够多的域和样本）； （ii）随着概括的所需概率接近一个，恢复因果预测因子。在我们的实验中，我们引入了针对DG的更全面的以分位数评估协议，并表明我们的算法在真实和合成数据上的最先进基准都优于最先进的基准。
translated by 谷歌翻译
传统的监督学习方法，尤其是深的学习方法，发现对分发超出（OOD）示例敏感，主要是因为所学习的表示与由于其域特异性相关性的变异因子混合了语义因素，而只有语义因子导致输出。为了解决这个问题，我们提出了一种基于因果推理的因果语义生成模型（CSG），以便分别建模两个因素，以及从单个训练域中的oo ood预测的制定方法，这是常见和挑战的。该方法基于因果不变原理，在变形贝斯中具有新颖的设计，用于高效学习和易于预测。从理论上讲，我们证明，在某些条件下，CSG可以通过拟合训练数据来识别语义因素，并且这种语义识别保证了泛化概率的界限和适应的成功。实证研究表明，改善了卓越的基线表现。
translated by 谷歌翻译
仪器变量模型使我们能够确定协变量$ x $和响应$ y $之间的因果功能，即使在存在未观察到的混淆的情况下。大多数现有估计器都假定响应$ y $和隐藏混杂因素中的错误项与仪器$ z $不相关。这通常是由图形分离的动机，这一论点也证明了独立性。但是，提出独立限制会导致严格的可识别性结果。我们连接到计量经济学的现有文献，并提供了一种称为HSIC-X的实用方法，用于利用独立性，可以与任何基于梯度的学习程序结合使用。我们看到，即使在可识别的设置中，考虑到更高的矩可能会产生更好的有限样本结果。此外，我们利用独立性进行分布泛化。我们证明，只要这些移位足够强，拟议的估计器对于仪器的分布变化和最佳案例最佳变化是不变的。这些结果即使在未识别的情况下也能够得出这些结果，即仪器不足以识别因果功能。
translated by 谷歌翻译
尽管现代的大规模数据集通常由异质亚群（例如，多个人口统计组或多个文本语料库）组成 - 最小化平均损失的标准实践并不能保证所有亚人群中均匀的低损失。我们提出了一个凸面程序，该过程控制给定尺寸的所有亚群中最差的表现。我们的程序包括有限样本（非参数）收敛的保证，可以保证最坏的亚群。从经验上讲，我们观察到词汇相似性，葡萄酒质量和累犯预测任务，我们最糟糕的程序学习了对不看到看不见的亚人群的模型。
translated by 谷歌翻译
这项正在进行的工作旨在为统计学习提供统一的介绍，从诸如GMM和HMM等经典模型到现代神经网络（如VAE和扩散模型）缓慢地构建。如今，有许多互联网资源可以孤立地解释这一点或新的机器学习算法，但是它们并没有（也不能在如此简短的空间中）将这些算法彼此连接起来，或者与统计模型的经典文献相连现代算法出现了。同样明显缺乏的是一个单一的符号系统，尽管对那些已经熟悉材料的人（如这些帖子的作者）不满意，但对新手的入境造成了重大障碍。同样，我的目的是将各种模型（尽可能）吸收到一个用于推理和学习的框架上，表明（以及为什么）如何以最小的变化将一个模型更改为另一个模型（其中一些是新颖的，另一些是文献中的）。某些背景当然是必要的。我以为读者熟悉基本的多变量计算，概率和统计以及线性代数。这本书的目标当然不是完整性，而是从基本知识到过去十年中极强大的新模型的直线路径或多或少。然后，目标是补充而不是替换，诸如Bishop的\ emph {模式识别和机器学习}之类的综合文本，该文本现在已经15岁了。
translated by 谷歌翻译
研究了与隐藏变量有关的非循环图（DAG）相关的因果模型中因果效应的识别理论。然而，由于估计它们输出的识别功能的复杂性，因此未耗尽相应的算法。在这项工作中，我们弥合了识别和估算涉及单一治疗和单一结果的人口水平因果效应之间的差距。我们派生了基于功能的估计，在大类隐藏变量DAG中表现出对所识别的效果的双重稳健性，其中治疗满足简单的图形标准;该类包括模型，产生调整和前门功能作为特殊情况。我们还提供必要的和充分条件，其中隐藏变量DAG的统计模型是非分子饱和的，并且意味着对观察到的数据分布没有平等约束。此外，我们推导了一类重要的隐藏变量DAG，这意味着观察到观察到的数据分布等同于完全观察到的DAG等同于（最高的相等约束）。在这些DAG类中，我们推出了实现兴趣目标的半导体效率界限的估计估计值，该估计是治疗满足我们的图形标准的感兴趣的目标。最后，我们提供了一种完整的识别算法，可直接产生基于权重的估计策略，以了解隐藏可变因果模型中的任何可识别效果。
translated by 谷歌翻译
最近对DataSet Shift的兴趣，已经产生了许多方法，用于查找新的未经，无奈环境中预测的不变分布。然而，这些方法考虑不同类型的班次，并且已经在不同的框架下开发，从理论上难以分析解决方案如何与稳定性和准确性不同。采取因果图形视图，我们使用灵活的图形表示来表达各种类型的数据集班次。我们表明所有不变的分布对应于图形运算符的因果层次结构，该图形运算符禁用负责班次的图表中的边缘。层次结构提供了一个常见的理论基础，以便理解可以实现转移的何时以及如何实现稳定性，并且在稳定的分布可能不同的情况下。我们使用它来建立跨环境最佳性能的条件，并导出找到最佳稳定分布的新算法。使用这种新的视角，我们经验证明了最低限度和平均性能之间的权衡。
translated by 谷歌翻译
The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latentvariable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy or undercomplete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.
translated by 谷歌翻译
负面对照是在存在未衡量混杂的情况下学习治疗与结果之间因果关系的策略。但是，如果有两个辅助变量可用：阴性对照治疗（对实际结果没有影响），并且可以确定治疗效果，并且可以识别出负面对照的结果（不受实际治疗的影响）。这些辅助变量也可以看作是一组传统控制变量的代理，并且与仪器变量相似。我提出了一种基于内核脊回归的算法系列，用于学习非参数治疗效果，并具有阴性对照。例子包括剂量反应曲线，具有分布转移的剂量反应曲线以及异质治疗效果。数据可能是离散的或连续的，并且低，高或无限的尺寸。我证明一致性均匀，并提供有限的收敛速率。我使用宾夕法尼亚州1989年至1991年之间在宾夕法尼亚州的单身人士出生的数据集对婴儿的出生体重进行了吸烟的剂量反应曲线，以调整未观察到的混杂因素。
translated by 谷歌翻译
The ability to quickly and accurately identify covariate shift at test time is a critical and often overlooked component of safe machine learning systems deployed in high-risk domains. While methods exist for detecting when predictions should not be made on out-of-distribution test examples, identifying distributional level differences between training and test time can help determine when a model should be removed from the deployment setting and retrained. In this work, we define harmful covariate shift (HCS) as a change in distribution that may weaken the generalization of a predictive model. To detect HCS, we use the discordance between an ensemble of classifiers trained to agree on training data and disagree on test data. We derive a loss function for training this ensemble and show that the disagreement rate and entropy represent powerful discriminative statistics for HCS. Empirically, we demonstrate the ability of our method to detect harmful covariate shift with statistical certainty on a variety of high-dimensional datasets. Across numerous domains and modalities, we show state-of-the-art performance compared to existing methods, particularly when the number of observed test samples is small.
translated by 谷歌翻译
强大的机器学习模型的开发中的一个重要障碍是协变量的转变，当训练和测试集的输入分布时发生的分配换档形式在条件标签分布保持不变时发生。尽管现实世界应用的协变量转变普遍存在，但在现代机器学习背景下的理论理解仍然缺乏。在这项工作中，我们检查协变量的随机特征回归的精确高尺度渐近性，并在该设置中提出了限制测试误差，偏差和方差的精确表征。我们的结果激发了一种自然部分秩序，通过协变速转移，提供足够的条件来确定何时何时损害（甚至有助于）测试性能。我们发现，过度分辨率模型表现出增强的协会转变的鲁棒性，为这种有趣现象提供了第一个理论解释之一。此外，我们的分析揭示了分销和分发外概率性能之间的精确线性关系，为这一令人惊讶的近期实证观察提供了解释。
translated by 谷歌翻译