We propose a Target Conditioned Representation Independence (TCRI) objective for domain generalization. TCRI addresses the limitations of existing domain generalization methods due to incomplete constraints. Specifically, TCRI implements regularizers motivated by conditional independence constraints that are sufficient to strictly learn complete sets of invariant mechanisms, which we show are necessary and sufficient for domain generalization. Empirically, we show that TCRI is effective on both synthetic and real-world data. TCRI is competitive with baselines in average accuracy while outperforming them in worst-domain accuracy, indicating desired cross-domain stability.
translated by 谷歌翻译
Metric Elicitation (ME) is a framework for eliciting classification metrics that better align with implicit user preferences based on the task and context. The existing ME strategy so far is based on the assumption that users can most easily provide preference feedback over classifier statistics such as confusion matrices. This work examines ME, by providing a first ever implementation of the ME strategy. Specifically, we create a web-based ME interface and conduct a user study that elicits users' preferred metrics in a binary classification setting. We discuss the study findings and present guidelines for future research in this direction.
translated by 谷歌翻译
Active learning enables efficient model training by leveraging interactions between machine learning agents and human annotators. We study and propose a novel framework that formulates batch active learning from the sparse approximation's perspective. Our active learning method aims to find an informative subset from the unlabeled data pool such that the corresponding training loss function approximates its full data pool counterpart. We realize the framework as sparsity-constrained discontinuous optimization problems, which explicitly balance uncertainty and representation for large-scale applications and could be solved by greedy or proximal iterative hard thresholding algorithms. The proposed method can adapt to various settings, including both Bayesian and non-Bayesian neural networks. Numerical experiments show that our work achieves competitive performance across different settings with lower computational complexity.
translated by 谷歌翻译
机器学习（ML）鲁棒性和域的概括从根本上相关：它们基本上涉及对抗和自然设置下的数据分布变化。一方面，最近的研究表明，更健壮的（受对抗训练）模型更为普遍。另一方面，缺乏对其基本联系的理论理解。在本文中，我们探讨了考虑到不同因素（例如规范正规化和数据增强）（DA）等不同因素的正则化和域转移性之间的关系。我们提出了一个一般的理论框架，证明涉及模型函数类正则化的因素是相对域可传递性的足够条件。我们的分析意味着``鲁棒性''既不必需，也不足以使其可转移性；而正规化是理解域可转移性的更基本的观点。然后，我们讨论流行的DA协议（包括对抗性培训），并显示何时可以将其视为功能在某些条件下进行类正则化并因此改善了概括。我们进行了广泛的实验以验证我们的理论发现，并显示了几个反例，其中鲁棒性和概括在不同的数据集上呈负相关。
translated by 谷歌翻译
度量启发是最新的框架，用于启发分类性能指标，可以根据任务和上下文最好地反映隐性用户偏好。但是，可用的启发策略仅限于预测率的线性（或准线性）函数，这实际上对包括公平性在内的许多应用可能是限制的。本文制定了一种策略，以引发由二次功能定义的更灵活的多类指标，旨在更好地反映人类的偏好。我们展示了它在启发基于二次违规的集体 - fair量指标中的应用。我们的策略仅需要相对的偏好反馈，对噪声是强大的，并且达到了近乎最佳的查询复杂性。我们将此策略进一步扩展到启发多项式指标，从而扩大了用例以进行度量启发。
translated by 谷歌翻译
We address the problem of unsupervised domain adaptation when the source domain differs from the target domain because of a shift in the distribution of a latent subgroup. When this subgroup confounds all observed data, neither covariate shift nor label shift assumptions apply. We show that the optimal target predictor can be non-parametrically identified with the help of concept and proxy variables available only in the source domain, and unlabeled data from the target. The identification results are constructive, immediately suggesting an algorithm for estimating the optimal predictor in the target. For continuous observations, when this algorithm becomes impractical, we propose a latent variable model specific to the data generation process at hand. We show how the approach degrades as the size of the shift changes, and verify that it outperforms both covariate and label shift adjustment.
translated by 谷歌翻译
最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。
translated by 谷歌翻译
越来越多的投资者和机器学习模型依靠社交媒体（例如Twitter和Reddit）来收集实时信息和情感以预测股票价格变动。尽管已知基于文本的模型容易受到对抗性攻击的影响，但库存预测模型是否具有相似的漏洞。在本文中，我们尝试了各种对抗性攻击配置，以欺骗三个股票预测受害者模型。我们通过解决语义和预算限制的组合优化问题来解决对抗生成的任务。我们的结果表明，提出的攻击方法可以通过简单地将扰动但语义上相似的推文连接来实现一致的成功率，并在交易模拟中造成巨大的货币损失。
translated by 谷歌翻译
2021-12-24
最近的工作表明，我们需要解决许多射门学习基准的所有嵌入。此外，其他工作强烈建议，模型不可知的元学习（MAML）也通过这种相同的方法工作 - 通过学习良好的嵌入方式。这些观察结果突出了我们对Meta学习算法正在做的事情和工作时缺乏了解。在这项工作中，我们提供了对META学习的MAML表示函数的函数的一些实证结果。特别是，我们确定三个有趣的属性：1）与之前的工作相比，我们表明可以定义一系列导致低特征重复使用的合成基准组合 - 表明当前几次拍摄的学习基准可能没有元学习算法的成功所需的属性; 2）当课程（或概念）的数量是有限的时，发生了元过度装箱，并且在任务中有一个无限数量的概念（例如，在线学习），这个问题消失了; 3）使用MAML的META测试时间的更多适应性不一定导致显着的表示变化甚至可以提高META-TEST性能 - 即使在我们提出的合成基准测试中培训。最后，我们建议要更好地了解元学习算法，我们必须超越追踪绝对性能，另外，正式量化元学习的程度并将两个指标一起追踪。以后的工作报告结果，这种方式将帮助我们更准确地确定元过度装箱的来源，并帮助我们设计更灵活的元学习算法，这些算法学习超出固定功能重复使用。最后，我们猜测重新思考元学习的核心挑战是在设计少量学习数据集和基准中的设计中 - 而不是在算法中，如以前的工作所示。
translated by 谷歌翻译
最近观察到，转移学习解决方案可能是我们所需要的全部解决许多射门学习基准。这提出了关于何时以及如何部署元学习算法的重要问题。在本文中，我们通过首先将可计算的度量标准制定几次学习基准来阐明这些问题，以便我们假设是预测元学学习解决方案是否会成功的。我们命名为几秒钟学习基准的分集系数。使用多样性系数，我们表明MiniimAgeNet基准与计算多样性的二十四种不同的方式具有零多样性。我们继续表明，在MAML学会在转移学习的解决方案之间进行公平比较时，都具有相同的元测试精度。这表明转移学习未能超越MAML - 违反以前的工作表明。在一起，这两个事实提供了多样性是否与元学习成功相关的第一次测试，因此表明，与转移学习和MAML学习解决方案之间的高度相似性的分集系数 - 特别是在Meta-Test时间。因此，我们猜测元学位解决方案具有与分集系数为零时与转移学习相同的荟萃测试性能。
translated by 谷歌翻译