开放设定的半监督学习(OSSL)引起了人们日益增长的兴趣,该学习调查了一个更实用的情况,在该情况下,仅在未标记的数据中包含了分布式(OOD)样本。现有的OSSL方法(例如OpenMatch)学习一个OOD检测器以识别离群值,该检测器通常会更新所有模态参数(即完整的微调),以从标记的数据传播类信息到未标记的数据。当前,已经开发了及时的学习来弥合预训练和微调之间的差距,这在几个下游任务中显示出较高的计算效率。在本文中,我们提出了一个迅速驱动的有效OSSL框架,称为OpenPrompt,该框架可以将类别的类信息传播到标记到未标记数据的类信息,只有少数可训练的参数。我们提出了一种迅速驱动的关节空间学习机制来检测OOD数据,通过在未标记的数据中最大化ID和OOD样本之间的分布差距,从而使我们的方法可以以新的方式检测到异常值。三个公共数据集的实验结果表明,OpenPrompt优于不到1%可训练参数的最先进方法。更重要的是,OpenPrompt在CIFAR10上完全监督模型的AUROC检测方面取得了4%的改善。
translated by 谷歌翻译
半监督对象检测(SSOD)的最新发展显示了利用未标记数据改善对象检测器的希望。但是,到目前为止,这些方法已经假设未标记的数据不包含分布(OOD)类,这对于较大规模的未标记数据集是不现实的。在本文中,我们考虑了一个更实用但具有挑战性的问题,开放式半监督对象检测(OSSOD)。我们首先发现现有的SSOD方法在开放式条件下获得了较低的性能增长,这是由语义扩展引起的,在该语义扩展中,分散注意力的OOD对象​​被错误预测为半监督训练的分布伪标签。为了解决此问题,我们考虑与SSOD方法集成的在线和离线OOD检测模块。通过广泛的研究,我们发现,基于自我监视的视觉变压器的脱机OOD检测器对在线OOD探测器的表现良好,因为它稳健地对伪标记的干扰。在实验中,我们提出的框架有效地解决了语义扩展问题,并在许多OSSOD基准(包括大规模的可可开放图)上显示出一致的改进。我们还在不同的OSSOD条件下验证框架的有效性,包括不同数量的分布类别,不同程度的监督和不同标记集的组合。
translated by 谷歌翻译
分布(OOD)检测是安全部署模型在开放世界中的关键。对于OOD检测,收集足够的标记数据(ID)通常比未标记的数据更耗时且昂贵。当ID标记的数据受到限制时,由于其对ID标记的数据的量的高度依赖性,因此先前的OOD检测方法不再优越。基于有限的ID标记数据和足够的未标记数据,我们定义了一种称为弱监督的新设置(WSOOD)。为了解决新问题,我们提出了一种称为拓扑结构学习(TSL)的有效方法。首先,TSL使用一种对比度学习方法来构建ID和OOD数据的初始拓扑结构空间。其次,在初始拓扑空间中,TSL矿山有效的拓扑连接。最后,基于有限的ID标记数据和开采拓扑连接,TSL在新的拓扑空间中重建拓扑结构,以提高ID和OOD实例的可分离性。对几个代表性数据集的广泛研究表明,TSL明显胜过最先进的研究,从而在新的WSood环境中验证了我们方法的有效性和鲁棒性。
translated by 谷歌翻译
半监督学习(SSL)的最新最新方法将一致性正则化与基于置信的伪标记结合在一起。为了获得高质量的伪标签,通常采用高置信度阈值。但是,已经表明,对于远离训练数据的样本,深网的基于软磁性的置信度得分可能很高,因此,即使是高信心不明的样品,伪标签也可能仍然不可靠。在这项工作中,我们提出了伪标记的新观点:而不是依靠模型信心,而是衡量未标记的样本是否可能是“分布”;即,接近当前的培训数据。为了对未标记的样本进行分类是“分布”还是“分发”,我们采用了分布外检测文献中的能量评分。随着培训的进行进展,更不标记的样品成为分配并有助于培训,标记和伪标记的数据可以更好地近似于真正的分布以改善模型。实验表明,我们的基于能量的伪标记方法,尽管从概念上讲简单,但在不平衡的SSL基准测试方面显着优于基于置信的方法,并在类平衡的数据上实现了竞争性能。例如,当不平衡比率高于50时,它会在CIFAR10-LT上产生4-6%的绝对准确性提高。当与最新的长尾SSL方法结合使用时,可以实现进一步的改进。
translated by 谷歌翻译
标签预测上的一致性正则化成为半监督学习中的一项基本技术,但是它仍然需要大量的训练迭代以进行高性能。在这项研究中,我们分析了一致性正则化限制了由于在模型更新中排除具有不受欢迎的伪标记的样品,因此标记信息的传播限制了。然后,我们提出对比度正则化,以提高未标记数据的群集特征一致性正则化的效率和准确性。在特定的情况下,在通过其伪标签将强大的增强样品分配给群集后,我们的对比度正规化更新了模型,以便具有自信的伪标签的功能在同一集群中汇总了功能,同时将功能推迟了不同的群集中的功能。结果,在培训中,可以有效地将自信的伪标签的信息有效地传播到更无标记的样品中。在半监督学习任务的基准上,我们的对比正则化改善了以前的基于一致性的方法,并取得了最新的结果,尤其是在培训次数较少的情况下。我们的方法还显示了在开放式半监督学习中的稳健性能,其中未标记的数据包括分发样本。
translated by 谷歌翻译
常规监督学习或分类的主要假设是,测试样本是从与训练样本相同的分布中得出的,该样本称为封闭设置学习或分类。在许多实际情况下,事实并非如此,因为测试数据中有未知数或看不见的类样本,这称为“开放式”方案,需要检测到未知数。该问题称为开放式识别问题,在安全至关重要的应用中很重要。我们建议通过学习成对相似性来检测未知数(或看不见的类样本)。提出的方法分为两个步骤。它首先使用培训中出现的所见类学习了一个封闭的集体分类器,然后学习如何将看到的类与伪单人(自动生成的看不见的类样本)进行比较。伪无表情的一代是通过对可见或训练样品进行分配转换增加而进行的。我们称我们的方法OPG(基于伪看不见的数据生成开放式识别)。实验评估表明,基于相似性的功能可以成功区分基准数据集中的未见特征,以进行开放式识别。
translated by 谷歌翻译
半监督学习(SSL)是一个有效的框架,可以使用标记和未标记的数据训练模型,但是当缺乏足够的标记样品时,可能会产生模棱两可和不可区分的表示。有了人类的循环学习,积极的学习可以迭代地选择无标记的样品进行标签和培训,以提高SSL框架的性能。但是,大多数现有的活跃学习方法都取决于预先训练的功能,这不适合端到端学习。为了解决SSL的缺点,在本文中,我们提出了一种新颖的端到端表示方法,即ActiveMatch,它将SSL与对比度学习和积极学习结合在一起,以充分利用有限的标签。从少量的标记数据开始,无监督的对比度学习作为热身学习,然后将ActiveMatch结合在一起,将SSL和监督对比度学习结合在一起,并积极选择在培训期间标记的最具代表性的样本,从而更好地表示分类。与MixMatch和FixMatch具有相同数量的标记数据相比,我们表明ActiveMatch实现了最先进的性能,CIFAR-10的精度为89.24%,具有100个收集的标签,而92.20%的精度为92.20%,有200个收集的标签。
translated by 谷歌翻译
在对比学习中,最近的进步表现出了出色的表现。但是,绝大多数方法仅限于封闭世界的环境。在本文中,我们通过挖掘开放世界的环境来丰富表示学习的景观,其中新颖阶级的未标记样本自然可以在野外出现。为了弥合差距,我们引入了一个新的学习框架,开放世界的对比学习(Opencon)。Opencon应对已知和新颖阶级学习紧凑的表现的挑战,并促进了一路上的新颖性发现。我们证明了Opencon在挑战基准数据集中的有效性并建立竞争性能。在Imagenet数据集上,Opencon在新颖和总体分类精度上分别胜过当前最佳方法的最佳方法,分别胜过11.9%和7.4%。我们希望我们的工作能为未来的工作打开新的大门,以解决这一重要问题。
translated by 谷歌翻译
Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.
translated by 谷歌翻译
Novelty detection, i.e., identifying whether a given sample is drawn from outside the training distribution, is essential for reliable machine learning. To this end, there have been many attempts at learning a representation well-suited for novelty detection and designing a score based on such representation. In this paper, we propose a simple, yet effective method named contrasting shifted instances (CSI), inspired by the recent success on contrastive learning of visual representations. Specifically, in addition to contrasting a given sample with other instances as in conventional contrastive learning methods, our training scheme contrasts the sample with distributionally-shifted augmentations of itself. Based on this, we propose a new detection score that is specific to the proposed training scheme. Our experiments demonstrate the superiority of our method under various novelty detection scenarios, including unlabeled one-class, unlabeled multi-class and labeled multi-class settings, with various image benchmark datasets. Code and pre-trained models are available at https://github.com/alinlab/CSI.
translated by 谷歌翻译
半监督学习(SSL)是规避建立高性能模型的昂贵标签成本的最有前途的范例之一。大多数现有的SSL方法常规假定标记和未标记的数据是从相同(类)分布中绘制的。但是,在实践中,未标记的数据可能包括课外样本;那些不能从标签数据中的封闭类中的单热编码标签,即未标记的数据是开放设置。在本文中,我们介绍了Opencos,这是一种基于最新的自我监督视觉表示学习框架来处理这种现实的半监督学习方案。具体而言,我们首先观察到,可以通过自我监督的对比度学习有效地识别开放式未标记数据集中的类外样本。然后,Opencos利用此信息来克服现有的最新半监督方法中的故障模式,通过利用一式旋转伪标签和软标签来为已识别的识别和外部未标记的标签数据分别。我们广泛的实验结果表明了Opencos的有效性,可以修复最新的半监督方法,适合涉及开放式无标记数据的各种情况。
translated by 谷歌翻译
A recent popular approach to out-of-distribution (OOD) detection is based on a self-supervised learning technique referred to as contrastive learning. There are two main variants of contrastive learning, namely instance and class discrimination, targeting features that can discriminate between different instances for the former, and different classes for the latter. In this paper, we aim to understand the effectiveness and limitation of existing contrastive learning methods for OOD detection. We approach this in 3 ways. First, we systematically study the performance difference between the instance discrimination and supervised contrastive learning variants in different OOD detection settings. Second, we study which in-distribution (ID) classes OOD data tend to be classified into. Finally, we study the spectral decay property of the different contrastive learning approaches and examine how it correlates with OOD detection performance. In scenarios where the ID and OOD datasets are sufficiently different from one another, we see that instance discrimination, in the absence of fine-tuning, is competitive with supervised approaches in OOD detection. We see that OOD samples tend to be classified into classes that have a distribution similar to the distribution of the entire dataset. Furthermore, we show that contrastive learning learns a feature space that contains singular vectors containing several directions with a high variance which can be detrimental or beneficial to OOD detection depending on the inference approach used.
translated by 谷歌翻译
新颖性检测旨在自动识别分销(OOD)数据,而无需任何先验知识。它是数据监视,行为分析和其他应用程序中的关键步骤,帮助在现场中保持不断学习。常规的OOD检测方法对数据或特征的集合进行多变化分析,通常诉诸于数据的监督,以提高准确性。实际上,这种监督是不切实际的,因为人们不能预料到异常数据。在本文中,我们提出了一种小说,自我监督的方法,不依赖于任何预定义的OOD数据:(1)新方法评估梯度之间的分布和OOD数据之间的Mahalanobis距离。 (2)通过自我监督的二进制分类器辅助,以指导标签选择以生成梯度,并最大化Mahalanobis距离。在具有多个数据集的评估中,例如CiFar-10,CiFar-100,SVHN和TINIMAGENET,所提出的方法始终如一地优于接收器操作特征(AUROC)和区域下的区域内的最先进的监督和无监督的方法在精密召回曲线(AUPR)度量下。我们进一步证明,该探测器能够在持续学习中准确地学习一个OOD类。
translated by 谷歌翻译
Although existing semi-supervised learning models achieve remarkable success in learning with unannotated in-distribution data, they mostly fail to learn on unlabeled data sampled from novel semantic classes due to their closed-set assumption. In this work, we target a pragmatic but under-explored Generalized Novel Category Discovery (GNCD) setting. The GNCD setting aims to categorize unlabeled training data coming from known and novel classes by leveraging the information of partially labeled known classes. We propose a two-stage Contrastive Affinity Learning method with auxiliary visual Prompts, dubbed PromptCAL, to address this challenging problem. Our approach discovers reliable pairwise sample affinities to learn better semantic clustering of both known and novel classes for the class token and visual prompts. First, we propose a discriminative prompt regularization loss to reinforce semantic discriminativeness of prompt-adapted pre-trained vision transformer for refined affinity relationships. Besides, we propose a contrastive affinity learning stage to calibrate semantic representations based on our iterative semi-supervised affinity graph generation method for semantically-enhanced prompt supervision. Extensive experimental evaluation demonstrates that our PromptCAL method is more effective in discovering novel classes even with limited annotations and surpasses the current state-of-the-art on generic and fine-grained benchmarks (with nearly $11\%$ gain on CUB-200, and $9\%$ on ImageNet-100) on overall accuracy.
translated by 谷歌翻译
图像分类中的严重问题是培训的模型可能对输入数据表现良好,该输入数据源自与用于模型培训的数据相同的分布,但对于分销超出(OOD)样本而言更加差。在真实的安全关键应用中,特别是如果新的数据点是ood的新数据点,重要的是要注意。迄今为止,通常使用置信分数,基于自动编码器的重建或对比学习来解决OOD检测。但是,尚未探索全局图像上下文以区分在分布和OOD样本之间的非局部对象。本文提出了一种名为OOODFORMER的首次检测架构,该架构利用变压器的上下文化功能。作为主要特征提取器的跨\ --former允许我们利用对象概念及其区分属性以及通过可视注意的共同发生。使用上下文化的嵌入,我们使用阶级条件潜伏空间相似性和网络置信度分数展示了OOD检测。我们的方法显示了各种数据集的完全普遍性。我们在CiFar-10 / -100和Imagenet30上取得了新的最先进的结果。
translated by 谷歌翻译
本文研究持续学习(CL)的逐步学习(CIL)。已经提出了许多方法来处理CIL中的灾难性遗忘(CF)。大多数方法都会为单个头网络中所有任务的所有类别构建单个分类器。为了防止CF,一种流行的方法是记住以前任务中的少数样本,并在培训新任务时重播它们。但是,这种方法仍然患有严重的CF,因为在内存中仅使用有限的保存样本数量来更新或调整了先前任务的参数。本文提出了一种完全不同的方法,该方法使用变压器网络为每个任务(称为多头模型)构建一个单独的分类器(头部),称为更多。与其在内存中使用保存的样本在现有方法中更新以前的任务/类的网络,不如利用保存的样本来构建特定任务分类器(添加新的分类头),而无需更新用于先前任务/类的网络。新任务的模型经过培训,可以学习任务的类别,并且还可以检测到不是从相同数据分布(即,均分布(OOD))的样本。这使测试实例属于的任务的分类器能够为正确的类产生高分,而其他任务的分类器可以产生低分,因为测试实例不是来自这些分类器的数据分布。实验结果表明,更多的表现优于最先进的基线,并且自然能够在持续学习环境中进行OOD检测。
translated by 谷歌翻译
现有的分布(OOD)检测方法通常在具有平衡的类别分布的培训集中进行基准测试。但是,在实际应用程序中,培训集具有长尾分配是很常见的。在这项工作中,我们首先证明现有的OOD检测方法通常会在训练集分布式分布时遭受重大性能降解。通过分析,我们认为这是因为模型难以区分少数尾巴级分配样本与真实的OOD样本,从而使尾巴类更容易被错误地检测为OOD。为了解决这个问题,我们提出了部分和不对称的监督对比学习(PASCL),该学习明确鼓励该模型区分尾级分配样本和OOD样品。为了进一步提高分布分类的准确性,我们提出了辅助分支列式,该辅助分支列出了BN的两个单独分支和分类层分别用于异常检测和分布分类。直觉是,分布和OOD异常数据具有不同的基础分布。我们的方法的表现优于先前的最新方法$ 1.29 \%$,$ 1.45 \%$,$ 0.69 \%$ $ $ $ $ $ $异常检测误报(FPR)和$ 3.24 \%\%$,$ 4.06 \%$,$ 7.89 \%$ $ CIFAR10-LT,CIFAR100-LT和IMAGENET-LT的分布分类精度。代码和预培训模型可在https://github.com/amazon-research/long-tailed-ood-detection上找到。
translated by 谷歌翻译
长期以来,半监督学习(SSL)已被证明是一种有限的标签模型的有效技术。在现有的文献中,基于一致性的基于正则化的方法,这些方法迫使扰动样本具有类似的预测,而原始的样本则引起了极大的关注。但是,我们观察到,当标签变得极为有限时,例如,每个类别的2或3标签时,此类方法的性能会大大降低。我们的实证研究发现,主要问题在于语义信息在数据增强过程中的漂移。当提供足够的监督时,可以缓解问题。但是,如果几乎没有指导,错误的正则化将误导网络并破坏算法的性能。为了解决该问题,我们(1)提出了一种基于插值的方法来构建更可靠的正样品对; (2)设计一种新颖的对比损失,以指导学习网络的嵌入以在样品之间进行线性更改,从而通过扩大保证金决策边界来提高网络的歧视能力。由于未引入破坏性正则化,因此我们提出的算法的性能在很大程度上得到了改善。具体而言,所提出的算法的表现优于第二好算法(COMATT),而当CIFAR-10数据集中的每个类只有两个标签可用时,可以实现88.73%的分类精度,占5.3%。此外,我们通过通过我们提出的策略大大改善现有最新算法的性能,进一步证明了所提出的方法的普遍性。
translated by 谷歌翻译
机器学习模型容易受到分数过失(OOD)的示例,这种问题引起了很多关注。但是,当前的方法缺乏对不同类型的OOD数据的完全理解:有一些良性的OOD数据可以适当地适应以增强学习性能,而其他MALIGN OOD数据将严重地退化分类结果。为了利用数据,本文提出了引擎盖方法,该方法可以利用每个图像实例中的内容和样式来识别良性和恶意数据。特别是,我们通过构建结构性因果模型来设计一个变异推理框架,以使因果关系和样式特征。随后,我们通过干预过程分别提高内容和样式,分别产生恶性和良性OOD数据。良性的OOD数据包含新型样式,但持有我们感兴趣的内容,并且可以利用它们来帮助培训风格不变的模型。相比之下,MALIGN OOD数据继承了未知内容,但通过检测它们可以提高模型的稳健性,以抗欺骗异常。得益于拟议的新型解开和数据增强技术,Hood可以有效地处理未知和开放环境中的OOD示例,在三个典型的OOD应用程序中,其有效性在包括OOD检测,开放设定的半监督学习和开放设定的三个典型OOD应用程序中得到了验证域适应。
translated by 谷歌翻译
In deep neural learning, a discriminator trained on in-distribution (ID) samples may make high-confidence predictions on out-of-distribution (OOD) samples. This triggers a significant matter for robust, trustworthy and safe deep learning. The issue is primarily caused by the limited ID samples observable in training the discriminator when OOD samples are unavailable. We propose a general approach for \textit{fine-tuning discriminators by implicit generators} (FIG). FIG is grounded on information theory and applicable to standard discriminators without retraining. It improves the ability of a standard discriminator in distinguishing ID and OOD samples by generating and penalizing its specific OOD samples. According to the Shannon entropy, an energy-based implicit generator is inferred from a discriminator without extra training costs. Then, a Langevin dynamic sampler draws specific OOD samples for the implicit generator. Lastly, we design a regularizer fitting the design principle of the implicit generator to induce high entropy on those generated OOD samples. The experiments on different networks and datasets demonstrate that FIG achieves the state-of-the-art OOD detection performance.
translated by 谷歌翻译