最近,许多改进的天真贝叶斯方法已经开发出具有增强的辨别能力。其中,正规化的朴素贝叶斯(RNB)通过平衡辨别力和泛化能力来产生出色的性能。数据离散化在天真贝叶斯中很重要。通过将类似的值分组成一个间隔,可以更好地估计数据分布。但是,包括RNB的现有方法通常将数据离散到太少的间隔中,这可能导致显着的信息丢失。为了解决这个问题,我们提出了一个用于天真贝叶斯的半监督自适应判别离散化框架,这可以通过利用伪标签技术利用标记的数据和未标记的数据来更好地估计数据分布。通过利用自适应鉴别的离散化方案,所提出的方法也显着降低了离散化期间的信息损失,因此大大提高了分类器的歧视力。在各种机器学习数据集上系统地评估所提出的RNB +,即正规化的天真贝叶斯。它显着且始终如一地优于最先进的NB分类器。
translated by 谷歌翻译
在许多分类模型中,数据被离散化以更好地估计其分布。现有的离散方法通常是针对最大化离散数据的判别能力的,同时忽略了分类中数据离散化的主要目标是改善概括性能。结果,数据往往会超出许多小型垃圾箱,因为数据没有离散化保留了最大判别信息。因此,我们提出了一个最大依赖性最差(MDMD)标准,该标准可最大程度地提高离散数据的判别信息和概括能力。更具体地说,最大依赖性标准可最大化离散数据和分类变量之间的统计依赖性,而最小差异标准则明确最大程度地减少了给定离散方案的训练数据与验证数据之间的JS差异。拟议的MDMD标准在技术上很有吸引力,但是很难可靠地估计属性的高阶联合分布和分类变量。因此,我们进一步提出了一个更实用的解决方案,最大值 - 差异 - 差异(MRMD)离散方案,其中每个属性通过同时最大化判别信息和离散数据的概括能力分别离散化。将提出的MRMD与45个机器学习基准数据集的Naive Bayes分类框架下的最新离散算法进行了比较。它大大优于大多数数据集上所有比较的方法。
translated by 谷歌翻译
幼稚的贝叶斯在许多应用中广泛使用,因为它具有简单性和处理数值数据和分类数据的能力。但是,缺乏特征之间的相关性建模会限制其性能。此外,现实世界数据集中的噪声和离群值也大大降低了分类性能。在本文中,我们提出了一种功能增强方法,该方法采用堆栈自动编码器来减少数据中的噪声并增强幼稚贝叶斯的判别能力。提出的堆栈自动编码器由两个用于不同目的的自动编码器组成。第一个编码器缩小了初始特征,以得出紧凑的特征表示,以消除噪声和冗余信息。第二个编码器通过将功能扩展到更高维度的空间中来增强特征的判别能力,从而使不同类别的样品在较高维度的空间中可以更好地分离。通过将提出的功能增强方法与正规化的幼稚贝叶斯集成,该模型的歧视能力得到了极大的增强。在一组机器学习基准数据集上评估所提出的方法。实验结果表明,所提出的方法显着且始终如一地优于最先进的天真贝叶斯分类器。
translated by 谷歌翻译
Unsupervised domain adaptation reduces the reliance on data annotation in deep learning by adapting knowledge from a source to a target domain. For privacy and efficiency concerns, source-free domain adaptation extends unsupervised domain adaptation by adapting a pre-trained source model to an unlabeled target domain without accessing the source data. However, most existing source-free domain adaptation methods to date focus on the transductive setting, where the target training set is also the testing set. In this paper, we address source-free domain adaptation in the more realistic inductive setting, where the target training and testing sets are mutually exclusive. We propose a new semi-supervised fine-tuning method named Dual Moving Average Pseudo-Labeling (DMAPL) for source-free inductive domain adaptation. We first split the unlabeled training set in the target domain into a pseudo-labeled confident subset and an unlabeled less-confident subset according to the prediction confidence scores from the pre-trained source model. Then we propose a soft-label moving-average updating strategy for the unlabeled subset based on a moving-average prototypical classifier, which gradually adapts the source model towards the target domain. Experiments show that our proposed method achieves state-of-the-art performance and outperforms previous methods by large margins.
translated by 谷歌翻译
为了将训练有素的模型直接概括为看不见的目标域,域概括(DG)是一种新提出的学习范式,引起了很大的关注。以前的DG模型通常需要在训练过程中观察到的源域中的足够数量的带注释的样品。在本文中,我们放宽了有关完全注释的要求,并研究了半监督域的概括(SSDG),在训练过程中,只有一个源域与其他完全未标记的域一起完全注释。由于要解决观察到的源域之间的域间隙和预测看不见的目标域之间的挑战,我们提出了一个通过关节域吸引的标签和双分类器的新型深框架,以产生高质量的伪标记。具体来说,为了预测域移位下的准确伪标记,开发了一个域吸引的伪标记模块。此外,考虑到概括和伪标记之间的目标不一致:前者防止在所有源域上过度拟合,而后者可能过分适合未标记的源域,以高精度,我们采用双分类器来独立执行伪标记和域名,并在训练过程中执行伪造域通用化。 。当为未标记的源域生成准确的伪标记时,将域混合操作应用于标记和未标记域之间的新域,这对于提高模型的通用能力是有益的。公开可用的DG基准数据集的广泛结果显示了我们提出的SSDG方法的功效。
translated by 谷歌翻译
半监督学习(SSL)是使用不仅标记的示例,而且是未标记的示例学习预测模型的常见方法。尽管用于分类和回归的简单任务的SSL受到了研究社区的广泛关注,但对于具有结构依赖变量的复杂预测任务,这尚未得到适当的研究。这种情况是多标签分类和分层多标签分类任务,可能需要其他信息,可能来自未标记示例提供的描述性空间中的基础分布,以更好地面对同时预测多个类别标签的挑战性任务。在本文中,我们研究了这一方面,并​​提出了一种基于对预测性聚类树的半监督学习的(分层)多标签分类方法。我们还扩展了整体学习的方法,并提出了一种基于随机森林方法的方法。在23个数据集上进行的广泛实验评估显示了该方法的显着优势及其在其监督对应物方面的扩展。此外,该方法可保留可解释性并降低基于经典树模型的时间复杂性。
translated by 谷歌翻译
监督学习已被广​​泛用于攻击分类,需要高质量的数据和标签。但是,数据通常是不平衡的,很难获得足够的注释。此外,有监督的模型应遵守现实世界的部署问题,例如防御看不见的人造攻击。为了应对挑战,我们提出了一个半监督的细粒攻击分类框架,该框架由编码器和两个分支机构结构组成,并且该框架可以推广到不同的监督模型。具有残留连接的多层感知器用作提取特征并降低复杂性的编码器。提出了复发原型模块(RPM)以半监督的方式有效地训练编码器。为了减轻数据不平衡问题,我们将重量任务一致性(WTC)引入RPM的迭代过程中,通过将较大的权重分配给损失函数中较少样本的类别。此外,为了应对现实世界部署中的新攻击,我们提出了一种主动调整重新采样(AAR)方法,该方法可以更好地发现看不见的样本数据的分布并调整编码器的参数。实验结果表明,我们的模型优于最先进的半监督攻击检测方法,分类精度提高了3%,训练时间降低了90%。
translated by 谷歌翻译
近年来,随着传感器和智能设备的广泛传播,物联网(IoT)系统的数据生成速度已大大增加。在物联网系统中,必须经常处理,转换和分析大量数据,以实现各种物联网服务和功能。机器学习(ML)方法已显示出其物联网数据分析的能力。但是,将ML模型应用于物联网数据分析任务仍然面临许多困难和挑战,特别是有效的模型选择,设计/调整和更新,这给经验丰富的数据科学家带来了巨大的需求。此外,物联网数据的动态性质可能引入概念漂移问题,从而导致模型性能降解。为了减少人类的努力,自动化机器学习(AUTOML)已成为一个流行的领域,旨在自动选择,构建,调整和更新机器学习模型,以在指定任务上实现最佳性能。在本文中,我们对Automl区域中模型选择,调整和更新过程中的现有方法进行了审查,以识别和总结将ML算法应用于IoT数据分析的每个步骤的最佳解决方案。为了证明我们的发现并帮助工业用户和研究人员更好地实施汽车方法,在这项工作中提出了将汽车应用于IoT异常检测问题的案例研究。最后,我们讨论并分类了该领域的挑战和研究方向。
translated by 谷歌翻译
虽然数据驱动的故障诊断方法已被广泛应用,但模型培训需要大规模标记数据。然而,在真正的行业实施这一点难以阻碍这些方法的应用。因此,迫切需要在这种情况下运行良好的有效诊断方法。本​​研究中,多级半监督改进的深度嵌入式聚类(MS-SSIDEC)方法,将半监督学习与改进的深度嵌入式聚类相结合(IDEC),建议共同探索稀缺标记的数据和大规模的未标记数据。在第一阶段,提出了一种可以自动将未标记的数据映射到低维特征空间中的跳过连接的卷积自动编码器(SCCAE),并预先培训以成为故障特征提取器。在第二阶段,提出了一个半监督的改进的深嵌入式聚类(SSIDEC)网络以进行聚类。首先用可用标记数据初始化,然后用于同时优化群集标签分配,并使要素空间更加群集。为了解决过度装备现象,在本阶段将虚拟的对抗培训(增值税)作为正则化术语。在第三阶段,伪标签是通过SSIDEC的高质量结果获得的。标记的数据集可以由这些伪标记的数据增强,然后利用以训练轴承故障诊断模型。来自滚动轴承的两个振动数据数据集用于评估所提出的方法的性能。实验结果表明,该方法在半监督和无监督的故障诊断任务中实现了有希望的性能。该方法通过有效地探索无监督数据,提供了在有限标记样本的情况下的故障诊断方法。
translated by 谷歌翻译
Semi-supervised learning (SSL) has achieved great success in leveraging a large amount of unlabeled data to learn a promising classifier. A popular approach is pseudo-labeling that generates pseudo labels only for those unlabeled data with high-confidence predictions. As for the low-confidence ones, existing methods often simply discard them because these unreliable pseudo labels may mislead the model. Nevertheless, we highlight that these data with low-confidence pseudo labels can be still beneficial to the training process. Specifically, although the class with the highest probability in the prediction is unreliable, we can assume that this sample is very unlikely to belong to the classes with the lowest probabilities. In this way, these data can be also very informative if we can effectively exploit these complementary labels, i.e., the classes that a sample does not belong to. Inspired by this, we propose a novel Contrastive Complementary Labeling (CCL) method that constructs a large number of reliable negative pairs based on the complementary labels and adopts contrastive learning to make use of all the unlabeled data. Extensive experiments demonstrate that CCL significantly improves the performance on top of existing methods. More critically, our CCL is particularly effective under the label-scarce settings. For example, we yield an improvement of 2.43% over FixMatch on CIFAR-10 only with 40 labeled data.
translated by 谷歌翻译
半监督的几次学习在于培训分类器以适应有限的标记数据和固定数量未标记的数据的新任务。已经开发了许多复杂的方法来解决该问题所包含的挑战。在本文中,我们提出了一种简单但相当有效的方法,可以从间接学习的角度预测未标记数据的准确伪标记,然后增强在几个拍摄分类任务中设置的极其标签受限的支持。我们的方法只能通过仅使用现成的操作来仅在几行代码中实现,但是它能够在四个基准数据集上超越最先进的方法。
translated by 谷歌翻译
The core issue in semi-supervised learning (SSL) lies in how to effectively leverage unlabeled data, whereas most existing methods tend to put a great emphasis on the utilization of high-confidence samples yet seldom fully explore the usage of low-confidence samples. In this paper, we aim to utilize low-confidence samples in a novel way with our proposed mutex-based consistency regularization, namely MutexMatch. Specifically, the high-confidence samples are required to exactly predict "what it is" by conventional True-Positive Classifier, while the low-confidence samples are employed to achieve a simpler goal -- to predict with ease "what it is not" by True-Negative Classifier. In this sense, we not only mitigate the pseudo-labeling errors but also make full use of the low-confidence unlabeled data by consistency of dissimilarity degree. MutexMatch achieves superior performance on multiple benchmark datasets, i.e., CIFAR-10, CIFAR-100, SVHN, STL-10, mini-ImageNet and Tiny-ImageNet. More importantly, our method further shows superiority when the amount of labeled data is scarce, e.g., 92.23% accuracy with only 20 labeled data on CIFAR-10. Our code and model weights have been released at https://github.com/NJUyued/MutexMatch4SSL.
translated by 谷歌翻译
半监督学习(SSL)从根本上是一个缺失的标签问题,与广泛的随机假设完全既贴心又无标记的标签完全失踪,而不是随机(mnar)问题(mnar)问题更现实和挑战数据共享相同的类分布。与现有的SSL解决方案不同,这些解决方案忽略了“类”在引起非随机性中的作用,例如,用户更有可能将流行类标记为“类别”,我们将“类”明确地纳入SSL。我们的方法是三倍:1)我们建议使用偏置标记的数据来利用未标记的数据来利用未标记的数据来训练改进的分类器。 2)鼓励罕见的课堂培训,其模型是低回调但高精度,丢弃了太多的伪标记的数据,我们提出了类动态降低(或增加)伪标签分配阈值的class感知插补(CAI)稀有(或频繁)的课程。 3)总体而言,我们将CAP和CAI集成到训练无偏的SSL模型的双重稳健估计器中。在各种MNAR设置和消融中,我们的方法不仅显着优于现有基线,而且超过了其他标签偏置删除SSL方法。请通过以下方式查看我们的代码:https://github.com/joyhuyy1412/cadr-fixmatch。
translated by 谷歌翻译
受视力语言预训练模型的显着零击概括能力的启发,我们试图利用剪辑模型的监督来减轻数据标记的负担。然而,这种监督不可避免地包含标签噪声,从而大大降低了分类模型的判别能力。在这项工作中,我们提出了Transductive Clip,这是一个新型的框架,用于学习具有从头开始的嘈杂标签的分类网络。首先,提出了一种类似的对比学习机制来减轻对伪标签的依赖并提高对嘈杂标签的耐受性。其次,合奏标签被用作伪标签更新策略,以稳定具有嘈杂标签的深神经网络的培训。该框架可以通过组合两种技术有效地从夹子模型中降低嘈杂标签的影响。多个基准数据集的实验证明了比其他最新方法的实质性改进。
translated by 谷歌翻译
很少有射击分类旨在学习一个模型,该模型只有几个标签样本可用,可以很好地推广到新任务。为了利用在实际应用中更丰富的未标记数据,Ren等人。 \ shortcite {ren2018meta}提出了一种半监督的少数射击分类方法,该方法通过手动定义的度量标记为每个未标记的样本分配了适当的标签。但是,手动定义的度量未能捕获数据中的内在属性。在本文中,我们提出了a \ textbf {s} elf- \ textbf {a} daptive \ textbf {l} abel \ textbf {a} u摄孔方法,称为\ textbf {sala},用于半精神分裂的几个分类。萨拉(Sala)的主要新颖性是任务自适应指标,可以以端到端的方式适应不同任务的指标。萨拉(Sala)的另一个吸引人的特征是一种进步的邻居选择策略,该策略在整个训练阶段逐渐逐渐信心选择未标记的数据。实验表明,SALA优于在基准数据集上半监督的几种射击分类的几种最新方法。
translated by 谷歌翻译
Generalized Category Discovery (GCD) aims to recognize both known and novel categories from a set of unlabeled data, based on another dataset labeled with only known categories. Without considering differences between known and novel categories, current methods learn about them in a coupled manner, which can hurt model's generalization and discriminative ability. Furthermore, the coupled training approach prevents these models transferring category-specific knowledge explicitly from labeled data to unlabeled data, which can lose high-level semantic information and impair model performance. To mitigate above limitations, we present a novel model called Decoupled Prototypical Network (DPN). By formulating a bipartite matching problem for category prototypes, DPN can not only decouple known and novel categories to achieve different training targets effectively, but also align known categories in labeled and unlabeled data to transfer category-specific knowledge explicitly and capture high-level semantics. Furthermore, DPN can learn more discriminative features for both known and novel categories through our proposed Semantic-aware Prototypical Learning (SPL). Besides capturing meaningful semantic information, SPL can also alleviate the noise of hard pseudo labels through semantic-weighted soft assignment. Extensive experiments show that DPN outperforms state-of-the-art models by a large margin on all evaluation metrics across multiple benchmark datasets. Code and data are available at https://github.com/Lackel/DPN.
translated by 谷歌翻译
域适应(DA)旨在将知识从标签富裕但异构的域转移到标签恐慌域,这减轻了标签努力并吸引了相当大的关注。与以前的方法不同,重点是学习域中的特征表示,一些最近的方法存在通用半监督学习(SSL)技术,直接将它们应用于DA任务,甚至实现竞争性能。最受欢迎的SSL技术之一是伪标记,可通过标记数据训练的分类器为每个未标记数据分配伪标签。但是,它忽略了DA问题的分布偏移,并且不可避免地偏置为源数据。要解决此问题,我们提出了一个名为辅助目标域导向的分类器(ATDOC)的新伪标签框架。 ATDOC通过为目标数据引入辅助分类器来缓解分类器偏置,以提高伪标签的质量。具体地,我们使用内存机制并开发两种类型的非参数分类器,即最近的质心分类器和邻域聚合,而不引入任何其他网络参数。尽管在伪分类目标中具有简单性,但具有邻域聚集的ATDOC显着优于域对齐技术和现有的SSL技术,以及甚至瘢痕标记的SSL任务。
translated by 谷歌翻译
Labeling a module defective or non-defective is an expensive task. Hence, there are often limits on how much-labeled data is available for training. Semi-supervised classifiers use far fewer labels for training models, but there are numerous semi-supervised methods, including self-labeling, co-training, maximal-margin, and graph-based methods, to name a few. Only a handful of these methods have been tested in SE for (e.g.) predicting defects and even that, those tests have been on just a handful of projects. This paper takes a wide range of 55 semi-supervised learners and applies these to over 714 projects. We find that semi-supervised "co-training methods" work significantly better than other approaches. However, co-training needs to be used with caution since the specific choice of co-training methods needs to be carefully selected based on a user's specific goals. Also, we warn that a commonly-used co-training method ("multi-view"-- where different learners get different sets of columns) does not improve predictions (while adding too much to the run time costs 11 hours vs. 1.8 hours). Those cautions stated, we find using these "co-trainers," we can label just 2.5% of data, then make predictions that are competitive to those using 100% of the data. It is an open question worthy of future work to test if these reductions can be seen in other areas of software analytics. All the codes used and datasets analyzed during the current study are available in the https://GitHub.com/Suvodeep90/Semi_Supervised_Methods.
translated by 谷歌翻译
半监督学习(SSL)证明了其在高质量监督数据受到严重限制时提高各种学习任务的模型准确性的潜力。尽管经常确定,整个数据群的平均准确性得到了改善,但尚不清楚SSL如何具有不同的子人群的票价。当我们旨在公平对待的人口群体定义不同的子人群时,了解上述问题具有很大的公平意义。在本文中,我们揭示了部署SSL的不同影响:在不使用SSL(“ Rich” One)的情况下具有较高基线准确性的子人群倾向于从SSL中受益更多;尽管添加SSL模块后,遭受低基线准确性(“穷”)的子人群甚至可能会观察到性能下降。我们从理论上和经验上为广泛的SSL算法建立上述观察结果,该算法是明确或隐式使用辅助“伪标签”。一组图像和文本分类任务的实验证实了我们的主张。我们介绍了一个新的度量,收益比,并促进对SSL公平性(均等福利比)的评估。我们进一步讨论如何减轻不同的影响。我们希望我们的论文能够震惊使用SSL的潜在陷阱,并鼓励对未来SSL算法进行多方面评估。
translated by 谷歌翻译
主动学习(al)试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习(DL)是贪婪的数据,需要大量的数据电源来优化大量参数,因此模型了解如何提取高质量功能。近年来,由于互联网技术的快速发展,我们处于信息种类的时代,我们有大量的数据。通过这种方式,DL引起了研究人员的强烈兴趣,并已迅速发展。与DL相比,研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前,传统的机器学习需要相对较少的标记样品。因此,早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破,但大多数这一成功都是由于大量现有注释数据集的宣传。然而,收购大量高质量的注释数据集消耗了很多人力,这在某些领域不允许在需要高专业知识,特别是在语音识别,信息提取,医学图像等领域中, al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本,同时保留DL的强大学习能力。因此,已经出现了深度主动学习(DAL)。虽然相关的研究非常丰富,但它缺乏对DAL的综合调查。本文要填补这一差距,我们为现有工作提供了正式的分类方法,以及全面和系统的概述。此外,我们还通过申请的角度分析并总结了DAL的发展。最后,我们讨论了DAL中的混乱和问题,为DAL提供了一些可能的发展方向。
translated by 谷歌翻译