基于机器学习的任何信用卡欺诈检测的各种问题来自事务数据集的不平衡方面。实际上,与常规交易数量相比,欺诈的数量很小,已被证明会损害学习表现,例如,最坏的情况下,算法可以学会将所有交易分类为常规。已知重新采样方法和成本敏感的方法是利用这一问题不平衡数据集的好候选者。本文评估了大型现实生活中的在线信用卡支付数据集上的许多最先进的重采样方法。我们表明它们效率低下,因为方法是棘手的,或者是因为指标没有表现出很大的改进。我们的工作有助于(1)中的该领域,我们比较了大规模数据集中的许多最新重新采样方法以及(2)中我们使用现实生活中的在线信用卡付款数据集。
translated by 谷歌翻译
从不平衡数据中学习是一项具有挑战性的任务。在进行不平衡数据训练时,标准分类算法的性能往往差。需要通过修改数据分布或重新设计基础分类算法以实现理想的性能来采用一些特殊的策略。现实世界数据集中不平衡的流行率导致为班级不平衡问题创造了多种策略。但是,并非所有策略在不同的失衡情况下都有用或提供良好的性能。处理不平衡的数据有许多方法,但是尚未进行此类技术的功效或这些技术之间的实验比较。在这项研究中,我们对26种流行抽样技术进行了全面分析,以了解它们在处理不平衡数据方面的有效性。在50个数据集上进行了严格的实验,具有不同程度的不平衡,以彻底研究这些技术的性能。已经提出了对技术的优势和局限性的详细讨论,以及如何克服此类局限性。我们确定了影响采样策略的一些关键因素,并提供有关如何为特定应用选择合适的采样技术的建议。
translated by 谷歌翻译
由于欺诈模式随着时间的流逝而变化,并且欺诈示例的可用性有限,以学习这种复杂的模式,因此欺诈检测是一项具有挑战性的任务。因此,借助智能版本的机器学习(ML)工具的欺诈检测对于确保安全至关重要。欺诈检测是主要的ML分类任务;但是,相应的ML工具的最佳性能取决于最佳的超参数值的使用。此外,在不平衡类中的分类非常具有挑战性,因为它在少数群体中导致绩效差,大多数ML分类技术都忽略了。因此,我们研究了四种最先进的ML技术,即逻辑回归,决策树,随机森林和极端梯度提升,它们适用于处理不平衡类别以最大程度地提高精度并同时降低假阳性。首先,这些分类器经过两个原始基准测试不平衡检测数据集的培训,即网站网站URL和欺诈性信用卡交易。然后,通过实现采样框架,即RandomundSampler,Smote和Smoteenn,为每个原始数据集生产了三个合成平衡的数据集。使用RandomzedSearchCV方法揭示了所有16个实验的最佳超参数。使用两个基准性能指标比较了欺诈检测中16种方法的有效性,即接收器操作特性(AUC ROC)和精度和召回曲线下的面积(AUC PR)(AUC PR)。对于网络钓鱼网站URL和信用卡欺诈事务数据集,结果表明,对原始数据的极端梯度提升显示了不平衡数据集中值得信赖的性能,并以AUC ROC和AUC PR来超越其他三种方法。
translated by 谷歌翻译
不平衡的数据(ID)是阻止机器学习(ML)模型以实现令人满意的结果的问题。 ID是一种情况,即属于一个类别的样本的数量超过另一个类别的情况,这使此类模型学习过程偏向多数类。近年来,为了解决这个问题,已经提出了几种解决方案,该解决方案选择合成为少数族裔类生成新数据,或者减少平衡数据的多数类的数量。因此,在本文中,我们研究了基于深神经网络(DNN)和卷积神经网络(CNN)的方法的有效性,并与各种众所周知的不平衡数据解决方案混合,这意味着过采样和降采样。为了评估我们的方法,我们使用了龙骨,乳腺癌和Z-Alizadeh Sani数据集。为了获得可靠的结果,我们通过随机洗牌的数据分布进行了100次实验。分类结果表明,混合的合成少数族裔过采样技术(SMOTE) - 正态化-CNN优于在24个不平衡数据集上达到99.08%精度的不同方法。因此,提出的混合模型可以应用于其他实际数据集上的不平衡算法分类问题。
translated by 谷歌翻译
类不平衡是分类任务中经常发生的情况。从不平衡数据中学习提出了一个重大挑战,这在该领域引起了很多研究。使用采样技术进行数据预处理是处理数据中存在的不平衡的标准方法。由于标准分类算法在不平衡数据上的性能不佳,因此在培训之前,数据集需要足够平衡。这可以通过过度采样少数族裔级别或对多数级别的采样来实现。在这项研究中,已经提出了一种新型的混合采样算法。为了克服采样技术的局限性,同时确保保留采样数据集的质量,已经开发了一个复杂的框架来正确结合三种不同的采样技术。首先应用邻里清洁规则以减少失衡。然后从策略上与SMOTE算法策略性地采样,以在数据集中获得最佳平衡。该提出的混合方法学称为“ smote-rus-nc”,已与其他最先进的采样技术进行了比较。该策略进一步合并到集合学习框架中,以获得更健壮的分类算法,称为“ SRN-BRF”。对26个不平衡数据集进行了严格的实验,并具有不同程度的失衡。在几乎所有数据集中,提出的两种算法在许多情况下都超过了现有的采样策略,其差额很大。尤其是在流行抽样技术完全失败的高度不平衡数据集中,他们实现了无与伦比的性能。获得的优越结果证明了所提出的模型的功效及其在不平衡域中具有强大采样算法的潜力。
translated by 谷歌翻译
An approach to the construction of classifiers from imbalanced datasets is described. A dataset is imbalanced if the classification categories are not approximately equally represented. Often real-world data sets are predominately composed of "normal" examples with only a small percentage of "abnormal" or "interesting" examples. It is also the case that the cost of misclassifying an abnormal (interesting) example as a normal example is often much higher than the cost of the reverse error. Under-sampling of the majority (normal) class has been proposed as a good means of increasing the sensitivity of a classifier to the minority class. This paper shows that a combination of our method of over-sampling the minority (abnormal) class and under-sampling the majority (normal) class can achieve better classifier performance (in ROC space) than only under-sampling the majority class. This paper also shows that a combination of our method of over-sampling the minority class and under-sampling the majority class can achieve better classifier performance (in ROC space) than varying the loss ratios in Ripper or class priors in Naive Bayes. Our method of over-sampling the minority class involves creating synthetic minority class examples. Experiments are performed using C4.5, Ripper and a Naive Bayes classifier. The method is evaluated using the area under the Receiver Operating Characteristic curve (AUC) and the ROC convex hull strategy.
translated by 谷歌翻译
如今,许多分类算法已应用于各个行业,以帮助他们在现实生活中解决他们的问题。但是,在许多二进制分类任务中,少数族裔类中的样本仅构成了所有实例的一小部分,这导致了我们通常患有高失衡比的数据集。现有模型有时将少数族裔类别视为噪音,或者将它们视为遇到数据偏斜的异常值。为了解决这个问题,我们提出了一个装袋合奏学习框架$ ASE $(基于异常得分的合奏学习)。该框架具有基于异常检测算法的评分系统,可以通过将多数类中的样本分为子空间来指导重采样策略。那么,特定数量的实例将从每个子空间中采样较低,以通过与少数族裔类结合来构建子集。我们根据异常检测模型的分类结果和子空间的统计数据计算由子集训练的基本分类器的权重。已经进行了实验,这表明我们的合奏学习模型可以显着提高基本分类器的性能,并且比在广泛的不平衡比率,数据量表和数据维度下的其他现有方法更有效。 $ ase $可以与各种分类器结合使用,我们的框架的每个部分都被证明是合理和必要的。
translated by 谷歌翻译
由于医疗保健是关键方面,健康保险已成为最大程度地减少医疗费用的重要计划。此后,由于保险的增加,医疗保健行业的欺诈活动大幅增加,欺诈行业已成为医疗费用上升的重要贡献者,尽管可以使用欺诈检测技术来减轻其影响。为了检测欺诈,使用机器学习技术。美国联邦政府的医疗补助和医疗保险服务中心(CMS)在本研究中使用“医疗保险D部分”保险索赔来开发欺诈检测系统。在类不平衡且高维的Medicare数据集中使用机器学习算法是一项艰巨的任务。为了紧凑此类挑战,目前的工作旨在在数据采样之后执行功能提取,然后应用各种分类算法,以获得更好的性能。特征提取是一种降低降低方法,该方法将属性转换为实际属性的线性或非线性组合,生成较小,更多样化的属性集,从而降低了尺寸。数据采样通常用于通过扩大少数族裔类的频率或降低多数类的频率以获得两种类别的出现数量大约相等的频率来解决类不平衡。通过标准性能指标评估所提出的方法。因此,为了有效地检测欺诈,本研究将自动编码器作为特征提取技术,合成少数族裔过采样技术(SMOTE)作为数据采样技术,以及各种基于决策树的分类器作为分类算法。实验结果表明,自动编码器的结合,然后在LightGBM分类器上获得SMOTE,取得了最佳的结果。
translated by 谷歌翻译
本文提出了一种基于对不平衡数据集的图形的新的RWO采样(随机步行过度采样)。在该方法中,引入了基于采样的下采样和过采样方法的两种方案,以使接近信息保持对噪声和异常值的鲁棒。在构建少数群体类上的第一个图形之后,RWO取样将在选定的样本上实现,其余部分保持不变。第二图是为多数类构造的,除去低密度区域(异常值)中的样品被移除。最后,在所提出的方法中,选择高密度区域中的多数类别的样品,并消除其余部分。此外,利用RWO取样,虽然未提高异常值,但虽然少数群体类的边界增加。测试该方法,并将评估措施的数量与先前的九个连续属性数据集进行比较,具有不同的过采集率和一个数据集,用于诊断Covid-19疾病。实验结果表明了所提出的不平衡数据分类方法的高效率和灵活性
translated by 谷歌翻译
Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.
translated by 谷歌翻译
不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响,例如类不平衡问题,类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来,已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠,删除难以区分的多数实例,提高算法分类精度。然而,Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时,取样效果不令人满意,分类模型的性能改善并不明显。因此,在Tomek-Link的基础上,提出了一种多粒度重新标记的取样算法(MGRU)。该算法完全考虑了本地粒度子空间中的数据集的本地信息,并检测数据集中的本地潜在重叠实例。然后,根据全局重新标记的索引值消除重叠的多数实例,这有效地扩展了Tomek-Link的检测范围。仿真结果表明,当我们选择欠采样的最佳全局重新标记索引值时,所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。
translated by 谷歌翻译
从课堂上学习不平衡数据集对许多机器学习算法带来了挑战。许多现实世界域通过定义,通过拥有多数阶级的多数阶级,自然具有比其少数级别更多的阶级(例如,真正的银行交易比欺诈性更频繁)。已经提出了许多方法来解决类别不平衡问题,其中最受欢迎的过采样技术(例如Smote)。这些方法在少数群体类中生成合成实例,以平衡数据集,执行提高预测机器学习(ML)模型的性能的数据增强。在本文中,我们推进了一种新的数据增强方法(改编自解释的AI),它在少数类中生成合成,反事实情况。与其他过采样技术不同,该方法使用实际特征值,而不是实例之间的内插值,自适应地将存在于数据集的实例。报告了使用四种不同分类器和25个数据集的几个实验,这表明该反事实增强方法(CFA)在少数类中生成有用的合成数据点。实验还表明,CFA与许多其他过采样方法具有竞争力,其中许多过采样方法是Smote的变种。讨论了CFAS性能的基础,以及在未来测试中可能更好或更糟的情况下的条件。
translated by 谷歌翻译
This paper presents a novel adaptive synthetic (ADASYN) sampling approach for learning from imbalanced data sets. The essential idea of ADASYN is to use a weighted distribution for different minority class examples according to their level of difficulty in learning, where more synthetic data is generated for minority class examples that are harder to learn compared to those minority examples that are easier to learn. As a result, the ADASYN approach improves learning with respect to the data distributions in two ways: (1) reducing the bias introduced by the class imbalance, and (2) adaptively shifting the classification decision boundary toward the difficult examples. Simulation analyses on several machine learning data sets show the effectiveness of this method across five evaluation metrics.
translated by 谷歌翻译
Dataset scaling, also known as normalization, is an essential preprocessing step in a machine learning pipeline. It is aimed at adjusting attributes scales in a way that they all vary within the same range. This transformation is known to improve the performance of classification models, but there are several scaling techniques to choose from, and this choice is not generally done carefully. In this paper, we execute a broad experiment comparing the impact of 5 scaling techniques on the performances of 20 classification algorithms among monolithic and ensemble models, applying them to 82 publicly available datasets with varying imbalance ratios. Results show that the choice of scaling technique matters for classification performance, and the performance difference between the best and the worst scaling technique is relevant and statistically significant in most cases. They also indicate that choosing an inadequate technique can be more detrimental to classification performance than not scaling the data at all. We also show how the performance variation of an ensemble model, considering different scaling techniques, tends to be dictated by that of its base model. Finally, we discuss the relationship between a model's sensitivity to the choice of scaling technique and its performance and provide insights into its applicability on different model deployment scenarios. Full results and source code for the experiments in this paper are available in a GitHub repository.\footnote{https://github.com/amorimlb/scaling\_matters}
translated by 谷歌翻译
分类预测建模涉及准确地分配数据集中的观察到目标类或类别。具有严重不平衡的类分布的现实世界分类问题的增长越来越大。在这种情况下,少数群体的观察比较少于多数阶级的观察。尽管这种稀疏性,但少数民族阶级通常被认为是更有趣的阶级,但制定适合观察的科学学习算法呈现无数挑战。在本文中,我们建议一种专门用于根据我们称为Samme.c2的方法处理严重不平衡类的新型多级分类算法。它与SAMME算法,多级分类器和ADA.C2算法中的升压技术的灵活机制混合,这是一种成本敏感的二进制分类器,旨在解决高度类别的不平衡。我们不仅提供了所得算法,但我们还建立了我们提出的Samme.c2算法的科学和统计制定。通过数值实验检查各种程度的分类器难度,我们展示了我们所提出的模型的一致优越性。
translated by 谷歌翻译
冠状质量弹出(CME)是最地理化的空间天气现象,与大型地磁风暴有关,有可能引起电信,卫星网络中断,电网损失和故障的干扰。因此,考虑到这些风暴对人类活动的潜在影响,对CME的地理效果的准确预测至关重要。这项工作着重于在接近太阳CME的白光冠状动脉数据集中训练的不同机器学习方法,以估计这种新爆发的弹出是否有可能诱导地磁活动。我们使用逻辑回归,k-nearest邻居,支持向量机,向前的人工神经网络以及整体模型开发了二进制分类模型。目前,我们限制了我们的预测专门使用太阳能发作参数,以确保延长警告时间。我们讨论了这项任务的主要挑战,即我们数据集中的地理填充和无效事件的数量以及它们的众多相似之处以及可用变量数量有限的极端失衡。我们表明,即使在这种情况下,这些模型也可以达到足够的命中率。
translated by 谷歌翻译
学习不平衡是数据挖掘的基本挑战,在每个课程中,培训样本的比例不成比例。过度采样是通过为少数族裔生成合成样本来解决不平衡学习的有效技术。尽管已经提出了许多过采样算法,但它们在很大程度上依赖启发式方法,这可能是最佳选择的,因为我们可能需要针对不同数据集和基本分类器的不同采样策略,并且无法直接优化性能指标。在此激励的情况下,我们研究了开发一种基于学习的过采样算法以优化分类性能,这是一项艰巨的任务,因为庞大和等级的决策空间。在高水平上,我们需要确定要生成多少合成样品。在低级别,我们需要确定合成样品的位置,这取决于高级决策,因为样品的最佳位置在不同数量的样品中可能有所不同。为了应对挑战,我们提出了一种自动采样算法,可以共同优化不同级别的决策。由Smote〜 \ cite {Chawla2002smote}的成功的动机及其扩展,我们将生成过程作为Markov决策过程(MDP),由三个级别的策略组成,以在Smote搜索空间内生成合成样本。然后,我们利用深层的层次加强学习来优化验证数据的性能指标。在六个现实世界数据集上进行的广泛实验表明,自动变量极大地超过了最新的重新采样算法。该代码在https://github.com/daochenzha/autosmote上
translated by 谷歌翻译
阶级不平衡问题很重要且具有挑战性。合奏方法由于其有效性而广泛用于解决此问题。但是,现有的合奏方法始终应用于原始样本中,而没有考虑原始样本之间的结构信息。限制将阻止不平衡的学习变得更好。此外,研究表明,样本中的结构信息包括本地和全球结构信息。基于上面的分析,此处提出了具有深层样本前网络(DSEN)(DSEN)和局部全球结构一致性机制(LGSCM)的不平衡合奏算法,以解决该问题。该算法可以保证高质量的深层信封样品用于用于考虑到本地流形和全球结构信息,这有助于失衡学习。首先,深层样品包络预网(DSEN)旨在挖掘样品之间的结构信息。样品。接下来,将DSEN和LGSCM放在一起以形成最终的深层样品网络网络(DSEN-LG)。之后,分别将基本分类器应用于深样品的层。最后,通过装袋集合学习机制融合了基本分类器的预测结果。为了证明该方法的有效性,选择了四十四个公共数据集和十多种代表性相关算法进行验证。实验结果表明,该算法明显优于其他不平衡的集合算法。
translated by 谷歌翻译
我们在人类演变的历史上是一个独特的时间表,在那里我们可能能够发现我们的太阳系外的星星周围的地球行星,条件可以支持生活,甚至在那些行星上找到生命的证据。通过NASA,ESA和其他主要空间机构近年来推出了几个卫星,可以使用充足的数据集,可以使用,可用于培训机器学习模型,可以自动化Exoplanet检测的艰巨任务,其识别和居住地确定。自动化这些任务可以节省相当大的时间并导致人工错误最小化由于手动干预。为了实现这一目标,我们首先分析开孔望远镜捕获的恒星的光强度曲线,以检测表现出可能的行星系统存在特性的潜在曲线。对于该检测,以及培训常规模型,我们提出了一种堆叠的GBDT模型,可以同时在光信号的多个表示上培训。随后,我们通过利用几种最先进的机器学习和集合方法来解决EXOPLANET识别和居住地确定的自动化。外产的鉴定旨在将假阳性实例与外产的实际情况区分开,而居住地评估基于其可居住的特征,将外产行动的情况群体分组到不同的集群中。此外,我们提出了一种称为充足的热量充足(ATA)得分的新度量,以建立可居住和不可居住的情况之间的潜在线性关系。实验结果表明,所提出的堆叠GBDT模型优于检测过渡外出的常规模型。此外,在适当的分类中纳入ATA分数增强了模型的性能。
translated by 谷歌翻译
在过去的二十年中,已经采用了过采样来克服从不平衡数据集中学习的挑战。文献中提出了许多解决这一挑战的方法。另一方面,过采样是一个问题。也就是说,在解决现实世界问题时,经过虚拟数据训练的模型可能会出色地失败。过采样方法的根本困难是,鉴于现实生活中的人群,合成的样本可能并不真正属于少数群体。结果,在假装代表少数群体的同时,在这些样本上训练分类器可能会导致在现实世界中使用该模型时的预测。我们在本文中分析了大量的过采样方法,并根据隐藏了许多多数示例,设计了一种新的过采样评估系统,并将其与通过过采样过程产生的示例进行了比较。根据我们的评估系统,我们根据它们错误生成的示例进行比较对所有这些方法进行了排名。我们使用70多种超采样方法和三种不平衡现实世界数据集的实验表明,所有研究的过采样方法都会生成最有可能是多数人的少数样本。给定数据和方法,我们认为以目前的形式和方法对从类不平衡数据学习不可靠,应在现实世界中避免。
translated by 谷歌翻译