随着信用卡交易量的增长，欺诈百分比也在上升，包括机构打击和补偿受害者的间接费用。将机器学习用于金融部门可以更有效地保护欺诈和其他经济犯罪。经过适当训练的机器学习分类器有助于主动欺诈检测，改善利益相关者的信任和对非法交易的鲁棒性。但是，由于欺诈数据的极为不平衡的性质以及准确，完全完全确定欺诈行为的挑战，以创建金标准的地面真相，因此基于机器学习的欺诈检测算法的设计是具有挑战性和缓慢的。此外，没有基准或标准分类器评估指标来衡量和识别更好的性能分类器，从而使研究人员处于黑暗状态。在这项工作中，我们建立了一个理论基础，以模拟人类注释错误和现实世界欺诈检测数据集中典型的极端失衡。通过对假设分类器进行经验实验，并具有近似于流行的现实世界信用卡欺诈数据集的合成数据分布，我们模拟了人类注释错误和极端失衡，以观察流行的机器学习分类器评估矩阵的行为。我们证明，按照特定顺序，合并的F1分数和G均值是典型不平衡欺诈检测模型分类的最佳评估指标。

信用卡在现代经济体中起着爆炸性的作用。它的受欢迎程度和普遍存在为欺诈行为创造了肥沃的理由，并在跨寄宿范围和瞬时确认的帮助下。尽管交易在增长，但欺诈百分比也在上升，以及一美元欺诈的真实成本。交易的数量，欺诈的独特性和欺诈者的创造力是检测欺诈行为的主要挑战。机器学习，人工智能和大数据的出现为打击欺诈的斗争打开了新的工具。鉴于过去的交易，机器学习算法具有“学习”无限复杂特征的能力，以实时识别欺诈，超过了最佳的人类研究者。但是，欺诈检测算法的发展由于欺诈数据的性质，缺乏基准和标准评估指标的严重不平衡性质而变得挑战和缓慢用于研究的机密交易数据。这项工作调查了典型的欺诈数据集的属性，其可用性，适用于研究用途，同时探索欺诈分布的广泛变化性质。此外，我们展示了人类注释错误与机器分类错误的复合。我们还进行了实验，以确定PCA混淆的影响（作为传播研究和机器学习的敏感交易数据的一种手段）对分类器的算法性能的影响，并表明PCA并未显着降低性能，但应注意使用谨慎适当的主要组件大小（尺寸），以避免过度拟合。

机器学习已为财务欺诈检测打开了新的工具。使用带注释的交易样本，机器学习分类算法学会了检测欺诈。随着信用卡交易量的不断增长和欺诈百分比的增加，人们越来越有兴趣寻找适当的机器学习分类器进行检测。但是，欺诈数据集是多种多样的，并且表现出不一致的特征。结果，在给定数据集上有效的模型不能保证在另一个数据集上执行。此外，随着时间的推移，数据模式和特征的时间漂移​​的可能性很高。此外，欺诈数据具有巨大的不平衡。在这项工作中，我们将抽样方法评估为可行的预处理机制，以处理失衡并提出数据驱动的分类器选择策略，以高度不平衡欺诈检测数据集。基于我们的选择策略得出的模型超过了同行模型，同时在更现实的条件下工作，建立了策略的有效性。

Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.

由于欺诈模式随着时间的流逝而变化，并且欺诈示例的可用性有限，以学习这种复杂的模式，因此欺诈检测是一项具有挑战性的任务。因此，借助智能版本的机器学习（ML）工具的欺诈检测对于确保安全至关重要。欺诈检测是主要的ML分类任务；但是，相应的ML工具的最佳性能取决于最佳的超参数值的使用。此外，在不平衡类中的分类非常具有挑战性，因为它在少数群体中导致绩效差，大多数ML分类技术都忽略了。因此，我们研究了四种最先进的ML技术，即逻辑回归，决策树，随机森林和极端梯度提升，它们适用于处理不平衡类别以最大程度地提高精度并同时降低假阳性。首先，这些分类器经过两个原始基准测试不平衡检测数据集的培训，即网站网站URL和欺诈性信用卡交易。然后，通过实现采样框架，即RandomundSampler，Smote和Smoteenn，为每个原始数据集生产了三个合成平衡的数据集。使用RandomzedSearchCV方法揭示了所有16个实验的最佳超参数。使用两个基准性能指标比较了欺诈检测中16种方法的有效性，即接收器操作特性（AUC ROC）和精度和召回曲线下的面积（AUC PR）（AUC PR）。对于网络钓鱼网站URL和信用卡欺诈事务数据集，结果表明，对原始数据的极端梯度提升显示了不平衡数据集中值得信赖的性能，并以AUC ROC和AUC PR来超越其他三种方法。

The costs and impacts of government corruption range from impairing a country's economic growth to affecting its citizens' well-being and safety. Public contracting between government dependencies and private sector instances, referred to as public procurement, is a fertile land of opportunity for corrupt practices, generating substantial monetary losses worldwide. Thus, identifying and deterring corrupt activities between the government and the private sector is paramount. However, due to several factors, corruption in public procurement is challenging to identify and track, leading to corrupt practices going unnoticed. This paper proposes a machine learning model based on an ensemble of random forest classifiers, which we call hyper-forest, to identify and predict corrupt contracts in M\'exico's public procurement data. This method's results correctly detect most of the corrupt and non-corrupt contracts evaluated in the dataset. Furthermore, we found that the most critical predictors considered in the model are those related to the relationship between buyers and suppliers rather than those related to features of individual contracts. Also, the method proposed here is general enough to be trained with data from other countries. Overall, our work presents a tool that can help in the decision-making process to identify, predict and analyze corruption in public procurement contracts.

由于医疗保健是关键方面，健康保险已成为最大程度地减少医疗费用的重要计划。此后，由于保险的增加，医疗保健行业的欺诈活动大幅增加，欺诈行业已成为医疗费用上升的重要贡献者，尽管可以使用欺诈检测技术来减轻其影响。为了检测欺诈，使用机器学习技术。美国联邦政府的医疗补助和医疗保险服务中心（CMS）在本研究中使用“医疗保险D部分”保险索赔来开发欺诈检测系统。在类不平衡且高维的Medicare数据集中使用机器学习算法是一项艰巨的任务。为了紧凑此类挑战，目前的工作旨在在数据采样之后执行功能提取，然后应用各种分类算法，以获得更好的性能。特征提取是一种降低降低方法，该方法将属性转换为实际属性的线性或非线性组合，生成较小，更多样化的属性集，从而降低了尺寸。数据采样通常用于通过扩大少数族裔类的频率或降低多数类的频率以获得两种类别的出现数量大约相等的频率来解决类不平衡。通过标准性能指标评估所提出的方法。因此，为了有效地检测欺诈，本研究将自动编码器作为特征提取技术，合成少数族裔过采样技术（SMOTE）作为数据采样技术，以及各种基于决策树的分类器作为分类算法。实验结果表明，自动编码器的结合，然后在LightGBM分类器上获得SMOTE，取得了最佳的结果。

使用不平衡数据集的二进制分类具有挑战性。模型倾向于将所有样本视为属于多数类的样本。尽管现有的解决方案（例如抽样方法，成本敏感方法和合奏学习方法）提高了少数族裔类别的准确性，但这些方法受到过度拟合问题或难以决定的成本参数的限制。我们提出了HADR，这是一种降低尺寸的混合方法，包括数据块构建，降低性降低和与深度神经网络分类器的合奏学习。我们评估了八个不平衡的公共数据集的性能，从召回，g均值和AUC方面。结果表明，我们的模型优于最先进的方法。

尽管自动图像分析的重要性不断增加，但最近的元研究揭示了有关算法验证的主要缺陷。性能指标对于使用的自动算法的有意义，客观和透明的性能评估和验证尤其是关键，但是在使用特定的指标进行给定的图像分析任务时，对实际陷阱的关注相对较少。这些通常与（1）无视固有的度量属性，例如在存在类不平衡或小目标结构的情况下的行为，（2）无视固有的数据集属性，例如测试的非独立性案例和（3）无视指标应反映的实际生物医学领域的兴趣。该动态文档的目的是说明图像分析领域通常应用的性能指标的重要局限性。在这种情况下，它重点介绍了可以用作图像级分类，语义分割，实例分割或对象检测任务的生物医学图像分析问题。当前版本是基于由全球60多家机构的国际图像分析专家进行的关于指标的Delphi流程。

This paper presents a novel adaptive synthetic (ADASYN) sampling approach for learning from imbalanced data sets. The essential idea of ADASYN is to use a weighted distribution for different minority class examples according to their level of difficulty in learning, where more synthetic data is generated for minority class examples that are harder to learn compared to those minority examples that are easier to learn. As a result, the ADASYN approach improves learning with respect to the data distributions in two ways: (1) reducing the bias introduced by the class imbalance, and (2) adaptively shifting the classification decision boundary toward the difficult examples. Simulation analyses on several machine learning data sets show the effectiveness of this method across five evaluation metrics.

如今，许多分类算法已应用于各个行业，以帮助他们在现实生活中解决他们的问题。但是，在许多二进制分类任务中，少数族裔类中的样本仅构成了所有实例的一小部分，这导致了我们通常患有高失衡比的数据集。现有模型有时将少数族裔类别视为噪音，或者将它们视为遇到数据偏斜的异常值。为了解决这个问题，我们提出了一个装袋合奏学习框架$ ASE $（基于异常得分的合奏学习）。该框架具有基于异常检测算法的评分系统，可以通过将多数类中的样本分为子空间来指导重采样策略。那么，特定数量的实例将从每个子空间中采样较低，以通过与少数族裔类结合来构建子集。我们根据异常检测模型的分类结果和子空间的统计数据计算由子集训练的基本分类器的权重。已经进行了实验，这表明我们的合奏学习模型可以显着提高基本分类器的性能，并且比在广泛的不平衡比率，数据量表和数据维度下的其他现有方法更有效。 $ ase $可以与各种分类器结合使用，我们的框架的每个部分都被证明是合理和必要的。

不平衡的数据（ID）是阻止机器学习（ML）模型以实现令人满意的结果的问题。 ID是一种情况，即属于一个类别的样本的数量超过另一个类别的情况，这使此类模型学习过程偏向多数类。近年来，为了解决这个问题，已经提出了几种解决方案，该解决方案选择合成为少数族裔类生成新数据，或者减少平衡数据的多数类的数量。因此，在本文中，我们研究了基于深神经网络（DNN）和卷积神经网络（CNN）的方法的有效性，并与各种众所周知的不平衡数据解决方案混合，这意味着过采样和降采样。为了评估我们的方法，我们使用了龙骨，乳腺癌和Z-Alizadeh Sani数据集。为了获得可靠的结果，我们通过随机洗牌的数据分布进行了100次实验。分类结果表明，混合的合成少数族裔过采样技术（SMOTE） - 正态化-CNN优于在24个不平衡数据集上达到99.08％精度的不同方法。因此，提出的混合模型可以应用于其他实际数据集上的不平衡算法分类问题。

根据研究人员在歧视和校准性能方面采用的标准评估实践，这项工作旨在了解阶级不平衡对胸部X射线分类器的性能的影响。首先，我们进行了一项文献研究，分析了普通科学实践并确认：（1）即使在处理高度不平衡的数据集时，社区也倾向于使用由大多数阶级主导的指标; （2）包括包括胸部X射线分类器的校准研究仍然罕见，尽管其在医疗保健的背景下的重要性。其次，我们对两个主要胸部X射线数据集进行了系统实验，探讨了不同类别比率下的几种性能指标的行为，并显示了广泛采用的指标可以隐藏少数阶级中的性能。最后，我们提出了通过两个替代度量，精密召回曲线和平衡的Brier得分，这更好地反映了系统在这种情况下的性能。我们的研究结果表明，胸部X射线分类器研究界采用的当前评估实践可能无法反映真实临床情景中计算机辅助诊断系统的性能，并建议改善这种情况的替代方案。

An approach to the construction of classifiers from imbalanced datasets is described. A dataset is imbalanced if the classification categories are not approximately equally represented. Often real-world data sets are predominately composed of "normal" examples with only a small percentage of "abnormal" or "interesting" examples. It is also the case that the cost of misclassifying an abnormal (interesting) example as a normal example is often much higher than the cost of the reverse error. Under-sampling of the majority (normal) class has been proposed as a good means of increasing the sensitivity of a classifier to the minority class. This paper shows that a combination of our method of over-sampling the minority (abnormal) class and under-sampling the majority (normal) class can achieve better classifier performance (in ROC space) than only under-sampling the majority class. This paper also shows that a combination of our method of over-sampling the minority class and under-sampling the majority class can achieve better classifier performance (in ROC space) than varying the loss ratios in Ripper or class priors in Naive Bayes. Our method of over-sampling the minority class involves creating synthetic minority class examples. Experiments are performed using C4.5, Ripper and a Naive Bayes classifier. The method is evaluated using the area under the Receiver Operating Characteristic curve (AUC) and the ROC convex hull strategy.

Network intrusion detection systems (NIDSs) play an important role in computer network security. There are several detection mechanisms where anomaly-based automated detection outperforms others significantly. Amid the sophistication and growing number of attacks, dealing with large amounts of data is a recognized issue in the development of anomaly-based NIDS. However, do current models meet the needs of today's networks in terms of required accuracy and dependability? In this research, we propose a new hybrid model that combines machine learning and deep learning to increase detection rates while securing dependability. Our proposed method ensures efficient pre-processing by combining SMOTE for data balancing and XGBoost for feature selection. We compared our developed method to various machine learning and deep learning algorithms to find a more efficient algorithm to implement in the pipeline. Furthermore, we chose the most effective model for network intrusion based on a set of benchmarked performance analysis criteria. Our method produces excellent results when tested on two datasets, KDDCUP'99 and CIC-MalMem-2022, with an accuracy of 99.99% and 100% for KDDCUP'99 and CIC-MalMem-2022, respectively, and no overfitting or Type-1 and Type-2 issues.

当没有足够的数据来证实客户的身份时，身份盗窃是信贷贷方的主要问题。在超级应用程序中，包含许多不同服务的大型数字平台，此问题更为相关;在一个分支中丢失客户通常意味着在其他服务中丢失它们。在本文中，我们审查了超级应用程序信息，手机线数据和传统信用风险变量的特征级融合的有效性，以便早日检测身份盗窃信用卡欺诈。通过提出的框架，我们在使用投入是替代数据和传统信贷局数据融合的模型时实现了更好的性能，从而实现了0.81的ROC AUC评分。我们从信用贷方的数字平台数据库中评估我们的方法超过大约90,000个用户。评估是使用传统的ML指标进行的，但金融成本也是如此。

在过去的二十年中，已经采用了过采样来克服从不平衡数据集中学习的挑战。文献中提出了许多解决这一挑战的方法。另一方面，过采样是一个问题。也就是说，在解决现实世界问题时，经过虚拟数据训练的模型可能会出色地失败。过采样方法的根本困难是，鉴于现实生活中的人群，合成的样本可能并不真正属于少数群体。结果，在假装代表少数群体的同时，在这些样本上训练分类器可能会导致在现实世界中使用该模型时的预测。我们在本文中分析了大量的过采样方法，并根据隐藏了许多多数示例，设计了一种新的过采样评估系统，并将其与通过过采样过程产生的示例进行了比较。根据我们的评估系统，我们根据它们错误生成的示例进行比较对所有这些方法进行了排名。我们使用70多种超采样方法和三种不平衡现实世界数据集的实验表明，所有研究的过采样方法都会生成最有可能是多数人的少数样本。给定数据和方法，我们认为以目前的形式和方法对从类不平衡数据学习不可靠，应在现实世界中避免。

如今，随着数字银行业务已成为常态，信用卡的使用已变得很普遍。随着这一增加，信用卡中的欺诈也对银行和客户都有一个巨大的问题和损失。正常的欺诈检测系统无法检测欺诈，因为欺诈者使用新技术出现欺诈。这创造了使用基于机器学习的软件来检测欺诈的需求。当前，可用的机器学习软件仅着眼于检测欺诈的准确性，但不关注检测的成本或时间因素。这项研究重点是银行信用卡欺诈检测系统的机器学习可伸缩性。我们已经比较了新提出的技术可用的现有机器学习算法和方法。目的是证明，使用较少的位训练机器学习算法将导致更可扩展的系统，这将减少时间，并且实施成本也较低。

The primary aim of this research was to find a model that best predicts which fallen angel bonds would either potentially rise up back to investment grade bonds and which ones would fall into bankruptcy. To implement the solution, we thought that the ideal method would be to create an optimal machine learning model that could predict bankruptcies. Among the many machine learning models out there we decided to pick four classification methods: logistic regression, KNN, SVM, and NN. We also utilized an automated methods of Google Cloud's machine learning. The results of our model comparisons showed that the models did not predict bankruptcies very well on the original data set with the exception of Google Cloud's machine learning having a high precision score. However, our over-sampled and feature selection data set did perform very well. This could likely be due to the model being over-fitted to match the narrative of the over-sampled data (as in, it does not accurately predict data outside of this data set quite well). Therefore, we were not able to create a model that we are confident that would predict bankruptcies. However, we were able to find value out of this project in two key ways. The first is that Google Cloud's machine learning model in every metric and in every data set either outperformed or performed on par with the other models. The second is that we found that utilizing feature selection did not reduce predictive power that much. This means that we can reduce the amount of data to collect for future experimentation regarding predicting bankruptcies.

资源受限的分类任务在实际应用中很常见，例如为疾病诊断分配测试，填补有限数量的职位时雇用决策以及在有限检查预算下制造环境中的缺陷检测。典型的分类算法将学习过程和资源约束视为两个单独的顺序任务。在这里，我们设计了一种自适应学习方法，该方法通过迭代微调错误分类成本来考虑资源限制和共同学习。通过使用公开可用数据集的结构化实验研究，我们评估了采用建议方法的决策树分类器。自适应学习方法的表现要比替代方法要好得多，尤其是对于困难的分类问题，在这种问题上，普通方法的表现可能不令人满意。我们将适应性学习方法设想为处理资源受限分类问题的技术曲目的重要补充。