Imbalanced-leasemble，缩写为IMBens，是一个开源Python工具箱，用于快速实现和部署类别 - 不平衡数据的集合学习算法。它提供对多个最先进的集合不平衡学习（EIL）方法，可视化器和公用事业功能的访问，以处理类别不平衡问题。这些集合方法包括基于重采样的，例如/过度采样，以及重量基于/过度采样，例如，敏感的学习。除了实现之外，我们还扩展了传统的二进制EIL算法，与多级支持和重采样调度程序等新功能，从而使它们能够处理更复杂的任务。该软件包是在简单的，良好的API设计中开发的，遵循Scikit-Gearn的易于使用。 IMBens在MIT开源许可证下发布，可以从Python包索引（PYPI）安装。 https://github.com/zhiningliu1998/imbalanced-ensemble可以使用源代码，二进制文件，详细文档和使用示例。

学习（IL）是数据挖掘应用中广泛存在的重要问题。典型的IL方法利用直观的类努力重新采样或重新重量直接平衡训练集。然而，特定领域的一些最近的研究努力表明，在没有课堂上操纵的情况下可以实现类别不平衡的学习。这提示我们思考两种不同的IL战略之间的关系和班级不平衡的性质。从根本上说，它们对应于IL中存在的两个必要的不平衡：来自不同类别的示例之间的数量差异以及单个类中的易于和硬示例之间，即阶级和级别的帧内不平衡。现有工程未能明确地考虑不平衡，因此遭受次优绩效。鉴于此，我们呈现了双重平衡的集合，即杜博士，一个多功能的集合学习框架。与普遍方法不同，Dube直接执行级别的级别和级别的平衡，而无需依赖基于距离的距离的计算，这允许它在计算效率时实现竞争性能。我们还提出了关于基于杜博伊的不同间/内部平衡策略的优缺点的详细讨论和分析。广泛的实验验证了所提出的方法的有效性。代码和示例可在https://github.com/iCde20222sub/duplebalance获得。

Learning classifiers using skewed or imbalanced datasets can occasionally lead to classification issues; this is a serious issue. In some cases, one class contains the majority of examples while the other, which is frequently the more important class, is nevertheless represented by a smaller proportion of examples. Using this kind of data could make many carefully designed machine-learning systems ineffective. High training fidelity was a term used to describe biases vs. all other instances of the class. The best approach to all possible remedies to this issue is typically to gain from the minority class. The article examines the most widely used methods for addressing the problem of learning with a class imbalance, including data-level, algorithm-level, hybrid, cost-sensitive learning, and deep learning, etc. including their advantages and limitations. The efficiency and performance of the classifier are assessed using a myriad of evaluation metrics.

使用不平衡数据集的二进制分类具有挑战性。模型倾向于将所有样本视为属于多数类的样本。尽管现有的解决方案（例如抽样方法，成本敏感方法和合奏学习方法）提高了少数族裔类别的准确性，但这些方法受到过度拟合问题或难以决定的成本参数的限制。我们提出了HADR，这是一种降低尺寸的混合方法，包括数据块构建，降低性降低和与深度神经网络分类器的合奏学习。我们评估了八个不平衡的公共数据集的性能，从召回，g均值和AUC方面。结果表明，我们的模型优于最先进的方法。

如今，许多分类算法已应用于各个行业，以帮助他们在现实生活中解决他们的问题。但是，在许多二进制分类任务中，少数族裔类中的样本仅构成了所有实例的一小部分，这导致了我们通常患有高失衡比的数据集。现有模型有时将少数族裔类别视为噪音，或者将它们视为遇到数据偏斜的异常值。为了解决这个问题，我们提出了一个装袋合奏学习框架$ ASE $（基于异常得分的合奏学习）。该框架具有基于异常检测算法的评分系统，可以通过将多数类中的样本分为子空间来指导重采样策略。那么，特定数量的实例将从每个子空间中采样较低，以通过与少数族裔类结合来构建子集。我们根据异常检测模型的分类结果和子空间的统计数据计算由子集训练的基本分类器的权重。已经进行了实验，这表明我们的合奏学习模型可以显着提高基本分类器的性能，并且比在广泛的不平衡比率，数据量表和数据维度下的其他现有方法更有效。 $ ase $可以与各种分类器结合使用，我们的框架的每个部分都被证明是合理和必要的。

scikit-learn is an increasingly popular machine learning library. Written in Python, it is designed to be simple and efficient, accessible to non-experts, and reusable in various contexts. In this paper, we present and discuss our design choices for the application programming interface (API) of the project. In particular, we describe the simple and elegant interface shared by all learning and processing units in the library and then discuss its advantages in terms of composition and reusability. The paper also comments on implementation details specific to the Python ecosystem and analyzes obstacles faced by users and developers of the library.

随着网络基础设施提高，个人贷款的需求增长，对等十年来，对等体（P2P）贷款平台已迅速增长。在没有传统金融机构的帮助下，这些平台允许用户创建对等贷款关系。评估借款人的信贷至关重要，以减少P2P平台的违约率和良性开发。构建个人信用评分机学习模型可以有效预测用户是否会在P2P平台上偿还贷款。并处理数据异常值和样本不平衡问题可能会影响机器学习模型的最终效果。已经有一些关于平衡采样方法的研究，但是对机器学习模型有效性的异常检测方法及其与平衡采样方法的影响尚未得到充分研究。在本文中，研究了使用不同异常检测方法对常用机器学习模型的不同异常检测方法和平衡采样方法的影响。 44,487贷款俱乐部样品的实验表明，适当的异常检测可以提高机器学习模型的有效性，平衡采样方法仅对几种机器学习模型（如MLP）有良好的影响。

阶级不平衡问题很重要且具有挑战性。合奏方法由于其有效性而广泛用于解决此问题。但是，现有的合奏方法始终应用于原始样本中，而没有考虑原始样本之间的结构信息。限制将阻止不平衡的学习变得更好。此外，研究表明，样本中的结构信息包括本地和全球结构信息。基于上面的分析，此处提出了具有深层样本前网络（DSEN）（DSEN）和局部全球结构一致性机制（LGSCM）的不平衡合奏算法，以解决该问题。该算法可以保证高质量的深层信封样品用于用于考虑到本地流形和全球结构信息，这有助于失衡学习。首先，深层样品包络预网（DSEN）旨在挖掘样品之间的结构信息。样品。接下来，将DSEN和LGSCM放在一起以形成最终的深层样品网络网络（DSEN-LG）。之后，分别将基本分类器应用于深样品的层。最后，通过装袋集合学习机制融合了基本分类器的预测结果。为了证明该方法的有效性，选择了四十四个公共数据集和十多种代表性相关算法进行验证。实验结果表明，该算法明显优于其他不平衡的集合算法。

不平衡的数据是机器学习中经常遇到的问题。尽管有关数据不平衡的抽样技术有大量文献，但仍有有限的研究解决了最佳抽样比率的问题。在本文中，我们试图通过对抽样比对分类准确性的影响进行大规模研究来填补文献中的空白。我们考虑10种流行的抽样方法，并根据20个数据集评估其性能。数值实验的结果表明，最佳采样比在0.7至0.8之间，尽管确切比率取决于数据集。此外，我们发现，尽管原始不平衡比率或功能数量在确定最佳比率方面没有可见作用，但数据集中的样本数量可能会产生切实效果。

机器学习已为财务欺诈检测打开了新的工具。使用带注释的交易样本，机器学习分类算法学会了检测欺诈。随着信用卡交易量的不断增长和欺诈百分比的增加，人们越来越有兴趣寻找适当的机器学习分类器进行检测。但是，欺诈数据集是多种多样的，并且表现出不一致的特征。结果，在给定数据集上有效的模型不能保证在另一个数据集上执行。此外，随着时间的推移，数据模式和特征的时间漂移​​的可能性很高。此外，欺诈数据具有巨大的不平衡。在这项工作中，我们将抽样方法评估为可行的预处理机制，以处理失衡并提出数据驱动的分类器选择策略，以高度不平衡欺诈检测数据集。基于我们的选择策略得出的模型超过了同行模型，同时在更现实的条件下工作，建立了策略的有效性。

从不平衡数据中学习是一项具有挑战性的任务。在进行不平衡数据训练时，标准分类算法的性能往往差。需要通过修改数据分布或重新设计基础分类算法以实现理想的性能来采用一些特殊的策略。现实世界数据集中不平衡的流行率导致为班级不平衡问题创造了多种策略。但是，并非所有策略在不同的失衡情况下都有用或提供良好的性能。处理不平衡的数据有许多方法，但是尚未进行此类技术的功效或这些技术之间的实验比较。在这项研究中，我们对26种流行抽样技术进行了全面分析，以了解它们在处理不平衡数据方面的有效性。在50个数据集上进行了严格的实验，具有不同程度的不平衡，以彻底研究这些技术的性能。已经提出了对技术的优势和局限性的详细讨论，以及如何克服此类局限性。我们确定了影响采样策略的一些关键因素，并提供有关如何为特定应用选择合适的采样技术的建议。

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

In this study, we systematically investigate the impact of class imbalance on classification performance of convolutional neural networks (CNNs) and compare frequently used methods to address the issue. Class imbalance is a common problem that has been comprehensively studied in classical machine learning, yet very limited systematic research is available in the context of deep learning. In our study, we use three benchmark datasets of increasing complexity, MNIST, CIFAR-10 and ImageNet, to investigate the effects of imbalance on classification and perform an extensive comparison of several methods to address the issue: oversampling, undersampling, two-phase training, and thresholding that compensates for prior class probabilities. Our main evaluation metric is area under the receiver operating characteristic curve (ROC AUC) adjusted to multi-class tasks since overall accuracy metric is associated with notable difficulties in the context of imbalanced data. Based on results from our experiments we conclude that (i) the effect of class imbalance on classification performance is detrimental; (ii) the method of addressing class imbalance that emerged as dominant in almost all analyzed scenarios was oversampling; (iii) oversampling should be applied to the level that completely eliminates the imbalance, whereas the optimal undersampling ratio depends on the extent of imbalance; (iv) as opposed to some classical machine learning models, oversampling does not cause overfitting of CNNs; (v) thresholding should be applied to compensate for prior class probabilities when overall number of properly classified cases is of interest.

我们与中国的援助卫生委员会合作，我们提出了一个预测系统，以根据免疫后不良事件的数据来预测患有不良反应的儿童的住院。我们从数据中提取了多个功能，并选择“住院或不选择”作为分类目标。由于数据是不平衡的，因此我们使用了各种班级不平衡学习方法来培训并改善了Rusboost算法。实验结果表明，在这些算法中，ROC曲线在ROC曲线下的最高面积是最高的。此外，我们将这些平衡的学习方法与一些常见的机器学习算法进行了比较。我们将改进的Rusboost与动态Web资源开发技术结合在一起，以构建一个评估系统，并为相关医生提供信息输入和疫苗接种响应预测能力。

班级失衡对机器学习构成了重大挑战，因为大多数监督学习模型可能对多数级别和少数族裔表现不佳表现出偏见。成本敏感的学习通过以不同的方式处理类别，通常通过用户定义的固定错误分类成本矩阵来解决此问题，以提供给学习者的输入。这种参数调整是一项具有挑战性的任务，需要域知识，此外，错误的调整可能会导致整体预测性能恶化。在这项工作中，我们为不平衡数据提出了一种新颖的成本敏感方法，该方法可以动态地调整错误分类的成本，以响应Model的性能，而不是使用固定的错误分类成本矩阵。我们的方法称为ADACC，是无参数的，因为它依赖于增强模型的累积行为，以便调整下一次增强回合的错误分类成本，并具有有关培训错误的理论保证。来自不同领域的27个现实世界数据集的实验表明，我们方法的优势超过了12种最先进的成本敏感方法，这些方法在不同度量方面表现出一致的改进，例如[0.3] AUC的％-28.56％]，平衡精度[3.4％-21.4％]，Gmean [4.8％-45％]和[7.4％-85.5％]用于召回。

大多数现有的最新视频分类方法假设训练数据遵守统一的分布。但是，现实世界中的视频数据通常会表现出不平衡的长尾巴分布，从而导致模型偏见对头等阶层，并且在尾巴上的性能相对较低。虽然当前的长尾分类方法通常集中在图像分类上，但将其调整到视频数据并不是微不足道的扩展。我们提出了一种端到端的多专家分布校准方法，以基于两级分布信息来应对这些挑战。该方法共同考虑了每个类别中样品的分布（类内部分布）和各种数据（类间分布）的总体分布，以解决在长尾分布下数据不平衡数据的问题。通过对两级分布信息进行建模，该模型可以共同考虑头等阶层和尾部类别，并将知识从头等阶层显着转移，以提高尾部类别的性能。广泛的实验验证了我们的方法是否在长尾视频分类任务上实现了最先进的性能。

由于医疗保健是关键方面，健康保险已成为最大程度地减少医疗费用的重要计划。此后，由于保险的增加，医疗保健行业的欺诈活动大幅增加，欺诈行业已成为医疗费用上升的重要贡献者，尽管可以使用欺诈检测技术来减轻其影响。为了检测欺诈，使用机器学习技术。美国联邦政府的医疗补助和医疗保险服务中心（CMS）在本研究中使用“医疗保险D部分”保险索赔来开发欺诈检测系统。在类不平衡且高维的Medicare数据集中使用机器学习算法是一项艰巨的任务。为了紧凑此类挑战，目前的工作旨在在数据采样之后执行功能提取，然后应用各种分类算法，以获得更好的性能。特征提取是一种降低降低方法，该方法将属性转换为实际属性的线性或非线性组合，生成较小，更多样化的属性集，从而降低了尺寸。数据采样通常用于通过扩大少数族裔类的频率或降低多数类的频率以获得两种类别的出现数量大约相等的频率来解决类不平衡。通过标准性能指标评估所提出的方法。因此，为了有效地检测欺诈，本研究将自动编码器作为特征提取技术，合成少数族裔过采样技术（SMOTE）作为数据采样技术，以及各种基于决策树的分类器作为分类算法。实验结果表明，自动编码器的结合，然后在LightGBM分类器上获得SMOTE，取得了最佳的结果。

比较不同的汽车框架是具有挑战性的，并且经常做错了。我们引入了一个开放且可扩展的基准测试，该基准遵循最佳实践，并在比较自动框架时避免常见错误。我们对71个分类和33项回归任务进行了9个著名的自动框架进行了详尽的比较。通过多面分析，评估模型的准确性，与推理时间的权衡以及框架失败，探索了自动框架之间的差异。我们还使用Bradley-terry树来发现相对自动框架排名不同的任务子集。基准配备了一个开源工具，该工具与许多自动框架集成并自动化经验评估过程端到端：从框架安装和资源分配到深入评估。基准测试使用公共数据集，可以轻松地使用其他Automl框架和任务扩展，并且具有最新结果的网站。

机器学习（ML）在渲染影响社会各个群体的决策中起着越来越重要的作用。 ML模型为刑事司法的决定，银行业中的信贷延长以及公司的招聘做法提供了信息。这提出了模型公平性的要求，这表明自动化的决策对于受保护特征（例如，性别，种族或年龄）通常是公平的，这些特征通常在数据中代表性不足。我们假设这个代表性不足的问题是数据学习不平衡问题的必然性。此类不平衡通常反映在两个类别和受保护的功能中。例如，一个班级（那些获得信用的班级）对于另一个班级（未获得信用的人）可能会过分代表，而特定组（女性）（女性）的代表性可能与另一组（男性）有关。相对于受保护组的算法公平性的关键要素是同时减少了基础培训数据中的类和受保护的群体失衡，这促进了模型准确性和公平性的提高。我们通过展示这些领域中的关键概念如何重叠和相互补充，讨论弥合失衡学习和群体公平的重要性；并提出了一种新颖的过采样算法，即公平的过采样，该算法既解决偏斜的类别分布和受保护的特征。我们的方法：（i）可以用作标准ML算法的有效预处理算法，以共同解决不平衡和群体权益； （ii）可以与公平感知的学习算法结合使用，以提高其对不同水平不平衡水平的稳健性。此外，我们迈出了一步，将公平和不平衡学习之间的差距与新的公平实用程序之间的差距弥合，从而将平衡的准确性与公平性结合在一起。

Deep learning algorithms can fare poorly when the training dataset suffers from heavy class-imbalance but the testing criterion requires good generalization on less frequent classes. We design two novel methods to improve performance in such scenarios. First, we propose a theoretically-principled label-distribution-aware margin (LDAM) loss motivated by minimizing a margin-based generalization bound. This loss replaces the standard cross-entropy objective during training and can be applied with prior strategies for training with class-imbalance such as re-weighting or re-sampling. Second, we propose a simple, yet effective, training schedule that defers re-weighting until after the initial stage, allowing the model to learn an initial representation while avoiding some of the complications associated with re-weighting or re-sampling. We test our methods on several benchmark vision tasks including the real-world imbalanced dataset iNaturalist 2018. Our experiments show that either of these methods alone can already improve over existing techniques and their combination achieves even better performance gains 1 .