在本文中，我们介绍了一种基于数学的数学优化的方法来构建多种单件实例的树形分类规则。我们的方法包括构建分类树，除了叶节点之外，暂时遗漏标签并通过SVM分离超平面分为两个类。我们提供了一个混合整数非线性编程配方，用于问题，并报告电池的扩展电池的结果，以评估我们关于其他基准分类方法的提案的性能。

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.

决策树是分类和回归的强大工具，吸引了许多在机器学习新兴领域工作的研究人员。决策树比其他方法的优点之一是它们的解释性，通常比其他相对无法解释的更高精度方法更喜欢。二进制分类树具有两种类型的顶点：（i）分支顶点，这些顶点恰好有两个孩子，并且在一组离散功能上评估了数据点； （ii）为数据点的叶顶点提供了离散的预测。可以通过求解旨在（i）最大化正确分类数据的数量的生物目标优化问题来获得最佳的二进制分类树，并（ii）最小化分支顶点的数量。在本文中，我们提出了四个用于设计最佳二进制分类树的混合整数线性优化（MILO）公式：两种基于流动的配方和基于两切的配方。我们在提议的配方与Aghaei等人的最强Milo配方之间提供了理论比较。 （2021）。我们对13个公开数据集进行了实验，以显示模型的扩展能力以及使用Pareto前沿的生物原始方法的强度。我们的代码和数据可在GitHub上找到。

决策树是广泛使用的分类和回归模型，因为它们的解释性和良好的准确性。诸如购物车的经典方法基于贪婪的方法，但最近致力于最佳决策树的关注。我们研究了BlanQuero等人提出的非线性连续优化制剂。 （EJOR，Vol.284,2020; Cor，Vol.132,2021）（稀疏）最佳随机分类树。不仅适用于特征选择，还非常重要，而且还可以提高解释性。我们首先考虑基于$ l_ {0} $'norm“的凹形近似的替代方法来缩小这样的树木。与$ l_1 $和$ l _ {\ infty} $ scalalization，在24个数据集中获得了有希望的结果。然后，我们在多变量随机分类树的VC维度上获得界限。最后，由于培训是对大型数据集的计算挑战，我们提出了一般的分解方案和它的有效版本。在较大数据集上的实验表明，所提出的分解方法能够为了显着降低培训时间而不影响精度。

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

随着优化软件的显着改进，几十年前似乎棘手的大规模问题的解决方案现在已成为日常任务。这将更多的现实应用程序纳入了优化器的范围。同时，解决优化问题通常是将解决方案付诸实践时较小的困难之一。一个主要的障碍是，可以将优化软件视为黑匣子，它可能会产生高质量的解决方案，但是当情况发生变化时，可以创建完全不同的解决方案，从而导致对优化解决方案的接受率低。这种可解释性和解释性的问题在其他领域（例如机器学习）引起了极大的关注，但在优化方面却不那么关注。在本文中，我们提出了一个优化框架，以得出本质上具有易于理解的解释性规则的解决方案，在哪些情况下应选择解决方案。我们专注于代表解释性规则的决策树，我们提出了整数编程公式以及一种启发式方法，以确保我们的方法即使在大规模问题上也适用。使用随机和现实世界数据的计算实验表明，固有的可解释性成本可能很小。

这篇综述的目的是将读者介绍到图表内，以将其应用于化学信息学中的分类问题。图内核是使我们能够推断分子的化学特性的功能，可以帮助您完成诸如寻找适合药物设计的化合物等任务。内核方法的使用只是一种特殊的两种方式量化了图之间的相似性。我们将讨论限制在这种方法上，尽管近年来已经出现了流行的替代方法，但最著名的是图形神经网络。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

我们提出了一种改善机器学习（ML）决策树（DTS）的准确性拦截权衡的方法。特别是，我们将最大的满足技术应用于计算最低纯DTS（MPDT）。我们提高了先前方法的运行时，并证明这些MPDT可以优于ML Framework Sklearn生成的DTS的准确性。

Two-stage robust optimization problems constitute one of the hardest optimization problem classes. One of the solution approaches to this class of problems is K-adaptability. This approach simultaneously seeks the best partitioning of the uncertainty set of scenarios into K subsets, and optimizes decisions corresponding to each of these subsets. In general case, it is solved using the K-adaptability branch-and-bound algorithm, which requires exploration of exponentially-growing solution trees. To accelerate finding high-quality solutions in such trees, we propose a machine learning-based node selection strategy. In particular, we construct a feature engineering scheme based on general two-stage robust optimization insights that allows us to train our machine learning tool on a database of resolved B&B trees, and to apply it as-is to problems of different sizes and/or types. We experimentally show that using our learned node selection strategy outperforms a vanilla, random node selection strategy when tested on problems of the same type as the training problems, also in case the K-value or the problem size differs from the training ones.

稀疏决策树优化是AI自成立以来的最基本问题之一，并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难，尽管自1960年代以来稳定的努力，但在过去几年中才突破问题，主要是在找到最佳稀疏决策树的问题上。然而，目前最先进的算法通常需要不切实际的计算时间和内存，以找到一些真实世界数据集的最佳或近最优树，特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的，我们可以实际上希望找到一个稀疏的决策树，用黑盒机学习模型的准确性竞争吗？我们通过智能猜测策略来解决这个问题，可以应用于基于任何最优分支和绑定的决策树算法。我们表明，通过使用这些猜测，我们可以通过多个数量级来减少运行时间，同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能，树的大小和下限上进行换算。我们的实验表明，在许多情况下，我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结：当您在优化时遇到困难时，就猜测。

我们为学习限制建立了混合整数优化的广泛方法论基础。我们提出了一种用于数据驱动决策的端到端管道，其中使用机器学习直接从数据中学习限制和目标，并且培训的模型嵌入在优化配方中。我们利用许多机器学习方法的混合整数优化 - 焦点，包括线性模型，决策树，集合和多层的感知。对多种方法的考虑允许我们捕获决策，上下文变量和结果之间的各种潜在关系。我们还使用观察结果的凸船体来表征决策信任区域，以确保可信的建议并避免推断。我们有效地使用列生成和聚类来纳入这个表示。结合域驱动的约束和客观术语，嵌入式模型和信任区域定义了处方生成的混合整数优化问题。我们将此框架实施为从业者的Python包（OptiCl）。我们展示了化疗优化和世界食物计划规划中的方法。案例研究说明了在生成高质量处方的框架中的框架，由信任区域添加的值，加入多个机器学习方法以及包含多个学习约束的框架。

决策树（DT）由于其在众多应用中令人印象深刻的经验表现和解释性而引起了持续的研究注意。但是，传统但广泛使用的单变量决策树（UDTS）的增长非常耗时，因为它们需要穿越所有功能，以找到分裂值，并在每个内部节点处最大程度地减少杂质。在本文中，我们新设计一个分裂标准，以加快增长。该标准是从几何平均度量学习（GMML）诱导的，然后在其对角度公制矩阵约束下进行了优化，因此，可以立即获得特征判别能力的封闭形式等级，并且在每个节点上都可以在每个节点上获得最高的1个特征意图DT（称为DGMML-DT，其中D是对角度化的缩写）。我们评估了提出的方法的性能及其在基准数据集上的相应集合。该实验表明，与10倍平均加速的UDT相比，DGMML-DT获得可比或更好的分类结果。此外，DGMML-DT可以直接扩展到其多变量对应物（DGMML-MDT），而无需费力的操作。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

这项工作提出了一种名为形态学分类器（MC）的新型分类器。 MCS汇总数学形态学和监督学习的概念。该聚集的结果是可能在选择停止标准和结构元件的选择之外地保持类的形状特征的分类器。 MCS基本上基于集合理论，其分类模型可以是数学集本身。在当前的工作中提出了两种类型的形态分类剂，即形态学K-NN（MKNN）和形态扩张分类器（MDC），其证明了方法的可行性。这项工作提供了有关MCS的优势的证据，例如，非常快速的分类时间以及竞争精度率。使用P-Dimensional数据集测试MKNN和MDC的性能。在8个数据集中的5个中，MCS绑定或表现优于14种成熟的分类器。在所有场合，所获得的精度高于所有分类器获得的平均精度。此外，所提出的实施方式利用图形处理单元（GPU）的功率来加速处理。

Regression trees are one of the oldest forms of AI models, and their predictions can be made without a calculator, which makes them broadly useful, particularly for high-stakes applications. Within the large literature on regression trees, there has been little effort towards full provable optimization, mainly due to the computational hardness of the problem. This work proposes a dynamic-programming-with-bounds approach to the construction of provably-optimal sparse regression trees. We leverage a novel lower bound based on an optimal solution to the k-Means clustering algorithm in 1-dimension over the set of labels. We are often able to find optimal sparse trees in seconds, even for challenging datasets that involve large numbers of samples and highly-correlated features.

许多现实生活中的优化问题通常包含一个或多个没有明确公式的约束或目标。但是，如果可用数据，这些数据可用于学习约束。清楚地看到了这种方法的好处，但是需要以结构化的方式进行此过程。因此，本文提供了一个使用约束学习（OCL）进行优化的框架，我们认为这将有助于正式化和指导从数据中学习的过程。该框架包括以下步骤：（i）设置概念优化模型，（ii）数据收集和预处理，（iii）选择和培训预测模型，（iv）解决优化模型以及（v）验证和验证和验证和验证改进优化模型。然后，我们根据该框架回顾了最近的OCL文献，并强调了当前的趋势以及未来研究的领域。

决策树是流行的分类模型，提供了很高的准确性和直观的解释。但是，随着树大小的生长，模型的解释性会恶化。传统的树木诱导算法（例如C4.5和推车）依赖于减少杂质的功能，这些功能可以促进每次分裂的判别能力。因此，尽管这些传统方法在实践中是准确的，但没有理论上保证它们会生产小树。在本文中，我们通过证明简单的增强能够为它们提供复杂性保证的情况，证明使用了普通杂质功能的普通家族，包括熵和Gini Index的流行功能。我们考虑一个通用设置，其中要分类的对象是从任意概率分布中绘制的，分类可以是二进制或多类，并且分裂测试与非均匀成本相关联。作为树木复杂性的衡量标准，我们采用了预期的成本来分类从输入分布中得出的对象，在统一成本的情况下，该对象是预期的测试数量。我们提出了一种树诱导算法，该算法在树复杂性上提供对数近似保证。在温和的假设下，该近似因素紧密到恒定因子。该算法递归选择了一个测试，该测试最大化贪婪的标准定义为三个组件的加权总和。前两个组件鼓励选择分别提高树木平衡和成本效益的测试，而第三个杂质减少组件则鼓励选择更具判别性的测试。如我们的经验评估所示，与原始的启发式方法相比，增强算法在预测准确性和树木复杂性之间取得了良好的平衡。

Counterfactual Explanations are becoming a de-facto standard in post-hoc interpretable machine learning. For a given classifier and an instance classified in an undesired class, its counterfactual explanation corresponds to small perturbations of that instance that allows changing the classification outcome. This work aims to leverage Counterfactual Explanations to detect the important decision boundaries of a pre-trained black-box model. This information is used to build a supervised discretization of the features in the dataset with a tunable granularity. Using the discretized dataset, a smaller, therefore more interpretable Decision Tree can be trained, which, in addition, enhances the stability and robustness of the baseline Decision Tree. Numerical results on real-world datasets show the effectiveness of the approach in terms of accuracy and sparsity compared to the baseline Decision Tree.