我们提出了一种改善机器学习（ML）决策树（DTS）的准确性拦截权衡的方法。特别是，我们将最大的满足技术应用于计算最低纯DTS（MPDT）。我们提高了先前方法的运行时，并证明这些MPDT可以优于ML Framework Sklearn生成的DTS的准确性。

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.

通知飞行员（NOTAM）包含重要的飞行路线相关信息。为了搜索和过滤它们，将NOTAMS分组为称为QCodes的类别。在本文中，我们开发了一种工具来预测notam的qcode。我们提出了一种使用DASH，Gunluk和Wei（2018）中提出的列生成扩展可解释的二进制分类的方法。我们描述了用于解决与一个VS-REST分类有关的问题，例如多个输出和类失衡。此外，我们介绍了一些启发式方法，包括使用CP-SAT求解器用于子问题，以减少训练时间。最后，我们表明我们的方法与最先进的机器学习算法（如线性SVM和小型神经网络）相比，同时添加了所需的可解释性组件。

机器学习已随着医疗，法律和运输等各种安全领域的应用而无所不在。在这些领域中，机器学习提供的高风险决策需要研究人员设计可解释的模型，在该模型中，预测对人类是可以理解的。在可解释的机器学习中，基于规则的分类器在通过包含输入功能的一组规则来表示决策边界方面特别有效。基于规则的分类器的解释性通常与规则的规模有关，其中较小的规则被认为更容易解释。要学习这样的分类器，蛮力的直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确性的最小分类规则。由于其组合性质，该优化问题在计算上是可悲的，因此，在大型数据集中，该问题无法扩展。为此，在本文中，我们研究了基于学习规则的分类器的准确性，可解释性和可伸缩性之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大的满意度（MAXSAT），用于在命题逻辑中表达的合成分类规则。尽管在过去十年中MaxSat解决方案取得了进展，但基于最直接的MaxSat解决方案仍无法扩展。因此，我们通过整合迷你批次学习和迭代规则学习，将有效的增量学习技术纳入了MaxSAT公式中。在我们的实验中，IMLI在预测准确性，可解释性和可伸缩性之间取得了最佳平衡。作为一个应用程序，我们将IMLI部署在学习流行的可解释分类器（例如决策清单和决策集）中。

稀疏决策树优化是AI自成立以来的最基本问题之一，并且是可解释机器学习核心的挑战。稀疏的决策树优化是计算地的艰难，尽管自1960年代以来稳定的努力，但在过去几年中才突破问题，主要是在找到最佳稀疏决策树的问题上。然而，目前最先进的算法通常需要不切实际的计算时间和内存，以找到一些真实世界数据集的最佳或近最优树，特别是那些具有多个连续值的那些。鉴于这些决策树优化问题的搜索空间是大规模的，我们可以实际上希望找到一个稀疏的决策树，用黑盒机学习模型的准确性竞争吗？我们通过智能猜测策略来解决这个问题，可以应用于基于任何最优分支和绑定的决策树算法。我们表明，通过使用这些猜测，我们可以通过多个数量级来减少运行时间，同时提供所得树木可以偏离黑匣子的准确性和表现力的界限。我们的方法可以猜测如何在最佳决策树错误的持续功能，树的大小和下限上进行换算。我们的实验表明，在许多情况下，我们可以迅速构建符合黑匣子型号精度的稀疏决策树。总结：当您在优化时遇到困难时，就猜测。

在本文中，我们介绍了一种基于数学的数学优化的方法来构建多种单件实例的树形分类规则。我们的方法包括构建分类树，除了叶节点之外，暂时遗漏标签并通过SVM分离超平面分为两个类。我们提供了一个混合整数非线性编程配方，用于问题，并报告电池的扩展电池的结果，以评估我们关于其他基准分类方法的提案的性能。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

The most widely studied explainable AI (XAI) approaches are unsound. This is the case with well-known model-agnostic explanation approaches, and it is also the case with approaches based on saliency maps. One solution is to consider intrinsic interpretability, which does not exhibit the drawback of unsoundness. Unfortunately, intrinsic interpretability can display unwieldy explanation redundancy. Formal explainability represents the alternative to these non-rigorous approaches, with one example being PI-explanations. Unfortunately, PI-explanations also exhibit important drawbacks, the most visible of which is arguably their size. Recently, it has been observed that the (absolute) rigor of PI-explanations can be traded off for a smaller explanation size, by computing the so-called relevant sets. Given some positive {\delta}, a set S of features is {\delta}-relevant if, when the features in S are fixed, the probability of getting the target class exceeds {\delta}. However, even for very simple classifiers, the complexity of computing relevant sets of features is prohibitive, with the decision problem being NPPP-complete for circuit-based classifiers. In contrast with earlier negative results, this paper investigates practical approaches for computing relevant sets for a number of widely used classifiers that include Decision Trees (DTs), Naive Bayes Classifiers (NBCs), and several families of classifiers obtained from propositional languages. Moreover, the paper shows that, in practice, and for these families of classifiers, relevant sets are easy to compute. Furthermore, the experiments confirm that succinct sets of relevant features can be obtained for the families of classifiers considered.

大多数-AT是确定联合正常形式（CNF）中输入$ N $的最低价公式的问题至少为2 ^ {n-1} $令人满意的作业。在对概率规划和推论复杂性的各种AI社区中，广泛研究了多数饱和问题。虽然大多数饱满为期40多年来，但自然变体的复杂性保持开放：大多数 - $ k $ SAT，其中输入CNF公式仅限于最多$ k $的子句宽度。我们证明，每辆$ k $，大多数 - $ k $ sat是在p的。事实上，对于任何正整数$ k $和ratic $ \ rho \ in（0,1）$ in（0,1）$与有界分比者，我们给出了算法这可以确定给定的$ k $ -cnf是否至少有$ \ rho \ cdot 2 ^ n $令人满意的分配，在确定性线性时间（而先前的最着名的算法在指数时间中运行）。我们的算法对计算复杂性和推理的复杂性具有有趣的积极影响，显着降低了相关问题的已知复杂性，例如E-Maj-$ K $ Sat和Maj-Maj- $ K $ Sat。在我们的方法中，通过提取在$ k $ -cnf的相应设置系统中发现的向日葵，可以通过提取向日葵来解决阈值计数问题的有效方法。我们还表明，大多数 - $ k $ sat的易腐烂性有些脆弱。对于密切相关的gtmajority-sat问题（我们询问给定公式是否超过2 ^ {n-1} $满足分配），这已知是pp-cleanting的，我们表明gtmajority-$ k $ sat在p for $ k \ le 3 $，但为$ k \ geq 4 $完成np-cleante。这些结果是违反直觉的，因为这些问题的“自然”分类将是PP完整性，因为GTMAJority的复杂性存在显着差异 - $ k $ SAT和MOSTION- $ K $ SAT为所有$ k \ ge 4 $。

最近已经提出了几个查询和分数来解释对ML模型的个人预测。鉴于ML型号的灵活，可靠和易于应用的可解释性方法，我们预见了需要开发声明语言以自然地指定不同的解释性查询。我们以原则的方式通过源于逻辑，称为箔，允许表达许多简单但重要的解释性查询，并且可以作为更具表现力解释性语言的核心来实现这一语言。我们研究箔片查询的两类ML模型的计算复杂性经常被视为容易解释：决策树和OBDD。由于ML模型的可能输入的数量是尺寸的指数，因此箔评估问题的易易性是精细的，但是可以通过限制模型的结构或正在评估的箔片段来实现。我们还以高级声明语言包装的箔片的原型实施，并执行实验，表明可以在实践中使用这种语言。

命题模型计数或#SAT是计算布尔公式满足分配数量的问题。来自不同应用领域的许多问题，包括许多离散的概率推理问题，可以将#SAT求解器解决的模型计数问题转化为模型计数问题。但是，确切的#sat求解器通常无法扩展到工业规模实例。在本文中，我们提出了Neuro＃，这是一种学习分支启发式方法，以提高特定问题家族中的实例的精确#sat求解器的性能。我们通过实验表明，我们的方法减少了类似分布的持有实例的步骤，并将其推广到同一问题家族的更大实例。它能够在具有截然不同的结构的许多不同问题家族上实现这些结果。除了步骤计数的改进外，Neuro＃还可以在某些问题家族的较大实例上在较大的实例上实现壁式锁定速度的订单，尽管开头查询了模型。

决策树是分类和回归的强大工具，吸引了许多在机器学习新兴领域工作的研究人员。决策树比其他方法的优点之一是它们的解释性，通常比其他相对无法解释的更高精度方法更喜欢。二进制分类树具有两种类型的顶点：（i）分支顶点，这些顶点恰好有两个孩子，并且在一组离散功能上评估了数据点； （ii）为数据点的叶顶点提供了离散的预测。可以通过求解旨在（i）最大化正确分类数据的数量的生物目标优化问题来获得最佳的二进制分类树，并（ii）最小化分支顶点的数量。在本文中，我们提出了四个用于设计最佳二进制分类树的混合整数线性优化（MILO）公式：两种基于流动的配方和基于两切的配方。我们在提议的配方与Aghaei等人的最强Milo配方之间提供了理论比较。 （2021）。我们对13个公开数据集进行了实验，以显示模型的扩展能力以及使用Pareto前沿的生物原始方法的强度。我们的代码和数据可在GitHub上找到。

通过边界估计可以显着简化求解约束优化问题（COP），即提供成本函数的紧密边界。通过使用由已知边界的数据组成的数据以及COMPS提取的特征来馈送监督机器学习（ML）模型，可以训练模型以估计新COP实例的边界。在本文中，我们首先概述了来自问题实例的约束编程（CP）的ML的现有知识体系。其次，我们介绍了应用于支持CP解算器的工具的边界估计框架。在该框架内，讨论并评估了不同的ML模型，并评估其对边界估计的适用性，并避免避免求解器找到最佳解决方案的不可行估计的对策。第三，我们在七个警察中提出了一种实验研究，与不同的CP溶剂。我们的结果表明，可以仅限于这些警察的近似最佳边界。这些估计的边界将客观域大小减少60-88％，可以帮助求解器在搜索期间提前找到近乎最佳解决方案。

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

Deep neural networks have emerged as a widely used and effective means for tackling complex, real-world problems. However, a major obstacle in applying them to safety-critical systems is the great difficulty in providing formal guarantees about their behavior. We present a novel, scalable, and efficient technique for verifying properties of deep neural networks (or providing counter-examples). The technique is based on the simplex method, extended to handle the non-convex Rectified Linear Unit (ReLU ) activation function, which is a crucial ingredient in many modern neural networks. The verification procedure tackles neural networks as a whole, without making any simplifying assumptions. We evaluated our technique on a prototype deep neural network implementation of the next-generation airborne collision avoidance system for unmanned aircraft (ACAS Xu). Results show that our technique can successfully prove properties of networks that are an order of magnitude larger than the largest networks verified using existing methods.

在混合整数线性编程（MIP）中，A（强）后门是实例的整数变量的“小”子集，具有以下属性：在分支和结合过程中，可以通过仅通过分支来求解该实例到全局最优性。在后门中的变量上。为广泛使用的MIP基准集或特定问题构建预计的后门数据集，家庭可以在MIP的新结构属性上引起新的问题，或者解释为什么在理论上很难在实践中有效解决问题的问题。现有用于查找后门的算法依赖于以各种方式对候选变量子集进行采样，这种方法证明了MIPLIB2003和MIPLIB2010的某些实例的后门存在。但是，由于勘探和剥削之间的不平衡，这些算法在任务中始终取得成功。我们建议BAMCTS，这是一个蒙特卡洛树搜索框架，用于寻找MIPS的后门。广泛的算法工程，与传统MIP概念的杂交以及与CPLEX求解器的密切集成使我们的方法能够超过MIPLIB2017实例的基础线，从而更频繁，更有效地找到后门。

决策树是机器学习工具箱中最有用和最受欢迎的方法之一。在本文中，我们考虑了学习最佳决策树的问题，这是一个组合优化问题，该问题具有挑战性。文献中的一种常见方法是使用贪婪的启发式方法，这可能不是最佳的。最近，人们对使用各种方法（例如，基于整数编程，动态编程）学习最佳决策树已经引起了重大兴趣 - 为了实现计算可伸缩性，这些方法中的大多数都集中在具有二进制功能的分类任务上。在本文中，我们提出了一种基于分支机构（BNB）的新离散优化方法，以获得最佳决策树。与现有的定制方法不同，我们考虑具有连续功能的回归和分类任务。我们方法基础的基本思想是基于特征分布的分位数来拆分搜索空间 - 导致沿BNB迭代的基础优化问题的上限和下限。与现有的各种真实数据集中的浅最佳树相比，我们提出的算法Quant-BNB显示出显着的加速。

在任何给定的机器学习问题中，可能有许多模型可以很好地解释数据。但是，大多数学习算法仅返回这些模型中的一种，使从业者没有实用的方法来探索替代模型，这些模型可能具有超出损失函数中可以表达的内容的理想属性。 Rashomon集是所有这些几乎最佳模型的集合。 Rashomon集可能非常复杂，尤其是对于高度非线性功能类，允许复杂的交互项，例如决策树。我们提供了第一种完全列举稀疏决策树的Rashomon设置的技术；实际上，我们的工作提供了针对高度非线性离散功能类别的非平凡问题的所有Rashomon设置的首次列举。这使用户可以在所有近似同样好的模型中对模型选择的前所未有的控制水平。我们在专门的数据结构中表示Rashomon集，该数据结构支持有效的查询和采样。我们显示了Rashomon集的三个应用：1）它可用于研究一组几乎最佳树的重要性（与一棵树相对），2）Rashomon设置的精确度使Rashomon集可以枚举Rashomon集合。平衡的精度和F1得分，以及3）完整数据集的Rashomon集可以用于生产仅使用数据集的子集构建的Rashomon集。因此，我们能够检查新镜头问题的Rashomon集合，使用户能够选择模型，而不是受到仅产生单个模型的算法的摆布。

深度神经网络（DNN）越来越多地用于安全至关重要的系统中，迫切需要保证其正确性。因此，验证社区设计了多种技术和工具来验证DNN。当DNN验证者发现触发错误的输入时，很容易确认；但是，当他们报告不存在错误时，就无法确保验证工具本身没有缺陷。由于在DNN验证工具中已经观察到了多个错误，因此这将DNN验证的适用性提出了质疑。在这项工作中，我们提出了一种具有证明生产能力的基于简单的DNN验证符的新型机制：产生易于检查的不可满足性的见证人，这证明了没有错误的情况。我们的证明生产是基于众所周知的Farkas引理的有效适应，并结合了处理分段线性函数和数值精确误差的机制。作为概念的证明，我们在Marabou DNN验证者之上实施了我们的技术。我们对避免空中碰撞的安全至关重要系统的评估表明，在几乎所有情况下，证明生产都成功了，只需要最小的开销。