FOLD-R ++是一种针对二进制分类任务的高效且基于规则的机器学习算法。它以（可解释的）训练有素的模型生成分层的正常逻辑程序。我们对称为fold-se的fold-r ++算法进行了改进，该算法在继承fold-r ++的所有优点时提供了可扩展的解释性（SE）。可扩展的解释性意味着，无论数据集的大小如何，学识渊博的规则和学识关的数量保持很小，因此人类可以理解，同时保持分类的良好表现。 Fold-SE具有最新的算法（例如XGBoost和Multi-Layer Perceptrons（MLP））的性能竞争力。但是，与XGBoost和MLP不同，Fold-SE算法生成具有可扩展性的模型。 FOLD-SE算法在效率，性能和解释性方面优于fold-r ++和开膛手算法，尤其是对于大型数据集。 fold-rm算法是用于多类分类任务的fold-r ++的扩展。还提出了一种改进的折叠式RM算法。

Fold-R是一种自动感应学习算法，用于学习混合（数值和分类）数据的默认规则。它生成（可解释的）应答集编程（ASP）规则集，用于分类任务。我们提出了一种改进的折叠R算法，称为折叠-R ++，显着提高了折叠-R的效率和可扩展性。 FOLD-R ++在编码或特征选择阶段期间，在没有损害或丢失输入训练数据中的信息的情况下改善了FOL-R。折叠-R ++算法在具有广泛使用的XGBoost算法的性能中具有竞争力，但是，与XGBoost不同，折叠-R ++算法产生可说明的模型。折叠-R ++在具有RIPPER系统的性能中也具有竞争性，但是，在大型数据集上折叠-R ++优于Ripper。我们还通过将Fold-R ++与S（CASP）-A -A的ASP执行引擎组合来创建一个强大的工具集 - 使用Fold-R ++生成的答案集程序对新数据样本进行预测。 S（CASP）系统还为预测产生了理由。本文提出的实验表明，我们改进的折叠率-R ++算法是对原始设计的显着改进，并且S（CASP）系统也可以以有效的方式进行预测。

fold-r ++是一种用于二进制分类任务的新电感学习算法。它为混合类型（数值和分类）数据生成（可解释的）正常逻辑程序。我们提出了一种具有排名框架（称为fold-tr）的自定义的折叠式R ++算法，该算法旨在按照培训数据中的排名模式对新项目进行排名。与Fold-R ++一样，Fold-Tr算法能够直接处理混合型数据，并提供本机的理由来解释一对项目之间的比较。

归纳逻辑编程（ILP）是一种机器学习的形式。ILP的目标是诱导推广培训示例的假设（一组逻辑规则）。随着ILP转30，我们提供了对该领域的新介绍。我们介绍了必要的逻辑符号和主要学习环境;描述ILP系统的构建块;比较几个维度的几个系统;描述四个系统（Aleph，Tilde，Aspal和Metagol）;突出关键应用领域;最后，总结了未来研究的当前限制和方向。

We introduce a new rule-based optimization method for classification with constraints. The proposed method takes advantage of linear programming and column generation, and hence, is scalable to large datasets. Moreover, the method returns a set of rules along with their optimal weights indicating the importance of each rule for learning. Through assigning cost coefficients to the rules and introducing additional constraints, we show that one can also consider interpretability and fairness of the results. We test the performance of the proposed method on a collection of datasets and present two case studies to elaborate its different aspects. Our results show that a good compromise between interpretability and fairness on the one side, and accuracy on the other side, can be obtained by the proposed rule-based learning method.

本文考虑了在分解正常形式（DNF，ANDS的DNF，ANDS，相当于判定规则集）或联合正常形式（CNF，ORS）作为分类模型的联合正常形式的学习。为规则简化，将整数程序配制成最佳贸易分类准确性。我们还考虑公平设定，并扩大制定，以包括对两种不同分类措施的明确限制：机会平等和均等的赔率。列生成（CG）用于有效地搜索候选条款（连词或剖钉）的指数数量，而不需要启发式规则挖掘。此方法还会绑定所选规则集之间的间隙和培训数据上的最佳规则集。要处理大型数据集，我们建议使用随机化的近似CG算法。与三个最近提出的替代方案相比，CG算法主导了16个数据集中的8个中的精度简单折衷。当最大限度地提高精度时，CG与为此目的设计的规则学习者具有竞争力，有时发现明显更简单的解决方案，这些解决方案不太准确。与其他公平和可解释的分类器相比，我们的方法能够找到符合较严格的公平概念的规则集，以适度的折衷准确性。

尽管在现代的机器学习算法的最新进展，其内在机制的不透明仍是采用的障碍。在人工智能系统灌输信心和信任，解释的人工智能已成为提高现代机器学习算法explainability的响应。归纳逻辑程序（ILP），符号人工智能的子场中，起着产生，因为它的直观的逻辑驱动框架的可解释的解释有希望的作用。 ILP有效利用绎推理产生从实例和背景知识解释的一阶分句理论。然而，在发展中通过ILP需要启发方法的几个挑战，在实践中他们的成功应用来解决。例如，现有的ILP系统通常拥有广阔的解空间，以及感应解决方案是对噪声和干扰非常敏感。本次调查总结在ILP的最新进展和统计关系学习和神经象征算法的讨论，其中提供给ILP协同意见。继最新进展的严格审查，我们划定观察的挑战，突出对发展不言自明的人工智能系统进一步ILP动机研究的潜在途径。

The decision tree is one of the most popular and classical machine learning models from the 1980s. However, in many practical applications, decision trees tend to generate decision paths with excessive depth. Long decision paths often cause overfitting problems, and make models difficult to interpret. With longer decision paths, inference is also more likely to fail when the data contain missing values. In this work, we propose a new tree model called Cascading Decision Trees to alleviate this problem. The key insight of Cascading Decision Trees is to separate the decision path and the explanation path. Our experiments show that on average, Cascading Decision Trees generate 63.38% shorter explanation paths, avoiding overfitting and thus achieve higher test accuracy. We also empirically demonstrate that Cascading Decision Trees have advantages in the robustness against missing values.

决策树学习是机器学习中广泛使用的方法，在需要简洁明了的模型的应用中受到青睐。传统上，启发式方法用于快速生产具有相当高准确性的模型。然而，一个普遍的批评是，从精度和大小方面，所产生的树可能不一定是数据的最佳表示。近年来，这激发了最佳分类树算法的发展，这些算法与执行一系列本地最佳决策的启发式方法相比，在全球范围内优化决策树。我们遵循这一工作线，并提供了一种基于动态编程和搜索的最佳分类树的新颖算法。我们的算法支持对树的深度和节点数量的约束。我们方法的成功归因于一系列专门技术，这些技术利用了分类树独有的属性。传统上，最佳分类树的算法受到了高运行时的困扰和有限的可伸缩性，但我们在一项详细的实验研究中表明，我们的方法仅使用最先进的时间所需的时间，并且可以处理数十个数据集的数据集在数千个实例中，提供了几个数量级的改进，并特别有助于实现最佳决策树的实现。

电子表格广泛用于桌面操作和演示。这些表的风格格式是演示和分析的重要属性。结果，流行的电子表格软件（例如Excel）支持基于数据依赖性规则的自动格式表。不幸的是，编写这些格式规则对于用户来说可能是具有挑战性的，因为这需要了解基础规则语言和数据逻辑。在本文中，我们提出了Cornet，这是一种神经符号系统，该系统解决了从格式化细胞的用户示例中自动学习此类格式规则的新问题。 Cornet从归纳计划的合成中汲取灵感，并根据半监督聚类和迭代决策树学习结合了符号规则，并与神经排名者一起产生条件格式的规则。为了激励和评估我们的方法，我们从超过40k真实电子​​表格的语料库中提取了表格的表格。使用这些数据，我们将短号与各种符号和神经基线进行了比较。我们的结果表明，与这些基线相比，Cornet可以在不同条件下更准确地学习规则。除了从用户示例中学习规则外，我们还提出了两个案例研究，以激发Cornet的其他用途：简化用户条件格式规则并恢复规则，即使用户可能手动格式化了其数据。

Multi-label classification is becoming increasingly ubiquitous, but not much attention has been paid to interpretability. In this paper, we develop a multi-label classifier that can be represented as a concise set of simple "if-then" rules, and thus, it offers better interpretability compared to black-box models. Notably, our method is able to find a small set of relevant patterns that lead to accurate multi-label classification, while existing rule-based classifiers are myopic and wasteful in searching rules,requiring a large number of rules to achieve high accuracy. In particular, we formulate the problem of choosing multi-label rules to maximize a target function, which considers not only discrimination ability with respect to labels, but also diversity. Accounting for diversity helps to avoid redundancy, and thus, to control the number of rules in the solution set. To tackle the said maximization problem we propose a 2-approximation algorithm, which relies on a novel technique to sample high-quality rules. In addition to our theoretical analysis, we provide a thorough experimental evaluation, which indicates that our approach offers a trade-off between predictive performance and interpretability that is unmatched in previous work.

In this paper, we present a modular methodology that combines state-of-the-art methods in (stochastic) machine learning with traditional methods in rule learning to provide efficient and scalable algorithms for the classification of vast data sets, while remaining explainable. Apart from evaluating our approach on the common large scale data sets MNIST, Fashion-MNIST and IMDB, we present novel results on explainable classifications of dental bills. The latter case study stems from an industrial collaboration with Allianz Private Krankenversicherungs-Aktiengesellschaft which is an insurance company offering diverse services in Germany.

In recent years there has been growing attention to interpretable machine learning models which can give explanatory insights on their behavior. Thanks to their interpretability, decision trees have been intensively studied for classification tasks, and due to the remarkable advances in mixed-integer programming (MIP), various approaches have been proposed to formulate the problem of training an Optimal Classification Tree (OCT) as a MIP model. We present a novel mixed-integer quadratic formulation for the OCT problem, which exploits the generalization capabilities of Support Vector Machines for binary classification. Our model, denoted as Margin Optimal Classification Tree (MARGOT), encompasses the use of maximum margin multivariate hyperplanes nested in a binary tree structure. To enhance the interpretability of our approach, we analyse two alternative versions of MARGOT, which include feature selection constraints inducing local sparsity of the hyperplanes. First, MARGOT has been tested on non-linearly separable synthetic datasets in 2-dimensional feature space to provide a graphical representation of the maximum margin approach. Finally, the proposed models have been tested on benchmark datasets from the UCI repository. The MARGOT formulation turns out to be easier to solve than other OCT approaches, and the generated tree better generalizes on new observations. The two interpretable versions are effective in selecting the most relevant features and maintaining good prediction quality.

Probabilistic Law Discovery (PLD) is a logic based Machine Learning method, which implements a variant of probabilistic rule learning. In several aspects, PLD is close to Decision Tree/Random Forest methods, but it differs significantly in how relevant rules are defined. The learning procedure of PLD solves the optimization problem related to the search for rules (called probabilistic laws), which have a minimal length and relatively high probability. At inference, ensembles of these rules are used for prediction. Probabilistic laws are human-readable and PLD based models are transparent and inherently interpretable. Applications of PLD include classification/clusterization/regression tasks, as well as time series analysis/anomaly detection and adaptive (robotic) control. In this paper, we outline the main principles of PLD, highlight its benefits and limitations and provide some application guidelines.

通知飞行员（NOTAM）包含重要的飞行路线相关信息。为了搜索和过滤它们，将NOTAMS分组为称为QCodes的类别。在本文中，我们开发了一种工具来预测notam的qcode。我们提出了一种使用DASH，Gunluk和Wei（2018）中提出的列生成扩展可解释的二进制分类的方法。我们描述了用于解决与一个VS-REST分类有关的问题，例如多个输出和类失衡。此外，我们介绍了一些启发式方法，包括使用CP-SAT求解器用于子问题，以减少训练时间。最后，我们表明我们的方法与最先进的机器学习算法（如线性SVM和小型神经网络）相比，同时添加了所需的可解释性组件。

规则集是高度可解释的逻辑模型，其中决策的谓词以分离的正常形式（DNF或ands）表达，或者等效地，总体模型包括无序的决策规则集合。在本文中，我们考虑了一种基于基于学习规则集的基于superdular优化的方法。学习问题被构成一个子集选择任务，其中所有可能的规则的子集需要选择以形成准确且可解释的规则集。我们采用了表现出表达性的目标函数，因此可以适合于次管的优化技术。为了克服难以处理指数尺寸的地面规则集的难度，搜索规则的子问题被抛弃为另一个询问特征子集的子集选择任务。我们表明，可以为子问题编写诱导的目标函数，作为两个子模函数（DS）函数的差，以使其通过DS优化算法近似解决。总体而言，所提出的方法是简单，可扩展的，并且可能会从进一步研究子解体优化中受益。实际数据集上的实验证明了我们方法的有效性。

本文介绍了Planminer-N算法，基于Planminer域学习算法的域学习技术。此处呈现的算法在使用噪声数据作为输入时，提高了Planminer的学习能力。 Planminer算法能够推断出算术和逻辑表达式以从输入数据学习数值规划域，但它旨在在面对噪声输入数据时不可靠的情况下工作。在本文中，我们向Planminer的学习过程提出了一系列增强，以扩展其从嘈杂数据中学习的能力。这些方法通过检测噪声和过滤它并研究学习的学习动作模型来预处理输入数据，以便在它们中找到错误的前提条件/效果。使用来自国际规划竞赛（IPC）的一组域来测试本文提出的方法。取得的结果表明，在面对嘈杂的输入数据时，Planminer-N大大提高了Planminer的性能。

机器学习已随着医疗，法律和运输等各种安全领域的应用而无所不在。在这些领域中，机器学习提供的高风险决策需要研究人员设计可解释的模型，在该模型中，预测对人类是可以理解的。在可解释的机器学习中，基于规则的分类器在通过包含输入功能的一组规则来表示决策边界方面特别有效。基于规则的分类器的解释性通常与规则的规模有关，其中较小的规则被认为更容易解释。要学习这样的分类器，蛮力的直接方法是考虑一个优化问题，该问题试图学习具有接近最大准确性的最小分类规则。由于其组合性质，该优化问题在计算上是可悲的，因此，在大型数据集中，该问题无法扩展。为此，在本文中，我们研究了基于学习规则的分类器的准确性，可解释性和可伸缩性之间的三角关系。本文的贡献是一个可解释的学习框架IMLI，这是基于最大的满意度（MAXSAT），用于在命题逻辑中表达的合成分类规则。尽管在过去十年中MaxSat解决方案取得了进展，但基于最直接的MaxSat解决方案仍无法扩展。因此，我们通过整合迷你批次学习和迭代规则学习，将有效的增量学习技术纳入了MaxSAT公式中。在我们的实验中，IMLI在预测准确性，可解释性和可伸缩性之间取得了最佳平衡。作为一个应用程序，我们将IMLI部署在学习流行的可解释分类器（例如决策清单和决策集）中。

本文调查了股票回购，特别是分享回购公告。它解决了如何识别此类公告，股票回购的超额回报以及股票回购公告后的回报的预测。我们说明了两种NLP方法，用于自动检测股票回购公告。即使有少量的培训数据，我们也可以达到高达90％的准确性。该论文利用这些NLP方法生成一个由57,155个股票回购公告组成的大数据集。通过分析该数据集，本论文的目的是表明大多数宣布回购的公司的大多数公司都表现不佳。但是，少数公司的表现极大地超过了MSCI世界。当查看所有公司的平均值时，这种重要的表现过高会导致净收益。如果根据公司的规模调整了基准指数，则平均表现过高，并且大多数表现不佳。但是，发现宣布股票回购的公司至少占其市值的1％，即使使用调整后的基准，也平均交付了显着的表现。还发现，在危机时期宣布股票回购的公司比整个市场更好。此外，生成的数据集用于训练72个机器学习模型。通过此，它能够找到许多可以达到高达77％并产生大量超额回报的策略。可以在六个不同的时间范围内改善各种性能指标，并确定明显的表现。这是通过训练多个模型的不同任务和时间范围以及结合这些不同模型的方法来实现的，从而通过融合弱学习者来产生重大改进，以创造一个强大的学习者。

我们为基于树的分类器的全球公平验证提供了一种新的方法。鉴于基于树的分类器和一组敏感的特征可能导致歧视，我们的分析综合了足够的公平条件，以表达为一组传统的命题逻辑公式，这些公式很容易被人类专家可以理解。经过验证的公平保证是全局的，因为公式在分类器的所有可能输入上呈现，而不仅仅是一些特定的测试实例。我们的分析被正式证明既声音又完整。公共数据集的实验结果表明，该分析是精确的，可以向人类专家解释，并且足以有效地采用。