自动劝说系统（APS）旨在说服用户通过进入交换参数和反向的对话来相信某事。为了最大化APS成功地说服用户的概率，它可以识别一个全局策略，该策略将允许它选择对话的每个阶段的最佳参数，无论用户提供的任何参数是什么参数。然而，在真实的应用程序中，例如医疗保健，对话结果的效用将是相同的，或者对AP和用户的完全相同。为了处理这种情况，在双党决策理论中采用了扩展表格的奥运会。这将打开我们在本文中地址的新问题：（1）我们如何使用机器学习（ML）方法来预测用于用户不同群体的实用功能？ （2）我们如何识别新用户，从我们学到的那些中获得最佳实用程序功能？在这种程度上，我们开发了两种ML方法，EAI和EDS，利用来自用户来预测其实用程序的信息。 EAI仅限于固定数量的信息，而EDS可以选择最能检测到用户的子步骤的信息。我们在模拟环境中评估EAI和EDS，并在有关健康饮食习惯的实际案例研究中。结果在这两种情况下都具有很大，但EDS在预测有用的实用功能方面更有效。

推荐系统是帮助用户以个性化方式找到信息过载的兴趣项目，使用关于各用户的需求和偏好的知识。在会话推荐方法中，这些需求和偏好由系统中的交互式多匝对话框中的。文献中的一种常见方法来驱动这些对话框是逐步向用户逐步询问他们关于期望和不期望的项目特征或关于单个项目的偏好。在这种情况下，在该上下文中的核心研究目标是效率，在找到令人满意的项目之前对所需交互的数量进行评估。这通常是通过对向用户询问的最佳下一个问题的推断来实现。如今，对对话效率的研究几乎完全是经验的，旨在说明，例如，选择问题的一个策略优于给定的应用程序中的另一个策略。通过这项工作，我们将实证研究补充了理论，域名的对话建议的独立模型。该模型旨在涵盖一系列应用方案，使我们能够以正式的方式调查会话方法的效率，特别是关于设计最佳相互作用策略的计算复杂性。通过如此理论分析，我们表明，找到高效的会话策略是NP - 硬，并且在PSPace中，但对于特定类型的目录，上限降低到Polylogspace。从实际的角度来看，该结果意味着目录特征可以强烈影响个人对话策略的效率，因此在设计新策略时应考虑。从真实世界派生的数据集的初步实证分析与我们的研究结果对齐。

我们为学习限制建立了混合整数优化的广泛方法论基础。我们提出了一种用于数据驱动决策的端到端管道，其中使用机器学习直接从数据中学习限制和目标，并且培训的模型嵌入在优化配方中。我们利用许多机器学习方法的混合整数优化 - 焦点，包括线性模型，决策树，集合和多层的感知。对多种方法的考虑允许我们捕获决策，上下文变量和结果之间的各种潜在关系。我们还使用观察结果的凸船体来表征决策信任区域，以确保可信的建议并避免推断。我们有效地使用列生成和聚类来纳入这个表示。结合域驱动的约束和客观术语，嵌入式模型和信任区域定义了处方生成的混合整数优化问题。我们将此框架实施为从业者的Python包（OptiCl）。我们展示了化疗优化和世界食物计划规划中的方法。案例研究说明了在生成高质量处方的框架中的框架，由信任区域添加的值，加入多个机器学习方法以及包含多个学习约束的框架。

越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。

分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。

Explainability of a classification model is crucial when deployed in real-world decision support systems. Explanations make predictions actionable to the user and should inform about the capabilities and limitations of the system. Existing explanation methods, however, typically only provide explanations for individual predictions. Information about conditions under which the classifier is able to support the decision maker is not available, while for instance information about when the system is not able to differentiate classes can be very helpful. In the development phase it can support the search for new features or combining models, and in the operational phase it supports decision makers in deciding e.g. not to use the system. This paper presents a method to explain the qualities of a trained base classifier, called PERFormance EXplainer (PERFEX). Our method consists of a meta tree learning algorithm that is able to predict and explain under which conditions the base classifier has a high or low error or any other classification performance metric. We evaluate PERFEX using several classifiers and datasets, including a case study with urban mobility data. It turns out that PERFEX typically has high meta prediction performance even if the base classifier is hardly able to differentiate classes, while giving compact performance explanations.

关于日益增长的直播媒介的一种普遍信念是，其价值在于其“实时”组成部分。我们通过比较实时事件需求的价格弹性如何在直播中和之后的生活中进行了比较，从而研究了这种信念。我们使用来自大型直播平台的独特且丰富的数据来做到这一点，该数据使消费者可以在流中期后购买录制版本的直播版本。在我们背景下的一个挑战是，存在高维混杂因素，其与治疗政策（即价格）和兴趣结果（即需求）的关系是复杂的，并且仅部分知道。我们通过使用广义正交随机森林框架来解决这一挑战，以进行异质治疗效果估计。我们发现在整个事件生命周期中，需求价格弹性的时间弹性都显着。具体而言，随着时间的流逝，需求变得越来越敏感，直到直播一天，那天就变成了无弹性。在生活后的时期，对录制版本的需求仍然对价格敏感，但远低于在播放前的时期。我们进一步表明，价格弹性的这种时间变化是由此类事件固有的质量不确定性以及在直播过程中与内容创建者进行实时互动的机会所驱动的。

In the last years many accurate decision support systems have been constructed as black boxes, that is as systems that hide their internal logic to the user. This lack of explanation constitutes both a practical and an ethical issue. The literature reports many approaches aimed at overcoming this crucial weakness sometimes at the cost of scarifying accuracy for interpretability. The applications in which black box decision systems can be used are various, and each approach is typically developed to provide a solution for a specific problem and, as a consequence, delineating explicitly or implicitly its own definition of interpretability and explanation. The aim of this paper is to provide a classification of the main problems addressed in the literature with respect to the notion of explanation and the type of black box system. Given a problem definition, a black box type, and a desired explanation this survey should help the researcher to find the proposals more useful for his own work. The proposed classification of approaches to open black box models should also be useful for putting the many research open questions in perspective.

大多数机器学习算法由一个或多个超参数配置，必须仔细选择并且通常会影响性能。为避免耗时和不可递销的手动试验和错误过程来查找性能良好的超参数配置，可以采用各种自动超参数优化（HPO）方法，例如，基于监督机器学习的重新采样误差估计。本文介绍了HPO后，本文审查了重要的HPO方法，如网格或随机搜索，进化算法，贝叶斯优化，超带和赛车。它给出了关于进行HPO的重要选择的实用建议，包括HPO算法本身，性能评估，如何将HPO与ML管道，运行时改进和并行化结合起来。这项工作伴随着附录，其中包含关于R和Python的特定软件包的信息，以及用于特定学习算法的信息和推荐的超参数搜索空间。我们还提供笔记本电脑，这些笔记本展示了这项工作的概念作为补充文件。

在许多应用程序中，检测异常行为是新兴的需求，尤其是在安全性和可靠性是关键方面的情况下。尽管对异常的定义严格取决于域框架，但它通常是不切实际的或太耗时的，无法获得完全标记的数据集。使用无监督模型来克服缺乏标签的模型通常无法捕获特定的特定异常情况，因为它们依赖于异常值的一般定义。本文提出了一种新的基于积极学习的方法Alif，以通过减少所需标签的数量并将检测器调整为用户提供的异常的定义来解决此问题。在存在决策支持系统（DSS）的情况下，提出的方法特别有吸引力，这种情况在现实世界中越来越流行。尽管常见的DSS嵌入异常检测功能取决于无监督的模型，但它们没有办法提高性能：Alif能够通过在常见操作期间利用用户反馈来增强DSS的功能。 Alif是对流行的隔离森林的轻巧修改，在许多真实的异常检测数据集中，相对于其他最先进的算法证明了相对于其他最先进算法的出色性能。

决策森林（森林），尤其是随机森林和梯度促进树木，与许多监督学习场景中的其他方法相比，已经证明了最先进的准确性。尤其是，森林在表格数据中占主导地位，即当特征空间非结构化时，因此信号是特征指数置换的不变性。然而，在存在于多种多样（例如图像，文本和语音）深网（网络）（特别是卷积深网（Convnets））上的结构化数据中，倾向于优于森林。我们猜想至少部分原因是网络的输入不仅仅是特征幅度，也是其索引。相反，天真的森林实施未能明确考虑特征指数。最近提出的森林方法表明，对于每个节点，森林从某些特定分布中隐式采样一个随机矩阵。这些森林像某些类别的网络一样，通过将特征空间划分为对应于线性函数的凸多物体来学习。我们以这种方法为基础，并表明人们可以以多种感知方式选择分布来纳入特征区域。我们在数据上活在三个不同的流形上的数据上证明了经验性能：圆环，图像和时间序列。此外，我们证明了其在多元模拟环境中的强度，并且在预测癫痫患者的手术结果方面也表现出了优越性，并从非运动脑区域的原始立体定向EEG数据中预测运动方向。在所有模拟和真实数据中，歧管随机森林（MORF）算法的表现优于忽略特征空间结构并挑战Convnets的性能。此外，MORF运行迅速，并保持解释性和理论上的理由。

在现实世界数据集中，结果标记歧义和主观性是无处不在的。尽管从业者通常以临时方式将所有数据点（实例）的模棱两可的结果标签结合在一起，以提高多级分类的准确性，但缺乏通过任何最佳标准来指导所有数据点标签组合的原则方法。为了解决这个问题，我们提出了信息理论分类准确性（ITCA），该标准可以在预测准确性（预测标签与实际标签一致）和分类分辨率（可预测的标签）（可预测的标签）之间进行平衡，这是平衡的。指导从业者如何结合模棱两可的结果标签。为了找到ITCA指示的最佳标签组合，我们提出了两种搜索策略：贪婪的搜索和广度优先搜索。值得注意的是，ITCA和两种搜索策略适应所有机器学习分类算法。再加上分类算法和搜索策略，ITCA有两个用途：提高预测准确性并识别模棱两可的标签。我们首先通过两种搜索策略来找到合成和真实数据的正确标签组合，首先验证ITCA是否可以实现高精度。然后，我们证明了ITCA在各种应用中的有效性，包括医学预后，癌症存活预测，用户人口统计预测和细胞类型分类。我们还通过研究Oracle和线性判别分析分类算法来提供对ITCA的理论见解。 Python软件包ITCA（可在https://github.com/jsb-ucla/itca上找到）ITCA和搜索策略。

装袋和升压是在机器学习（ml）中的两个流行的集合方法，产生许多单独的决策树。由于这些方法的固有组合特性，它们通常以预测性能更优于单决定树或其他ML模型。然而，为每个决策树生成许多决定路径，增加了模型的整体复杂性，并阻碍了其在需要值得信赖和可解释的决策的域中的域，例如金融，社会护理和保健。因此，随着决策的数量升高，袋装和升降算法（例如随机森林和自适应升压）的解释性降低。在本文中，我们提出了一种视觉分析工具，该工具旨在帮助用户通过彻底的视觉检查工作流程从这种ML模型中提取决策，包括选择一套鲁棒和不同的模型（源自不同的集合学习算法），选择重要的功能根据他们的全球贡献，决定哪些决定对于全球解释（或本地，具体案件）是必不可少的。结果是基于多个模型的协议和用户出口的探索手动决策的最终决定。最后，我们通过用例，使用场景和用户学习评估患者的适用性和有效性。

我们介绍了Sparrow，这是一个寻求信息的对话代理，与提示的语言模型基线相比，训练有素，更有帮助，正确和无害。我们使用从人类反馈中的强化学习来培训我们的模型，以帮助人类评估者判断代理人的行为。首先，为了使我们的代理人更有帮助和无害，我们将良好对话的要求分解为代理人应遵循的自然语言规则，并分别向评估者询问每个规则。我们证明，这种崩溃使我们能够收集对代理行为的更多针对性的人类判断，并允许更有效的规则条件奖励模型。其次，我们的代理商在收集对模型声明的偏好判决时提供了支持事实主张的来源的证据。对于事实问题，麻雀提供的证据支持了78％的时间。比基线比基线更享受麻雀，同时对人类的对抗性探测更具弹性，在探测时只有8％的时间违反了我们的规则。最后，我们进行了广泛的分析，表明尽管我们的模型学会遵守我们的规则，但它可以表现出分布偏见。

由于算法预测对人类的影响增加，模型解释性已成为机器学习（ML）的重要问题。解释不仅可以帮助用户了解为什么ML模型做出某些预测，还可以帮助用户了解这些预测如何更改。在本论文中，我们研究了从三个有利位置的ML模型的解释性：算法，用户和教学法，并为解释性问题贡献了一些新颖的解决方案。

随机森林（RFS）是机器学习中最先进的，并且具有近零参数调整的优异性能。值得注意的是，即使他们的基本构建块被众所周知，RFS似乎不受限制地过度装修。最近，广泛接受的研究认为，RF呈现所谓的双下降曲线：首先，模型将数据过于U形曲线中的数据，然后，一旦达到某种模型复杂性，它就突然改善了其性能。在本文中，我们挑战模型能力是解释RF成功的正确工具的概念，并争辩说该模型的算法比以前认为更重要的作用。我们表明RF没有表现出双重曲线，而是单个下降。因此，在经典意义上没有过度装备。我们进一步提出了RF变化，尽管其决策边界近似于过度啮合的DT。类似，我们表明，近似于RF的决策边界的DT仍将过度装备。最后，我们研究了整体的多样性作为估计其性能的工具。为此，我们引入负相关森林（NClest），允许精确控制集合中的多样性。我们表明，多样性和偏差确实对RF的性能产生了至关重要的影响。具有太小的多样性将RF的性能坍塌到一棵树中，而具有太多的多样性意味着大多数树木不会再产生正确的输出。然而，在这两个极端之间，我们发现了大量不同的权衡，具有大致相等的性能。因此，只要算法达到这种良好的权衡制度，偏差和多样性之间的特定权衡并不重要。

Originally, tangles were invented as an abstract tool in mathematical graph theory to prove the famous graph minor theorem. In this paper, we showcase the practical potential of tangles in machine learning applications. Given a collection of cuts of any dataset, tangles aggregate these cuts to point in the direction of a dense structure. As a result, a cluster is softly characterized by a set of consistent pointers. This highly flexible approach can solve clustering problems in various setups, ranging from questionnaires over community detection in graphs to clustering points in metric spaces. The output of our proposed framework is hierarchical and induces the notion of a soft dendrogram, which can help explore the cluster structure of a dataset. The computational complexity of aggregating the cuts is linear in the number of data points. Thus the bottleneck of the tangle approach is to generate the cuts, for which simple and fast algorithms form a sufficient basis. In our paper we construct the algorithmic framework for clustering with tangles, prove theoretical guarantees in various settings, and provide extensive simulations and use cases. Python code is available on github.

开发了一种使用多个辅助变量的非静止空间建模算法。它将Geodatistics与Simitile随机林结合起来，以提供一种新的插值和随机仿真算法。本文介绍了该方法，并表明它具有与施加地统计学建模和定量随机森林的那些相似的一致性结果。该方法允许嵌入更简单的插值技术，例如Kriging，以进一步调节模型。该算法通过估计每个目标位置处的目标变量的条件分布来工作。这种分布的家庭称为目标变量的包络。由此，可以获得空间估计，定量和不确定性。还开发了一种从包络产生条件模拟的算法。随着它们从信封中的样本，因此通过相对变化的次要变量，趋势和可变性的相对变化局部地影响。

我们提出了分析分层聚类的方法，这些聚类完全使用了树木图提供的多分辨率结构。具体地，我们提出了在聚类方法之间选择的损失，特征重要性分数和用于可视化树木图中的特征分割的图形工具。这些任务的当前方法导致信息丢失，因为它们要求用户通过在指定级别切割树木图来生成本实例的单个分区。我们提出的方法使用了树木图的全结构。所提出的方法背后的关键洞察是将树形图视为系统发育。该类比允许通过祖先状态重建向树的每个内部节点分配特征值。真实和模拟数据集提供了证据表明我们所提出的框架具有理想的结果。我们提供了实现我们方法的R包。

在本文中，我们提出了一种方法，用于预测社交媒体对等体之间的信任链接，其中一个是在多识别信任建模的人工智能面积。特别是，我们提出了一种数据驱动的多面信任信任建模，该信任建模包括许多不同的特征以进行全面分析。我们专注于展示类似用户的聚类如何实现关键新功能：支持更个性化的，从而为用户提供更准确的预测。在信任感知项目推荐任务中说明，我们在大yelp数据集的上下文中评估所提出的框架。然后，我们讨论如何提高社交媒体的可信关系的检测可以帮助在最近爆发的社交网络环境中支持在线用户的违法行为和谣言的传播。我们的结论是关于一个特别易受资助的用户基础，老年人的反思，以说明关于用户组的推理价值，期望通过通过数据分析获得的洞察力集成已知偏好的一些未来方向。