给定故障系统，顺序诊断旨在确定在异常行为的系统组件方面识别失败的根本原因。由于最初的系统观察通常不足以确定性地固定系统的不当行为，因此其他系统测量可以帮助区分可能的解释。目的是限制解释的空间，直到只剩下一个（高度可能）的解释。为了通过一组最小成本的测量值来实现这一目标，已经提出了各种选择最佳下一个测量值的（主动学习）启发式方法。我们报告了广泛的正在进行的实验的初步结果，并在现实世界诊断病例上进行了一系列选择启发式方法。特别是，我们试图回答诸如“某些启发式词总是比其他所有人都优越？”之类的问题，“特定启发式方法的（相对）性能取决于哪些因素？”或“在哪些情况下我应该使用启发式方法？”
translated by 谷歌翻译
当本体学达到一定的规模和复杂性时，几乎无法避免诸如不一致，不满意的课程或错误的课程等故障。找到导致这些故障的不正确的公理是一项艰巨且耗时的任务。在解决这个问题时，已经提出了几种针对本体学中半自动断层定位的技术。通常，这些方法涉及一个人类专家，该专家为有关预期（正确）本体的系统生成的问题提供答案，以减少可能的故障位置。为了提出尽可能多的信息性问题，现有的方法借鉴了各种算法优化以及启发式方法。但是，这些计算通常基于有关交互用户的某些假设。在这项工作中，我们表征和讨论不同的用户类型，并表明现有方法并不能为所有用户实现最佳效率。作为一种补救措施，我们建议一种新型的专家问题，旨在适合所有分析专家的答案行为。此外，我们提出了一种算法，以优化与现场使用的（尝试和测试的）启发式方法完全兼容的新查询类型。关于现实世界中错误的实验表明，新的查询方法的潜力是将专家咨询时间最小化，而与专家类型无关。此外，获得的见解可以为互动调试工具的设计提供信息，以更好地满足用户的需求。
translated by 谷歌翻译
为了代表，统计样本必须以随机和公正的方式从人群中获取。然而，在基于模型的诊断领域的常见做法是从（偏见）最佳先前样本进行估计。一个例子是计算有缺陷系统的一些最可能的故障解释，并使用这些解释来评估系统的哪个方面（如果测量）将带来最高的信息增益。在这项工作中，我们仔细检查了这些在统计学上没有得到充分的惯例，即诊断研究人员和从业人员已经遵守了数十年的认可，这确实是合理的。为此，我们通过经验分析了产生故障解释的各种抽样方法。我们研究了产生的样品的代表性，这些样本的估计以及它们指导诊断决策的指导程度以及我们研究样本量的影响，采样效率和有效性之间的最佳权衡以及如何比较采样技术的影响确切的。
translated by 谷歌翻译
各种基于模型的诊断方案需要计算最优选的故障解释。但是，现有的声音算法（即仅输出实际故障说明）并完成（即可以返回所有说明），但是，需要指数空间才能完成此任务。作为一种补救措施，为了在内存限制的设备上成功诊断和记忆密集型问题案例，我们提出了RBF-HS，这是一种基于KORF众所周知的RBFS算法的诊断搜索方法。 RBF-HS可以在线性空间范围内以最佳优先级的方式列举任意固定数量的故障解释，而无需牺牲理想的声音或完整性属性。使用现实世界诊断病例的评估表明，RBF-HS在计算最小心电图解释时，在大多数情况下，可以节省大量空间（最多98％），而仅需要比Reiter的HS-Tree（相比）更多或更少的时间，通常使用的，通常是适用的声音，完整，最好的诊断搜索。
translated by 谷歌翻译
现实世界的语义或基于知识的系统，例如在生物医学领域，可能会变得大而复杂。因此，对此类系统知识库中故障的本地化和修复的工具支持对于它们的实际成功至关重要。相应地，近年来提出了许多知识库调试方法，尤其是基于本体的系统。基于查询的调试是一种相似的交互式方法，它通过向知识工程师提出一系列问题来定位观察到的问题的真正原因。存在这种方法的具体实现，例如本体论编辑器的OntodeBug插件prof \'eg \'e。为了验证新提出的方法比现有方法有利，研究人员通常依靠基于模拟的比较。但是，这种评估方法有一定的局限性，并且通常无法完全告知我们方法的真实性。因此，我们进行了不同的用户研究，以评估基于查询的本体调试的实际价值。研究的一个主要见解是，所考虑的交互方法确实比基于测试案例的替代算法调试更有效。我们还观察到，用户经常在此过程中犯错误，这突出了对用户需要回答的查询的仔细设计的重要性。
translated by 谷歌翻译
这项工作提出了用于诊断计算方法的分类法，该方法允许其标准化的评估，分类和比较。目的是（i）使研究人员和从业者对可用诊断技术的各种景观的印象，（ii）允许他们轻松地检索主要功能以及方法的优点和缺点，（iii）启用了轻松且易于根据其特征WRT的技术进行明确比较。重要且定义明确的属性的列表，以及（iv）促进为特定问题案例（例如，在实际诊断设置中，用于比较实验评估）或重用，修改，修改，修改，修改，扩展或研究过程中的改进。
translated by 谷歌翻译
公司的一个普遍问题是，产品订单的量有时可能超过生产能力。我们正式介绍了两个新的问题，该问题处理了一个问题，该问题要丢弃或推迟以实现某些（及时性）目标，并尝试通过基于模型的诊断来接触它们。在彻底的分析中，我们确定了诊断问题引入的问题的许多相似之处，但也揭示了关键的特质和概述处理或利用它们的方法。最后，对工业规模的问题实例的概念验证评估来自众所周知的调度基准套件，这表明，基于开箱即用的模型诊断工具可以很好地攻击两个形式化问题之一。
translated by 谷歌翻译
我们挑战现有的基于查询的本体故障本地化方法WRT。他们做出的假设，优化的标准以及相互作用意味着它们使用。我们发现它们的效率在很大程度上取决于相互作用的专家的行为，进行计算的计算效率低下或不精确，并且使用的优化标准通常不完全现实。作为一种补救措施，我们建议一种新颖（和简单）的互动方法，它克服了所有确定的问题，并且在有关错误现实世界本体论的全面实验中，可以成功地定位错误，同时需要在66％的情况下进行更少的专家互动，并且始终需要更少与现有方法相比，专家等待时间至少减少了80％。
translated by 谷歌翻译
保证案件旨在为其最高主张的真理提供合理的信心，这通常涉及安全或保障。那么一个自然的问题是，案件提供了“多少”信心？我们认为，置信度不能简化为单个属性或测量。取而代之的是，我们建议它应该基于以三种不同观点的属性为基础：正面，消极和残留疑问。积极的观点考虑了该案件的证据和总体论点结合起来的程度，以表明其主张的信念是正当的。我们为理由设置了一个高标准，要求它是不可行的。对此的主要积极度量是健全性，它将论点解释为逻辑证明。对证据的信心可以概率地表达，我们使用确认措施来确保证据的“权重”跨越了一定的阈值。此外，可以通过使用概率逻辑的参数步骤从证据中汇总概率，以产生我们所谓的索赔概率估值。负面观点记录了对案件的怀疑和挑战，通常表示为叛逆者及其探索和解决。保证开发商必须防止确认偏见，并应在制定案件时大力探索潜在的叛逆者，并应记录下来及其解决方案，以避免返工并帮助审阅者。残留疑问：世界不确定，因此并非所有潜在的叛逆者都可以解决。我们探索风险，可能认为它们是可以接受或不可避免的。但是，至关重要的是，这些判断是有意识的判断，并且在保证案例中记录下来。本报告详细介绍了这些观点，并指示了我们的保证2.0的原型工具集如何协助他们的评估。
translated by 谷歌翻译
自动化的机器学习（AUTOML）过程可能需要通过不仅机器学习（ML）组件及其超参数的复杂配置空间进行搜索，还需要将它们组合在一起，即形成ML管道。如果该管道配置空间过大，那么固定时间预算可实现的优化效率和模型精度可实现。一个关键的研究问题是，通过利用其历史表现来完成各种ML任务（即元知识），避免对ML管道的不良评估是否可能既可能又实用。以前的经验以分类器/回归器准确性排名的形式来自（1）（1）在历史自动运行期间进行的大量但无尽的管道评估数量，即“机会性”元知识，或（2）全面的交叉 - 通过默认超参数（即“系统”的元知识，对分类器/回归器的验证评估。使用AUTOWEKA4MCPS软件包进行了许多实验，表明（1）机会性/系统的元知识可以改善ML的结果，通常与元知识的相关性以及（2）配置空间扣除在不太保守的情况下是最佳的（2）也不是激进的。但是，元知识的效用和影响急性取决于其发电和剥削的许多方面，并保证了广泛的分析；这些通常在汽车和元学习文献中被忽视/不足。特别是，我们观察到对数据集的“挑战”的强烈敏感性，即选择预测因子的特异性是否会导致性能明显更好。最终，确定这样定义的“困难”数据集对于生成信息丰富的元知识基础和理解最佳搜索空间降低策略至关重要。
translated by 谷歌翻译
The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.
translated by 谷歌翻译
我们介绍了强大的子组发现的问题，即，找到一个关于一个或多个目标属性的脱颖而出的子集的一组可解释的描述，2）是统计上的鲁棒，并且3）非冗余。许多尝试已经挖掘了局部强壮的子组或解决模式爆炸，但我们是第一个从全球建模角度同时解决这两个挑战的爆炸。首先，我们制定广泛的模型类别的子组列表，即订购的子组，可以组成的单次组和多变量目标，该目标可以由标称或数字变量组成，并且包括其定义中的传统Top-1子组发现。这种新颖的模型类允许我们使用最小描述长度（MDL）原理来形式地形化最佳强大的子组发现，在那里我们分别为标称和数字目标的最佳归一化最大可能性和贝叶斯编码而度假。其次，正如查找最佳子组列表都是NP-Hard，我们提出了SSD ++，一个贪婪的启发式，找到了很好的子组列表，并保证了根据MDL标准的最重要的子组在每次迭代中添加，这被显示为等同于贝叶斯一个样本比例，多项式或子组之间的多项式或T检验，以及数据集边际目标分布以及多假设检测罚款。我们经验上显示了54个数据集，即SSD ++优于先前的子组设置发现方法和子组列表大小。
translated by 谷歌翻译
社区检测是网络科学中最重要的方法领域之一，在过去的几十年里引起了大量关注的方法之一。该区域处理网络的自动部门到基础构建块中，目的是提供其大规模结构的概要。尽管它的重要性和广泛的采用普及，所谓的最先进和实际在各种领域实际使用的方法之间存在明显的差距。在这里，我们试图通过根据是否具有“描述性”或“推论”目标来划分现有方法来解决这种差异。虽然描述性方法在基于社区结构的直观概念的网络中找到模式的模式，但是推理方法阐述了精确的生成模型，并尝试将其符合数据。通过这种方式，他们能够为网络形成机制提供见解，并以统计证据支持的方式与随机性的单独结构。我们审查如何使用推论目标采用描述性方法被陷入困境和误导性答案，因此应该一般而言。我们认为推理方法更通常与更清晰的科学问题一致，产生更强大的结果，并且应该是一般的首选。我们试图消除一些神话和半真半假在实践中使用社区检测时，努力改善这些方法的使用以及对结果的解释。
translated by 谷歌翻译
分类链是一种用于在多标签分类中建模标签依赖性的有效技术。但是，该方法需要标签的固定静态顺序。虽然理论上，任何顺序都足够了，实际上，该订单对最终预测的质量具有大量影响。动态分类链表示每个实例对分类的想法，可以动态选择预测标签的顺序。这种方法的天真实现的复杂性是禁止的，因为它需要训练一系列分类器，以满足标签的每种可能置换。为了有效地解决这个问题，我们提出了一种基于随机决策树的新方法，该方法可以动态地选择每个预测的标签排序。我们凭经验展示了下一个标签的动态选择，通过在否则不变的随机决策树模型下使用静态排序。 ％和实验环境。此外，我们还展示了基于极端梯度提升树的替代方法，其允许更具目标的动态分级链训练。我们的结果表明，该变体优于随机决策树和其他基于树的多标签分类方法。更重要的是，动态选择策略允许大大加速培训和预测。
translated by 谷歌翻译
为什么普通语言模糊不清？我们认为，在合作扬声器没有完全了解世界的情况下，使用模糊表达可以在真实性（Gricean质量）和信息性之间提供最佳权衡（Gricean数量）。专注于诸如“周围”的近似的表达，这表明他们允许扬声器传达间接概率信息，这种信息可以使听众更准确地表示发言者可用的信息的信息。更精确的表达将是（之间的间隔“）。也就是说，模糊的句子可以比他们精确的对应物更有信息。我们对“周围”解释的概率处理，并提供了解释和使用“围绕” - 理性语音法（RSA）框架的典范。在我们的账户中，扬声器分配事项的形状不是由RSA框架标准用于模糊谓词的词汇不确定性模型的方式预测。我们利用我们的方法绘制关于模糊表达的语义灵活性的进一步教训及其对更精确的含义的不可缩短。
translated by 谷歌翻译
通过生物手段自动验证一个人的身份是在每天的日常活动，如在机场访问银行服务和安全控制的一个重要应用。为了提高系统的可靠性，通常使用几个生物识别设备。这种组合系统被称为多模式生物测定系统。本文报道生物安全DS2（访问控制）评估由英国萨里大学举办的活动，包括面部，指纹和虹膜的个人认证生物特征的框架内进行基准研究，在媒体针对物理访问控制中的应用-size建立一些500人。虽然多峰生物测定是公调查对象，不存在基准融合算法的比较。朝着这个目标努力，我们设计了两组实验：质量依赖性和成本敏感的评估。质量依赖性评价旨在评估融合算法如何可以在变化的原始图像的质量主要是由于设备的变化来执行。在对成本敏感的评价，另一方面，研究了一种融合算法可以如何执行给定的受限的计算和在软件和硬件故障的存在，从而导致错误，例如失败到获取和失败到匹配。由于多个捕捉设备可用，融合算法应该能够处理这种非理想但仍然真实的场景。在这两种评价中，各融合算法被提供有从每个生物统计比较子系统以及两个模板和查询数据的质量度量得分。在活动的号召的响应证明是非常令人鼓舞的，与提交22个融合系统。据我们所知，这是第一次尝试基准品质为基础多模态融合算法。
translated by 谷歌翻译
数据最初是由Peter Hammer引入的，对数据的逻辑分析是一种方法，旨在计算逻辑上的理由，以将一组数据划分为两组观测值，通常称为正和负基。将此分区视为对部分定义的布尔函数的描述；然后处理数据以识别属性的子集，其值可用于表征正组对负基组的观测值。 LAD构成了经典统计学习技术的一种有趣的基于规则的学习替代方案，并具有许多实际应用。然而，根据数据实例的属性，组表征的计算可能是昂贵的。我们工作的一个主要目的是通过计算一些给定属性确实表征正组和负面组来提供一些\ emph {先验}的概率来提供有效的工具来加速计算。为此，我们根据我们对其上的信息提出了几种代表观测数据集的模型。这些模型及其允许我们计算的概率也有助于快速评估当前实际数据的某些属性；此外，它们可以帮助我们更好地分析和理解解决方法所遇到的计算困难。一旦建立了模型，计算概率的数学工具就会来自分析组合。它们使我们能够将所需的概率表示为生成函数系数的比率，然后提供其数值的快速计算。本文的另一个远程目标是表明，分析组合学的方法可以帮助分析LAD和相关领域中各种算法的性能。
translated by 谷歌翻译
尽管在机器学习的方法论核心中是一个问题，但如何比较分类器仍未达成一致的共识。每个比较框架都面临着（至少）三个基本挑战：质量标准的多样性，数据集的多样性以及选择数据集选择的随机性/任意性。在本文中，我们通过采用决策理论的最新发展，为生动的辩论增添了新的观点。我们最终的框架基于所谓的偏好系统，通过广义的随机优势概念对分类器进行排名，该概念强大地绕过了繁琐的，甚至通常是自相矛盾的，对聚合的依赖。此外，我们表明，可以通过解决易于手柄的线性程序和通过适应的两样本观察随机化测试进行统计测试来实现广泛的随机优势。这确实产生了一个有力的框架，可以同时相对于多个质量标准进行分类器的统计比较。我们在模拟研究和标准基准数据集中说明和研究我们的框架。
translated by 谷歌翻译
Originally, tangles were invented as an abstract tool in mathematical graph theory to prove the famous graph minor theorem. In this paper, we showcase the practical potential of tangles in machine learning applications. Given a collection of cuts of any dataset, tangles aggregate these cuts to point in the direction of a dense structure. As a result, a cluster is softly characterized by a set of consistent pointers. This highly flexible approach can solve clustering problems in various setups, ranging from questionnaires over community detection in graphs to clustering points in metric spaces. The output of our proposed framework is hierarchical and induces the notion of a soft dendrogram, which can help explore the cluster structure of a dataset. The computational complexity of aggregating the cuts is linear in the number of data points. Thus the bottleneck of the tangle approach is to generate the cuts, for which simple and fast algorithms form a sufficient basis. In our paper we construct the algorithmic framework for clustering with tangles, prove theoretical guarantees in various settings, and provide extensive simulations and use cases. Python code is available on github.
translated by 谷歌翻译
算法配置（AC）与对参数化算法最合适的参数配置的自动搜索有关。目前，文献中提出了各种各样的交流问题变体和方法。现有评论没有考虑到AC问题的所有衍生物，也没有提供完整的分类计划。为此，我们引入分类法以分别描述配置方法的交流问题和特征。我们回顾了分类法的镜头中现有的AC文献，概述相关的配置方法的设计选择，对比方法和问题变体相互对立，并描述行业中的AC状态。最后，我们的评论为研究人员和从业人员提供了AC领域的未来研究方向。
translated by 谷歌翻译