分类器在实践中已被广泛实施，而如何正确评估它们仍然是一个问题。通常，基于混淆矩阵和损失函数分别使用两种类型的指标在灵活性和数学完整性方面具有不同的优势，而它们在不同的困境中挣扎，例如对轻微改进或在不同任务中缺乏可定制性的不敏感性。在本文中，我们提出了一个基于概率预测的抽象表示，以及用于处理多分类中负面类别的目标设计的新颖指标，称为Meta模式关注得分，并降低了度量的离散性，以实现的优势，以实现两种指标都避免了它们的弱点。我们的指标提供了定制性，可以在不同实践中选择特定要求的模型，并确保在传统指标下也可以很好地选择模型。四种模型和六个数据集的评估证明了我们的度量的有效性和效率，案例研究表明，它可以选择模型来减少0.53％的危险错误分类，仅牺牲0.04％的培训准确性。

深神经网络（DNN）分类器容易受到对抗攻击的影响。尽管现有的基于梯度的攻击在馈送前向模型和图像识别任务中取得了良好的性能，但在复发性神经网络（RNN）中的时间序列分类的扩展仍然是一个困境，因为RNN的周期性结构可防止直接模型差异化和模型差异化和对时间序列数据扰动的视觉敏感性挑战了传统的局部优化目标，以最大程度地减少扰动。在本文中，提出了一种有效且广泛的方法，称为TSFool，用于为RNN分类器制定高质量的对抗时间序列。我们提出了一个名为“伪装系数”的新型全球优化目标，以考虑对抗样本在类群中的掩盖程度，因此将高质量的对抗性攻击重新定义为多目标优化问题。我们还提出了一个新的想法，以使用干预的加权有限自动机（IWFA）捕获具有其他特征和潜在歧管之间具有其他性的深层嵌入式脆弱样本，以指导优化解决方案的近似值。进行了22个UCR数据集的实验，以确认TSFool是一种广泛有效，有效且高质量的方法，局部扰动减少了93.22％，全局伪装更好32.33％，对现有方法的加速速度为1.12倍。

本文介绍了分类器校准原理和实践的简介和详细概述。校准的分类器正确地量化了与其实例明智的预测相关的不确定性或信心水平。这对于关键应用，最佳决策，成本敏感的分类以及某些类型的上下文变化至关重要。校准研究具有丰富的历史，其中几十年来预测机器学习作为学术领域的诞生。然而，校准兴趣的最近增加导致了新的方法和从二进制到多种子体设置的扩展。需要考虑的选项和问题的空间很大，并导航它需要正确的概念和工具集。我们提供了主要概念和方法的介绍性材料和最新的技术细节，包括适当的评分规则和其他评估指标，可视化方法，全面陈述二进制和多字数分类的HOC校准方法，以及几个先进的话题。

Deep Neural Networks (DNN) are increasingly used as components of larger software systems that need to process complex data, such as images, written texts, audio/video signals. DNN predictions cannot be assumed to be always correct for several reasons, among which the huge input space that is dealt with, the ambiguity of some inputs data, as well as the intrinsic properties of learning algorithms, which can provide only statistical warranties. Hence, developers have to cope with some residual error probability. An architectural pattern commonly adopted to manage failure-prone components is the supervisor, an additional component that can estimate the reliability of the predictions made by untrusted (e.g., DNN) components and can activate an automated healing procedure when these are likely to fail, ensuring that the Deep Learning based System (DLS) does not cause damages, despite its main functionality being suspended. In this paper, we consider DLS that implement a supervisor by means of uncertainty estimation. After overviewing the main approaches to uncertainty estimation and discussing their pros and cons, we motivate the need for a specific empirical assessment method that can deal with the experimental setting in which supervisors are used, where the accuracy of the DNN matters only as long as the supervisor lets the DLS continue to operate. Then we present a large empirical study conducted to compare the alternative approaches to uncertainty estimation. We distilled a set of guidelines for developers that are useful to incorporate a supervisor based on uncertainty monitoring into a DLS.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

多标签分类器估计每一组概念标签的二进制标签状态（相关与无关），对于任何给定的实例。概率多标签分类器在此类标签状态（标签的幂列）的所有可能的标签组组合（标签的功能）的所有可能的标签集组合中提供了预测性的后验分布，我们可以通过选择对应于该分布的最大预期准确性的标签集，从而提供最佳的估计值。例如，在最大化精确匹配精度时，我们提供了分布的模式。但是，这与我们在这样的估计中可能拥有的信心有何关系？置信度是多标签分类器（通常在机器学习中）现实世界应用的重要组成部分，并且是解释性和解释性的重要组成部分。但是，如何在多标签上下文中提供信心并与特定准确度量有关，也不清楚如何提供与预期准确性良好相关的信心，这在现实中最有价值 - 世界决策。在本文中，我们将预期准确性视为具有给定精度度量的信心的替代品。我们假设可以从多标签预测分布中估算预期精度。我们检查了七个候选功能，以估计预测分布的预期准确性的能力。我们发现其中三个与预期准确性相关，并且具有稳健性。此外，我们确定可以单独使用每个候选功能来估计锤击相似性，但是候选者的组合最适合预期的jaccard索引和精确匹配。

最近的作品揭示了设计损失功能的基本范式，该损失功能与骨料损失不同。单个损失衡量样本上模型的质量，而总损失结合了每个训练样本的个体损失/分数。两者都有一个共同的过程，将一组单个值集合到单个数值值。排名顺序反映了设计损失时个人价值观之间最基本的关系。此外，可以将损失分解成单个术语的合奏的可分解性成为组织损失/得分的重要特性。这项调查对机器学习中的基于等级的可分解损失进行了系统的全面审查。具体而言，我们提供了损失功能的新分类法，遵循总损失和个人损失的观点。我们确定聚合器以形成此类损失，这是集合功能的示例。我们将基于等级的分解损失组织为八类。遵循这些类别，我们回顾有关基于等级的总损失和基于等级的个人损失的文献。我们描述了这些损失的一般公式，并将其与现有的研究主题联系起来。我们还建议未来的研究方向涵盖基于等级的可分解损失的未开发，剩余和新兴问题。

由于更高的维度和困难的班级，机器学习应用中的可用数据变得越来越复杂。根据类重叠，可分离或边界形状，以及组形态，存在各种各样的方法来测量标记数据的复杂性。许多技术可以转换数据才能找到更好的功能，但很少专注于具体降低数据复杂性。大多数数据转换方法主要是治疗维度方面，撇开类标签中的可用信息，当类别在某种方式复杂时，可以有用。本文提出了一种基于AutoEncoder的复杂性减少方法，使用类标签来告知损耗函数关于所生成的变量的充分性。这导致了三个不同的新功能学习者，得分手，斯卡尔和切片机。它们基于Fisher的判别比率，Kullback-Leibler发散和最小二乘支持向量机。它们可以作为二进制分类问题应用作为预处理阶段。跨越27个数据集和一系列复杂性和分类指标的彻底实验表明，课堂上通知的AutoEncoders执行优于4个其他流行的无监督功能提取技术，特别是当最终目标使用数据进行分类任务时。

We review clustering as an analysis tool and the underlying concepts from an introductory perspective. What is clustering and how can clusterings be realised programmatically? How can data be represented and prepared for a clustering task? And how can clustering results be validated? Connectivity-based versus prototype-based approaches are reflected in the context of several popular methods: single-linkage, spectral embedding, k-means, and Gaussian mixtures are discussed as well as the density-based protocols (H)DBSCAN, Jarvis-Patrick, CommonNN, and density-peaks.

在这项工作中，我们研究了基于分数的梯度学习在判别和生成分类设置中的应用。分数函数可用于将数据分布描述为密度的替代方案。它可以通过分数匹配有效地学习，并用于灵活地生成可靠的样本以增强判别性分类质量，以恢复密度并构建生成性分类器。我们分析了涉及基于分数表示的决策理论，并对模拟和现实世界数据集进行了实验，证明了其在实现和改善算法分类性能以及对扰动的鲁棒性方面的有效性，尤其是在高维和不平衡状况下。

随着大数据的爆炸性增加，培训机器学习（ML）模型成为计算密集型工作量，需要几天甚至几周。因此，重用已经训练的模型受到了受关注的，称为转移学习。转移学习避免通过将知识从源任务转移到目标任务来避免从头开始培训新模型。现有的传输学习方法主要专注于如何通过特定源模型提高目标任务的性能，并假设给出了源模型。虽然有许多源模型可用，但数据科学家难以手动选择目标任务的最佳源模型。因此，如何在模型数据库中有效地选择合适的源模型进行模型重用是一个有趣但未解决的问题。在本文中，我们提出了SMS，有效，高效，灵活的源模型选择框架。即使源数据集具有明显不同的数据标签，SMS也是有效的，并且灵活地支持具有任何类型的结构的源模型，并且有效地避免任何培训过程。对于每个源模型，SMS首先将目标数据集中的样本加速到软标签中，通过直接将该模型直接应用于目标数据集，然后使用高斯分布适合软标签的集群，最后测量源模型使用的显着能力高斯混合的公制。此外，我们提出了一种改进的SMS（I-SMS），其降低了源模型的输出数量。 I-SMS可以显着降低选择时间，同时保留SMS的选择性能。关于一系列实用模型重用工作负载的广泛实验证明了SMS的有效性和效率。

现代深度学习方法构成了令人难以置信的强大工具，以解决无数的挑战问题。然而，由于深度学习方法作为黑匣子运作，因此与其预测相关的不确定性往往是挑战量化。贝叶斯统计数据提供了一种形式主义来理解和量化与深度神经网络预测相关的不确定性。本教程概述了相关文献和完整的工具集，用于设计，实施，列车，使用和评估贝叶斯神经网络，即使用贝叶斯方法培训的随机人工神经网络。

The notion of uncertainty is of major importance in machine learning and constitutes a key element of machine learning methodology. In line with the statistical tradition, uncertainty has long been perceived as almost synonymous with standard probability and probabilistic predictions. Yet, due to the steadily increasing relevance of machine learning for practical applications and related issues such as safety requirements, new problems and challenges have recently been identified by machine learning scholars, and these problems may call for new methodological developments. In particular, this includes the importance of distinguishing between (at least) two different types of uncertainty, often referred to as aleatoric and epistemic. In this paper, we provide an introduction to the topic of uncertainty in machine learning as well as an overview of attempts so far at handling uncertainty in general and formalizing this distinction in particular.

在缺少标签（MLML）的情况下，多标签学习是一个具有挑战性的问题。现有方法主要关注网络结构或培训方案的设计，这提高了实现的复杂性。这项工作旨在满足MLML中的损失函数的潜力，而不增加程序和复杂性。为此，我们通过鲁棒损失设计提出了两种简单但有效的方法，基于观察到模型可以在高精度训练期间识别丢失的标签。首先是对底层的良好损失，即山损，重量底部以山的形状重量否定，以减轻虚假底片的效果。第二个是自定步损耗校正（SPLC）方法，其利用缺失标签的近似分布下的最大似然标准导出的丢失。在各种多标签图像分类数据集上的综合实验表明，我们的方法可以显着提高MLML的性能，并在MLML中实现新的最先进的损失函数。

机器学习模型通常会遇到与训练分布不同的样本。无法识别分布（OOD）样本，因此将该样本分配给课堂标签会显着损害模​​型的可靠性。由于其对在开放世界中的安全部署模型的重要性，该问题引起了重大关注。由于对所有可能的未知分布进行建模的棘手性，检测OOD样品是具有挑战性的。迄今为止，一些研究领域解决了检测陌生样本的问题，包括异常检测，新颖性检测，一级学习，开放式识别识别和分布外检测。尽管有相似和共同的概念，但分别分布，开放式检测和异常检测已被独立研究。因此，这些研究途径尚未交叉授粉，创造了研究障碍。尽管某些调查打算概述这些方法，但它们似乎仅关注特定领域，而无需检查不同领域之间的关系。这项调查旨在在确定其共同点的同时，对各个领域的众多著名作品进行跨域和全面的审查。研究人员可以从不同领域的研究进展概述中受益，并协同发展未来的方法。此外，据我们所知，虽然进行异常检测或单级学习进行了调查，但没有关于分布外检测的全面或最新的调查，我们的调查可广泛涵盖。最后，有了统一的跨域视角，我们讨论并阐明了未来的研究线，打算将这些领域更加紧密地融为一体。

本文研究了“探索性”机器学习分类问题的置信后的事后校准。这些问题的困难源于持续的愿望，即在策划数据集时具有足够的例子来推广哪些类别的界限以及对这些类别的有效性的混乱。我们认为，对于此类问题，必须使用“单一的所有”方法（顶级标签校准），而不是文献中其他地方提倡的“校准 - 满足 - 响应 - 摩托克质”方法。我们介绍并测试了四种旨在处理特定置信度估计的特质的新算法。这些方法中的主要主要是将内核密度比用于置信度校准，包括用于选择带宽的新颖的防弹算法。我们测试了我们的主张，并探讨了生物信息学应用程序（Phanns）1以及经典的MNIST基准2。最后，我们的分析认为，事后校准应始终执行，应仅基于测试数据集，并且应在视觉上进行理智检查。

大量的数据和创新算法使数据驱动的建模成为现代行业的流行技术。在各种数据驱动方法中，潜在变量模型（LVM）及其对应物占主要份额，并在许多工业建模领域中起着至关重要的作用。 LVM通常可以分为基于统计学习的经典LVM和基于神经网络的深层LVM（DLVM）。我们首先讨论经典LVM的定义，理论和应用，该定义和应用既是综合教程，又是对经典LVM的简短申请调查。然后，我们对当前主流DLVM进行了彻底的介绍，重点是其理论和模型体系结构，此后不久就提供了有关DLVM的工业应用的详细调查。上述两种类型的LVM具有明显的优势和缺点。具体而言，经典的LVM具有简洁的原理和良好的解释性，但是它们的模型能力无法解决复杂的任务。基于神经网络的DLVM具有足够的模型能力，可以在复杂的场景中实现令人满意的性能，但它以模型的解释性和效率为例。旨在结合美德并减轻这两种类型的LVM的缺点，并探索非神经网络的举止以建立深层模型，我们提出了一个新颖的概念，称为“轻量级Deep LVM（LDLVM）”。在提出了这个新想法之后，该文章首先阐述了LDLVM的动机和内涵，然后提供了两个新颖的LDLVM，并详尽地描述了其原理，建筑和优点。最后，讨论了前景和机会，包括重要的开放问题和可能的研究方向。

自动生物医学图像分析的领域至关重要地取决于算法验证的可靠和有意义的性能指标。但是，当前的度量使用通常是不明智的，并且不能反映基本的域名。在这里，我们提出了一个全面的框架，该框架指导研究人员以问题意识的方式选择绩效指标。具体而言，我们专注于生物医学图像分析问题，这些问题可以解释为图像，对象或像素级别的分类任务。该框架首先编译域兴趣 - 目标结构 - ，数据集和算法与输出问题相关的属性的属性与问题指纹相关，同时还将其映射到适当的问题类别，即图像级分类，语义分段，实例，实例细分或对象检测。然后，它指导用户选择和应用一组适当的验证指标的过程，同时使他们意识到与个人选择相关的潜在陷阱。在本文中，我们描述了指标重新加载推荐框架的当前状态，目的是从图像分析社区获得建设性的反馈。当前版本是在由60多个图像分析专家的国际联盟中开发的，将在社区驱动的优化之后公开作为用户友好的工具包提供。

A noisy training set usually leads to the degradation of the generalization and robustness of neural networks. In this paper, we propose a novel theoretically guaranteed clean sample selection framework for learning with noisy labels. Specifically, we first present a Scalable Penalized Regression (SPR) method, to model the linear relation between network features and one-hot labels. In SPR, the clean data are identified by the zero mean-shift parameters solved in the regression model. We theoretically show that SPR can recover clean data under some conditions. Under general scenarios, the conditions may be no longer satisfied; and some noisy data are falsely selected as clean data. To solve this problem, we propose a data-adaptive method for Scalable Penalized Regression with Knockoff filters (Knockoffs-SPR), which is provable to control the False-Selection-Rate (FSR) in the selected clean data. To improve the efficiency, we further present a split algorithm that divides the whole training set into small pieces that can be solved in parallel to make the framework scalable to large datasets. While Knockoffs-SPR can be regarded as a sample selection module for a standard supervised training pipeline, we further combine it with a semi-supervised algorithm to exploit the support of noisy data as unlabeled data. Experimental results on several benchmark datasets and real-world noisy datasets show the effectiveness of our framework and validate the theoretical results of Knockoffs-SPR. Our code and pre-trained models will be released.