由于其在多个工业应用领域的竞争性能，深度学习在我们的日常生活中起着越来越重要的作用。作为基于DL的系统的核心，深度神经网络会自动从精心收集和有组织的培训数据中学习知识，以获得预测看不见数据的标签的能力。与需要全面测试的传统软件系统类似，还需要仔细评估DNN，以确保受过训练的模型的质量满足需求。实际上，评估行业中DNN质量的事实上的标准是检查其在收集的标记测试数据集中的性能（准确性）。但是，准备这样的标记数据通常不容易部分，部分原因是标签工作巨大，即数据标记是劳动密集型的，尤其是每天有大量新的新传入的未标记数据。最近的研究表明，DNN的测试选择是一个有希望的方向，可以通过选择最小的代表性数据来标记并使用这些数据来评估模型来解决此问题。但是，它仍然需要人类的努力，不能自动。在本文中，我们提出了一种名为Aries的新技术，可以使用原始测试数据获得的信息估算新未标记数据的DNN的性能。我们技术背后的关键见解是，该模型在与决策边界具有相似距离的数据上应具有相似的预测准确性。我们对13种数据转换方法的技术进行了大规模评估。结果表明，我们技术的有用性是，白羊座的估计准确性仅为0.03％-2.60％（平均0.61％），从真实的准确性中差。此外，在大多数（128个）情况下，白羊座还优于最先进的选择标记方法。

积极学习是一种降低标签成本以构建高质量机器学习模型的既定技术。主动学习的核心组件是确定应选择哪些数据来注释的采集功能。最先进的采集功能 - 更重要的是主动学习技术 - 已经旨在最大限度地提高清洁性能（例如，准确性）并忽视了鲁棒性，这是一种受到越来越受关注的重要品质。因此，主动学习产生准确但不强大的模型。在本文中，我们提出了一种积极的学习过程，集成了对抗性培训的积极学习过程 - 最熟悉的制作强大模型的方法。通过对11个采集函数的实证研究，4个数据集，6个DNN架构和15105培训的DNN，我们表明，强大的主动学习可以产生具有鲁棒性的模型（对抗性示例的准确性），范围从2.35 \％到63.85 \％，而标准主动学习系统地实现了可忽略不计的鲁棒性（小于0.20 \％）。然而，我们的研究还揭示了在稳健性方面，在准确性上表现良好的采集功能比随机抽样更糟糕。因此，我们检查了它背后的原因，并设计了一个新的采购功能，这些功能既可定位清洁的性能和鲁棒性。我们的采集功能 - 基于熵（DRE）的基于密度的鲁棒采样 - 优于鲁棒性的其他采集功能（包括随机），最高可达24.40 \％（特别是3.84 \％），同时仍然存在竞争力准确性。此外，我们证明了DRE适用于测试选择度量，用于模型再培训，并从所有比较功能中脱颖而出，高达8.21％的鲁棒性。

深度神经网络（DNN）已广泛用于许多领域，包括图像处理，医疗诊断和自主驾驶。然而，DNN可以表现出可能导致严重错误的错误行为，特别是在安全关键系统中使用时。灵感来自传统软件系统的测试技术，研究人员提出了神经元覆盖标准，作为比喻源代码覆盖率，以指导DNN模型的测试。尽管对DNN覆盖范围非常积极的研究，但最近的几项研究质疑此类标准在指导DNN测试中的有用性。此外，从实际的角度来看，这些标准是白盒，因为它们需要访问DNN模型的内部或培训数据，这在许多情况下不可行或方便。在本文中，我们将黑盒输入分集度量调查为白盒覆盖标准的替代品。为此，我们首先以受控方式选择和适应三个分集指标和学习它们在输入集中测量实际分集的能力。然后，我们使用两个数据集和三个DNN模型分析其与故障检测的统计关联。我们进一步比较了与最先进的白盒覆盖标准的多样性。我们的实验表明，依赖于测试输入集中嵌入的图像特征的多样性是比覆盖标准更可靠的指示，以有效地指导DNN的测试。事实上，我们发现我们选定的黑盒子分集度量的一个远远超出了现有的覆盖范围，以便在发生故障泄露能力和计算时间方面。结果还确认了疑似，最先进的覆盖度量指标不足以指导测试输入集的构建，以检测尽可能多的自然输入的故障。

深度神经网络（DNN）应用越来越多地成为我们日常生活的一部分，从医疗应用到自动车辆。 DNN的传统验证依赖于准确度措施，然而，对抗示例的存在突出了这些准确度措施的局限性，特别是当DNN集成到安全关键系统中时提出担忧。在本文中，我们呈现HOMRS，一种通过自动构建从一组初始变质关系构建小型优化的高阶变质关系来提振变质测试的方法。 Homrs的骨干是一个多目标搜索;它利用传统系统测试中绘制的想法，例如代码覆盖，测试用例，路径分集以及输入验证。我们将HOMRS应用于MNIST / LENET和SVHN / VGG，我们报告了它的证据表明它建立了一个小而有效的高阶变换，概括到输入数据分布很好。此外，与诸如DeepXplore的类似的生成技术相比，我们表明我们的分发的方法更有效，从不确定量化的观点产生有效的变换，同时通过利用方法的泛化能力来实现更少的计算时间。

在过去的几年里，深度神经网络（DNN）取得了巨大的成功，并且在许多应用领域中不断应用。然而，在工业任务的实际部署期间，由于超容易的原因，发现DNN被发现是错误的，缺乏在实际使用过程中对现实世界腐败的鲁棒性。为了解决这些挑战，通过通过在神经级别的再试，微调或直接重量固定来通过更新权重（即，网络参数）来修复实际操作环境下的近期尝试。在这项工作中，作为第一次尝试，我们通过共同优化架构和重量，以更高（即，块）级别来修复DNN。我们首先履行实证研究，以调查整个网络级和层次修复的限制，这激励我们探索块水平的DNN修复的新修复方向。为此，我们首先提出对弱势群体定位的对抗侵犯块定位的频谱分析，其在前向和后向过程中考虑块中的神经元“状态和权重”梯度，这使得即使在几个示例下也能够修复更准确的候选块定位。然后，我们进一步提出了面向架构的基于搜索的修复，该修复将目标块放宽到更高的深度特征级别的连续修复搜索空间。通过联合优化该空间中的架构和权重，我们可以识别更好的块架构。我们实施我们提出的修复技术作为一个名为ArchRepair的工具，并进行广泛的实验以验证提出的方法。结果表明，我们的方法不仅可以修复，还可以提高准确性和稳健性，优于最先进的DNN修复技术。

Semi-supervised learning (SSL) provides a powerful framework for leveraging unlabeled data when labels are limited or expensive to obtain. SSL algorithms based on deep neural networks have recently proven successful on standard benchmark tasks. However, we argue that these benchmarks fail to address many issues that SSL algorithms would face in real-world applications. After creating a unified reimplementation of various widely-used SSL techniques, we test them in a suite of experiments designed to address these issues. We find that the performance of simple baselines which do not use unlabeled data is often underreported, SSL methods differ in sensitivity to the amount of labeled and unlabeled data, and performance can degrade substantially when the unlabeled dataset contains out-ofdistribution examples. To help guide SSL research towards real-world applicability, we make our unified reimplemention and evaluation platform publicly available. 2 * Equal contribution 2 https://github.com/brain-research/realistic-ssl-evaluation 32nd Conference on Neural Information Processing Systems (NeurIPS 2018),

作为深度图像分类应用，例如，人脸识别，在我们日常生活中越来越普遍，他们的公平问题提高了越来越多的关注。因此，在部署之前全面地测试这些应用的公平性是至关重要的。现有的公平测试方法遭受以下限制：1）适用性，即它们仅适用于结构化数据或文本，而无需处理图像分类应用的语义水平中的高维和抽象域采样; 2）功能，即，它们在不提供测试标准的情况下产生不公平的样本，以表征模型的公平性充足。为了填补差距，我们提出了Deepfait，是专门为深图图像分类应用而设计的系统公平测试框架。 Deepfait由几种重要组成部分组成，实现了对深度图像分类应用的有效公平测试的重要组成部分：1）神经元选择策略，用于识别与公平相关神经元的神经元; 2）一组多粒度充足度指标，以评估模型的公平性; 3）测试选择算法有效地修复公平问题。我们对广泛采用的大型面部识别应用，即VGGFace和Fairface进行了实验。实验结果证实，我们的方法可以有效地识别公平相关的神经元，表征模型的公平性，并选择最有价值的测试用例来减轻模型的公平问题。

Deep learning (DL) has become a driving force and has been widely adopted in many domains and applications with competitive performance. In practice, to solve the nontrivial and complicated tasks in real-world applications, DL is often not used standalone, but instead contributes as a piece of gadget of a larger complex AI system. Although there comes a fast increasing trend to study the quality issues of deep neural networks (DNNs) at the model level, few studies have been performed to investigate the quality of DNNs at both the unit level and the potential impacts on the system level. More importantly, it also lacks systematic investigation on how to perform the risk assessment for AI systems from unit level to system level. To bridge this gap, this paper initiates an early exploratory study of AI system risk assessment from both the data distribution and uncertainty angles to address these issues. We propose a general framework with an exploratory study for analyzing AI systems. After large-scale (700+ experimental configurations and 5000+ GPU hours) experiments and in-depth investigations, we reached a few key interesting findings that highlight the practical need and opportunities for more in-depth investigations into AI systems.

Deep learning (DL) systems are increasingly deployed in safety-and security-critical domains including self-driving cars and malware detection, where the correctness and predictability of a system's behavior for corner case inputs are of great importance. Existing DL testing depends heavily on manually labeled data and therefore often fails to expose erroneous behaviors for rare inputs.We design, implement, and evaluate DeepXplore, the first whitebox framework for systematically testing real-world DL systems. First, we introduce neuron coverage for systematically measuring the parts of a DL system exercised by test inputs. Next, we leverage multiple DL systems with similar functionality as cross-referencing oracles to avoid manual checking. Finally, we demonstrate how finding inputs for DL systems that both trigger many differential behaviors and achieve high neuron coverage can be represented as a joint optimization problem and solved efficiently using gradientbased search techniques.DeepXplore efficiently finds thousands of incorrect corner case behaviors (e.g., self-driving cars crashing into guard rails and malware masquerading as benign software) in stateof-the-art DL models with thousands of neurons trained on five popular datasets including ImageNet and Udacity selfdriving challenge data. For all tested DL models, on average, DeepXplore generated one test input demonstrating incorrect behavior within one second while running only on a commodity laptop. We further show that the test inputs generated by DeepXplore can also be used to retrain the corresponding DL model to improve the model's accuracy by up to 3%.

量化是在嵌入式系统或手机上部署训练有素的DNN模型时，是最应用的深神经网络（DNN）压缩策略之一。这是由于其对广泛的应用和情况的简单性和适应性，而不是特定的人工智能（AI）加速器和编译器，这些加速器和编译器通常仅用于某些特定的硬件（例如Google Coral Edge TPU）。随着对量化的需求不断增长，确保该策略的可靠性成为一个关键挑战。传统的测试方法收集越来越多的真实数据以进行更好的评估，通常是不切实际的，因为输入空间的尺寸很大，并且原始DNN及其量化的对应物之间的相似性很高。结果，高级评估策略已变得至关重要。在本文中，我们提出了Diverget，这是一个基于搜索的测试框架，用于量化评估。 Diverget定义了变质关系的空间，该空间模拟了输入上的自然扭曲。然后，它最佳地探索了这些关系，以揭示不同算术精度的DNN之间的分歧。我们评估了应用于高光谱遥感图像的最先进的DNN上的Diverget的性能。我们选择了遥感DNN，因为它们越来越多地部署在诸如气候变化研究和天文学之类的关键领域中的边缘（例如，高级无人机）。我们的结果表明，Diverget成功地挑战了已建立的量化技术的鲁棒性，以防止自然变化的数据，并胜过其最新的并发，Diffchaser，其成功率（平均）是四倍。

深度神经网络（DNNS）的快速和广泛采用呼吁测试其行为的方法，许多测试方法成功地揭示了DNN的不当行为。但是，相对尚不清楚启示录后可以采取什么措施来纠正这种行为，因为重新研究涉及昂贵的数据收集，并且不能保证解决基本问题。本文介绍了Arachne，这是一种针对DNNS的新型程序修复技术，该技术使用其输入输出对直接维修DNN作为规范。 Arachne局部性的神经权重可以生成有效的斑块并使用差分进化来优化局部权重并纠正不当行为。使用不同基准的实证研究表明，Arachne可以固定DNN的特定错误分类，而无需显着降低一般准确性。平均而言，Arachne产生的补丁概括至未见不良行为的61.3％，而通过最先进的DNN修复技术的斑块仅概括为10.2％，有时甚至是没有，而无数次数则超过了Arachne。我们还表明，Arachne可以通过对性别分类模型来解决公平问题。最后，我们成功地将Arachne应用于文本情感模型，以表明它的普遍性超出了卷积神经网络。

在过去的几年中，深度学习（DL）一直在不断扩大其应用程序，并成为大型法规时代大规模源代码分析的推动力。由于意外的准确性降解，测试集与训练集不同的分布与训练集不同的分布与训练集不同。尽管最近在计算机视觉和自然语言过程等领域取得了分配转移基准测试的最新进展。对于源代码任务的分配转移分析和基准测试，进展有限，由于其数量和支持几乎所有工业部门的基础，都有很大的需求。为了填补这一空白，本文启动了提出代码，即用于源代码学习的分销基准数据集。具体而言，代码支持2种编程语言（即Java和Python）和5种代码分发偏移（即任务，程序员，时间戳记，代币和CST）。据我们所知，我们是第一个定义基于代码表示的分布变化的人。在实验中，我们首先评估现有分布探测器的有效性以及分配移位定义的合理性，然后测量流行代码学习模型（例如Codebert）对分类任务的模型概括。结果表明，1）仅基于SoftMax得分的OOD检测器在代码上表现良好，2）分配转移会导致所有代码分类模型中的准确性降解，3）基于表示的分布转移对模型的影响比其他模型具有更高的影响，并且4）预训练的模型对分布变化更具抵抗力。我们公开提供代码，从而实现了有关代码学习模型质量评估的后续研究。

Labeling a module defective or non-defective is an expensive task. Hence, there are often limits on how much-labeled data is available for training. Semi-supervised classifiers use far fewer labels for training models, but there are numerous semi-supervised methods, including self-labeling, co-training, maximal-margin, and graph-based methods, to name a few. Only a handful of these methods have been tested in SE for (e.g.) predicting defects and even that, those tests have been on just a handful of projects. This paper takes a wide range of 55 semi-supervised learners and applies these to over 714 projects. We find that semi-supervised "co-training methods" work significantly better than other approaches. However, co-training needs to be used with caution since the specific choice of co-training methods needs to be carefully selected based on a user's specific goals. Also, we warn that a commonly-used co-training method ("multi-view"-- where different learners get different sets of columns) does not improve predictions (while adding too much to the run time costs 11 hours vs. 1.8 hours). Those cautions stated, we find using these "co-trainers," we can label just 2.5% of data, then make predictions that are competitive to those using 100% of the data. It is an open question worthy of future work to test if these reductions can be seen in other areas of software analytics. All the codes used and datasets analyzed during the current study are available in the https://GitHub.com/Suvodeep90/Semi_Supervised_Methods.

As an important data selection schema, active learning emerges as the essential component when iterating an Artificial Intelligence (AI) model. It becomes even more critical given the dominance of deep neural network based models, which are composed of a large number of parameters and data hungry, in application. Despite its indispensable role for developing AI models, research on active learning is not as intensive as other research directions. In this paper, we present a review of active learning through deep active learning approaches from the following perspectives: 1) technical advancements in active learning, 2) applications of active learning in computer vision, 3) industrial systems leveraging or with potential to leverage active learning for data iteration, 4) current limitations and future research directions. We expect this paper to clarify the significance of active learning in a modern AI model manufacturing process and to bring additional research attention to active learning. By addressing data automation challenges and coping with automated machine learning systems, active learning will facilitate democratization of AI technologies by boosting model production at scale.

虽然深度学习（DL）是渴望数据的，并且通常依靠广泛的标记数据来提供良好的性能，但主动学习（AL）通过从未标记的数据中选择一小部分样本进行标签和培训来降低标签成本。因此，近年来，在有限的标签成本/预算下，深入的积极学习（DAL）是可行的解决方案，可在有限的标签成本/预算下最大化模型性能。尽管已经开发了大量的DAL方法并进行了各种文献综述，但在公平比较设置下对DAL方法的性能评估尚未可用。我们的工作打算填补这一空白。在这项工作中，我们通过重新实现19种引用的DAL方法来构建DAL Toolkit，即Deepal+。我们调查和分类与DAL相关的作品，并构建经常使用的数据集和DAL算法的比较实验。此外，我们探讨了影响DAL功效的一些因素（例如，批处理大小，训练过程中的时期数），这些因素为研究人员设计其DAL实验或执行DAL相关应用程序提供了更好的参考。

主动学习（al）试图通过标记最少的样本来最大限度地提高模型的性能增益。深度学习（DL）是贪婪的数据，需要大量的数据电源来优化大量参数，因此模型了解如何提取高质量功能。近年来，由于互联网技术的快速发展，我们处于信息种类的时代，我们有大量的数据。通过这种方式，DL引起了研究人员的强烈兴趣，并已迅速发展。与DL相比，研究人员对Al的兴趣相对较低。这主要是因为在DL的崛起之前，传统的机器学习需要相对较少的标记样品。因此，早期的Al很难反映其应得的价值。虽然DL在各个领域取得了突破，但大多数这一成功都是由于大量现有注释数据集的宣传。然而，收购大量高质量的注释数据集消耗了很多人力，这在某些领域不允许在需要高专业知识，特别是在语音识别，信息提取，医学图像等领域中， al逐渐受到适当的关注。自然理念是AL是否可用于降低样本注释的成本，同时保留DL的强大学习能力。因此，已经出现了深度主动学习（DAL）。虽然相关的研究非常丰富，但它缺乏对DAL的综合调查。本文要填补这一差距，我们为现有工作提供了正式的分类方法，以及全面和系统的概述。此外，我们还通过申请的角度分析并总结了DAL的发展。最后，我们讨论了DAL中的混乱和问题，为DAL提供了一些可能的发展方向。

许多利用移动设备中的传感器的应用以及应用机器学习以提供新颖的服务。然而，诸如不同的用户，设备，环境和超参数之类的各种因素影响了这种应用的性能，从而使域移位（即，来自训练源数据集的目标用户的分发偏移）是一个重要问题。虽然最近的域适应技术试图解决这个问题，但各种因素之间的复杂相互作用通常会限制其有效性。我们认为，准确估算未训练的域中的性能可能会显着降低性能不确定性。我们呈现Dapper（域适配性能估计器），其估计目标域中的适应性能，只有未标记的目标数据。我们的直觉是目标数据上模型的输出提供了模型在目标域中的实际性能的线索。 Dapper不需要昂贵的标签成本，也不需要在部署后涉及额外的培训。与四个基线相比，我们与四个真实世界传感数据集进行了评估，表明，估计精度平均17％平均占据了基线的表现。此外，我们的On-Device实验表明，与基线相比，Dapper达到了多达216倍的计算开销。

主动学习（AL）算法旨在识别注释的最佳数据子集，使得深神经网络（DNN）在此标记子集上培训时可以实现更好的性能。 AL特别有影响的工业规模设置，其中数据标签成本高，从业者使用各种工具来处理，以提高模型性能。最近自我监督预测（SSP）的成功突出了利用丰富的未标记数据促进模型性能的重要性。通过将AL与SSP结合起来，我们可以使用未标记的数据，同时标记和培训特别是信息样本。在这项工作中，我们研究了Imagenet上的AL和SSP的组合。我们发现小型玩具数据集上的性能 - 文献中的典型基准设置 - 由于活动学习者选择的类不平衡样本，而不是想象中的性能。在我们测试的现有基线中，各种小型和大规​​模设置的流行AL算法未能以随机抽样优于差异。为了解决类别不平衡问题，我们提出了平衡选择（基础），这是一种简单，可伸缩的AL算法，通过选择比现有方法更加平衡样本来始终如一地始终采样。我们的代码可用于：https://github.com/zeyademam/active_learning。

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

Deep neural networks (DNNs) have demonstrated superior performance over classical machine learning to support many features in safety-critical systems. Although DNNs are now widely used in such systems (e.g., self driving cars), there is limited progress regarding automated support for functional safety analysis in DNN-based systems. For example, the identification of root causes of errors, to enable both risk analysis and DNN retraining, remains an open problem. In this paper, we propose SAFE, a black-box approach to automatically characterize the root causes of DNN errors. SAFE relies on a transfer learning model pre-trained on ImageNet to extract the features from error-inducing images. It then applies a density-based clustering algorithm to detect arbitrary shaped clusters of images modeling plausible causes of error. Last, clusters are used to effectively retrain and improve the DNN. The black-box nature of SAFE is motivated by our objective not to require changes or even access to the DNN internals to facilitate adoption.Experimental results show the superior ability of SAFE in identifying different root causes of DNN errors based on case studies in the automotive domain. It also yields significant improvements in DNN accuracy after retraining, while saving significant execution time and memory when compared to alternatives. CCS Concepts: • Software and its engineering → Software defect analysis; • Computing methodologies → Machine learning.