深度神经网络（DNN）用于各种应用中。但是，与任何软件应用程序一样，基于DNN的应用程序受到错误的影响。以前的工作观察到DNN错误修复模式与传统错误修复模式不同。此外，由于具有多种选项来修复它们，因此由于具有多种选项的错误错误，那些错误模型是非微不足道的。为了支持开发人员在定位和修复错误中，我们提出DeepDiagnosis，一种定位故障的新型调试方法，报告错误症状，并提出了DNN程序的修复。在第一阶段，我们的技术监视培训模型，定期检查八种类型的错误条件。然后，在问题的情况下，它报告包含足够信息的消息来对模型执行可操作的维修。在评估中，我们通过GitHub和Stack Overflow彻底检查444型号-53现实世界，并由Autotrainer策划391。与UMLUAT和Deeplocalize相比，DeepDiagnosis提供卓越的准确性。我们的技术比Autotrainer更快，用于故障定位。结果表明，我们的方法可以支持其他类型的模型，而最先进的人才能够处理分类。我们的技术能够在培训期间报告在训练期间不明显作为数值错误的错误。此外，它可以提供用于修复的可操作的见解，而Deeplocalize只能在训练期间报告导致数值误差的故障。与其他方法相比，DeepDiagnosis表现出故障检测，错误本地化和症状的最佳能力。

在各个领域采用深度学习（DL）的行业和学术界都有日益增长的需求，以解决现实世界的问题。深度加强学习（DRL）是DL在加固学习领域（RL）的应用。与任何软件系统一样，由于其程序中的故障，DRL应用程序可能会失败。在本文中，我们介绍了第一次尝试在DRL程序中分类故障。我们手动分析了使用众所周知的DRL框架（Openai健身房，多巴胺，Keras-RL，TensoRForce）和开发人员/用户报告的错误开发的DRL程序的761个文物（来自Stack Overflow帖子和GitHub问题）。我们通过几轮讨论标记和分类为已识别的故障。使用与19名开发人员/研究人员的在线调查验证了产生的分类法。为了允许在DRL程序中自动检测故障，我们已经确定了DRL程序的元模型，并开发了DRLINTER，一种利用静态分析和图形转换的基于模型的故障检测方法。 DRLINTINT的执行流程在于解析DRL程序，以生成符合我们元模型的模型，并在模型上应用检测规则以识别故障出现。使用15种合成DRLPRAGIONS评估DRLINTER的有效性，其中我们在分析的分析伪影中观察到的故障。结果表明，Drlinter可以在所有合成错误程序中成功检测故障。

在各个域中应用机器学习（ML）的快速升级导致更多关注ML组件的质量。然后，旨在提高ML组件质量并安全地将其集成到基于ML的系统中的技术和工具的增长。尽管这些工具中的大多数都使用Bugs的生命周期，但没有标准的错误来评估其性能，比较它们并讨论其优势和弱点。在这项研究中，我们首先研究了基于ML的系统中错误的可重复性和可验证性，并显示了每个错误的最重要因素。然后，我们探索在基于ML的软件系统中生成错误基准的挑战，并提供一个错误基准缺陷4ML，该缺陷4ML满足标准基准的所有标准，即相关性，可重复性，公平性，可验证性和可用性。该故障负载基准测试包含ML开发人员在GitHub和堆栈溢出上报告的113个错误，使用两个最受欢迎的ML框架：TensorFlow和Keras。缺陷4ML还解决了基于ML的软件系统软件可靠性工程的重要挑战，例如：1）框架的快速变化，通过为不同版本的框架提供各种错误，2）代码便携性，通过在不同的ML框架中提供相似的错误，3 ）错误可重复性，通过提供有关所需依赖关系和数据的完整信息，以及4）通过介绍指向错误的起源的链接来提供有关所需依赖性和数据的完整信息。基于ML的系统从业人员和研究人员可以评估其测试工具和技术的缺陷4ML。

深度学习（DL）框架现在被广泛使用，简化了复杂模型的创建以及它们对各种应用的集成甚至到非DL专家。但是，就像任何其他程序一样，他们容易发生错误。本文与命名静默错误的错误分类：它们会导致错误的行为，但它们不会导致系统崩溃或挂起，也不会向用户显示错误消息。这种错误在DL应用程序和框架中更危险，因为系统的“黑匣子”和系统的随机性质（最终用户无法理解模型如何做出决定）。本文介绍了Keras和Tensorflow Silent错误的第一个实证研究，以及它们对用户节目的影响。从Tensorflow Github存储库中提取与KERA相关的封闭问题。在我们收集的1,168个问题中，77个影响了影响用户程序的可重复静音错误。我们根据“用户程序的影响”和“发生问题”的“发生问题的组件”归类错误。然后，我们根据用户程序的影响，我们为每个问题派生威胁级别。为了评估所确定的类别和影响规模的相关性，我们使用103个DL开发人员进行了在线调查。参与者普遍同意DL库中静音错误的重大影响，并承认了我们的研究结果（即，沉默错误的类别和拟议的影响量表）。最后，利用我们的分析，我们提供了一套指导方针，以促进对DL框架中的这些错误的保护。

Deep learning (DL) systems are increasingly deployed in safety-and security-critical domains including self-driving cars and malware detection, where the correctness and predictability of a system's behavior for corner case inputs are of great importance. Existing DL testing depends heavily on manually labeled data and therefore often fails to expose erroneous behaviors for rare inputs.We design, implement, and evaluate DeepXplore, the first whitebox framework for systematically testing real-world DL systems. First, we introduce neuron coverage for systematically measuring the parts of a DL system exercised by test inputs. Next, we leverage multiple DL systems with similar functionality as cross-referencing oracles to avoid manual checking. Finally, we demonstrate how finding inputs for DL systems that both trigger many differential behaviors and achieve high neuron coverage can be represented as a joint optimization problem and solved efficiently using gradientbased search techniques.DeepXplore efficiently finds thousands of incorrect corner case behaviors (e.g., self-driving cars crashing into guard rails and malware masquerading as benign software) in stateof-the-art DL models with thousands of neurons trained on five popular datasets including ImageNet and Udacity selfdriving challenge data. For all tested DL models, on average, DeepXplore generated one test input demonstrating incorrect behavior within one second while running only on a commodity laptop. We further show that the test inputs generated by DeepXplore can also be used to retrain the corresponding DL model to improve the model's accuracy by up to 3%.

深度学习（DL）越来越多地应用于各种域。从传统系统到DL系统的编程范式转移在工程DL系统中造成独特的挑战。性能是DL系统中的挑战之一，性能错误（PBS）可能导致严重后果，例如资源消耗过多和财务损失。虽然DL系统中的错误已被广泛调查，但DL系统中的PBS几乎没有探讨。为了弥合这一差距，我们展示了第一个综合研究，以表征症状，根本原因和引入和引入PBS在Tensorflow和Cheras中的DL系统中的阶段，共收集来自225个Sackoverflow Post的238个PBS。我们的调查结果阐明了对开发高性能DL系统的影响，以及DL系统中的PBS检测和定位PBS。我们还在DL系统中建立了56个PBS的第一个基准，并评估了解决它们的现有方法的能力。此外，我们开发了一个静态检查器DeadPerf来检测三种类型的PBS，并在130个GitHub项目中识别488个新PBS.62和18分别被开发人员确认和修复。

越来越多地用于优化深度神经网络（DNN）模型，以满足性能，资源利用和其他要求，越来越多地使用深入学习（DL）编译器（例如TVM和Tensorrt）。这些编译器中的错误可以产生优化的模型，其语义与原始模型不同，并产生不正确的结果，影响了下流应用程序的正确性。但是，由于其复杂性，在这些编译器中找到错误是具有挑战性的。在这项工作中，我们提出了一种新的模糊测试方法，用于在深入学习编译器中查找错误。我们的核心方法使用（i）轻重量操作员规范来生成多样化但有效的DNN模型，使我们能够行使编译器的大部分转换逻辑； （ii）基于梯度的搜索过程，用于查找模型输入，该过程避免在模型执行过程中避免任何浮点异常值，从而减少了错过错误或错误警报的机会； （iii）差异测试以识别错误。我们在NNSmith中实施了这种方法，该方法在过去的七个月中为TVM，Tensorrt，OnxRuntime和Pytorch发现了65个新错误。在这52个已得到证实，项目维护者已确定了44个。

在本文中，我们解决了深入学习的软件漏洞自动修复问题。数据驱动漏洞修复的主要问题是已知确认漏洞的少数现有数据集仅由几千例组成。然而，培训深度学习模型通常需要数十万例的例子。在这项工作中，我们利用了错误修复任务和漏洞修复任务的直觉相关，并且可以传输来自错误修复的知识可以传输到修复漏洞。在机器学习界中，这种技术称为转移学习。在本文中，我们提出了一种修复名为Vreepair的安全漏洞的方法，该方法是基于转移学习。 vreepair首先在大型错误修复语料库上培训，然后在漏洞修复数据集上调整，这是一个较小的数量级。在我们的实验中，我们表明，仅在错误修复语料库上培训的模型可能已经修复了一些漏洞。然后，我们证明转移学习改善了修复易受攻击的C功能的能力。我们还表明，转移学习模型比具有去噪任务训练的模型更好，并在漏洞固定任务上进行微调。总而言之，本文表明，与在小型数据集上的学习相比，转移学习适用于修复C中的安全漏洞。

深度神经网络（DNNS）的快速和广泛采用呼吁测试其行为的方法，许多测试方法成功地揭示了DNN的不当行为。但是，相对尚不清楚启示录后可以采取什么措施来纠正这种行为，因为重新研究涉及昂贵的数据收集，并且不能保证解决基本问题。本文介绍了Arachne，这是一种针对DNNS的新型程序修复技术，该技术使用其输入输出对直接维修DNN作为规范。 Arachne局部性的神经权重可以生成有效的斑块并使用差分进化来优化局部权重并纠正不当行为。使用不同基准的实证研究表明，Arachne可以固定DNN的特定错误分类，而无需显着降低一般准确性。平均而言，Arachne产生的补丁概括至未见不良行为的61.3％，而通过最先进的DNN修复技术的斑块仅概括为10.2％，有时甚至是没有，而无数次数则超过了Arachne。我们还表明，Arachne可以通过对性别分类模型来解决公平问题。最后，我们成功地将Arachne应用于文本情感模型，以表明它的普遍性超出了卷积神经网络。

Alphazero，Leela Chess Zero和Stockfish Nnue革新了计算机国际象棋。本书对此类引擎的技术内部工作进行了完整的介绍。该书分为四个主要章节 - 不包括第1章（简介）和第6章（结论）：第2章引入神经网络，涵盖了所有用于构建深层网络的基本构建块，例如Alphazero使用的网络。内容包括感知器，后传播和梯度下降，分类，回归，多层感知器，矢量化技术，卷积网络，挤压网络，挤压和激发网络，完全连接的网络，批处理归一化和横向归一化和跨性线性单位，残留层，剩余层，过度效果和底漆。第3章介绍了用于国际象棋发动机以及Alphazero使用的经典搜索技术。内容包括minimax，alpha-beta搜索和蒙特卡洛树搜索。第4章展示了现代国际象棋发动机的设计。除了开创性的Alphago，Alphago Zero和Alphazero我们涵盖Leela Chess Zero，Fat Fritz，Fat Fritz 2以及有效更新的神经网络（NNUE）以及MAIA。第5章是关于实施微型α。 Shexapawn是国际象棋的简约版本，被用作为此的示例。 Minimax搜索可以解决六ap峰，并产生了监督学习的培训位置。然后，作为比较，实施了类似Alphazero的训练回路，其中通过自我游戏进行训练与强化学习结合在一起。最后，比较了类似α的培训和监督培训。

深度神经网络（DNN）已广泛用于许多领域，包括图像处理，医疗诊断和自主驾驶。然而，DNN可以表现出可能导致严重错误的错误行为，特别是在安全关键系统中使用时。灵感来自传统软件系统的测试技术，研究人员提出了神经元覆盖标准，作为比喻源代码覆盖率，以指导DNN模型的测试。尽管对DNN覆盖范围非常积极的研究，但最近的几项研究质疑此类标准在指导DNN测试中的有用性。此外，从实际的角度来看，这些标准是白盒，因为它们需要访问DNN模型的内部或培训数据，这在许多情况下不可行或方便。在本文中，我们将黑盒输入分集度量调查为白盒覆盖标准的替代品。为此，我们首先以受控方式选择和适应三个分集指标和学习它们在输入集中测量实际分集的能力。然后，我们使用两个数据集和三个DNN模型分析其与故障检测的统计关联。我们进一步比较了与最先进的白盒覆盖标准的多样性。我们的实验表明，依赖于测试输入集中嵌入的图像特征的多样性是比覆盖标准更可靠的指示，以有效地指导DNN的测试。事实上，我们发现我们选定的黑盒子分集度量的一个远远超出了现有的覆盖范围，以便在发生故障泄露能力和计算时间方面。结果还确认了疑似，最先进的覆盖度量指标不足以指导测试输入集的构建，以检测尽可能多的自然输入的故障。

在这项工作中，我们提出了一个新颖的观点，以解决贴片正确性评估的问题：正确的贴片实现了“答案”对越野车行为提出的问题的变化。具体而言，我们将贴片正确性评估变成一个问题回答问题。为了解决这个问题，我们的直觉是，自然语言处理可以提供必要的表示和模型来评估错误（问题）和补丁（答案）之间的语义相关性。具体而言，我们认为是输入错误报告以及生成的补丁的自然语言描述。我们的方法，Quatrain，首先考虑了最先进的消息生成模型，以生成与每个生成的补丁相关的相关输入。然后，我们利用神经网络体系结构来学习错误报告和提交消息之间的语义相关性。针对三个错误数据集生成的9135个补丁的大数据集（缺陷4J，Bugs.s.s.jar和Bears）的实验表明，Quatrain可以在预测补丁的正确性时达到0.886的AUC，并在过滤62％的62％错误的补丁时召回93％正确的补丁。我们的实验结果进一步证明了投入质量对预测性能的影响。我们进一步执行实验，以强调该模型确实了解了错误报告与预测的代码更改描述之间的关系。最后，我们与先前的工作进行比较，并讨论我们方法的好处。

海洋生态系统及其鱼类栖息地越来越重要，因为它们在提供有价值的食物来源和保护效果方面的重要作用。由于它们的偏僻且难以接近自然，因此通常使用水下摄像头对海洋环境和鱼类栖息地进行监测。这些相机产生了大量数字数据，这些数据无法通过当前的手动处理方法有效地分析，这些方法涉及人类观察者。 DL是一种尖端的AI技术，在分析视觉数据时表现出了前所未有的性能。尽管它应用于无数领域，但仍在探索其在水下鱼类栖息地监测中的使用。在本文中，我们提供了一个涵盖DL的关键概念的教程，该教程可帮助读者了解对DL的工作原理的高级理解。该教程还解释了一个逐步的程序，讲述了如何为诸如水下鱼类监测等挑战性应用开发DL算法。此外，我们还提供了针对鱼类栖息地监测的关键深度学习技术的全面调查，包括分类，计数，定位和细分。此外，我们对水下鱼类数据集进行了公开调查，并比较水下鱼类监测域中的各种DL技术。我们还讨论了鱼类栖息地加工深度学习的新兴领域的一些挑战和机遇。本文是为了作为希望掌握对DL的高级了解，通过遵循我们的分步教程而为其应用开发的海洋科学家的教程，并了解如何发展其研究，以促进他们的研究。努力。同时，它适用于希望调查基于DL的最先进方法的计算机科学家，以进行鱼类栖息地监测。

深度学习方法的最新突破引发了人们对基于学习的错误探测器的兴趣。与传统的静态分析工具相比，这些错误检测器是直接从数据中学到的，因此更容易创建。另一方面，它们很难训练，需要大量数据，而这些数据不容易获得。在本文中，我们提出了一种称为Meta Bug检测的新方法，该方法比现有基于学习的错误探测器具有三个至关重要的优势：Bug-Type通用（即，能够捕获在培训期间完全没有观察到的错误类型），可以自我解释（即能够在没有任何外部可解释方法的情况下解释其自身的预测）和样本有效（即，比标准错误检测器所需的培训数据要少得多）。我们的广泛评估表明，我们的元错误检测器（MBD）有效地捕获了各种错误，包括NULL指针解除，阵列索引外部漏洞，文件句柄泄漏甚至是并发程序中的数据竞赛；在此过程中，MBD还大大优于几个值得注意的基线，包括Facebook推断，一种著名的静态分析工具和FICS，即最新的异常检测方法。

大多数低编码平台的用户，例如Excel和PowerApps，都以特定于域的公式语言编写程序来执行非平凡的任务。用户通常可以编写他们想要的大部分程序，但是引入了一些小错误，这些错误会产生破损的公式。这些错误既可以是句法和语义，也很难让低代码用户识别和修复，即使只能通过一些编辑解决。我们正式化了产生最后一英里维修问题等编辑的问题。为了解决这个问题，我们开发了Lamirage，这是一种最后一英里的维修发动机发电机，结合了符号和神经技术，以低代码公式语言进行最后一英里维修。 Lamirage采用语法和一组特定领域的约束/规则，它们共同近似目标语言，并使用它们来生成可以用该语言修复公式的维修引擎。为了应对本地化错误和对候选维修进行排名的挑战，Lamirage利用神经技术，而它依赖于符号方法来生成候选维修。这种组合使Lamirage可以找到满足提供的语法和约束的维修，然后选择最自然的修复。我们将Lamirage与400个Real Excel和PowerFX公式的最新神经和符号方法进行了比较，其中Lamirage的表现优于所有基线。我们释放这些基准，以鼓励在低代码域中进行后续工作。

背景：机器学习（ML）可以实现有效的自动测试生成。目的：我们表征了新兴研究，检查测试实践，研究人员目标，应用的ML技术，评估和挑战。方法：我们对97个出版物的样本进行系统文献综述。结果：ML生成系统，GUI，单位，性能和组合测试的输入或改善现有生成方法的性能。 ML还用于生成测试判决，基于属性的和预期的输出序列。经常基于神经网络和强化学习的监督学习通常是基于Q学习的 - 很普遍，并且某些出版物还采用了无监督或半监督的学习。使用传统的测试指标和与ML相关的指标（例如准确性）评估（半/非 - ）监督方法，而经常使用与奖励功能相关的测试指标来评估强化学习。结论：工作到尽头表现出巨大的希望，但是在培训数据，再探术，可伸缩性，评估复杂性，所采用的ML算法以及如何应用 - 基准和可复制性方面存在公开挑战。我们的发现可以作为该领域研究人员的路线图和灵感。

今天深入学习广泛用于构建软件。深度学习的软件工程问题是找到一个适当的卷积神经网络（CNN）模型，为开发人员可能是一个挑战。最近的自动化工作，更精确的神经结构搜索（NAS），由自动KERAS等工具体现，旨在通过基本上将其视为起始点是默认CNN模型的搜索问题来解决这个问题，以及该CNN模型的突变允许探索CNN模型的空间以找到最适合问题的CNN模型。这些作品在生产高精度CNN模型方面取得了重大成功。然而，有两个问题。首先，NAS可以非常昂贵，通常需要几个小时才能完成。其次，NAS生产的CNN模型可能非常复杂，使得更容易理解它们和肋骨训练它们。我们提出了一种对NAS的新方法，而不是从默认的CNN模型开始，初始模型是从GitHub提取的模型的存储库中选择的。与默认模型相比，直觉是解决类似问题的开发人员可能已经开发出更好的起点。我们还在野外分析了CNN模型的常见层模式，以了解开发人员改善其模型的变化。我们的方法在NAS中使用通常发生的变化变化。我们已经扩展了自动KERAS来实现我们的方法。我们的评估使用8个顶级投票问题来自滑动的拍卖，包括图像分类和图像回归显示，给出了相同的搜索时间，而不会损失准确性，MANAS产生的模型，比Auto-Keras的型号更少为42.9％至99.6％。在GPU上基准测试，Manas的模型训练比汽车keras的型号快30.3％至641.6％。

Automated Program Repair (APR) is defined as the process of fixing a bug/defect in the source code, by an automated tool. APR tools have recently experienced promising results by leveraging state-of-the-art Neural Language Processing (NLP) techniques. APR tools such as TFix and CodeXGLUE combine text-to-text transformers with software-specific techniques are outperforming alternatives, these days. However, in most APR studies the train and test sets are chosen from the same set of projects. In reality, however, APR models are meant to be generalizable to new and different projects. Therefore, there is a potential threat that reported APR models with high effectiveness perform poorly when the characteristics of the new project or its bugs are different than the training set's(Domain Shift). In this study, we first define and measure the domain shift problem in automated program repair. Then, we then propose a domain adaptation framework that can adapt an APR model for a given target project. We conduct an empirical study with three domain adaptation methods FullFineTuning, TuningWithLightWeightAdapterLayers, and CurriculumLearning using two state-of-the-art domain adaptation tools (TFix and CodeXGLUE) and two APR models on 611 bugs from 19 projects. The results show that our proposed framework can improve the effectiveness of TFix by 13.05% and CodeXGLUE by 23.4%. Another contribution of this study is the proposal of a data synthesis method to address the lack of labelled data in APR. We leverage transformers to create a bug generator model. We use the generated synthetic data to domain adapt TFix and CodeXGLUE on the projects with no data (Zero-shot learning), which results in an average improvement of 5.76% and 24.42% for TFix and CodeXGLUE, respectively.

软件测试可能是一个漫长且昂贵的过程，尤其是如果无法测试的软件进行测试。重构技术可以通过改善影响可检验性的软件指标来增强可检验性。在构建回归模型学习如何将计算的源代码计算指标与其可检验性相关联的指标时，确定了指标。我们确定了15个软件指标，在解释我们的可检测性预测模型的同时，高度影响可检验性。我们使用42个Java类的实验表明，除了改善其他一些质量属性外，改善这15个指标的重构平均可以提高可测试性15.57％。我们的可测试性预测模型经过训练，可以映射源代码指标，以测试有效性和效率，作为可测试软件的两种重要成分。随着测试套件获得的覆盖范围的增加，测试有效性会提高。另一方面，随着测试套件的大小增加，测试效率会降低。本文提供了一个数学模型，以根据测试套件的大小和覆盖范围来计算类可检验性。我们使用此数学模型来计算可测试性作为我们可检测性预测模型的目标。数学模型要求执行正在测试的类以计算测试覆盖范围，而我们的回归模型在静态上测量了测试性。在测试性方面的测试结果预测应在测试之前，以避免不必要的成本。我们的可测试性预测模型已在23,886个Java类和262个软件指标上进行了培训和测试。学习的模型以R2为0.68，平均平方误差为0.03，可预测可验证性。

在过去的几年里，深度神经网络（DNN）取得了巨大的成功，并且在许多应用领域中不断应用。然而，在工业任务的实际部署期间，由于超容易的原因，发现DNN被发现是错误的，缺乏在实际使用过程中对现实世界腐败的鲁棒性。为了解决这些挑战，通过通过在神经级别的再试，微调或直接重量固定来通过更新权重（即，网络参数）来修复实际操作环境下的近期尝试。在这项工作中，作为第一次尝试，我们通过共同优化架构和重量，以更高（即，块）级别来修复DNN。我们首先履行实证研究，以调查整个网络级和层次修复的限制，这激励我们探索块水平的DNN修复的新修复方向。为此，我们首先提出对弱势群体定位的对抗侵犯块定位的频谱分析，其在前向和后向过程中考虑块中的神经元“状态和权重”梯度，这使得即使在几个示例下也能够修复更准确的候选块定位。然后，我们进一步提出了面向架构的基于搜索的修复，该修复将目标块放宽到更高的深度特征级别的连续修复搜索空间。通过联合优化该空间中的架构和权重，我们可以识别更好的块架构。我们实施我们提出的修复技术作为一个名为ArchRepair的工具，并进行广泛的实验以验证提出的方法。结果表明，我们的方法不仅可以修复，还可以提高准确性和稳健性，优于最先进的DNN修复技术。