作为神经网络（NNS）越来越多地引入安全关键域，在部署之前越来越需要在部署之前正式验证NNS。在这项工作中，我们专注于NN等效的正式验证问题，其旨在证明两个NNS（例如原件和压缩版本）显示等效行为。已经提出了两种方法：混合整数线性编程和间隔传播。虽然第一种方法缺乏可扩展性，但后者仅适用于结构性相似的NN，其重量变化很小。我们纸张的贡献有四个部分。首先，我们通过证明epsilon-andatience问题是突出的，我们表现出理论结果。其次，我们扩展了Tran等人。单个NN几何路径枚举算法以多个NN的设置。在第三步中，我们实现了扩展算法，用于等价验证，评估其实际使用所需的优化。最后，我们执行比较评估，显示我们的方法优于前一种最先进的现有技术，两者，用于等效验证以及反例查找。
translated by 谷歌翻译
Neural networks are increasingly applied in safety critical domains, their verification thus is gaining importance. A large class of recent algorithms for proving input-output relations of feed-forward neural networks are based on linear relaxations and symbolic interval propagation. However, due to variable dependencies, the approximations deteriorate with increasing depth of the network. In this paper we present DPNeurifyFV, a novel branch-and-bound solver for ReLU networks with low dimensional input-space that is based on symbolic interval propagation with fresh variables and input-splitting. A new heuristic for choosing the fresh variables allows to ameliorate the dependency problem, while our novel splitting heuristic, in combination with several other improvements, speeds up the branch-and-bound procedure. We evaluate our approach on the airborne collision avoidance networks ACAS Xu and demonstrate runtime improvements compared to state-of-the-art tools.
translated by 谷歌翻译
基于基于不完整的神经网络验证如冠的绑定传播非常有效，可以显着加速基于神经网络的分支和绑定（BAB）。然而，绑定的传播不能完全处理由昂贵的线性编程（LP）求解器的BAB常规引入的神经元分割限制，导致界限和损伤验证效率。在这项工作中，我们开发了一种基于$ \ beta $ -cra所做的，一种基于新的绑定传播方法，可以通过从原始或双空间构造的可优化参数$ \ beta $完全编码神经元分割。当在中间层中联合优化时，$ \ Beta $ -CROWN通常会产生比具有神经元分裂约束的典型LP验证更好的界限，同时像GPU上的皇冠一样高效且并行化。适用于完全稳健的验证基准，使用BAB的$ \ Beta $ -CROWN比基于LP的BAB方法快三个数量级，并且比所有现有方法更快，同时产生较低的超时率。通过早期终止BAB，我们的方法也可用于有效的不完整验证。与强大的不完整验证者相比，我们始终如一地在许多设置中获得更高的验证准确性，包括基于凸屏障破碎技术的验证技术。与最严重但非常昂贵的Semidefinite编程（SDP）的不完整验证者相比，我们获得了更高的验证精度，验证时间较少三个级。我们的算法授权$ \ alpha，\ \β$ -craft（Alpha-Beta-Crown）验证者，VNN-Comp 2021中的获胜工具。我们的代码可在http://papercode.cc/betacrown提供
translated by 谷歌翻译
We present an approach for the verification of feed-forward neural networks in which all nodes have a piece-wise linear activation function. Such networks are often used in deep learning and have been shown to be hard to verify for modern satisfiability modulo theory (SMT) and integer linear programming (ILP) solvers.The starting point of our approach is the addition of a global linear approximation of the overall network behavior to the verification problem that helps with SMT-like reasoning over the network behavior. We present a specialized verification algorithm that employs this approximation in a search process in which it infers additional node phases for the non-linear nodes in the network from partial node phase assignments, similar to unit propagation in classical SAT solving. We also show how to infer additional conflict clauses and safe node fixtures from the results of the analysis steps performed during the search. The resulting approach is evaluated on collision avoidance and handwritten digit recognition case studies.
translated by 谷歌翻译
在过去的十年中，神经网络（NNS）已被广泛用于许多应用程序，包括安全系统，例如自主系统。尽管采用了新兴的采用，但众所周知，NNS容易受到对抗攻击的影响。因此，提供确保此类系统正常工作的保证非常重要。为了解决这些问题，我们介绍了一个修复不安全NNS W.R.T.的框架。安全规范，即利用可满足的模型理论（SMT）求解器。我们的方法能够通过仅修改其重量值的一些重量值来搜索新的，安全的NN表示形式。此外，我们的技术试图最大程度地提高与原始网络在其决策边界方面的相似性。我们进行了广泛的实验，以证明我们提出的框架能够产生安全NNS W.R.T.的能力。对抗性的鲁棒性特性，只有轻度的准确性损失（就相似性而言）。此外，我们将我们的方法与天真的基线进行比较，以证明其有效性。总而言之，我们提供了一种算法以自动修复具有安全性的算法，并建议一些启发式方法以提高其计算性能。当前，通过遵循这种方法，我们能够产生由分段线性relu激活函数组成的小型（即具有多达数百个参数）的小型（即具有多达数百个参数）。然而，我们的框架是可以合成NNS W.R.T.的一般框架。一阶逻辑规范的任何可决定片段。
translated by 谷歌翻译
当与分支和界限结合使用时，结合的传播方法是正式验证深神经网络（例如正确性，鲁棒性和安全性）的最有效方法之一。但是，现有作品无法处理在传统求解器中广泛接受的切割平面限制的一般形式，这对于通过凸出凸松弛的加强验证者至关重要。在本文中，我们概括了结合的传播程序，以允许添加任意切割平面的约束，包括涉及放宽整数变量的限制，这些变量未出现在现有的结合传播公式中。我们的广义结合传播方法GCP-crown为应用一般切割平面方法}开辟了一个机会进行神经网络验证，同时受益于结合传播方法的效率和GPU加速。作为案例研究，我们研究了由现成的混合整数编程（MIP）求解器生成的切割平面的使用。我们发现，MIP求解器可以生成高质量的切割平面，以使用我们的新配方来增强基于界限的验证者。由于以分支为重点的绑定传播程序和切削平面的MIP求解器可以使用不同类型的硬件（GPU和CPU）并行运行，因此它们的组合可以迅速探索大量具有强切割平面的分支，从而导致强大的分支验证性能。实验表明，与VNN-Comp 2021中最佳工具相比，我们的方法是第一个可以完全求解椭圆形的基准并验证椭圆21基准的两倍的验证者，并且在oval21基准测试中的最佳工具也明显超过了最先进的验证器。广泛的基准。 GCP-Crown是$ \ alpha $，$ \ beta $ -Crown验证者，VNN-COMP 2022获奖者的一部分。代码可在http://papercode.cc/gcp-crown上获得
translated by 谷歌翻译
神经网络是基于学习的软件系统的重要组成部分。但是，它们的高计算，内存和功率要求使在低资源域中使用它们具有挑战性。因此，在部署前通常对神经网络进行量化。现有的量化技术倾向于降低网络准确性。我们提出了反示例引导的神经网络量化改进（CEG4N）。该技术结合了基于搜索的量化和等效性验证：前者最小化了计算要求，而后者保证网络的输出在量化后不会改变。我们根据包括大型和小型网络在内的各种基准测试对CEG4N〜进行评估。我们的技术成功地量化了我们评估中的网络，同时生产的模型比最先进的技术高达72％。
translated by 谷歌翻译
随着深度学习在关键任务系统中的越来越多的应用，越来越需要对神经网络的行为进行正式保证。确实，最近提出了许多用于验证神经网络的方法，但是这些方法通常以有限的可伸缩性或不足的精度而挣扎。许多最先进的验证方案中的关键组成部分是在网络中可以为特定输入域获得的神经元获得的值计算下限和上限 - 并且这些界限更紧密，验证的可能性越大，验证的可能性就越大。成功。计算这些边界的许多常见算法是符号结合传播方法的变化。其中，利用一种称为后替代的过程的方法特别成功。在本文中，我们提出了一种使背部替代产生更严格的界限的方法。为了实现这一目标，我们制定并最大程度地减少背部固定过程中发生的不精确错误。我们的技术是一般的，从某种意义上说，它可以将其集成到许多现有的符号结合的传播技术中，并且只有较小的修改。我们将方法作为概念验证工具实施，并且与执行背部替代的最先进的验证者相比，取得了有利的结果。
translated by 谷歌翻译
最近，图形神经网络（GNN）已应用于群集上的调整工作，比手工制作的启发式方法更好地表现了。尽管表现令人印象深刻，但仍然担心这些基于GNN的工作调度程序是否满足用户对其他重要属性的期望，例如防止策略，共享激励和稳定性。在这项工作中，我们考虑对基于GNN的工作调度程序的正式验证。我们解决了几个特定领域的挑战，例如网络，这些挑战比验证图像和NLP分类器时遇到的更深层和规格更丰富。我们开发了拉斯维加斯，这是基于精心设计的算法，将这些调度程序的单步和多步属性验证的第一个通用框架，它们结合了抽象，改进，求解器和证明传输。我们的实验结果表明，与以前的方法相比，维加斯在验证基于GNN的调度程序的重要特性时会达到显着加速。
translated by 谷歌翻译
由于它们在计算机视觉，图像处理和其他人领域的优异性能，卷积神经网络具有极大的普及。不幸的是，现在众所周知，卷积网络通常产生错误的结果 - 例如，这些网络的输入的小扰动可能导致严重的分类错误。近年来提出了许多验证方法，以证明没有此类错误，但这些通常用于完全连接的网络，并且在应用于卷积网络时遭受加剧的可扩展性问题。为了解决这一差距，我们在这里介绍了CNN-ABS框架，特别是旨在验证卷积网络。 CNN-ABS的核心是一种抽象细化技术，它通过拆除卷积连接，以便在这种方式创造原始问题的过度逼近来简化验证问题;如果产生的问题变得过于抽象，它会恢复这些连接。 CNN-ABS旨在使用现有的验证引擎作为后端，我们的评估表明它可以显着提高最先进的DNN验证引擎的性能，平均降低运行时间15.7％。
translated by 谷歌翻译
神经网络已广泛应用于垃圾邮件和网络钓鱼检测，入侵预防和恶意软件检测等安全应用程序。但是，这种黑盒方法通常在应用中具有不确定性和不良的解释性。此外，神经网络本身通常容易受到对抗攻击的影响。由于这些原因，人们对可信赖和严格的方法有很高的需求来验证神经网络模型的鲁棒性。对抗性的鲁棒性在处理恶意操纵输入时涉及神经网络的可靠性，是安全和机器学习中最热门的主题之一。在这项工作中，我们在神经网络的对抗性鲁棒性验证中调查了现有文献，并在机器学习，安全和软件工程领域收集了39项多元化研究工作。我们系统地分析了它们的方法，包括如何制定鲁棒性，使用哪种验证技术以及每种技术的优势和局限性。我们从正式验证的角度提供分类学，以全面理解该主题。我们根据财产规范，减少问题和推理策略对现有技术进行分类。我们还展示了使用样本模型在现有研究中应用的代表性技术。最后，我们讨论了未来研究的开放问题。
translated by 谷歌翻译
背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。
translated by 谷歌翻译
This report summarizes the 3rd International Verification of Neural Networks Competition (VNN-COMP 2022), held as a part of the 5th Workshop on Formal Methods for ML-Enabled Autonomous Systems (FoMLAS), which was collocated with the 34th International Conference on Computer-Aided Verification (CAV). VNN-COMP is held annually to facilitate the fair and objective comparison of state-of-the-art neural network verification tools, encourage the standardization of tool interfaces, and bring together the neural network verification community. To this end, standardized formats for networks (ONNX) and specification (VNN-LIB) were defined, tools were evaluated on equal-cost hardware (using an automatic evaluation pipeline based on AWS instances), and tool parameters were chosen by the participants before the final test sets were made public. In the 2022 iteration, 11 teams participated on a diverse set of 12 scored benchmarks. This report summarizes the rules, benchmarks, participating tools, results, and lessons learned from this iteration of this competition.
translated by 谷歌翻译
本文提出了一种验证网络物理安全 - 关键系统中发现的非线性人工神经网络（ANN）行为的方法。我们将Sigmoid函数的专用间隔约束传播器实施到SMT求解器ISAT中，并将这种方法与组成方法进行比较，该方法通过ISAT中可用的基本算术特征和近似方法来编码Sigmoid函数。我们的实验结果表明，专用和组成方法明显优于近似方法。在我们所有的基准中，专门的方法与组成方法相比表现出相等或更好的性能。
translated by 谷歌翻译
作为一个新的编程范式，深度神经网络（DNN）在实践中越来越多地部署，但是缺乏鲁棒性阻碍了他们在安全至关重要的领域中的应用。尽管有用于正式保证的DNN验证DNN的技术，但它们的可伸缩性和准确性有限。在本文中，我们提出了一种新颖的抽象方法，用于可扩展和精确的DNN验证。具体而言，我们提出了一种新颖的抽象来通过过度透明度分解DNN的大小。如果未报告任何虚假反例，验证抽象DNN的结果始终是结论性的。为了消除抽象提出的虚假反例，我们提出了一种新颖的反例引导的改进，该精炼精炼了抽象的DNN，以排除给定的虚假反例，同时仍然过分欣赏原始示例。我们的方法是正交的，并且可以与许多现有的验证技术集成。为了进行演示，我们使用两个有前途和确切的工具Marabou和Planet作为基础验证引擎实施我们的方法，并对广泛使用的基准ACAS XU，MNIST和CIFAR-10进行评估。结果表明，我们的方法可以通过解决更多问题并分别减少86.3％和78.0％的验证时间来提高他们的绩效。与最相关的抽象方法相比，我们的方法是11.6-26.6倍。
translated by 谷歌翻译
深度神经网络（DNN）越来越多地用于安全至关重要的系统中，迫切需要保证其正确性。因此，验证社区设计了多种技术和工具来验证DNN。当DNN验证者发现触发错误的输入时，很容易确认；但是，当他们报告不存在错误时，就无法确保验证工具本身没有缺陷。由于在DNN验证工具中已经观察到了多个错误，因此这将DNN验证的适用性提出了质疑。在这项工作中，我们提出了一种具有证明生产能力的基于简单的DNN验证符的新型机制：产生易于检查的不可满足性的见证人，这证明了没有错误的情况。我们的证明生产是基于众所周知的Farkas引理的有效适应，并结合了处理分段线性函数和数值精确误差的机制。作为概念的证明，我们在Marabou DNN验证者之上实施了我们的技术。我们对避免空中碰撞的安全至关重要系统的评估表明，在几乎所有情况下，证明生产都成功了，只需要最小的开销。
translated by 谷歌翻译
随着神经网络作为任务至关重要系统中组成部分的越来越多的整合，越来越需要确保它们满足各种安全性和livesice要求。近年来，已经提出了许多声音和完整的验证方法，但这些方法通常受到严重的可伸缩性限制。最近的工作提出了通过抽象 - 再填充功能增强这种验证技术的增强，这些功能已被证明可以提高可伸缩性：而不是验证大型且复杂的网络，而是验证者构造，然后验证一个较小的网络，其正确性意味着原始的正确性网络。这种方案的缺点是，如果验证较小的网络失败，则验证者需要执行改进步骤，以增加验证网络的大小，然后开始从SCRATCH验证新网络 - 有效地``'浪费''它的早期工作在验证较小的网络方面。在本文中，我们通过使用\ emph {残留推理}来提高基于抽象的神经网络验证的增强：在验证抽象网络时使用信息的过程，以加快对精制网络的验证。本质上，该方法允许验证者存储有关确保正确行为的搜索空间部分的信息，并允许其专注于可能发现错误的区域。我们实施了我们的方法，以扩展到Marabou验证者，并获得了有希望的结果。
translated by 谷歌翻译
我们研究了通过具有整流线性单元（Relu）激活的前馈神经网络建模目标函数的优化问题。最近的文献已经探讨了单一神经网络的使用来模拟目标函数内的不确定或复杂元素。然而，众所周知，神经网络的集合产生更稳定的预测，并且具有比具有单个神经网络的模型更好的普遍性，这表明在决策管道中应用神经网络的集合。我们研究如何将神经网络集合纳入优化模型的客观函数，并探索随后的问题的计算方法。我们基于现有流行的大量M $配方提供了一种混合整数线性程序，以优化单个神经网络。我们为我们的模型开发了两个加速技术，首先是一种预处理程序，用于拧紧神经网络中的关键神经元的界限，而第二个是基于弯曲分解的一组有效的不等式。我们解决方案方法的实验评估在一个全球优化问题和两个现实世界数据集中进行;结果表明，我们的优化算法在计算时间和最优性间隙方面优于最先进的方法的适应。
translated by 谷歌翻译
2021-02-18
组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。
translated by 谷歌翻译
Existing neural network verifiers compute a proof that each input is handled correctly under a given perturbation by propagating a symbolic abstraction of reachable values at each layer. This process is repeated from scratch independently for each input (e.g., image) and perturbation (e.g., rotation), leading to an expensive overall proof effort when handling an entire dataset. In this work, we introduce a new method for reducing this verification cost without losing precision based on a key insight that abstractions obtained at intermediate layers for different inputs and perturbations can overlap or contain each other. Leveraging our insight, we introduce the general concept of shared certificates, enabling proof effort reuse across multiple inputs to reduce overall verification costs. We perform an extensive experimental evaluation to demonstrate the effectiveness of shared certificates in reducing the verification cost on a range of datasets and attack specifications on image classifiers including the popular patch and geometric perturbations. We release our implementation at https://github.com/eth-sri/proof-sharing.
translated by 谷歌翻译