近年来,ML社区已经看到对普遍稳健的学习和隐式层次的兴趣飙升,但这两个领域之间的联系很少被探索。在这项工作中,我们将来自这些领域的创新结合起来解决N-K安全受限的最佳功率流量(SCOPF)的问题。 N-K SCOPF是用于电网操作的核心问题,并旨在以稳健的方式调度发电,以潜在的K同步设备中断。灵感来自对逆势稳健的培训中的方法,我们将n-k scopf框架作为最低限度优化问题 - 将发电设置视为可调节参数和设备中断作为(对抗性)攻击 - 并通过基于梯度的技术来解决这个问题。此Minimax问题的丢失函数涉及解析表示网格物理和操作决策的隐式方程,我们通过隐式功能定理来区分。我们展示了我们在解决N-3 SCOPF方面的框架的功效,传统上被认为是对解决问题规模的昂贵昂贵的昂贵,因为问题规模在组合上取决于潜在的中断的数量。
translated by 谷歌翻译
本文介绍了OptNet,该网络架构集成了优化问题(这里,专门以二次程序的形式),作为较大端到端可训练的深网络中的单个层。这些层在隐藏状态之间编码约束和复杂依赖性,传统的卷积和完全连接的层通常无法捕获。我们探索这种架构的基础:我们展示了如何使用敏感性分析,彼得优化和隐式差分的技术如何通过这些层和相对于层参数精确地区分;我们为这些层开发了一种高效的解算器,用于利用基于GPU的基于GPU的批处理在原始 - 双内部点法中解决,并且在求解的顶部几乎没有额外的成本提供了反向衰减梯度;我们突出了这些方法在几个问题中的应用。在一个值得注意的示例中,该方法学习仅在输入和输出游戏中播放Mini-sudoku(4x4),没有关于游戏规则的a-priori信息;这突出了OptNet比其他神经架构更好地学习硬限制的能力。
translated by 谷歌翻译
神经网络架构的最新进展允许凸优化问题的无缝集成作为端到端可训练神经网络中的可差异层。然而,将中型和大规模二次程序集成到深度神经网络架构中是具有挑战性的,因为通过内部点方法究竟求解了二次程序,在变量的数量中具有最差的立方复杂性。在本文中,我们介绍了一种基于乘法器(ADMM)的交替方向方法的替代网络层体系结构,其能够缩放到中等大量变量的问题。通过修改的固定点迭代的残差映射的隐式分化来执行向后区分。模拟结果证明了ADMM层的计算优势,用于中等缩放问题的速度大约比OptNet二次编程层更快的峰值。此外,与基于展开的展差或kKt最优性条件的隐含分化的标准方法相比,我们的新型反向传递例程是高效的,从内存和计算角度来看。我们与综合预测和优化范例中的组合优化的实例结束。
translated by 谷歌翻译
深度学习中的许多任务涉及优化\ emph {输入}到网络以最小化或最大化一些目标;示例包括在生成模型中的潜在空间上的优化,以匹配目标图像,或者对其进行对接扰动的前进扰动以恶化分类器性能。然而,执行这种优化是传统上的昂贵,因为它涉及完全向前和向后通过网络,每个梯度步骤。在单独的工作中,最近的研究线程已经开发了深度均衡(DEQ)模型,一类放弃传统网络深度的模型,而是通过找到单个非线性层的固定点来计算网络的输出。在本文中,我们表明这两个设置之间存在自然协同作用。虽然,对于这些优化问题的天真使用DEQs是昂贵的(由于计算每个渐变步骤所需的时间),我们可以利用基于梯度的优化可以\ emph {本身}作为一个固定点来利用这一事实迭代基本上提高整体速度。也就是说,我们\ EMPH {同时解决了DEQ固定点\ EMPH {和}在网络输入上优化,所有内容都在单个“增强”的DEQ模型中,共同编码原始网络和优化过程。实际上,程序足够快,使我们允许我们有效地\以传统地依赖于“内在”优化循环的任务的{Train} DEQ模型。我们在各种任务中展示了这种策略,例如培训生成模型,同时优化潜在代码,培训模型,以实现逆问题,如去噪,普及训练和基于梯度的元学习。
translated by 谷歌翻译
由于负载和可再生能源的不确定性日益增长,对现代电网的安全和最佳运行产生了突出的挑战。随机最佳功率流(SOPF)制剂提供了一种通过计算在不确定性下保持可行性的派遣决策和控制政策来处理这些不确定性的机制。大多数SOPF配方考虑了简单的控制策略,例如数学上简单的仿射策略,类似于当前实践中使用的许多策略。通过机器学习(ML)算法的功效和一般控制政策的潜在好处的效果,我们提出了一个深度神经网络(DNN)基础的政策,该政策是实时预测发电机调度决策的不确定。使用解决SOPF的随机原始双重更新来学习DNN的权重,而无需先前一代训练标签,并且可以明确地解释SOPF中的可行性约束。 DNN政策对更简单的政策和它们在执行安全限制和产生附近的近最佳解决方案中的功效的优点在于机会在许多测试用例上受到限制的制定的情况下。
translated by 谷歌翻译
本文介绍了一个框架,以捕获先前棘手的优化约束,并通过使用神经网络将其转换为混合构成线性程序。我们编码以可拖动和顽固的约束为特征的优化问题的可行空间,例如微分方程,转到神经网络。利用神经网络的精确混合重新印象,我们解决了混合企业线性程序,该程序将解决方案准确地近似于最初棘手的非线性优化问题。我们将方法应用于交流最佳功率流问题(AC-OPF),其中直接包含动态安全性约束可使AC-OPF棘手。我们提出的方法具有比传统方法更明显的可扩展性。我们展示了考虑N-1安全性和小信号稳定性的电力系统操作方法,展示了如何有效地获得成本优势的解决方案,同时满足静态和动态安全性约束。
translated by 谷歌翻译
人工神经网络(ANN)训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降(SGD)算法及其变体在某些情况下是有效的,但它们可以陷入杂散的局部最小值,并且对初始化和普通公共表敏感。最近的工作表明,随着Relu激活的ANN的培训可以重新重整为凸面计划,使希望能够全局优化可解释的ANN。然而,天真地解决凸训练制剂具有指数复杂性,甚至近似启发式需要立方时间。在这项工作中,我们描述了这种近似的质量,并开发了两个有效的算法,这些算法通过全球收敛保证培训。第一算法基于乘法器(ADMM)的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛,并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时,每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂,并收敛到大约全球最佳的分类器。当考虑对抗性培训时,ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练,开发凸起的凸起制剂,培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN,但可以扩展到更复杂的体系结构。
translated by 谷歌翻译
要将计算负担从实时到延迟关键电源系统应用程序的脱机,最近的作品招待使用深神经网络(DNN)的想法来预测一次呈现的AC最佳功率流(AC-OPF)的解决方案负载需求。随着网络拓扑可能改变的,以样本有效的方式训练该DNN成为必需品。为提高数据效率,这项工作利用了OPF数据不是简单的训练标签,而是构成参数优化问题的解决方案。因此,我们倡导培训一个灵敏度通知的DNN(SI-DNN),不仅可以匹配OPF优化器,而且还匹配它们的部分导数相对于OPF参数(负载)。结果表明,所需的雅可比矩阵确实存在于温和条件下,并且可以从相关的原始/双解决方案中容易地计算。所提出的Si-DNN与广泛的OPF溶剂兼容,包括非凸出的二次约束的二次程序(QCQP),其半纤维程序(SDP)放松和MatPower;虽然Si-DNN可以在其他学习到OPF方案中无缝集成。三个基准电源系统的数值测试证实了SI-DNN在传统训练的DNN上预测的OPF解决方案的高级泛化和约束满意度,尤其是在低数据设置中。
translated by 谷歌翻译
We propose a method to learn deep ReLU-based classifiers that are provably robust against normbounded adversarial perturbations on the training data. For previously unseen examples, the approach is guaranteed to detect all adversarial examples, though it may flag some non-adversarial examples as well. The basic idea is to consider a convex outer approximation of the set of activations reachable through a norm-bounded perturbation, and we develop a robust optimization procedure that minimizes the worst case loss over this outer region (via a linear program). Crucially, we show that the dual problem to this linear program can be represented itself as a deep network similar to the backpropagation network, leading to very efficient optimization approaches that produce guaranteed bounds on the robust loss. The end result is that by executing a few more forward and backward passes through a slightly modified version of the original network (though possibly with much larger batch sizes), we can learn a classifier that is provably robust to any norm-bounded adversarial attack. We illustrate the approach on a number of tasks to train classifiers with robust adversarial guarantees (e.g. for MNIST, we produce a convolutional classifier that provably has less than 5.8% test error for any adversarial attack with bounded ∞ norm less than = 0.1), and code for all experiments is available at http://github.com/ locuslab/convex_adversarial.
translated by 谷歌翻译
由于固有的DNN预测误差,确保解决方案可行性是开发用于解决受约束优化问题的深度神经网络(DNN)方案的关键挑战。在本文中,我们提出了一种“预防性学习”的框架,以系统地保证DNN解决方案可行性的凸起约束和一般客观函数的问题。我们首先应用预测和重建设计,不仅保证平等约束,还可以利用它们来减少DNN预测的变量的数量。然后,作为关键方法贡献,我们系统地校准了DNN训练中使用的不等式约束,从而预测预测误差并确保所得到的解决方案仍然可行。我们表征校准量大和DNN尺寸,足以确保通用可行性。我们提出了一种新的敌对样本意识到培训算法,以改善DNN的最优性能而不牺牲可行性保证。总的来说,该框架提供了两个DNN。表征足够的DNN大小的第一个可以保证通用可行性,而来自所提出的培训算法的另一个进一步提高了最优性并同时保持DNN的通用可行性。我们应用预防性学习框架来开发Deepopf +,以解决网格运行中的基本DC最佳功率流量问题。它在确保在轻负载和重载制度中的可行性和获得一致的理想加速性能时,它可以改善现有的基于DNN的方案。仿真结果对IEEE案例-30 / 118/300测试用例显示DeepoPF +与最优性损失的最优损失和最高幅度计算加速度为100 \%$ 0.5%的可行解决方案,相比之下艺术迭代求解器。
translated by 谷歌翻译
While neural networks have achieved high accuracy on standard image classification benchmarks, their accuracy drops to nearly zero in the presence of small adversarial perturbations to test inputs. Defenses based on regularization and adversarial training have been proposed, but often followed by new, stronger attacks that defeat these defenses. Can we somehow end this arms race? In this work, we study this problem for neural networks with one hidden layer. We first propose a method based on a semidefinite relaxation that outputs a certificate that for a given network and test input, no attack can force the error to exceed a certain value. Second, as this certificate is differentiable, we jointly optimize it with the network parameters, providing an adaptive regularizer that encourages robustness against all attacks. On MNIST, our approach produces a network and a certificate that no attack that perturbs each pixel by at most = 0.1 can cause more than 35% test error.
translated by 谷歌翻译
可再生能源世代的高百分比渗透对电力系统引起了重大不确定性。它要求网格操作员更频繁地解决替代电流最佳功率流(AC-OPF)问题,以便在传输和分配网格中进行经济和可靠的操作。在本文中,我们开发了一种Deep神经网络(DNN)方法,称为DEEPOPF,用于在传统求解器使用的时间中解决AC-OPF问题。应用机器学习技术解决AC-OPF问题的关键困难在于确保获得的解决方案尊重平等和不平等的物理和操作约束。在[1],[2]中概括了2阶段的过程,DEEPOPF首先训练DNN模型,以预测一组独立的操作变量,然后通过求解功率流方程直接计算剩余的可靠性变量。这种方法不仅保留了平衡平等的限制,而且还减少了DNN预测的变量数量,从而减少了所需的神经元和训练数据的数量。然后,DeePOPF在培训过程中采用零级梯度估计技术采用惩罚方法,以保留其余的不平等约束。作为另一个贡献,我们根据所需的近似精度来驱动调整DNN的大小的条件,该准确性测量了DNN的概括能力。它为使用DNN解决AC-OPF问题提供了理论上的理由。 IEEE 30/118/300-BU和合成2000总线测试用例的仿真结果表明,与最先进的求解器相比,DEEPOPF最多将计算时间速度高达两个数量级,费用为费用$ <$ <$ 0.1%的成本差异。
translated by 谷歌翻译
在不确定性下,协调逆变器是用于集成可再生能源在配电网格中的缺点。除非频繁地呼吸折叠速度,否则控制逆变器给定近似网格条件或其代理成为一个关键规范。虽然深神经网络(DNN)可以学习最佳的逆变时间表,但保证可行性在很大程度上是难以捉摸的。而不是培训DNN以模仿已经计算的最佳功率流量(OPF)解决方案,而是将基于DNN的变频器策略集成到OPF中。所提出的DNN通过两个OPF替代方案培训,该替代方案限制了平均电压偏差,并且作为机会约束的凸起限制。训练有素的DNN可以由当前网格条件的部分,嘈杂或代理描述符驱动。当OPF必须为不可观察的馈线解决OPF而言,这很重要。假设网络模型是已知的,通过反向传播训练,并且在区分AC电流方程时训练。否则,提出了一种梯度的变体。后者当逆变器由具有仅访问电源流求解器或馈线的数字双胞胎的访问的聚合器控制时相关。数值测试将基于DNN的变频器控制方案与最佳逆变器设定值的优化和可行性进行比较。
translated by 谷歌翻译
找到模型的最佳超参数可以作为双重优化问题,通常使用零级技术解决。在这项工作中,当内部优化问题是凸但不平滑时,我们研究一阶方法。我们表明,近端梯度下降和近端坐标下降序列序列的前向模式分化,雅各比人会收敛到精确的雅各布式。使用隐式差异化,我们表明可以利用内部问题的非平滑度来加快计算。最后,当内部优化问题大约解决时,我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处,尤其是在需要多个超参数时。
translated by 谷歌翻译
我们考虑非线性优化问题,涉及神经网络代表代理模型。我们首先展示了如何直接将神经网络评估嵌入优化模型中,突出难以防止收敛的方法,然后表征这些模型的平稳性。然后,我们在具有Relu激活的前馈神经网络的特定情况下存在两种替代配方,其具有recu激活:作为混合整数优化问题,作为具有互补限制的数学程序。对于后一种制剂,我们证明了在该问题的点处的有同性,对应于嵌入式制剂的实质性。这些配方中的每一个都可以用最先进的优化方法来解决,并且我们展示了如何为这些方法获得良好的初始可行解决方案。我们将三种实际应用的配方进行比较,在燃烧发动机的设计和控制中产生的三种实际应用,在对分类器网络的对抗攻击中产生的产生,以及在油井网中的最佳流动确定。
translated by 谷歌翻译
到2035年,美国电力部门的转型正在进行中,以实现100%无碳污染的电力,以实现这一目标,同时保持安全可靠的电网,需要新的操作范式,以快速准确的决策来制定新的操作范式在动态和不确定的环境中。我们为动态网格重新配置(PHML-DYR)的决策提出了一个新颖的物理知识的机器学习框架,这是电源系统中的关键任务。动态重新配置(DYR)是一个动态设置开关状态的过程,从而导致最佳网格拓扑,从而最大程度地减少线路损耗。为了解决由于决策变量的混合性质而导致的NP硬度的潜在计算复杂性,我们建议使用物理信息信息的ML(PHML),该物理信息(PHML)将操作约束以及拓扑结构和连接性约束集成到神经网络框架中。我们的PHML方法学会同时优化网格拓扑和发电机调度,以满足负载,提高效率并保持在安全的操作范围内。我们证明了PHML-DYR在规范网格上的有效性,显示电力损耗的减少23%,并改善了电压曲线。我们还显示了使用PHML-DYR的数量级以及训练时间的约束违规行为的减少。
translated by 谷歌翻译
This paper investigates recently proposed approaches for defending against adversarial examples and evaluating adversarial robustness. We motivate adversarial risk as an objective for achieving models robust to worst-case inputs. We then frame commonly used attacks and evaluation metrics as defining a tractable surrogate objective to the true adversarial risk. This suggests that models may optimize this surrogate rather than the true adversarial risk. We formalize this notion as obscurity to an adversary, and develop tools and heuristics for identifying obscured models and designing transparent models. We demonstrate that this is a significant problem in practice by repurposing gradient-free optimization techniques into adversarial attacks, which we use to decrease the accuracy of several recently proposed defenses to near zero. Our hope is that our formulations and results will help researchers to develop more powerful defenses.
translated by 谷歌翻译
Recent years have witnessed a growth in mathematics for deep learning--which seeks a deeper understanding of the concepts of deep learning with mathematics, and explores how to make it more robust--and deep learning for mathematics, where deep learning algorithms are used to solve problems in mathematics. The latter has popularised the field of scientific machine learning where deep learning is applied to problems in scientific computing. Specifically, more and more neural network architectures have been developed to solve specific classes of partial differential equations (PDEs). Such methods exploit properties that are inherent to PDEs and thus solve the PDEs better than classical feed-forward neural networks, recurrent neural networks, and convolutional neural networks. This has had a great impact in the area of mathematical modeling where parametric PDEs are widely used to model most natural and physical processes arising in science and engineering, In this work, we review such methods and extend them for parametric studies as well as for solving the related inverse problems. We equally proceed to show their relevance in some industrial applications.
translated by 谷歌翻译
A core capability of intelligent systems is the ability to quickly learn new tasks by drawing on prior experience. Gradient (or optimization) based meta-learning has recently emerged as an effective approach for few-shot learning. In this formulation, meta-parameters are learned in the outer loop, while task-specific models are learned in the inner-loop, by using only a small amount of data from the current task. A key challenge in scaling these approaches is the need to differentiate through the inner loop learning process, which can impose considerable computational and memory burdens. By drawing upon implicit differentiation, we develop the implicit MAML algorithm, which depends only on the solution to the inner level optimization and not the path taken by the inner loop optimizer. This effectively decouples the meta-gradient computation from the choice of inner loop optimizer. As a result, our approach is agnostic to the choice of inner loop optimizer and can gracefully handle many gradient steps without vanishing gradients or memory constraints. Theoretically, we prove that implicit MAML can compute accurate meta-gradients with a memory footprint no more than that which is required to compute a single inner loop gradient and at no overall increase in the total computational cost. Experimentally, we show that these benefits of implicit MAML translate into empirical gains on few-shot image recognition benchmarks.
translated by 谷歌翻译
我们提出了Theseus,这是一个有效的应用程序不合时宜的开源库,用于在Pytorch上构建的可区分非线性最小二乘(DNL)优化,为机器人技术和视觉中的端到端结构化学习提供了一个共同的框架。现有的DNLS实施是特定应用程序的,并且并不总是纳入许多对效率重要的成分。 Theseus是应用程序不可静止的,正如我们使用的几个示例应用程序所用的,这些应用程序是使用相同的基础可区分组件构建的,例如二阶优化器,标准成本功能和Lie组。为了提高效率,TheseUS纳入了对稀疏求解器,自动矢量化,批处理,GPU加速度和梯度计算的支持,并具有隐式分化和直接损耗最小化。我们在一组应用程序中进行了广泛的性能评估,显示出这些功能时显示出明显的效率提高和更好的可扩展性。项目页面:https://sites.google.com/view/theseus-ai
translated by 谷歌翻译