为了培训从输入/输出训练数据集基于相当任意凸面和两次可分散的损耗函数和正则化术语训练非线性动力系统的反复性神经网络模型,我们提出了使用顺序最小二乘来确定最佳网络参数和隐藏状态。另外,为了处理L1,L0和Group-Lasso常规程序的非平滑正则化术语,以及施加可能的非凸性约束,例如整数和混合整数约束,我们将序贯最小二乘与交替方向组合乘法器(ADMM)的方法。结果算法的性能,即我们呼叫指甲(非透露委员会迭代和最小二乘),在非线性系统识别基准中测试。
translated by 谷歌翻译
我们调查使用扩展卡尔曼滤波来训练用于数据驱动非线性,可能自适应的基于模型的控制设计的经常性神经网络。我们表明该方法可以应用于网络参数的相当任意的凸损函数和正则化术语。我们表明,学习方法在非线性系统识别基准测试中占据了在非线性系统识别基准中的随机梯度下降,以及培训具有二进制输出的线性系统。我们还探讨了数据驱动非线性模型预测控制算法及其与无偏移跟踪的干扰模型的关系。
translated by 谷歌翻译
在本文中,我们提出了SC-REG(自助正规化)来学习过共同的前馈神经网络来学习\ EMPH {牛顿递减}框架的二阶信息进行凸起问题。我们提出了具有自助正规化(得分-GGN)算法的广义高斯 - 牛顿,其每次接收到新输入批处理时都会更新网络参数。所提出的算法利用Hessian矩阵中的二阶信息的结构,从而减少训练计算开销。虽然我们的目前的分析仅考虑凸面的情况,但数值实验表明了我们在凸和非凸面设置下的方法和快速收敛的效率,这对基线一阶方法和准牛顿方法进行了比较。
translated by 谷歌翻译
人工神经网络(ANN)训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降(SGD)算法及其变体在某些情况下是有效的,但它们可以陷入杂散的局部最小值,并且对初始化和普通公共表敏感。最近的工作表明,随着Relu激活的ANN的培训可以重新重整为凸面计划,使希望能够全局优化可解释的ANN。然而,天真地解决凸训练制剂具有指数复杂性,甚至近似启发式需要立方时间。在这项工作中,我们描述了这种近似的质量,并开发了两个有效的算法,这些算法通过全球收敛保证培训。第一算法基于乘法器(ADMM)的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛,并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时,每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂,并收敛到大约全球最佳的分类器。当考虑对抗性培训时,ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练,开发凸起的凸起制剂,培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN,但可以扩展到更复杂的体系结构。
translated by 谷歌翻译
本文旨在讨论和分析控制设计应用中经常性神经网络(RNN)的潜力。考虑RNN的主要系列,即神经非线性自回归外源,(NNARX),回波状态网络(ESN),长短短期存储器(LSTM)和门控复发单元(GRU)。目标是双重。首先,为了调查近期RNN培训的结果,可以享受输入到状态稳定性(ISS)和增量输入到状态稳定性({\ delta} ISS)保证。其次,讨论仍然阻碍RNN进行控制的问题,即它们的鲁棒性,核算和解释性。前者属性与网络的所谓概括能力有关,即即使在视野或扰动的输入轨迹存在下,它们与底层真实植物的一致性。后者与在RNN模型和植物之间提供明确的正式连接的可能性有关。在这种情况下,我们说明了Iss和{\ delta} ISS如何朝着RNN模型的稳健性和可验证代表重大步骤,而可解释性的要求铺平了基于物理的网络的使用方式。还简要讨论了植物模型的模型预测控制器的设计。最后,在模拟化学体系上说明了本文的一些主要话题。
translated by 谷歌翻译
Two-level stochastic optimization formulations have become instrumental in a number of machine learning contexts such as continual learning, neural architecture search, adversarial learning, and hyperparameter tuning. Practical stochastic bilevel optimization problems become challenging in optimization or learning scenarios where the number of variables is high or there are constraints. In this paper, we introduce a bilevel stochastic gradient method for bilevel problems with lower-level constraints. We also present a comprehensive convergence theory that covers all inexact calculations of the adjoint gradient (also called hypergradient) and addresses both the lower-level unconstrained and constrained cases. To promote the use of bilevel optimization in large-scale learning, we introduce a practical bilevel stochastic gradient method (BSG-1) that does not require second-order derivatives and, in the lower-level unconstrained case, dismisses any system solves and matrix-vector products.
translated by 谷歌翻译
找到模型的最佳超参数可以作为双重优化问题,通常使用零级技术解决。在这项工作中,当内部优化问题是凸但不平滑时,我们研究一阶方法。我们表明,近端梯度下降和近端坐标下降序列序列的前向模式分化,雅各比人会收敛到精确的雅各布式。使用隐式差异化,我们表明可以利用内部问题的非平滑度来加快计算。最后,当内部优化问题大约解决时,我们对高度降低的误差提供了限制。关于回归和分类问题的结果揭示了高参数优化的计算益处,尤其是在需要多个超参数时。
translated by 谷歌翻译
最近有兴趣的兴趣在教师学生环境中的各种普遍性线性估计问题中的渐近重建性能研究,特别是对于I.I.D标准正常矩阵的案例。在这里,我们超越这些矩阵,并证明了具有具有任意界限频谱的旋转不变数据矩阵的凸遍的线性模型的重建性能的分析公式,严格地确认使用来自统计物理的副本衍生的猜想。该公式包括许多问题,例如压缩感测或稀疏物流分类。通过利用消息通过算法和迭代的统计特性来实现证明,允许表征估计器的渐近实证分布。我们的证据是基于构建Oracle多层向量近似消息传递算法的会聚序列的构建,其中通过检查等效动态系统的稳定性来完成收敛分析。我们说明了我们对主流学习方法的数值示例的要求,例如稀疏的逻辑回归和线性支持矢量分类器,显示中等大小模拟和渐近预测之间的良好一致性。
translated by 谷歌翻译
估计给定样品的吉布斯密度函数是计算统计和统计学习中的重要问题。尽管普遍使用了良好的最大似然法,但它需要计算分区函数(即密度的归一化)。可以轻松地针对简单的低维问题计算此功能,但是对于一般密度和高维问题,其计算很困难甚至是棘手的。在本文中,我们提出了一种基于最大a-posteriori(MAP)估计器的替代方法,我们命名了最大恢复地图(MR-MAP),以得出不需要计算分区功能的估计器,并将问题重新制定为优化问题。我们进一步提出了一种最小动作类型的潜力,使我们能够快速解决优化问题作为馈送屈曲神经网络。我们证明了我们的方法对某些标准数据集的有效性。
translated by 谷歌翻译
基于梯度的高参数调整的优化方法可确保理论收敛到固定解决方案时,对于固定的上层变量值,双光线程序的下层级别强烈凸(LLSC)和平滑(LLS)。对于在许多机器学习算法中调整超参数引起的双重程序,不满足这种情况。在这项工作中,我们开发了一种基于不精确度(VF-IDCA)的基于依次收敛函数函数算法。我们表明,该算法从一系列的超级参数调整应用程序中实现了无LLSC和LLS假设的固定解决方案。我们的广泛实验证实了我们的理论发现,并表明,当应用于调子超参数时,提出的VF-IDCA会产生较高的性能。
translated by 谷歌翻译
我们介绍了两个块坐标下降算法,以解决使用普通微分方程(ODE)作为动态约束的优化问题。该算法无需实施直接或伴随的灵敏度分析方法来评估损失功能梯度。它们是由对原始问题重新制作的重新制作,作为与平等约束的等效优化问题。该算法自然遵循旨在根据ODE求解器恢复梯度定位算法的步骤,该算法明确解释了ODE溶液的灵敏度。在我们的第一个提出的算法中,我们避免通过将ODE求解器集成为隐式约束序列来明确求解ODE。在我们的第二个算法中,我们使用ODE求解器重置ODE解决方案,但没有直接使用伴随灵敏度分析方法。这两种算法都接受微型批量实施,并从基于GPU的并行化中显示出显着的效率优势。当应用于学习Cucker-Smale模型的参数时,我们演示了该算法的性能。将算法与基于具有敏感性分析能力的ODE求解器的梯度下降算法进行比较,使用Pytorch和JAX实现,具有各种状态数量的敏感性分析能力。实验结果表明,所提出的算法至少比Pytorch实现快4倍,并且比JAX实现快至少16倍。对于大版本的Cucker-Smale模型,JAX实现的速度比基于灵敏度分析的实现快数千倍。此外,我们的算法在培训和测试数据上都会产生更准确的结果。对于实施实时参数估计(例如诊断算法)的算法,计算效率的这种提高至关重要。
translated by 谷歌翻译
我们引入了一种新型的数学公式,用于训练以(可能非平滑)近端图作为激活函数的馈送前向神经网络的培训。该公式基于布雷格曼的距离,关键优势是其相对于网络参数的部分导数不需要计算网络激活函数的导数。我们没有使用一阶优化方法和后传播的组合估算参数(如最先进的),而是建议使用非平滑一阶优化方法来利用特定结构新颖的表述。我们提出了几个数值结果,这些结果表明,与更常规的培训框架相比,这些训练方法可以很好地很好地适合于培训基于神经网络的分类器和具有稀疏编码的(DeNoising)自动编码器。
translated by 谷歌翻译
我们开发了快速算法和可靠软件,以凸出具有Relu激活功能的两层神经网络的凸优化。我们的工作利用了标准的重量罚款训练问题作为一组组-YELL_1 $调查的数据本地模型的凸重新印度,其中局部由多面体锥体约束强制执行。在零规范化的特殊情况下,我们表明此问题完全等同于凸“ Gated Relu”网络的不受约束的优化。对于非零正则化的问题,我们表明凸面式relu模型获得了RELU训练问题的数据依赖性近似范围。为了优化凸的重新制定,我们开发了一种加速的近端梯度方法和实用的增强拉格朗日求解器。我们表明,这些方法比针对非凸问题(例如SGD)和超越商业内部点求解器的标准训练启发式方法要快。在实验上,我们验证了我们的理论结果,探索组-ELL_1 $正则化路径,并对神经网络进行比例凸的优化,以在MNIST和CIFAR-10上进行图像分类。
translated by 谷歌翻译
This paper proposes an active learning (AL) algorithm to solve regression problems based on inverse-distance weighting functions for selecting the feature vectors to query. The algorithm has the following features: (i) supports both pool-based and population-based sampling; (ii) is not tailored to a particular class of predictors; (iii) can handle known and unknown constraints on the queryable feature vectors; and (iv) can run either sequentially, or in batch mode, depending on how often the predictor is retrained. The potentials of the method are shown in numerical tests on illustrative synthetic problems and real-world datasets. An implementation of the algorithm, which we call IDEAL (Inverse-Distance based Exploration for Active Learning), is available at http://cse.lab.imtlucca.it/~bemporad/ideal.
translated by 谷歌翻译
We introduce a class of first-order methods for smooth constrained optimization that are based on an analogy to non-smooth dynamical systems. Two distinctive features of our approach are that (i) projections or optimizations over the entire feasible set are avoided, in stark contrast to projected gradient methods or the Frank-Wolfe method, and (ii) iterates are allowed to become infeasible, which differs from active set or feasible direction methods, where the descent motion stops as soon as a new constraint is encountered. The resulting algorithmic procedure is simple to implement even when constraints are nonlinear, and is suitable for large-scale constrained optimization problems in which the feasible set fails to have a simple structure. The key underlying idea is that constraints are expressed in terms of velocities instead of positions, which has the algorithmic consequence that optimizations over feasible sets at each iteration are replaced with optimizations over local, sparse convex approximations. In particular, this means that at each iteration only constraints that are violated are taken into account. The result is a simplified suite of algorithms and an expanded range of possible applications in machine learning.
translated by 谷歌翻译
深度学习的最新进展使神经网络(NNS)能够在许多应用中成功地取代传统的数控求解器,从而实现令人印象深刻的计算收益。一个这样的应用是时域模拟,这对于许多工程系统的设计,分析和操作是必不可少的。模拟基于牛顿的求解器的动态系统是一种计算繁忙的任务,因为它需要在每个时间步骤解决差分和代数方程的参数化系统的解决方案。已经显示了各种基于NN的方法,以成功地近似于数值溶剂计算的轨迹。但是,以前的一些工程已经使用NNS来模拟数值求解器本身。为了快速加速时域模拟速度的表达目的,本文提出并探索了两个互补的替代数字溶剂。首先,我们使用NN以模仿由逆雅加诺在单个牛顿步骤中提供的线性变换。使用此过程,我们评估并将基于物理的残余错误评估并将基于NN映射的确切,物理的残留错误项目进行评估并将其留下物理为“循环”中的“循环”。所得到的工具称为物理投影的神经 - 牛顿求解器(Prenn),能够在观察到的速度下实现极高的数值准确度,其比基于牛顿的求解器更快地高达31%。在第二种方法中,我们将牛顿求解器在隐式跳动-Kutta积分器的核心上模拟,作为一个契约地图,迭代地寻求时域轨迹的一个固定点。相关的复发性NN仿真工具被称为合同神经牛顿求解器(Conns),嵌入有训练约束(通过CVXPY层),该训练约束(通过CVXPY层),保证NN提供的映射满足BANACH定点定理。
translated by 谷歌翻译
In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.
translated by 谷歌翻译
近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加,我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始,显示一般非凸面问题无法在合理的时间内有效地解决。然后,我们提供了一个问题列表,可以通过利用问题的结构来有效地找到全球最小化器,因为可能的问题。处理非凸性的另一种方法是放宽目标,从找到全局最小,以找到静止点或局部最小值。对于该设置,我们首先为确定性一阶方法的收敛速率提出了已知结果,然后是最佳随机和随机梯度方案的一般理论分析,以及随机第一阶方法的概述。之后,我们讨论了非常一般的非凸面问题,例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能,这仍然允许获得一阶的理论融合保证方法。然后,我们考虑更高阶和零序/衍生物的方法及其收敛速率,以获得非凸优化问题。
translated by 谷歌翻译
许多操作数值天气预报系统中使用的数据同化程序基于4D-VAR算法的变体。解决4D-VAR问题的成本是由物理模型的前进和伴随评估的成本为主。这通过快速,近似代理模型来激励他们的替代。神经网络为代理模型的数据驱动创建提供了一个有希望的方法。已显示代理4D-VAR问题解决方案的准确性,明确地依赖于对其他代理建模方法和一般非线性设置的准确建模和伴随的准确建模。我们制定和分析若干方法,将衍生信息纳入神经网络替代品的构建。通过训练集数据和Lorenz-63系统上的顺序数据同化设置来测试生成的网络。与没有伴随信息的替代网络培训的代理网络相比,两种方法表现出卓越的性能,显示将伴随信息纳入训练过程的益处。
translated by 谷歌翻译
最近的研究表明,通过梯度下降训练的无限宽神经网络(NN)的动态可以是神经切线核(NTK)\ CITEP {Jacot2018neural}的特征。在平方损失下,通过梯度下降训练的无限宽度NN,具有无限小的学习速率等同于与NTK \ CITEP {arora2019Exact}的内核回归。但是,当前ridge回归{arora2019Harnessing}只知道等价物,而NN和其他内核机(KMS)之间的等价,例如,支持向量机(SVM),仍然未知。因此,在这项工作中,我们建议在NN和SVM之间建立等效,具体而言,通过柔软的边缘损失和具有由子润发性培训的NTK培训的标准柔软裕度SVM培训的无限宽NN。我们的主要理论结果包括建立NN和广泛的$ \ ELL_2 $正规化KMS之间的等价,其中有限宽度界限,不能通过事先工作来处理,并显示出通过这种正规化损耗函数训练的每个有限宽度NN大约一公里。此外,我们展示了我们的理论可以实现三种实际应用,包括(i)\ yressit {非空心}通过相应的km界限Nn; (ii)无限宽度NN的\ yryit {非琐碎}鲁棒性证书(而现有的鲁棒性验证方法提供空中界定); (iii)本质上更强大的无限宽度NN,来自以前的内核回归。我们的实验代码可用于\ URL {https://github.com/leslie-ch/equiv-nn-svm}。
translated by 谷歌翻译