在这项工作的第一部分[32]中,我们引入了针对二次约束二次程序的凸抛物线松弛,以及依次惩罚的抛物线释放算法,以恢复近乎最佳的可行解决方案。在第二部分中,我们表明,从可行的解决方案或满足某些规律性条件的近乎可行的解决方案开始,顺序惩罚的抛物线弛豫算法的收敛到满足Karush-Kuhn-tucker优化条件的点。接下来,我们介绍了基准非凸口QCQP问题的数值实验以及系统识别问题的大规模实例,证明了所提出的方法的效率。
translated by 谷歌翻译
对于一般二次约束二次编程(QCQP),我们提出了一种用凸二次约束描述的抛物线弛豫。抛物线弛豫的一个有趣的特性是原始的非凸起可行集包含在抛物线弛豫的边界上。在某些假设下,该财产使人们能够通过客观惩罚恢复近乎最理想的可行点。此外,通过对需要一次性计算的最佳基础计算的适当更改,可以使易于解决的抛物线释放放松与半决赛编程(SDP)放松一样强大,这可以有效地意识到算法,这些算法可以使得算法有效需要解决一系列凸替代物。这项工作的下一部分给出了大多数理论和计算结果[57]。
translated by 谷歌翻译
The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.
translated by 谷歌翻译
许多基本的低级优化问题,例如矩阵完成,相位同步/检索,功率系统状态估计和鲁棒PCA,可以作为矩阵传感问题提出。求解基质传感的两种主要方法是基于半决赛编程(SDP)和Burer-Monteiro(B-M)分解的。 SDP方法患有高计算和空间复杂性,而B-M方法可能由于问题的非跨性别而返回伪造解决方案。这些方法成功的现有理论保证导致了类似的保守条件,这可能错误地表明这些方法具有可比性的性能。在本文中,我们阐明了这两种方法之间的一些主要差异。首先,我们提出一类结构化矩阵完成问题,而B-M方法则以压倒性的概率失败,而SDP方法正常工作。其次,我们确定了B-M方法工作和SDP方法失败的一类高度稀疏矩阵完成问题。第三,我们证明,尽管B-M方法与未知解决方案的等级无关,但SDP方法的成功与解决方案的等级相关,并随着等级的增加而提高。与现有的文献主要集中在SDP和B-M工作的矩阵传感实例上,本文为每种方法的独特优点提供了与替代方法的唯一优点。
translated by 谷歌翻译
最近已扩展了最小方形聚类(MSSC)或K-均值类型聚类的最小总和,以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中,我们提出了一种基于分支和切割技术的精确方法,以解决基数受限的MSSC。对于下边界的例程,我们使用Rujeerapaiboon等人最近提出的半决赛编程(SDP)放松。 [Siam J. Optim。 29(2),1211-1239,(2019)]。但是,这种放松只能用于小型实例中的分支和切割方法。因此,我们得出了一种新的SDP松弛,该松弛随着实例大小和簇的数量更好。在这两种情况下,我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益,该策略会实施成对的约束,我们减少了儿童节点中出现的问题的复杂性。相反,对于上限,我们提出了一个本地搜索过程,该过程利用在每个节点上求解的SDP松弛的解。计算结果表明,所提出的算法在全球范围内首次求解了大小的现实实例,比通过最新精确方法求解的算法大10倍。
translated by 谷歌翻译
在本文中,我们研究了一类二聚体优化问题,也称为简单的双重优化,在其中,我们将光滑的目标函数最小化,而不是另一个凸的约束优化问题的最佳解决方案集。已经开发了几种解决此类问题的迭代方法。 las,它们的收敛保证并不令人满意,因为它们要么渐近,要么渐近,要么是收敛速度缓慢且最佳的。为了解决这个问题,在本文中,我们介绍了Frank-Wolfe(FW)方法的概括,以解决考虑的问题。我们方法的主要思想是通过切割平面在局部近似低级问题的解决方案集,然后运行FW型更新以减少上层目标。当上层目标是凸面时,我们表明我们的方法需要$ {\ mathcal {o}}(\ max \ {1/\ epsilon_f,1/\ epsilon_g \})$迭代才能找到$ \ \ \ \ \ \ epsilon_f $ - 最佳目标目标和$ \ epsilon_g $ - 最佳目标目标。此外,当高级目标是非convex时,我们的方法需要$ {\ MATHCAL {o}}(\ max \ {1/\ epsilon_f^2,1/(\ epsilon_f \ epsilon_g})查找$(\ epsilon_f,\ epsilon_g)$ - 最佳解决方案。我们进一步证明了在“较低级别问题的老年人错误约束假设”下的更强的融合保证。据我们所知,我们的方法实现了所考虑的二聚体问题的最著名的迭代复杂性。我们还向数值实验提出了数值实验。与最先进的方法相比,展示了我们方法的出色性能。
translated by 谷歌翻译
我们考虑指标变量和指标上的任意约束的凸二次优化问题。我们表明,在扩展空间中设置的凸壳描述,其具有二次数量的附加变量包括单个正半纤维限制(明确规定)和线性约束。特别地,对这类问题的凸起减少了描述在扩展制剂中的多面体集。我们还在变量的原始空间中说明:我们提供了基于无限数量的圆锥二次不等式的描述,这些锥形二次不等式是“有限地产生的”。特别地,可以表征给定的不等式是否需要描述凸船。这里介绍了新的理论统一了若干以前建立的结果,并铺平了利用多面体方法来分析混合整数非线性集的凸壳。
translated by 谷歌翻译
我们考虑最大程度地减少两次不同的可差异,$ l $ -smooth和$ \ mu $ -stronglongly凸面目标$ \ phi $ phi $ a $ n \ times n $ n $阳性阳性半finite $ m \ succeq0 $,在假设是最小化的假设$ m^{\ star} $具有低等级$ r^{\ star} \ ll n $。遵循burer- monteiro方法,我们相反,在因子矩阵$ x $ size $ n \ times r $的因素矩阵$ x $上最小化nonconvex objection $ f(x)= \ phi(xx^{t})$。这实际上将变量的数量从$ o(n^{2})$减少到$ O(n)$的少量,并且免费实施正面的半弱点,但要付出原始问题的均匀性。在本文中,我们证明,如果搜索等级$ r \ ge r^{\ star} $被相对于真等级$ r^{\ star} $的常数因子过度参数化,则如$ r> \ in frac {1} {4}(l/\ mu-1)^{2} r^{\ star} $,尽管非概念性,但保证本地优化可以从任何初始点转换为全局最佳。这显着改善了先前的$ r \ ge n $的过度参数化阈值,如果允许$ \ phi $是非平滑和/或非额外凸的,众所周知,这将是尖锐的,但会增加变量的数量到$ o(n^{2})$。相反,没有排名过度参数化,我们证明只有$ \ phi $几乎完美地条件,并且条件数量为$ l/\ mu <3 $,我们才能证明这种全局保证是可能的。因此,我们得出的结论是,少量的过度参数化可能会导致非凸室的理论保证得到很大的改善 - 蒙蒂罗分解。
translated by 谷歌翻译
To rigorously certify the robustness of neural networks to adversarial perturbations, most state-of-the-art techniques rely on a triangle-shaped linear programming (LP) relaxation of the ReLU activation. While the LP relaxation is exact for a single neuron, recent results suggest that it faces an inherent "convex relaxation barrier" as additional activations are added, and as the attack budget is increased. In this paper, we propose a nonconvex relaxation for the ReLU relaxation, based on a low-rank restriction of a semidefinite programming (SDP) relaxation. We show that the nonconvex relaxation has a similar complexity to the LP relaxation, but enjoys improved tightness that is comparable to the much more expensive SDP relaxation. Despite nonconvexity, we prove that the verification problem satisfies constraint qualification, and therefore a Riemannian staircase approach is guaranteed to compute a near-globally optimal solution in polynomial time. Our experiments provide evidence that our nonconvex relaxation almost completely overcome the "convex relaxation barrier" faced by the LP relaxation.
translated by 谷歌翻译
通过简明地表示许多变量的联合功能作为小功能的组合,离散图形模型(GMS)提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题(WCSP),以及在随机马尔可夫随机字段上的最大后验(MAP)推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程(LP)弛豫密切相关,并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来,据了解,凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善,引入了非凸毛蒙特罗风格方法,这些方法非常适合处理与二进制变量的组合问题的SDP放松(例如MaxCut,MaxSAT或地图/ ising)。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型,通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法,避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上,我们观察到BCD方法可以优于两种方法,并提供比本地常量/收敛消息传递方法更严格的边界。
translated by 谷歌翻译
预处理一直是优化和机器学习方面的主食技术。它通常会减少其应用于矩阵的条件数,从而加快优化算法的收敛性。尽管实践中有许多流行的预处理技术,但大多数人缺乏降低病数的理论保证。在本文中,我们研究了最佳对角线预处理的问题,以分别或同时分别或同时缩放其行或列来实现任何全级矩阵的条件数量的最大降低。我们首先将问题重新将问题重新制定为一个准凸出问题,并提供了一种基线一分配算法,该算法在实践中易于实现,其中每次迭代都包含SDP可行性问题。然后,我们建议使用$ o(\ log(\ frac {1} {\ epsilon})))$迭代复杂度提出多项式时间潜在的降低算法,其中每个迭代均由基于Nesterov-todd方向的牛顿更新组成。我们的算法基于该问题的表述,该问题是von Neumann最佳生长问题的广义版本。接下来,我们专注于单方面的最佳对角线预处理问题,并证明它们可以作为标准双SDP问题配方,我们应用了有效的定制求解器并研究我们最佳的对角线预处理的经验性能。我们在大型矩阵上进行的广泛实验表明,与基于启发式的预处理相比,最佳对角线预处理在减少条件数方面的实际吸引力。
translated by 谷歌翻译
最小的平方和群集(MSSC)或K-Means型聚类,传统上被认为是无监督的学习任务。近年来,使用背景知识来提高集群质量,促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中,我们为半监控MSSC提供了一种新的分支和绑定算法,其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限,我们解决了MSSC离散优化模型的Semidefinite编程宽松,并使用了用于加强界限的纤维平面程序。相反,通过使用整数编程工具,我们提出了将K-Means算法适应受约束的情况。这是第一次,所提出的全局优化算法有效地管理,以解决现实世界的情况,最高可达800个数据点,具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。
translated by 谷歌翻译
我们提出了一种凸锥程序,可推断随机点产品图(RDPG)的潜在概率矩阵。优化问题最大化Bernoulli最大似然函数,增加核规范正则化术语。双重问题具有特别良好的形式,与众所周知的SemideFinite程序放松MaxCut问题有关。使用原始双功率条件,我们绑定了原始和双解决方案的条目和等级。此外,我们在轻微的技术假设下绑定了最佳目标值并证明了略微修改模型的概率估计的渐近一致性。我们对合成RDPG的实验不仅恢复了自然集群,而且还揭示了原始数据的下面的低维几何形状。我们还证明该方法在空手道俱乐部图表和合成美国参议图中恢复潜在结构,并且可以扩展到最多几百个节点的图表。
translated by 谷歌翻译
In model selection problems for machine learning, the desire for a well-performing model with meaningful structure is typically expressed through a regularized optimization problem. In many scenarios, however, the meaningful structure is specified in some discrete space, leading to difficult nonconvex optimization problems. In this paper, we connect the model selection problem with structure-promoting regularizers to submodular function minimization with continuous and discrete arguments. In particular, we leverage the theory of submodular functions to identify a class of these problems that can be solved exactly and efficiently with an agnostic combination of discrete and continuous optimization routines. We show how simple continuous or discrete constraints can also be handled for certain problem classes and extend these ideas to a robust optimization framework. We also show how some problems outside of this class can be embedded within the class, further extending the class of problems our framework can accommodate. Finally, we numerically validate our theoretical results with several proof-of-concept examples with synthetic and real-world data, comparing against state-of-the-art algorithms.
translated by 谷歌翻译
我们考虑凸优化问题,这些问题被广泛用作低级基质恢复问题的凸松弛。特别是,在几个重要问题(例如相位检索和鲁棒PCA)中,在许多情况下的基本假设是最佳解决方案是排名一列。在本文中,我们考虑了目标上的简单自然的条件,以使这些放松的最佳解决方案确实是独特的,并且是一个排名。主要是,我们表明,在这种情况下,使用线路搜索的标准Frank-Wolfe方法(即,没有任何参数调整),该方法仅需要单个排名一级的SVD计算,可以找到$ \ epsilon $ - 仅在$ o(\ log {1/\ epsilon})$迭代(而不是以前最著名的$ o(1/\ epsilon)$)中的近似解决方案,尽管目的不是强烈凸。我们考虑了基本方法的几种变体,具有改善的复杂性,以及由强大的PCA促进的扩展,最后是对非平滑问题的扩展。
translated by 谷歌翻译
Convex function constrained optimization has received growing research interests lately. For a special convex problem which has strongly convex function constraints, we develop a new accelerated primal-dual first-order method that obtains an $\Ocal(1/\sqrt{\vep})$ complexity bound, improving the $\Ocal(1/{\vep})$ result for the state-of-the-art first-order methods. The key ingredient to our development is some novel techniques to progressively estimate the strong convexity of the Lagrangian function, which enables adaptive step-size selection and faster convergence performance. In addition, we show that the complexity is further improvable in terms of the dependence on some problem parameter, via a restart scheme that calls the accelerated method repeatedly. As an application, we consider sparsity-inducing constrained optimization which has a separable convex objective and a strongly convex loss constraint. In addition to achieving fast convergence, we show that the restarted method can effectively identify the sparsity pattern (active-set) of the optimal solution in finite steps. To the best of our knowledge, this is the first active-set identification result for sparsity-inducing constrained optimization.
translated by 谷歌翻译
最佳子集选择被认为是许多稀疏学习问题的“黄金标准”。已经提出了各种优化技术来攻击这一非凸和NP障碍问题。在本文中,我们研究了$ \ ell_0 $登记的问题的双重形式。基于原始和双重问题结构已经开发了一种有效的原始偶对偶方法。通过利用双重范围估计以及增量策略,我们的算法可能会减少冗余计算并改善最佳子集选择的解决方案。关于合成和现实世界数据集的理论分析和实验验证了拟议溶液的效率和统计特性。
translated by 谷歌翻译
我们提供匹配的Under $ \ sigma ^ 2 / \ log(d / n)$的匹配的上下界限为最低$ \ ell_1 $ -norm插值器,a.k.a.基础追踪。我们的结果紧紧达到可忽略的术语,而且是第一个暗示噪声最小范围内插值的渐近一致性,因为各向同性特征和稀疏的地面真理。我们的工作对最低$ \ ell_2 $ -norm插值的“良性接收”进行了补充文献,其中才能在特征有效地低维时实现渐近一致性。
translated by 谷歌翻译
该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中,它被称为“最大切割问题”,这是著名的21个KARP的原始NP硬性问题之一,而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学,物理和工程学的现实问题。但是,准确地求解此模型(查找最大剪切或基态)可能会留下一个棘手的问题(除非$ \ textit {p} = \ textit {np} $),并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案,以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外,该方法被认为是多项式时间中最好的。在本论文的前两章中,我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中,我们迈出了一步,并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题,在该模型中,我们希望尽可能少地调整交互作用,以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明,当相互作用是非负的时,我们的双层优化是在多项式时间内使用凸编程来解决的。
translated by 谷歌翻译
对于函数的矩阵或凸起的正半明确度(PSD)的形状约束在机器学习和科学的许多应用中起着核心作用,包括公制学习,最佳运输和经济学。然而,存在很少的功能模型,以良好的经验性能和理论担保来强制执行PSD-NESS或凸起。在本文中,我们介绍了用于在PSD锥中的值的函数的内核平方模型,其扩展了最近建议编码非负标量函数的内核平方型号。我们为这类PSD函数提供了一个代表性定理,表明它构成了PSD函数的普遍近似器,并在限定的平等约束的情况下导出特征值界限。然后,我们将结果应用于建模凸起函数,通过执行其Hessian的核心量子表示,并表明可以因此表示任何平滑且强凸的功能。最后,我们说明了我们在PSD矩阵值回归任务中的方法以及标准值凸起回归。
translated by 谷歌翻译