本说明使用总平方（TLS）线路拟合问题作为探索一些现代优化工具的画布。该贡献本质上是教程。TLS问题与机器人技术和计算机视觉中的重要问题具有很大的数学相似性，但更易于可视化和理解。我们演示了如何将此问题转变为四二次二次程序（QCQP），以便可以将其作为本本特征问题或半明确程序（SDP）施放。然后，我们转向更具挑战性的情况，在这种情况下，Geman-McClure成本函数和M估计用于拒绝离群数据标记。使用Black-rangarajan二元性，我们表明它也可以施加为QCQP并将其求解为SDP。但是，有了大量数据，SDP可能会很慢，因此我们展示了如何为更快的方法（例如迭代重新加权最小二乘（IRLS））构建最佳证书。

旋转搜索问题旨在找到最能与给定数量的点对对齐的3D旋转。为了诱导对旋转搜索的异常值的鲁棒性，先前的工作将截短的最小二乘（TLS）（TLS）（是一个非凸优化问题）及其半芬矿松弛（SDR）作为一种可拖动的替代方案。在理论上，在存在噪声，离群值或两者的情况下，这种SDR在很大程度上都没有探索。我们得出了表征该SDR紧密度的条件，表明紧密度取决于噪声水平，TLS的截断参数和离群分布（随机或聚类）。特别是，我们简短地证明了无嘈杂和无离群的案件的紧密性，而不是对先前工作的冗长分析。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

现代状态估计通常被表达为优化问题，并使用有效的本地搜索方法解决。这些方法最能保证与本地最小值的融合，但是在某些情况下，全球最优性也可以得到认证。尽管此类全球最佳证书已经为3D姿势格言优化确定了，但是对于基于3D地标的SLAM问题，尚未确定细节，其中估计的状态包括机器人姿势和地图地标。在本文中，我们通过使用图理论方法来解决这一差距，将基于里程碑的SLAM的子问题投入到一种形式，该形式产生了足够的全球最优状态。存在计算这些子问题的最佳证书的有效方法，但首先需要构建大型数据矩阵。我们表明，该矩阵可以以复杂性构建，该复杂性在地标数量中保持线性，并且不超过一个局部求解器的最新计算复杂性。最后，我们证明了证书对基于模拟和现实世界标记的大满贯问题的功效。

给定数据点之间的一组差异测量值，确定哪种度量表示与输入测量最“一致”或最能捕获数据相关几何特征的度量是许多机器学习算法的关键步骤。现有方法仅限于特定类型的指标或小问题大小，因为在此类问题中有大量的度量约束。在本文中，我们提供了一种活跃的集合算法，即项目和忘记，该算法使用Bregman的预测，以解决许多（可能是指数）不平等约束的度量约束问题。我们提供了\ textsc {project and Hoses}的理论分析，并证明我们的算法会收敛到全局最佳解决方案，并以指数速率渐近地渐近地衰减了当前迭代的$ L_2 $距离。我们证明，使用我们的方法，我们可以解决三种类型的度量约束问题的大型问题实例：一般体重相关聚类，度量近距离和度量学习；在每种情况下，就CPU时间和问题尺寸而言，超越了艺术方法的表现。

在没有对其相对姿势的准确估计的情况下，无法正确融合来自两个传感器的数据，这可以通过外部校准的过程来确定。当两个或更多个传感器能够产生自己的eGomotion估计（即，通过环境测量它们的轨迹），可以采用“手眼”外部校准的制定。在本文中，我们将最近的工作扩展到凸优化方法，以便手眼校准到一个传感器不能观察其翻译运动的比例（例如，观察未拍摄环境的单眼摄像机）。我们证明我们的技术能够为手眼校准的已知和未知级别的变体提供认真的全球最佳解决方案，只要测量噪声被界定。这里，我们专注于问题的理论方面，展示了我们解决方案的密封性和稳定性，并通过合成数据的实验展示了我们算法的最优性和速度。

我们考虑最大程度地减少两次不同的可差异，$ l $ -smooth和$ \ mu $ -stronglongly凸面目标$ \ phi $ phi $ a $ n \ times n $ n $阳性阳性半finite $ m \ succeq0 $，在假设是最小化的假设$ m^{\ star} $具有低等级$ r^{\ star} \ ll n $。遵循burer- monteiro方法，我们相反，在因子矩阵$ x $ size $ n \ times r $的因素矩阵$ x $上最小化nonconvex objection $ f（x）= \ phi（xx^{t}）$。这实际上将变量的数量从$ o（n^{2}）$减少到$ O（n）$的少量，并且免费实施正面的半弱点，但要付出原始问题的均匀性。在本文中，我们证明，如果搜索等级$ r \ ge r^{\ star} $被相对于真等级$ r^{\ star} $的常数因子过度参数化，则如$ r> \ in frac {1} {4}（l/\ mu-1）^{2} r^{\ star} $，尽管非概念性，但保证本地优化可以从任何初始点转换为全局最佳。这显着改善了先前的$ r \ ge n $的过度参数化阈值，如果允许$ \ phi $是非平滑和/或非额外凸的，众所周知，这将是尖锐的，但会增加变量的数量到$ o（n^{2}）$。相反，没有排名过度参数化，我们证明只有$ \ phi $几乎完美地条件，并且条件数量为$ l/\ mu <3 $，我们才能证明这种全局保证是可能的。因此，我们得出的结论是，少量的过度参数化可能会导致非凸室的理论保证得到很大的改善 - 蒙蒂罗分解。

定位移动机器人的一种常见方法是测量已知位置点的距离，称为锚点。从距离测量值中定位设备通常是由于测量模型的非线性而作为非凸优化问题。当使用局部迭代求解器（如高斯 - 牛顿）时，非凸优化问题可能会产生次优的解决方案。在本文中，我们为连续范围的本地化设计了最佳证书。我们的公式可以整合运动，从而确保溶液的平滑度，并且对于仅从几个距离测量值进行定位至关重要。拟议的证书几乎没有额外的成本，因为它的复杂性与稀疏本地求解器本身的复杂性相同：位置数量的线性。我们在仿真和现实世界数据集中显示，有效的本地求解器通常会找到全球最佳解决方案（通过我们的证书确认），而当没有证书确认时，简单的随机重新初始化最终会导致可认证的最佳选择。

Outier-bubust估计是一个基本问题，已由统计学家和从业人员进行了广泛的研究。在过去的几年中，整个研究领域的融合都倾向于“算法稳定统计”，该统计数据的重点是开发可拖动的异常体 - 固定技术来解决高维估计问题。尽管存在这种融合，但跨领域的研究工作主要彼此断开。本文桥接了有关可认证的异常抗衡器估计的最新工作，该估计是机器人技术和计算机视觉中的几何感知，并在健壮的统计数据中并行工作。特别是，我们适应并扩展了最新结果对可靠的线性回归（适用于<< 50％异常值的低外壳案例）和列表可解码的回归（适用于>> 50％异常值的高淘汰案例）在机器人和视觉中通常发现的设置，其中（i）变量（例如旋转，姿势）属于非convex域，（ii）测量值是矢量值，并且（iii）未知的异常值是先验的。这里的重点是绩效保证：我们没有提出新算法，而是为投入测量提供条件，在该输入测量值下，保证现代估计算法可以在存在异常值的情况下恢复接近地面真相的估计值。这些条件是我们所谓的“估计合同”。除了现有结果的拟议扩展外，我们认为本文的主要贡献是（i）通过指出共同点和差异来统一平行的研究行，（ii）在介绍先进材料（例如，证明总和证明）中的统一行为。对从业者的可访问和独立的演讲，（iii）指出一些即时的机会和开放问题，以发出异常的几何感知。

对于函数的矩阵或凸起的正半明确度（PSD）的形状约束在机器学习和科学的许多应用中起着核心作用，包括公制学习，最佳运输和经济学。然而，存在很少的功能模型，以良好的经验性能和理论担保来强制执行PSD-NESS或凸起。在本文中，我们介绍了用于在PSD锥中的值的函数的内核平方模型，其扩展了最近建议编码非负标量函数的内核平方型号。我们为这类PSD函数提供了一个代表性定理，表明它构成了PSD函数的普遍近似器，并在限定的平等约束的情况下导出特征值界限。然后，我们将结果应用于建模凸起函数，通过执行其Hessian的核心量子表示，并表明可以因此表示任何平滑且强凸的功能。最后，我们说明了我们在PSD矩阵值回归任务中的方法以及标准值凸起回归。

我们描述了两层向量输出relu神经网络训练问题的凸半无限频体。该半无限的双重承认有限尺寸表示，但其支持在难以表征的凸起集中。特别是，我们证明非凸神经网络训练问题相当于有限维凸形成形程序。我们的工作是第一个确定全球神经网络的全球最佳与连阳性方案之间的强大联系。因此，我们展示了神经网络如何通过半非环境矩阵分解来隐化地揭示求解连接成型程序，并从该配方中汲取关键见解。我们描述了第一算法，用于可证明导航的全局最小值的导航神经网络训练问题，这些算法是固定数据等级的样本数量的多项式，但维度指数是指数。然而，在卷积架构的情况下，计算复杂性在所有其他参数中仅在滤波器大小和多项式中是指数的。我们描述了我们能够完全找到这种神经网络训练问题的全球最佳的环境，并提供了软阈值的SVD，并提供了一种成交量松弛，保证确切地用于某些问题，并与随机的解决方案相对应实践中的梯度下降。

我们研究无限制的黎曼优化的免投影方法。特别是，我们提出了黎曼弗兰克 - 沃尔夫（RFW）方法。我们将RFW的非渐近收敛率分析为最佳（高音）凸起问题，以及非凸起目标的临界点。我们还提出了一种实用的设置，其中RFW可以获得线性收敛速度。作为一个具体的例子，我们将RFW专用于正定矩阵的歧管，并将其应用于两个任务：（i）计算矩阵几何平均值（riemannian质心）; （ii）计算Bures-Wasserstein重心。这两个任务都涉及大量凸间间隔约束，为此，我们表明RFW要求的Riemannian“线性”Oracle承认了闭合形式的解决方案;该结果可能是独立的兴趣。我们进一步专门从事RFW到特殊正交组，并表明这里也可以以封闭形式解决riemannian“线性”甲骨文。在这里，我们描述了数据矩阵同步的应用程序（促使问题）。我们补充了我们的理论结果，并对RFW对最先进的riemananian优化方法进行了实证比较，并观察到RFW竞争性地对计算黎曼心质的任务进行竞争性。

反向运动学（IK）是找到满足一个或多个末端效应器的位置或姿势的限制的机器人联合配置的问题。对于具有冗余自由度的机器人，通常存在无限，不透露的解决方案。当通过工作空间中的障碍施加碰撞限制时，IK问题进一步复杂。通常，不存在产生可行配置的闭合表达，促使使用数值解决方案方法。然而，这些方法依赖于局部优化非凸起问题，通常需要准确的初始化或许多重新初始化来收敛到有效的解决方案。在这项工作中，我们首先将复杂的工作空间约束制定逆运动学，作为凸的可行性问题，其低级可行点提供精确的IK解决方案。然后，我们呈现\ texttt {cidgik}（距离 - 几何反向运动学的凸迭代），这是一种解决这种可行性问题的算法，其具有旨在鼓励低秩最小化的半导体级程序的序列。我们的问题制定优雅地统一机器人的配置空间和工作空间约束：内在机器人几何形状和避免避免都表示为简单的线性矩阵方程和不等式。我们对各种流行的操纵器模型的实验结果比传统的非线性优化的方法更快，更准确的会聚，特别是在具有许多障碍的环境中。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。

通过简明地表示许多变量的联合功能作为小功能的组合，离散图形模型（GMS）提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题（WCSP），以及在随机马尔可夫随机字段上的最大后验（MAP）推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程（LP）弛豫密切相关，并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来，据了解，凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善，引入了非凸毛蒙特罗风格方法，这些方法非常适合处理与二进制变量的组合问题的SDP放松（例如MaxCut，MaxSAT或地图/ ising）。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型，通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法，避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上，我们观察到BCD方法可以优于两种方法，并提供比本地常量/收敛消息传递方法更严格的边界。

我们考虑了香农相对熵的扩展，称为F-Diverence。通常与这些差异相关的三个经典计算问题：（a）从矩，（b）计算归一化积分的估计，以及（c）概率模型中的变异推断。这些问题是通过凸双重性相互关联的，对于所有这些问题，在整个数据科学中都有许多应用程序，我们旨在实现可在计算上可触及的近似算法，以保留原始问题的性质，例如潜在的凸度或单调性。为了实现这一目标，我们得出了一系列凸松弛序列，用于计算与给定特征向量相关的非中心协方差矩阵这些差异：从典型的最佳最佳下限开始，我们考虑基于基于'的额外弛豫。现在可以在多项式时间内作为半决赛程序进行计算，以及基于量子信息理论的频谱信息差异的进一步计算更有效的放松。对于上述所有任务，除了提出新的放松外，我们还基于增强的Lagrangian和一阶方法得出可拖动算法，并且我们介绍了有关Boolean Hypercube上多元三角多项式和功能的插图。

In model selection problems for machine learning, the desire for a well-performing model with meaningful structure is typically expressed through a regularized optimization problem. In many scenarios, however, the meaningful structure is specified in some discrete space, leading to difficult nonconvex optimization problems. In this paper, we connect the model selection problem with structure-promoting regularizers to submodular function minimization with continuous and discrete arguments. In particular, we leverage the theory of submodular functions to identify a class of these problems that can be solved exactly and efficiently with an agnostic combination of discrete and continuous optimization routines. We show how simple continuous or discrete constraints can also be handled for certain problem classes and extend these ideas to a robust optimization framework. We also show how some problems outside of this class can be embedded within the class, further extending the class of problems our framework can accommodate. Finally, we numerically validate our theoretical results with several proof-of-concept examples with synthetic and real-world data, comparing against state-of-the-art algorithms.

我们考虑凸优化问题，这些问题被广泛用作低级基质恢复问题的凸松弛。特别是，在几个重要问题（例如相位检索和鲁棒PCA）中，在许多情况下的基本假设是最佳解决方案是排名一列。在本文中，我们考虑了目标上的简单自然的条件，以使这些放松的最佳解决方案确实是独特的，并且是一个排名。主要是，我们表明，在这种情况下，使用线路搜索的标准Frank-Wolfe方法（即，没有任何参数调整），该方法仅需要单个排名一级的SVD计算，可以找到$ \ epsilon $ - 仅在$ o（\ log {1/\ epsilon}）$迭代（而不是以前最著名的$ o（1/\ epsilon）$）中的近似解决方案，尽管目的不是强烈凸。我们考虑了基本方法的几种变体，具有改善的复杂性，以及由强大的PCA促进的扩展，最后是对非平滑问题的扩展。