该博士学位论文的中心对象是在计算机科学和统计力学领域的不同名称中以不同名称而闻名的。在计算机科学中，它被称为“最大切割问题”，这是著名的21个KARP的原始NP硬性问题之一，而物理学的相同物体称为Ising Spin Glass模型。这种丰富的结构的模型通常是减少或重新制定计算机科学，物理和工程学的现实问题。但是，准确地求解此模型（查找最大剪切或基态）可能会留下一个棘手的问题（除非$ \ textit {p} = \ textit {np} $），并且需要为每一个开发临时启发式学特定的实例家庭。离散和连续优化之间的明亮而美丽的连接之一是一种基于半限定编程的圆形方案，以最大程度地切割。此过程使我们能够找到一个近乎最佳的解决方案。此外，该方法被认为是多项式时间中最好的。在本论文的前两章中，我们研究了旨在改善舍入方案的局部非凸照。在本文的最后一章中，我们迈出了一步，并旨在控制我们想要在前几章中解决的问题的解决方案。我们在Ising模型上制定了双层优化问题，在该模型中，我们希望尽可能少地调整交互作用，以使所得ISING模型的基态满足所需的标准。大流行建模出现了这种问题。我们表明，当相互作用是非负的时，我们的双层优化是在多项式时间内使用凸编程来解决的。

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

由于机器学习，统计和科学的应用，多边缘最佳运输（MOT）引起了极大的兴趣。但是，在大多数应用中，MOT的成功受到缺乏有效算法的严重限制。实际上，MOT一般需要在边际K及其支撑大小n的数量中指数时间n。本文开发了一个关于“结构”在poly（n，k）时间中可溶解的一般理论。我们开发了一个统一的算法框架，用于通过表征不同算法所需的“结构”来解决poly（n，k）时间中的MOT，这是根据双重可行性甲骨文的简单变体所需的。该框架有几个好处。首先，它使我们能够证明当前是最流行的MOT算法的Sinkhorn算法比其他算法要在poly（n，k）时间中求解MOT所需的结构更严格。其次，我们的框架使得为给定的MOT问题开发poly（n，k）时间算法变得更加简单。特别是（大约）解决双重可行性Oracle是必要和足够的 - 这更适合标准算法技术。我们通过为三个通用类成本结构类别的poly（n，k）时间算法开发poly（n，k）时间算法来说明这种易用性：（1）图形结构； （2）设定优化结构； （3）低阶和稀疏结构。对于结构（1），我们恢复了Sindhorn具有poly（n，k）运行时的已知结果；此外，我们为计算精确且稀疏的解决方案提供了第一个poly（n，k）时间算法。对于结构（2） - （3），我们给出了第一个poly（n，k）时间算法，甚至用于近似计算。这三个结构一起涵盖了许多MOT的当前应用。

通过简明地表示许多变量的联合功能作为小功能的组合，离散图形模型（GMS）提供了一个强大的框架来分析交互变量的随机和确定性系统。这些模型的主要查询之一是识别该联合功能的极值。这被称为在确定性成本函数网络上的加权约束满足问题（WCSP），以及在随机马尔可夫随机字段上的最大后验（MAP）推断。近似WCSP推理的算法通常依赖于局部一致性算法或信念传播。这些方法与线性编程（LP）弛豫密切相关，并且通常与由相关LP的双解定义的Reparamization耦合。自从Goemans和Williamson的开创性工作以来，据了解，凸软膏放松可以为LP提供优质的保证。但内部点方法的固有计算成本限制了他们的应用。这种情况有所改善，引入了非凸毛蒙特罗风格方法，这些方法非常适合处理与二进制变量的组合问题的SDP放松（例如MaxCut，MaxSAT或地图/ ising）。我们将低等级SDP上限和下限计算具有任意数量的数量和任意二进制成本函数的离散对图形模型，通过基于逐行的更新扩展毛刺蒙特罗样式方法。我们考虑一种传统的两化约束方法和专用块坐标序列方法，避免对配方引入大的惩罚系数。在越来越坚硬和致密的WCSP / CFN实例上，我们观察到BCD方法可以优于两种方法，并提供比本地常量/收敛消息传递方法更严格的边界。

组合优化是运营研究和计算机科学领域的一个公认领域。直到最近，它的方法一直集中在孤立地解决问题实例，而忽略了它们通常源于实践中的相关数据分布。但是，近年来，人们对使用机器学习，尤其是图形神经网络（GNN）的兴趣激增，作为组合任务的关键构件，直接作为求解器或通过增强确切的求解器。GNN的电感偏差有效地编码了组合和关系输入，因为它们对排列和对输入稀疏性的意识的不变性。本文介绍了对这个新兴领域的最新主要进步的概念回顾，旨在优化和机器学习研究人员。

随机块模型（SBM）是一个随机图模型，其连接不同的顶点组不同。它被广泛用作研究聚类和社区检测的规范模型，并提供了肥沃的基础来研究组合统计和更普遍的数据科学中出现的信息理论和计算权衡。该专着调查了最近在SBM中建立社区检测的基本限制的最新发展，无论是在信息理论和计算方案方面，以及各种恢复要求，例如精确，部分和弱恢复。讨论的主要结果是在Chernoff-Hellinger阈值中进行精确恢复的相转换，Kesten-Stigum阈值弱恢复的相变，最佳的SNR - 单位信息折衷的部分恢复以及信息理论和信息理论之间的差距计算阈值。该专着给出了在寻求限制时开发的主要算法的原则推导，特别是通过绘制绘制，半定义编程，（线性化）信念传播，经典/非背带频谱和图形供电。还讨论了其他块模型的扩展，例如几何模型和一些开放问题。

The stochastic block model (SBM) is a random graph model with planted clusters. It is widely employed as a canonical model to study clustering and community detection, and provides generally a fertile ground to study the statistical and computational tradeoffs that arise in network and data sciences.This note surveys the recent developments that establish the fundamental limits for community detection in the SBM, both with respect to information-theoretic and computational thresholds, and for various recovery requirements such as exact, partial and weak recovery (a.k.a., detection). The main results discussed are the phase transitions for exact recovery at the Chernoff-Hellinger threshold, the phase transition for weak recovery at the Kesten-Stigum threshold, the optimal distortion-SNR tradeoff for partial recovery, the learning of the SBM parameters and the gap between information-theoretic and computational thresholds.The note also covers some of the algorithms developed in the quest of achieving the limits, in particular two-round algorithms via graph-splitting, semi-definite programming, linearized belief propagation, classical and nonbacktracking spectral methods. A few open problems are also discussed.

最近已扩展了最小方形聚类（MSSC）或K-均值类型聚类的最小总和，以利用每个群集的基数的先验知识。这种知识用于提高性能以及解决方案质量。在本文中，我们提出了一种基于分支和切割技术的精确方法，以解决基数受限的MSSC。对于下边界的例程，我们使用Rujeerapaiboon等人最近提出的半决赛编程（SDP）放松。 [Siam J. Optim。 29（2），1211-1239，（2019）]。但是，这种放松只能用于小型实例中的分支和切割方法。因此，我们得出了一种新的SDP松弛，该松弛随着实例大小和簇的数量更好。在这两种情况下，我们都通过添加多面体切割来增强结合。从量身定制的分支策略中受益，该策略会实施成对的约束，我们减少了儿童节点中出现的问题的复杂性。相反，对于上限，我们提出了一个本地搜索过程，该过程利用在每个节点上求解的SDP松弛的解。计算结果表明，所提出的算法在全球范围内首次求解了大小的现实实例，比通过最新精确方法求解的算法大10倍。

Outier-bubust估计是一个基本问题，已由统计学家和从业人员进行了广泛的研究。在过去的几年中，整个研究领域的融合都倾向于“算法稳定统计”，该统计数据的重点是开发可拖动的异常体 - 固定技术来解决高维估计问题。尽管存在这种融合，但跨领域的研究工作主要彼此断开。本文桥接了有关可认证的异常抗衡器估计的最新工作，该估计是机器人技术和计算机视觉中的几何感知，并在健壮的统计数据中并行工作。特别是，我们适应并扩展了最新结果对可靠的线性回归（适用于<< 50％异常值的低外壳案例）和列表可解码的回归（适用于>> 50％异常值的高淘汰案例）在机器人和视觉中通常发现的设置，其中（i）变量（例如旋转，姿势）属于非convex域，（ii）测量值是矢量值，并且（iii）未知的异常值是先验的。这里的重点是绩效保证：我们没有提出新算法，而是为投入测量提供条件，在该输入测量值下，保证现代估计算法可以在存在异常值的情况下恢复接近地面真相的估计值。这些条件是我们所谓的“估计合同”。除了现有结果的拟议扩展外，我们认为本文的主要贡献是（i）通过指出共同点和差异来统一平行的研究行，（ii）在介绍先进材料（例如，证明总和证明）中的统一行为。对从业者的可访问和独立的演讲，（iii）指出一些即时的机会和开放问题，以发出异常的几何感知。

This paper is about a curious phenomenon. Suppose we have a data matrix, which is the superposition of a low-rank component and a sparse component. Can we recover each component individually? We prove that under some suitable assumptions, it is possible to recover both the low-rank and the sparse components exactly by solving a very convenient convex program called Principal Component Pursuit; among all feasible decompositions, simply minimize a weighted combination of the nuclear norm and of the 1 norm. This suggests the possibility of a principled approach to robust principal component analysis since our methodology and results assert that one can recover the principal components of a data matrix even though a positive fraction of its entries are arbitrarily corrupted. This extends to the situation where a fraction of the entries are missing as well. We discuss an algorithm for solving this optimization problem, and present applications in the area of video surveillance, where our methodology allows for the detection of objects in a cluttered background, and in the area of face recognition, where it offers a principled way of removing shadows and specularities in images of faces.

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

近期在应用于培训深度神经网络和数据分析中的其他优化问题中的非凸优化的优化算法的兴趣增加，我们概述了最近对非凸优化优化算法的全球性能保证的理论结果。我们从古典参数开始，显示一般非凸面问题无法在合理的时间内有效地解决。然后，我们提供了一个问题列表，可以通过利用问题的结构来有效地找到全球最小化器，因为可能的问题。处理非凸性的另一种方法是放宽目标，从找到全局最小，以找到静止点或局部最小值。对于该设置，我们首先为确定性一阶方法的收敛速率提出了已知结果，然后是最佳随机和随机梯度方案的一般理论分析，以及随机第一阶方法的概述。之后，我们讨论了非常一般的非凸面问题，例如最小化$ \ alpha $ -weakly-are-convex功能和满足Polyak-lojasiewicz条件的功能，这仍然允许获得一阶的理论融合保证方法。然后，我们考虑更高阶和零序/衍生物的方法及其收敛速率，以获得非凸优化问题。

预处理一直是优化和机器学习方面的主食技术。它通常会减少其应用于矩阵的条件数，从而加快优化算法的收敛性。尽管实践中有许多流行的预处理技术，但大多数人缺乏降低病数的理论保证。在本文中，我们研究了最佳对角线预处理的问题，以分别或同时分别或同时缩放其行或列来实现任何全级矩阵的条件数量的最大降低。我们首先将问题重新将问题重新制定为一个准凸出问题，并提供了一种基线一分配算法，该算法在实践中易于实现，其中每次迭代都包含SDP可行性问题。然后，我们建议使用$ o（\ log（\ frac {1} {\ epsilon}）））$迭代复杂度提出多项式时间潜在的降低算法，其中每个迭代均由基于Nesterov-todd方向的牛顿更新组成。我们的算法基于该问题的表述，该问题是von Neumann最佳生长问题的广义版本。接下来，我们专注于单方面的最佳对角线预处理问题，并证明它们可以作为标准双SDP问题配方，我们应用了有效的定制求解器并研究我们最佳的对角线预处理的经验性能。我们在大型矩阵上进行的广泛实验表明，与基于启发式的预处理相比，最佳对角线预处理在减少条件数方面的实际吸引力。

最小的平方和群集（MSSC）或K-Means型聚类，传统上被认为是无监督的学习任务。近年来，使用背景知识来提高集群质量，促进聚类过程的可解释性已成为数学优化和机器学习研究的热门研究课题。利用数据群集中的背景信息的问题称为半监督或约束群集。在本文中，我们为半监控MSSC提供了一种新的分支和绑定算法，其中背景知识被包含为成对必须 - 链接和无法链接约束。对于较低的界限，我们解决了MSSC离散优化模型的Semidefinite编程宽松，并使用了用于加强界限的纤维平面程序。相反，通过使用整数编程工具，我们提出了将K-Means算法适应受约束的情况。这是第一次，所提出的全局优化算法有效地管理，以解决现实世界的情况，最高可达800个数据点，具有必要的必须 - 链接和无法链接约束以及通用数量的功能。这个问题大小大约比最先进的精确算法解决的实例大约四倍。

我们提出了一种新的基于同型的条件梯度方法，用于解决大量简单圆锥约束的凸优化问题。该模板的实例自然出现在半决赛编程问题中，这是组合优化问题的凸松弛。我们的方法是一种双环算法，其中通过自我符合屏障处理圆锥约束，并且内环采用条件梯度算法来近似分析中心路径，而外圈则更新了对时间溶液上的精度。和同喻参数。当面对最先进的SDP求解器时，我们的理论迭代复杂性具有竞争力，具有廉价的无投影子例程的决定性优势。提供了初步数值实验，以说明该方法的实际性能。

我们开发了快速算法和可靠软件，以凸出具有Relu激活功能的两层神经网络的凸优化。我们的工作利用了标准的重量罚款训练问题作为一组组-YELL_1 $调查的数据本地模型的凸重新印度，其中局部由多面体锥体约束强制执行。在零规范化的特殊情况下，我们表明此问题完全等同于凸“ Gated Relu”网络的不受约束的优化。对于非零正则化的问题，我们表明凸面式relu模型获得了RELU训练问题的数据依赖性近似范围。为了优化凸的重新制定，我们开发了一种加速的近端梯度方法和实用的增强拉格朗日求解器。我们表明，这些方法比针对非凸问题（例如SGD）和超越商业内部点求解器的标准训练启发式方法要快。在实验上，我们验证了我们的理论结果，探索组-ELL_1 $正则化路径，并对神经网络进行比例凸的优化，以在MNIST和CIFAR-10上进行图像分类。

This paper surveys the recent attempts, both from the machine learning and operations research communities, at leveraging machine learning to solve combinatorial optimization problems. Given the hard nature of these problems, state-of-the-art algorithms rely on handcrafted heuristics for making decisions that are otherwise too expensive to compute or mathematically not well defined. Thus, machine learning looks like a natural candidate to make such decisions in a more principled and optimized way. We advocate for pushing further the integration of machine learning and combinatorial optimization and detail a methodology to do so. A main point of the paper is seeing generic optimization problems as data points and inquiring what is the relevant distribution of problems to use for learning on a given task.

We consider the nonlinear inverse problem of learning a transition operator $\mathbf{A}$ from partial observations at different times, in particular from sparse observations of entries of its powers $\mathbf{A},\mathbf{A}^2,\cdots,\mathbf{A}^{T}$. This Spatio-Temporal Transition Operator Recovery problem is motivated by the recent interest in learning time-varying graph signals that are driven by graph operators depending on the underlying graph topology. We address the nonlinearity of the problem by embedding it into a higher-dimensional space of suitable block-Hankel matrices, where it becomes a low-rank matrix completion problem, even if $\mathbf{A}$ is of full rank. For both a uniform and an adaptive random space-time sampling model, we quantify the recoverability of the transition operator via suitable measures of incoherence of these block-Hankel embedding matrices. For graph transition operators these measures of incoherence depend on the interplay between the dynamics and the graph topology. We develop a suitable non-convex iterative reweighted least squares (IRLS) algorithm, establish its quadratic local convergence, and show that, in optimal scenarios, no more than $\mathcal{O}(rn \log(nT))$ space-time samples are sufficient to ensure accurate recovery of a rank-$r$ operator $\mathbf{A}$ of size $n \times n$. This establishes that spatial samples can be substituted by a comparable number of space-time samples. We provide an efficient implementation of the proposed IRLS algorithm with space complexity of order $O(r n T)$ and per-iteration time complexity linear in $n$. Numerical experiments for transition operators based on several graph models confirm that the theoretical findings accurately track empirical phase transitions, and illustrate the applicability and scalability of the proposed algorithm.

我们提出了一种凸锥程序，可推断随机点产品图（RDPG）的潜在概率矩阵。优化问题最大化Bernoulli最大似然函数，增加核规范正则化术语。双重问题具有特别良好的形式，与众所周知的SemideFinite程序放松MaxCut问题有关。使用原始双功率条件，我们绑定了原始和双解决方案的条目和等级。此外，我们在轻微的技术假设下绑定了最佳目标值并证明了略微修改模型的概率估计的渐近一致性。我们对合成RDPG的实验不仅恢复了自然集群，而且还揭示了原始数据的下面的低维几何形状。我们还证明该方法在空手道俱乐部图表和合成美国参议图中恢复潜在结构，并且可以扩展到最多几百个节点的图表。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.