我们考虑从有限许多支持功能评估中重建具有固定面部方向的多部位的任务。我们表明，对于固定的单一规范风扇，由凸二次程序给出最小二乘估计。我们研究了解决方案集的几何形状，并在这种情况下为重建的唯一性提供了组合特征。我们提供一种算法，在温和的假设下会聚到未知的输入形状，因为噪声支持函数评估的数量增加。如果拆除了对正常风扇的限制，我们还讨论了我们结果的限制。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

我们介绍了可以由具有Maxout单位的人造馈电神经网络表示的功能线性区域的数量。排名kaxout单元是一个函数，计算$ k $线性函数的最大值。对于具有单层Maxout单元的网络，线性区域对应于Minkowski多型的上顶点。我们根据热带超曲面的交点或部分Minkowski总和的上面数，以及任何输入维度的区域数，任何单位数量，任何等级，任何等级，任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，以及任何等级，在有和没有偏见的情况下。基于这些结果，我们还为具有多层的网络获得了渐近的上限。

我们研究了与给定的无向图$ g $相对应的图形模型的最大似然估计的问题。我们表明，最大似然估计（MLE）是几个帐篷函数的指数的乘积，每个最大集团的$ g $。虽然图形模型中的一组对数符号密度是无限维度的，但我们的结果表明，可以通过求解有限维凸优化问题来找到MLE。我们提供实施和一些示例。此外，我们证明MLE存在并且具有概率为1，只要样品数量大于$ g $ chordal时最大的$ g $集团的大小。我们证明，当图$ g $是集团的不交联时，MLE是一致的。最后，我们讨论了$ g $的图形模型中的对数 - 串联密度在$ g $中具有对数符号分解的条件。

众所周知，具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是，对于Relu神经网络的每个固定架构，参数空间都允许对称的正维空间，因此，在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中，我们仔细地定义了功能维度的概念，表明它在Relu神经网络函数的参数空间中是不均匀的，并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维，提供了断开连接的纤维的示例，功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。

支持向量机（SVM）是一种算法，该算法找到了超平面，最佳地将标记的数据点以$ \ mathbb {r} ^ n $分为正面和负类。该分离超平面裕度上的数据点称为支持向量。我们将支持向量的可能配置连接到Radon的定理，这提供了一组点可以分为两个类（正负）的保证，其凸壳相交。如果将正和负支持向量的凸壳投射到分离超平面上，则仅在超平面是最佳的，则投影在至少一个点中相交。此外，通过特定类型的一般位置，我们表明（a）支撑载体的投影凸船体在恰好一个点中相交，（b）支撑载体在扰动下稳定，（c）最多有$ n + 1 $支持向量，（d）每一个高达$ n + 1 $的支持向量是可能的。最后，我们执行研究预期的支持向量数及其配置的计算机模拟，用于随机生成的数据。我们观察到，随着该类型的随机生成的数据增加的距离增加，具有两个支持向量的配置成为最可能的配置。

计算机愿景中的基本问题是一组点对是否是位于两个相机前面的场景的图像。这种场景和相机一起被称为对角对的手性重建。在本文中，我们提供了一个完整的K点对分类，其中存在手性重建。手性重建的存在相当于某些半武装集的非空虚。最多三点对，我们证明了手性重建总是存在，而五个或更多点对没有手性重建的一组是Zariski-Chense。我们表明，对于五个通用点对，手性区域是由27个实线的三方表面上的Schl \“AFLI双六六的线段界定。四点对具有手性重建，除非它们属于两个非通用组合类型，在这种情况下，他们可能或可能不是。

我们调查与高斯的混合的数据分享共同但未知，潜在虐待协方差矩阵的数据。我们首先考虑具有两个等级大小的组件的高斯混合，并根据最大似然估计导出最大切割整数程序。当样品的数量在维度下线性增长时，我们证明其解决方案实现了最佳的错误分类率，直到对数因子。但是，解决最大切割问题似乎是在计算上棘手的。为了克服这一点，我们开发了一种高效的频谱算法，该算法达到最佳速率，但需要一种二次样本量。虽然这种样本复杂性比最大切割问题更差，但我们猜测没有多项式方法可以更好地执行。此外，我们收集了支持统计计算差距存在的数值和理论证据。最后，我们将MAX-CUT程序概括为$ k $ -means程序，该程序处理多组分混合物的可能性不平等。它享有相似的最优性保证，用于满足运输成本不平等的分布式的混合物，包括高斯和强烈的对数的分布。

让F：R ^ N - > R是前馈RELU神经网络。众所周知，对于任何选择参数，F是连续和分段（仿射）线性的。我们为有系统调查提供了一些基础，用于系统的架构如何影响其可能的决策区域的几何和拓扑以进行二进制分类任务。在差分拓扑中顺利函数的经典进展之后，我们首先定义通用，横向relu神经网络的概念，并显示几乎所有的Relu网络都是通用的和横向的。然后，我们在F的域中定义了一个部分取向的线性1-复合物，并识别该复合物的属性，从而产生妨碍决策区域的有界连接分量的障碍物。我们使用该阻塞来证明具有单个隐藏的尺寸层（N + 1）的通用横向Relu网络F：R ^ N - > R的决策区域可以不具有多于一个有界连接的组件。

Network data are ubiquitous in modern machine learning, with tasks of interest including node classification, node clustering and link prediction. A frequent approach begins by learning an Euclidean embedding of the network, to which algorithms developed for vector-valued data are applied. For large networks, embeddings are learned using stochastic gradient methods where the sub-sampling scheme can be freely chosen. Despite the strong empirical performance of such methods, they are not well understood theoretically. Our work encapsulates representation methods using a subsampling approach, such as node2vec, into a single unifying framework. We prove, under the assumption that the graph is exchangeable, that the distribution of the learned embedding vectors asymptotically decouples. Moreover, we characterize the asymptotic distribution and provided rates of convergence, in terms of the latent parameters, which includes the choice of loss function and the embedding dimension. This provides a theoretical foundation to understand what the embedding vectors represent and how well these methods perform on downstream tasks. Notably, we observe that typically used loss functions may lead to shortcomings, such as a lack of Fisher consistency.

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

使用神经网络学习依赖于可代表功能的复杂性，但更重要的是，典型参数的特定分配与不同复杂度的功能。将激活区域的数量作为复杂性度量，最近的作品表明，深度释放网络的实际复杂性往往远远远非理论最大值。在这项工作中，我们表明这种现象也发生在具有颤扬（多参数）激活功能的网络中，并且在考虑分类任务中的决策边界时。我们还表明参数空间具有多维全维区域，具有广泛不同的复杂性，并在预期的复杂性上获得非竞争下限。最后，我们调查了不同的参数初始化程序，并表明他们可以提高培训的收敛速度。

形状约束，例如非负，单调性，凸度或超模型性，在机器学习和统计的各种应用中都起着关键作用。但是，将此方面的信息以艰苦的方式（例如，在间隔的所有点）纳入预测模型，这是一个众所周知的具有挑战性的问题。我们提出了一个统一和模块化的凸优化框架，依赖于二阶锥（SOC）拧紧，以编码属于矢量值重现的载体内核Hilbert Spaces（VRKHSS）的模型对函数衍生物的硬仿射SDP约束。所提出的方法的模块化性质允许同时处理多个形状约束，并将无限数量的约束限制为有限的许多。我们证明了所提出的方案的收敛及其自适应变体的收敛性，利用VRKHSS的几何特性。由于基于覆盖的拧紧构造，该方法特别适合具有小到中等输入维度的任务。该方法的效率在形状优化，机器人技术和计量经济学的背景下进行了说明。

我们研究由线性卷积神经网络（LCN）代表的功能家族。这些函数形成了从输入空间到输出空间的线性地图集的半代数子集。相比之下，由完全连接的线性网络表示的函数家族形成代数集。我们观察到，LCN代表的功能可以通过接受某些因素化的多项式来识别，我们使用此视角来描述网络体系结构对所得功能空间几何形状的影响。我们进一步研究了在LCN上的目标函数的优化，分析了功能空间和参数空间中的临界点，并描述了梯度下降的动态不变性。总体而言，我们的理论预测，LCN的优化参数通常对应于跨层的重复过滤器，或可以分解为重复过滤器的过滤器。我们还进行了数值和符号实验，以说明我们的结果，并对小体系结构的景​​观进行深入分析。

We consider the problem of estimating a multivariate function $f_0$ of bounded variation (BV), from noisy observations $y_i = f_0(x_i) + z_i$ made at random design points $x_i \in \mathbb{R}^d$, $i=1,\ldots,n$. We study an estimator that forms the Voronoi diagram of the design points, and then solves an optimization problem that regularizes according to a certain discrete notion of total variation (TV): the sum of weighted absolute differences of parameters $\theta_i,\theta_j$ (which estimate the function values $f_0(x_i),f_0(x_j)$) at all neighboring cells $i,j$ in the Voronoi diagram. This is seen to be equivalent to a variational optimization problem that regularizes according to the usual continuum (measure-theoretic) notion of TV, once we restrict the domain to functions that are piecewise constant over the Voronoi diagram. The regression estimator under consideration hence performs (shrunken) local averaging over adaptively formed unions of Voronoi cells, and we refer to it as the Voronoigram, following the ideas in Koenker (2005), and drawing inspiration from Tukey's regressogram (Tukey, 1961). Our contributions in this paper span both the conceptual and theoretical frontiers: we discuss some of the unique properties of the Voronoigram in comparison to TV-regularized estimators that use other graph-based discretizations; we derive the asymptotic limit of the Voronoi TV functional; and we prove that the Voronoigram is minimax rate optimal (up to log factors) for estimating BV functions that are essentially bounded.

在此备忘录中，我们开发了一般框架，它允许同时研究$ \ MathBB R ^ D $和惠特尼在$ \ Mathbb r的离散和非离散子集附近的insoctry扩展问题附近的标签和未标记的近对准数据问题。^ d $与某些几何形状。此外，我们调查了与集群，维度减少，流形学习，视觉以及最小的能量分区，差异和最小最大优化的相关工作。给出了谐波分析，计算机视觉，歧管学习和与我们工作的信号处理中的众多开放问题。本发明内容中的一部分工作基于纸张中查尔斯Fefferman的联合研究[48]，[49]，[50]，[51]。

本文提出了弗兰克 - 沃尔夫（FW）的新变种​​，称为$ k $ fw。标准FW遭受缓慢的收敛性：迭代通常是Zig-zag作为更新方向振荡约束集的极端点。新变种，$ k $ fw，通过在每次迭代中使用两个更强的子问题oracelles克服了这个问题。第一个是$ k $线性优化Oracle（$ k $ loo），计算$ k $最新的更新方向（而不是一个）。第二个是$ k $方向搜索（$ k $ ds），最大限度地减少由$ k $最新更新方向和之前迭代表示的约束组的目标。当问题解决方案承认稀疏表示时，奥克斯都易于计算，而且$ k $ FW会迅速收敛，以便平滑凸起目标和几个有趣的约束集：$ k $ fw实现有限$ \ frac {4l_f ^ 3d ^} { \ Gamma \ Delta ^ 2} $融合在多台和集团规范球上，以及光谱和核规范球上的线性收敛。数值实验验证了$ k $ fw的有效性，并展示了现有方法的数量级加速。

This paper considers the model problem of reconstructing an object from incomplete frequency samples. Consider a discrete-time signal f ∈ C N and a randomly chosen set of frequencies Ω of mean size τ N . Is it possible to reconstruct f from the partial knowledge of its Fourier coefficients on the set Ω?A typical result of this paper is as follows: for each M > 0, suppose that f obeysthen with probability at least 1 − O(N −M ), f can be reconstructed exactly as the solution to the ℓ 1 minimization problem min g N −1 t=0 |g(t)|, s.t. ĝ(ω) = f (ω) for all ω ∈ Ω.In short, exact recovery may be obtained by solving a convex optimization problem.We give numerical values for α which depends on the desired probability of success; except for the logarithmic factor, the condition on the size of the support is sharp.The methodology extends to a variety of other setups and higher dimensions. For example, we show how one can reconstruct a piecewise constant (one or two-dimensional) object from incomplete frequency samples-provided that the number of jumps (discontinuities) obeys the condition above-by minimizing other convex functionals such as the total-variation of f .

The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.

我们引入了与针孔摄像机中图像形成相关的代数几何对象的地图集。地图集的节点是代数品种或它们的消失理想，分别通过投影，消除，限制或专业化相互关联。该地图集为研究3D计算机视觉中的问题提供了一个统一的框架。我们通过完全表征来自三角剖分问题的部分地图集来启动地图集的研究。我们以几个空旷的问题和地图集的概括结束。