同态传感是一个最近的代数几何框架,它在给定的线性图集合中研究了线性子空间中点的独特恢复。在坐标投影组成的情况下,它已经成功地解释了这种恢复,这是被称为未标记感应的应用程序中的重要实例,其中模拟了不秩序不正确且缺少值的数据。在本文中,我们提供更严格,更简单的条件,以保证单个空格情况的唯一恢复,将结果扩展到子空间布置的情况,并证明单个子空间中的唯一恢复在噪声下是本地稳定的。我们将结果专注于几个同态感测的示例,例如真实的相位检索和未标记的传感。在这样做的情况下,我们以统一的方式获得了保证这些示例的独特恢复的条件,这些示例通常是通过文献中的各种技术来知道的,以及用于稀疏和未签名版本的未标记感应的新颖条件。同样,我们的噪声结果也意味着未标记的传感中的独特恢复在局部稳定。
translated by 谷歌翻译
We study the problem of finding elements in the intersection of an arbitrary conic variety in $\mathbb{F}^n$ with a given linear subspace (where $\mathbb{F}$ can be the real or complex field). This problem captures a rich family of algorithmic problems under different choices of the variety. The special case of the variety consisting of rank-1 matrices already has strong connections to central problems in different areas like quantum information theory and tensor decompositions. This problem is known to be NP-hard in the worst-case, even for the variety of rank-1 matrices. Surprisingly, despite these hardness results we give efficient algorithms that solve this problem for "typical" subspaces. Here, the subspace $U \subseteq \mathbb{F}^n$ is chosen generically of a certain dimension, potentially with some generic elements of the variety contained in it. Our main algorithmic result is a polynomial time algorithm that recovers all the elements of $U$ that lie in the variety, under some mild non-degeneracy assumptions on the variety. As corollaries, we obtain the following results: $\bullet$ Uniqueness results and polynomial time algorithms for generic instances of a broad class of low-rank decomposition problems that go beyond tensor decompositions. Here, we recover a decomposition of the form $\sum_{i=1}^R v_i \otimes w_i$, where the $v_i$ are elements of the given variety $X$. This implies new algorithmic results even in the special case of tensor decompositions. $\bullet$ Polynomial time algorithms for several entangled subspaces problems in quantum entanglement, including determining $r$-entanglement, complete entanglement, and genuine entanglement of a subspace. While all of these problems are NP-hard in the worst case, our algorithm solves them in polynomial time for generic subspaces of dimension up to a constant multiple of the maximum possible.
translated by 谷歌翻译
我们引入了与针孔摄像机中图像形成相关的代数几何对象的地图集。地图集的节点是代数品种或它们的消失理想,分别通过投影,消除,限制或专业化相互关联。该地图集为研究3D计算机视觉中的问题提供了一个统一的框架。我们通过完全表征来自三角剖分问题的部分地图集来启动地图集的研究。我们以几个空旷的问题和地图集的概括结束。
translated by 谷歌翻译
让F:R ^ N - > R是前馈RELU神经网络。众所周知,对于任何选择参数,F是连续和分段(仿射)线性的。我们为有系统调查提供了一些基础,用于系统的架构如何影响其可能的决策区域的几何和拓扑以进行二进制分类任务。在差分拓扑中顺利函数的经典进展之后,我们首先定义通用,横向relu神经网络的概念,并显示几乎所有的Relu网络都是通用的和横向的。然后,我们在F的域中定义了一个部分取向的线性1-复合物,并识别该复合物的属性,从而产生妨碍决策区域的有界连接分量的障碍物。我们使用该阻塞来证明具有单个隐藏的尺寸层(N + 1)的通用横向Relu网络F:R ^ N - > R的决策区域可以不具有多于一个有界连接的组件。
translated by 谷歌翻译
本文是从运动问题的以下非刚性结构的理论研究。可以从参数变形点集的单眼视图计算什么?我们对具有校准和未校准相机的仿射和多项式变形来对待该问题的各种变化。我们表明,通常需要至少三个具有准相同的两种变形的图像,以便具有点结构的有限溶液并计算一些简单的示例。
translated by 谷歌翻译
众所周知,具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是,对于Relu神经网络的每个固定架构,参数空间都允许对称的正维空间,因此,在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中,我们仔细地定义了功能维度的概念,表明它在Relu神经网络函数的参数空间中是不均匀的,并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维,提供了断开连接的纤维的示例,功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。
translated by 谷歌翻译
我们研究了神经网络中平方损耗训练问题的优化景观和稳定性,但通用非线性圆锥近似方案。据证明,如果认为非线性圆锥近似方案是(以适当定义的意义)比经典线性近似方法更具表现力,并且如果存在不完美的标签向量,则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值,这可能是从全球解决方案的任意遥远的,并且既不训练问题也不是训练问题的不稳定性通常,杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足,后一种结果都被证明是正确的。我们表明,我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题,其涉及各种激活功能的任意混合(例如,二进制,六骨,Tanh,arctan,软标志, ISRU,Soft-Clip,SQNL,Relu,Lifley Relu,Soft-Plus,Bent Identity,Silu,Isrlu和ELU)。总之,本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接,以便训练它们。
translated by 谷歌翻译
我们研究由线性卷积神经网络(LCN)代表的功能家族。这些函数形成了从输入空间到输出空间的线性地图集的半代数子集。相比之下,由完全连接的线性网络表示的函数家族形成代数集。我们观察到,LCN代表的功能可以通过接受某些因素化的多项式来识别,我们使用此视角来描述网络体系结构对所得功能空间几何形状的影响。我们进一步研究了在LCN上的目标函数的优化,分析了功能空间和参数空间中的临界点,并描述了梯度下降的动态不变性。总体而言,我们的理论预测,LCN的优化参数通常对应于跨层的重复过滤器,或可以分解为重复过滤器的过滤器。我们还进行了数值和符号实验,以说明我们的结果,并对小体系结构的景​​观进行深入分析。
translated by 谷歌翻译
我们考虑强大的线性回归模型$ \ boldsymbol {y} = x \ beta^* + \ boldsymbol {\ eta} $,其中一个对手忽略了design $ x \ in \ mathbb {r}^r}^n \ times D } $可以选择$ \ boldsymbol {\ eta} $以损坏所有观测值的(可能消失的)$ \ boldsymbol {y} $以任意方式。最近的工作[DLN+21,DNS21]引入了有效的算法,以持续恢复参数矢量。这些算法至关重要地依赖于设计矩阵非常广泛(如果其列跨度远非任何稀疏矢量,矩阵就可以很好地扩展)。在本文中,我们表明存在一个缺乏良好性的设计矩阵家族,因此从理论上讲,在上述稳健线性回归模型中,参数向量的持续恢复是不可能的。我们进一步研究了随机矩阵的良好表现的平均案例时间复杂性。我们表明,如果观察值的数量在环境维度上是二次的,则可以有效地证明给定的$ n $ by-by-by-by-by-by-d $ d $ d $高斯矩阵是否会很好地扩展。当观察数为$ O(d^2)$时,我们通过显示出相同认证问题的计算硬度的严格证据来补充这一结果。
translated by 谷歌翻译
支持向量机(SVM)是一种算法,该算法找到了超平面,最佳地将标记的数据点以$ \ mathbb {r} ^ n $分为正面和负类。该分离超平面裕度上的数据点称为支持向量。我们将支持向量的可能配置连接到Radon的定理,这提供了一组点可以分为两个类(正负)的保证,其凸壳相交。如果将正和负支持向量的凸壳投射到分离超平面上,则仅在超平面是最佳的,则投影在至少一个点中相交。此外,通过特定类型的一般位置,我们表明(a)支撑载体的投影凸船体在恰好一个点中相交,(b)支撑载体在扰动下稳定,(c)最多有$ n + 1 $支持向量,(d)每一个高达$ n + 1 $的支持向量是可能的。最后,我们执行研究预期的支持向量数及其配置的计算机模拟,用于随机生成的数据。我们观察到,随着该类型的随机生成的数据增加的距离增加,具有两个支持向量的配置成为最可能的配置。
translated by 谷歌翻译
在本文中,我们研究了多视图几何中基本和基本矩阵估计的5-和7点问题的数值不太稳定性。在这两种情况下,我们表征了末极估计的条件号是无限的呈现不良世界场景。我们还以给定的图像数据表征不良实例。为了达到这些结果,我们提出了一般的框架,用于分析基于Riemannian歧管的多视图几何体中最小问题的调理。综合性和现实世界数据的实验然后揭示了一个引人注目的结论:在结构 - 从 - 动作(SFM)中的随机样本共识(RANSAC)不仅用于过滤输出异常值,而且RANSAC还选择用于良好的良好的图像数据,足够分离我们的理论预测的不良座位。我们的研究结果表明,在未来的工作中,人们可以试图通过仅测试良好的图像数据来加速和增加Ransac的成功。
translated by 谷歌翻译
计算机愿景中的基本问题是一组点对是否是位于两个相机前面的场景的图像。这种场景和相机一起被称为对角对的手性重建。在本文中,我们提供了一个完整的K点对分类,其中存在手性重建。手性重建的存在相当于某些半武装集的非空虚。最多三点对,我们证明了手性重建总是存在,而五个或更多点对没有手性重建的一组是Zariski-Chense。我们表明,对于五个通用点对,手性区域是由27个实线的三方表面上的Schl \“AFLI双六六的线段界定。四点对具有手性重建,除非它们属于两个非通用组合类型,在这种情况下,他们可能或可能不是。
translated by 谷歌翻译
The Forster transform is a method of regularizing a dataset by placing it in {\em radial isotropic position} while maintaining some of its essential properties. Forster transforms have played a key role in a diverse range of settings spanning computer science and functional analysis. Prior work had given {\em weakly} polynomial time algorithms for computing Forster transforms, when they exist. Our main result is the first {\em strongly polynomial time} algorithm to compute an approximate Forster transform of a given dataset or certify that no such transformation exists. By leveraging our strongly polynomial Forster algorithm, we obtain the first strongly polynomial time algorithm for {\em distribution-free} PAC learning of halfspaces. This learning result is surprising because {\em proper} PAC learning of halfspaces is {\em equivalent} to linear programming. Our learning approach extends to give a strongly polynomial halfspace learner in the presence of random classification noise and, more generally, Massart noise.
translated by 谷歌翻译
我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化,多面体理论和热带几何的技术,我们为普遍近似定理提供了数学逆向,这表明单个隐藏层足以用于学习任务。特别是,我们调查完全可增值功能是否完全可以通过添加更多层(没有限制大小)来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面,这个问题对算法和统计方面具有潜在的影响。然而,据我们所知,这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。
translated by 谷歌翻译
由于其在输入空间子集上的功能的知识,因此可以根据情况,诅咒或祝福来恢复神经网络的参数权重和偏差的可能性。一方面,恢复参数允许更好的对抗攻击,并且还可以从用于构造网络的数据集中披露敏感信息。另一方面,如果可以恢复网络的参数,它可以保证用户可以解释潜在空间中的特征。它还提供基础,以获得对网络性能的正式保障。因此,表征可以识别其参数的网络以及其参数不能的网络是很重要的。在本文中,我们在深度全连接的前馈recu网络上提供了一组条件,在该馈电中,网络的参数是唯一识别的模型置换和正重型 - 从其实现输入空间的子集。
translated by 谷歌翻译
聚类是无监督学习中的基本原始,它引发了丰富的计算挑战性推理任务。在这项工作中,我们专注于将$ D $ -dimential高斯混合的规范任务与未知(和可能的退化)协方差集成。最近的作品(Ghosh等人。恢复在高斯聚类实例中种植的某些隐藏结构。在许多类似的推理任务上的工作开始,这些较低界限强烈建议存在群集的固有统计到计算间隙,即群集任务是\ yringit {statistically}可能但没有\ texit {多项式 - 时间}算法成功。我们考虑的聚类任务的一个特殊情况相当于在否则随机子空间中找到种植的超立体载体的问题。我们表明,也许令人惊讶的是,这种特定的聚类模型\ extent {没有展示}统计到计算间隙,即使在这种情况下继续应用上述的低度和SOS下限。为此,我们提供了一种基于Lenstra - Lenstra - Lovasz晶格基础减少方法的多项式算法,该方法实现了$ D + 1 $样本的统计上最佳的样本复杂性。该结果扩展了猜想统计到计算间隙的问题的类问题可以通过“脆弱”多项式算法“关闭”,突出显示噪声在统计到计算间隙的发作中的关键而微妙作用。
translated by 谷歌翻译
The affine rank minimization problem consists of finding a matrix of minimum rank that satisfies a given system of linear equality constraints. Such problems have appeared in the literature of a diverse set of fields including system identification and control, Euclidean embedding, and collaborative filtering. Although specific instances can often be solved with specialized algorithms, the general affine rank minimization problem is NP-hard, because it contains vector cardinality minimization as a special case.In this paper, we show that if a certain restricted isometry property holds for the linear transformation defining the constraints, the minimum rank solution can be recovered by solving a convex optimization problem, namely the minimization of the nuclear norm over the given affine space. We present several random ensembles of equations where the restricted isometry property holds with overwhelming probability, provided the codimension of the subspace is Ω(r(m + n) log mn), where m, n are the dimensions of the matrix, and r is its rank.The techniques used in our analysis have strong parallels in the compressed sensing framework. We discuss how affine rank minimization generalizes this pre-existing concept and outline a dictionary relating concepts from cardinality minimization to those of rank minimization. We also discuss several algorithmic approaches to solving the norm minimization relaxations, and illustrate our results with numerical examples.
translated by 谷歌翻译
在Bora等。 (2017年),在测量矩阵为高斯,信号结构是生成神经网络(GNN)的范围的设置中开发了一个数学框架,用于压缩传感保证。此后,当测量矩阵和/或网络权重遵循Subgaussian分布时,对GNNS进行压缩感测的问题进行了广泛的分析。我们超越了高斯的假设,以通过在单一基质的随机行中均匀地采样(包括作为特殊情况下的亚采样傅立叶测量值)来得出的测量矩阵。具体而言,我们证明了使用亚次采样的二型限制感测的第一个已知的限制等轴测保证,并提供了几乎有序的样品复杂性的恢复边界,解决了Scarlett等人的开放问题。 (2022,第10页)。恢复功效的特征是连贯性,这是一个新参数,该参数测量了网络范围与测量矩阵之间的相互作用。我们的方法依赖于子空间计数论点和思想的核心概率。此外,我们提出了一种正规化策略,以使GNN与测量运算符具有有利的连贯性。我们提供令人信服的数值模拟来支持这种正规训练策略:我们的策略产生低相干网络,需要更少的信号回收测量。这与我们的理论结果一起支持连贯性作为自然量,用于表征与亚次采样的生成压缩感测。
translated by 谷歌翻译
我们介绍了可以由具有Maxout单位的人造馈电神经网络表示的功能线性区域的数量。排名kaxout单元是一个函数,计算$ k $线性函数的最大值。对于具有单层Maxout单元的网络,线性区域对应于Minkowski多型的上顶点。我们根据热带超曲面的交点或部分Minkowski总和的上面数,以及任何输入维度的区域数,任何单位数量,任何等级,任何等级,任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,以及任何等级,在有和没有偏见的情况下。基于这些结果,我们还为具有多层的网络获得了渐近的上限。
translated by 谷歌翻译
We consider a problem of considerable practical interest: the recovery of a data matrix from a sampling of its entries. Suppose that we observe m entries selected uniformly at random from a matrix M . Can we complete the matrix and recover the entries that we have not seen?We show that one can perfectly recover most low-rank matrices from what appears to be an incomplete set of entries. We prove that if the number m of sampled entries obeys m ≥ C n 1.2 r log n for some positive numerical constant C, then with very high probability, most n × n matrices of rank r can be perfectly recovered by solving a simple convex optimization program. This program finds the matrix with minimum nuclear norm that fits the data. The condition above assumes that the rank is not too large. However, if one replaces the 1.2 exponent with 1.25, then the result holds for all values of the rank. Similar results hold for arbitrary rectangular matrices as well. Our results are connected with the recent literature on compressed sensing, and show that objects other than signals and images can be perfectly reconstructed from very limited information.
translated by 谷歌翻译