我们研究深度神经网络的表达性。通过其连接数或神经元数量来测量网络的复杂性,我们考虑了在增加复杂性预算时,给定复杂度的网络的最佳近似误差以一定速率衰减的函数类。使用经典逼近理论的结果,我们证明了这个类可以赋予(准)范数,使其成为线性函数空间,称为近似空间。我们建立允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络非线性(也称为激活函数)在结果空间中的作用,以及深度的作用。对于流行的ReLU非线性及其功率,将新构造的空间与经典的Besov空间相提并论。如果这些网络足够深,那么建立的嵌入突出了一些非常低的Besov平滑度的函数可以通过神经网络很好地近似。
translated by 谷歌翻译
在本文中,我们提出了一种结合两种加速技术的方法:$ \ ell_1 $ - 规范化最小二乘问题:安全筛选测试,消除无用字典原子,以及使用字典矩阵的快速结构化近似。为此,我们引入了一系列新的屏幕测试,称为稳定屏幕,可以处理字典原子上的近似误差,同时保持测试的安全性(即拒绝属于解决方案支持的原子的zerorisk)。一些主要的筛选试验扩展到这个新的框架。所提出的算法包括在初始迭代中使用粗略(但更快)的字典近似,然后切换到更好的直到最终采用原始字典。得出了基于对偶间隙饱和度和筛选比率的系统切换准则。仿真结果表明,对于各种测试场景,计算复杂度和执行时间都有显着降低。
translated by 谷歌翻译
本文讨论了盲回声检索的一般问题,即,给定M传感器在离散时域M中测量M个未知源信号的K个延迟和衰减副本的混合,是否可以恢复回声位置和重量?这个问题在诸如声学,地震学,超声波或室内声学等领域有广泛的应用。它属于更广泛的盲信道识别问题,已在信号处理中进行了深入研究。文献中的现有方法以两步进行:(i)稀疏离散时间滤波器的盲估计和(ii)通过滤波器上的峰值拾取来回收信息。这些方法的精度基本上受到信号采样速率的限制:估计的回波位置在网格上是必要的,并且由于真实位置从未与采样网格匹配,因此重量估计精度受到影响。这就是压缩感知中所谓的基本不匹配问题。我们提出了一个完全不同的方法来解决这个问题,建立在创新的无限创新抽样框架上。该方法直接在回波位置和权重的参数空间中操作,并且能够从离散时间测量中获得近精确的盲和离网格回波。它表现出比传统方法更精确的几个数量级。
translated by 谷歌翻译
After a decade of extensive study of the sparse representation synthesismodel, we can safely say that this is a mature and stable field, with cleartheoretical foundations, and appealing applications. Alongside this approach,there is an analysis counterpart model, which, despite its similarity to thesynthesis alternative, is markedly different. Surprisingly, the analysis modeldid not get a similar attention, and its understanding today is shallow andpartial. In this paper we take a closer look at the analysis approach, betterdefine it as a generative model for signals, and contrast it with the synthesisone. This work proposes effective pursuit methods that aim to solve inverseproblems regularized with the analysis-model prior, accompanied by apreliminary theoretical study of their performance. We demonstrate theeffectiveness of the analysis model in several experiments.
translated by 谷歌翻译
We propose a novel method for constructing wavelet transforms of functionsdefined on the vertices of an arbitrary finite weighted graph. Our approach isbased on defining scaling using the the graph analogue of the Fourier domain,namely the spectral decomposition of the discrete graph Laplacian $\L$. Given awavelet generating kernel $g$ and a scale parameter $t$, we define the scaledwavelet operator $T_g^t = g(t\L)$. The spectral graph wavelets are then formedby localizing this operator by applying it to an indicator function. Subject toan admissibility condition on $g$, this procedure defines an invertibletransform. We explore the localization properties of the wavelets in the limitof fine scales. Additionally, we present a fast Chebyshev polynomialapproximation algorithm for computing the transform that avoids the need fordiagonalizing $\L$. We highlight potential applications of the transformthrough examples of wavelets on graphs corresponding to a variety of differentproblem domains.
translated by 谷歌翻译
在本文中,我们提出了一种新的数字图像边缘检测方法。所提出方法的第一个原创性是将图像内容视为参数表面。然后,提出了表示图像内容的该表面的原始参数局部模型。所提出的模型中涉及的少数参数被示出为表面中非常敏感的连续性,其对应于图像内容中的边缘。这自然导致了有效边缘检测器的设计。此外,对所提出的模型的充分分析还允许我们解释这些参数如何用于获得边缘描述符,例如方向和曲率。在实践中,所提出的方法提供了两个主要优点。首先,它具有很高的定制可能性,以便适应各种不同的问题,从粗略到精细的边缘检测。其次,它对于模糊过程和加性噪声非常稳健。通过与其他边缘检测器的比较研究,提出了数值结果以强调这些性质并确认所提出的方法的效率。
translated by 谷歌翻译
嘈杂的标签经常出现在视觉数据集中,特别是当它们来自众包或网络抓取时。在本文中,我们提出了一种新的规则化方法,使人们能够在存在噪声数据的情况下学习鲁棒分类器。为了实现这一目标,我们用Wasserstein距离增加虚拟对抗性损失。这个距离允许我们通过利用这个最佳传输距离的几何属性来考虑类之间的特定关系。值得注意的是,我们编码了用于计算Wasserstein距离的地面成本中的类相似性。作为一个序列,我们可以提高非常相似的类之间的平滑性,同时保持分类决策功能对于类似的类足够复杂。虽然设计这种地面成本可以作为特定问题的建模任务,但我们在本文中表明,使用类名之间的语义关系已经取得了良好的效果。我们提出的Wasserstein对抗训练(WAT)在嘈杂腐败的四个数据集上优于现有技术水平。标签:遥感图像语义分割中的三个经典基准和一个实例。
translated by 谷歌翻译
超像素分解方法通常用作预处理步骤以加速图像处理任务。他们在尝试尊重现有轮廓的同时将图像的像素分组为均匀区域。对于所有最先进的超像素分解方法,在1)计算时间,2)遵守图像轮廓和3)分解的规律性和紧凑性之间进行权衡。在本文中,我们提出了一种快速方法,在一个集合框架中使用线性路径(SCALP)来计算具有轮廓粘附的Superpixels。通过考虑到超像素重心的线性路径,增强了在聚类期间尝试将像素与超像素相关联时计算的距离。所提出的框架产生了符合图像轮廓的规则和紧凑的超像素。我们在标准伯克利分段数据集上提供SCALP的详细评估。获得的结果在标准像素和轮廓检测指标方面优于最先进的方法。
translated by 谷歌翻译
新颖性检测是识别与训练集明显不同的数据异常的无监督问题。新颖性检测是机器学习中的经典挑战之一,也是欺诈检测,入侵检测,医疗诊断,数据清理和故障预防等几个研究领域的核心组成部分。虽然设计了许多算法来解决这个问题,但大多数方法仅适用于模拟连续数值数据。处理由混合类型特征(例如数值和分类数据)或描述离散事件序列的时间数据集组成的数据集是一项具有挑战性的任务。除了支持的数据类型之外,有效新颖性检测方法的关键标准是能够准确地将新颖性与标称样本分离,可解释性,可扩展性以及对位于训练数据中的异常的鲁棒性。在本文中,我们研究了解决这些问题的新方法。特别地,我们提出(i)混合型数据的新颖性检测方法的实验比较(ii)序列数据的新颖检测方法的实验比较,(iii)基于Dirichlet过程混合和指数的混合型数据的概率非参数奇异检测方法。 - 家庭分布和(iv)基于自动编码器的新奇检测模型,其编码器/解码器被建模为深度高斯过程。
translated by 谷歌翻译
多模式表征学习在深度学习社区中越来越受到关注。虽然双线性模型提供了一个有趣的框架来找到模态的微妙组合,但它们的参数数量与输入维度呈二次方式,使得它们在经典深度学习管道中的实际应用具有挑战性。在本文中,我们介绍了BLOCK,一种基于块 - 超对角张量分解的新型多模态融合。它利用了block-termranks的概念,它概括了已经用于多模态融合的张量的等级和模式等级的概念。它允许定义用于优化融合模型的表现力和复杂性之间的权衡的新方法,并且能够在保持强大的单模态表示的同时表示模态之间的非常精细的相互作用。我们通过将BLOCK用于两个具有挑战性的任务来展示我们融合模型的实用性:VisualQuestion Answering(VQA)和视觉关系检测(VRD),我们设计端到端可学习架构来表示模态之间的相关交互。通过大量实验,我们证明了BLOCK与VQA和VRD任务的最先进的多模态融合模型相比是有利的。我们的代码位于\ url {https://github.com/Cadene/block.bootstrap.pytorch}。
translated by 谷歌翻译