我们研究深度神经网络的表达性。通过其连接数或神经元数量来测量网络的复杂性,我们考虑了在增加复杂性预算时,给定复杂度的网络的最佳近似误差以一定速率衰减的函数类。使用经典逼近理论的结果,我们证明了这个类可以赋予(准)范数,使其成为线性函数空间,称为近似空间。我们建立允许网络具有某些类型的“跳过连接”不会改变所得到的近似空间。我们还讨论了网络非线性(也称为激活函数)在结果空间中的作用,以及深度的作用。对于流行的ReLU非线性及其功率,将新构造的空间与经典的Besov空间相提并论。如果这些网络足够深,那么建立的嵌入突出了一些非常低的Besov平滑度的函数可以通过神经网络很好地近似。
translated by 谷歌翻译
我们提出了一种基于深度学习和集合理论的新技术,它具有出色的分类和预测结果。通过访问足够大量的标记训练数据,即使训练数据与测试数据完全无关,我们的方法也能够几乎始终预测测试数据的标签。换句话说,我们在非特定设置中证明,只要有一个人可以访问足够的数据点,数据的质量就无关紧要了。
translated by 谷歌翻译
微观分析提供了对奇点结构的深入洞察,并且对于解决主要在成像科学中的逆问题至关重要。特别重要的是波前集的分析及其相关性。在本文中,我们介绍了第一种提取波前图像集的算法方法,该方法结合了基于数据和基于模型的方法。基于剪切变换的着名属性来解析波前集的信息,我们通过首先应用离散剪切变换然后将该变换的局部补充馈送到训练的标记数据的深度卷积神经网络来提取图像的波前集。得到的算法优于所有竞争算法的边缘方向和斜坡方向检测。
translated by 谷歌翻译
我们研究了关于平方损失的经验风险最小化的学习能力和由线性函数组成的凸假设类。虽然这些类型的估计器最初是为嘈杂的线性回归问题而设计的,但最近证明它们实际上能够处理更多复杂的情况,涉及高度非线性的。这项工作旨在为这一些令人惊讶的现象提供全面的解释。我们分析的核心是它们匹配原则,这是一个简单而通用的方法,用于建立经验风险最小化的理论误差界限。我们的结果范围相当普遍,允许任意的高斯输入输出对,可能具有强相关的特征变量。值得注意的是,它们的匹配原则也在一定程度上概括了普通最小二乘的经典正交性原理。这种适应性使我们能够研究最近感兴趣的问题设置,最重要的是,高维参数体系和非线性观察过程。特别是,我们的理论框架适用于各种实际相关的场景,如单指标模型,变量选择和强相关设计。因此,我们证明了itismatch原理的关键目的,即在大型模型不确定性和错误规范下的学习(半)参数输出规则。
translated by 谷歌翻译
各种逆问题的高度复杂性对基于模型的重建方案提出了重大挑战,在这种情况下,这些方案经常达到其极限。与此同时,我们见证了基于数据的方法,例如深度学习,取得了非凡的成功。然而,在反向异常的情况下,深度神经网络主要充当黑盒子例程,用于例如在经典图像重构中稍微未指定地去除伪像。在本文中,我们将重点关注有限角度计算机断层扫描的严重不良反演,其中整个边界部分未在测量中捕获。我们将开发一种混合重建框架,将基于模型的稀疏正则化与数据驱动的深度学习融合在一起。我们的方法是可靠的,因为我们只学习可证明不能通过基于模型的方法处理的部分,同时将理论上可控的稀疏正则化技术应用于其余部分。通过剪切变换可以实现对可见和不可见区段的这种分解,该剪切变换允许解析相空间中的波前组。此外,这种分裂使我们能够将明确的任务推荐给神经网络,从而在有限的计算机断层扫描的背景下对其性能进行解释。我们的数值实验表明,我们的算法显着超过纯模型和更多基于数据的重建方法。
translated by 谷歌翻译