深层线性和非线性学习方法已经成为重要的机器学习方法，用于研究层次特征，例如通过功能磁共振信号在人脑中的功能连通性。但是，有三个主要缺点：1）。对于深入的线性学习方法，尽管识别的功能连接性层次结构很容易解释，但揭示更层次的功能连接是一项挑战。 2）。对于深层的非线性学习方法，尽管非紧密连接的体系结构降低了易于优化并且不容易过度拟合的神经网络结构的复杂性，但功能连接层次结构很难解释； 3）。重要的是，即使在浅层层中，深层线性/非线性方法检测元和功能性连通性也是一项挑战。 4）。像大多数传统的深度非线性方法（例如深神经网络）一样，必须手动调整超参数，这是耗时的。因此，在这项工作中，我们提出了一种新型的深层杂交学习方法，称为半非线性深度有效重建（发送者），以克服上述缺点：1）。发件人利用线性学习方法的多层堆叠结构来检测规范功能连接。 2）。发件人实现了针对非线性学习方法进行的非紧密连接的结构，以通过浅层和更深的层揭示元功能连接。 3）。发件人结合了提出的背景组件，以提取下功能连接。 4）。发件人采用新颖的排名降低操作员来自动实施超参数调整。为了进一步验证有效性，我们使用人脑的实际功能磁共振成像数据将发件人与四个同行方法进行了比较。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

许多现代数据集，从神经影像和地统计数据等领域都以张量数据的随机样本的形式来说，这可以被理解为对光滑的多维随机功能的嘈杂观察。来自功能数据分析的大多数传统技术被维度的诅咒困扰，并且随着域的尺寸增加而迅速变得棘手。在本文中，我们提出了一种学习从多维功能数据样本的持续陈述的框架，这些功能是免受诅咒的几种表现形式的。这些表示由一组可分离的基函数构造，该函数被定义为最佳地适应数据。我们表明，通过仔细定义的数据的仔细定义的减少转换的张测仪分解可以有效地解决所得到的估计问题。使用基于差分运算符的惩罚，并入粗糙的正则化。也建立了相关的理论性质。在模拟研究中证明了我们对竞争方法的方法的优点。我们在神经影像动物中得出真正的数据应用。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

神经体系结构搜索（NAS）促进了神经体系结构的自动发现，从而实现了图像识别的最新精度。尽管NAS取得了进展，但到目前为止，NAS对理论保证几乎没有关注。在这项工作中，我们研究了NAS在统一框架下的概括属性，从而实现（深）层跳过连接搜索和激活功能搜索。为此，我们从搜索空间（包括混合的激活功能，完全连接和残留的神经网络）的（包括）有限宽度方向上得出了神经切线核的最小特征值的下（和上）边界。由于在统一框架下的各种体系结构和激活功能的耦合，我们的分析是不平凡的。然后，我们利用特征值边界在随机梯度下降训练中建立NAS的概括误差界。重要的是，我们从理论上和实验上展示了衍生结果如何指导NAS，即使在没有培训的情况下，即使在没有培训的情况下，也可以根据我们的理论进行无训练的算法。因此，我们的数值验证阐明了NAS计算有效方法的设计。

我们提出了一个基于一般学习的框架，用于解决非平滑和非凸图像重建问题。我们将正则函数建模为$ l_ {2,1} $ norm的组成，并将平滑但非convex功能映射参数化为深卷积神经网络。我们通过利用Nesterov的平滑技术和残留学习的概念来开发一种可证明的趋同的下降型算法来解决非平滑非概念最小化问题，并学习网络参数，以使算法的输出与培训数据中的参考匹配。我们的方法用途广泛，因为人们可以将各种现代网络结构用于正规化，而所得网络继承了算法的保证收敛性。我们还表明，所提出的网络是参数有效的，其性能与实践中各种图像重建问题中的最新方法相比有利。

为了更好地了解深度神经网络的结构效益和泛化能力，我们首先提出了一种新颖的神经网络模型的理论制定，包括完全连接的残余网络（Reset）和密集连接的网络（Densenet）。其次，我们将两层网络\ CITE {EW2019PRIORITWO}和RESET \ CITE {E2019PRIORIRES}的误差分析扩展到DENSENET，并进一步显示满足某些温和条件的神经网络，可以获得类似的估计。这些估计本质上是先验的，因为它们依赖于在训练过程之前的信息上依赖于信息，特别是估计误差的界限与输入维度无关。

由于其出色的近似功率和泛化能力，物理知识的神经网络（PINNS）已成为求解高维局部微分方程（PDE）的流行选择。最近，基于域分解方法的扩展Pinns（Xpinns）由于其在模拟多尺度和多体问题问题及其平行化方面的有效性而引起了相当大的关注。但是，对其融合和泛化特性的理论理解仍未开发。在这项研究中，我们迈出了了解XPinns优于拼接的方式和当Xpinns差异的初步步骤。具体地，对于一般多层PinNS和Xpinn，我们首先通过PDE问题中的目标函数的复杂性提供先前的泛化，并且在优化之后通过网络的后矩阵规范结合。此外，根据我们的界限，我们分析了Xpinns改善泛化的条件。具体地，我们的理论表明，XPinn的关键构建块，即域分解，介绍了泛化的权衡。一方面，Xpinns将复杂的PDE解决方案分解为几个简单的部分，这降低了学习每个部分所需的复杂性并提高泛化。另一方面，分解导致每个子域内可用的训练数据较少，因此这种模型通常容易过度拟合，并且可能变得不那么广泛。经验上，我们选择五个PDE来显示XPinns比Pinns更好，类似于或更差，因此证明和证明我们的新理论。

Consider the multivariate nonparametric regression model. It is shown that estimators based on sparsely connected deep neural networks with ReLU activation function and properly chosen network architecture achieve the minimax rates of convergence (up to log nfactors) under a general composition assumption on the regression function. The framework includes many well-studied structural constraints such as (generalized) additive models. While there is a lot of flexibility in the network architecture, the tuning parameter is the sparsity of the network. Specifically, we consider large networks with number of potential network parameters exceeding the sample size. The analysis gives some insights into why multilayer feedforward neural networks perform well in practice. Interestingly, for ReLU activation function the depth (number of layers) of the neural network architectures plays an important role and our theory suggests that for nonparametric regression, scaling the network depth with the sample size is natural. It is also shown that under the composition assumption wavelet estimators can only achieve suboptimal rates.

实施深层神经网络来学习参数部分微分方程（PDE）的解决方案图比使用许多常规数值方法更有效。但是，对这种方法进行了有限的理论分析。在这项研究中，我们研究了深层二次单元（requ）神经网络的表达能力，以近似参数PDE的溶液图。拟议的方法是由G. Kutyniok，P。Petersen，M。Raslan和R. Schneider（Gitta Kutyniok，Philipp Petersen，Mones Raslan和Reinhold Schneider。深层神经网络和参数PDES的理论分析）的最新重要工作激励的。 。建设性近似，第1-53、2021页，该第1-53、2021页，它使用深层的线性单元（relu）神经网络来求解参数PDE。与先前建立的复杂性$ \ MATHCAL {O} \ left（d^3 \ log_ {2}}^{q}（1/ \ epsilon）\ right）$用于relu神经网络，我们得出了上限的上限$ \ MATHCAL {o} \ left（d^3 \ log_ {2}^{q} \ log_ {2}（1/ \ epsilon）\ right）$）$ right Requ Neural网络的大小，以实现精度$ \ epsilon> 0 $，其中$ d $是代表解决方案的减少基础的维度。我们的方法充分利用了解决方案歧管的固有低维度和深层reque neural网络的更好近似性能。进行数值实验以验证我们的理论结果。

作为众所周知的优化框架，乘法器（ADMM）的交替方向方法在许多分类和回归应用中取得了巨大的成功。最近，它引起了深度学习研究人员的注意，被认为是梯度下降（GD）的潜在替代品。然而，作为新兴领域，一些挑战仍未解决，包括1）缺乏全球收敛保证，2）对解决方案的收敛缓慢，以及3）立方时间复杂于特征尺寸。在本文中，我们提出了一种新颖的优化框架，以通过ADMM（DLADMM）解决一般神经网络训练问题，同时解决这些挑战。具体地，每层中的参数被向后更新，然后向前移动，以便有效地交换每层中的参数信息。当DLADMM应用于特定架构时，通过使用二次近似和回溯技术，通过专用算法设计从立方到二次数据的时间复杂度。最后但并非最不重要的是，我们在温和条件下向第一个趋同的趋同点提供延长的临界点（DLADMM）。七个基准数据集的实验证明了我们提出的DLADMM算法的收敛性，效率和有效性。

已经观察到图形神经网络（GNN）有时难以在跨节点上建模的长距离依赖性之间保持健康的平衡，同时避免了诸如过天平的节点表示的非线性后果。为了解决这个问题（以及其他事情），最近提出了两个单独的策略，即隐含和展开的GNN。前者将节点表示作为深度平衡模型的固定点，其可以有效地促进横跨图形的任意隐式传播，具有固定的存储器占用。相反，后者涉及将图形传播作为应用于某些图形正则化能功能的展开渐变迭代处理。在这种情况下激励，在本文中，我们仔细阐明了这些方法的相似性和差异，量化了他们所产生的解决方案的明确情况实际上是等同的，而行为发散的其他方法。这包括分析会聚，代表能力和解释性。我们还提供各种综合和公共现实世界基准的经验性头脑比较。

本文提出了一个无网格的计算框架和机器学习理论，用于在未知的歧管上求解椭圆形PDE，并根据扩散地图（DM）和深度学习确定点云。 PDE求解器是作为监督的学习任务制定的，以解决最小二乘回归问题，该问题施加了近似PDE的代数方程（如果适用）。该代数方程涉及通过DM渐近扩展获得的图形拉平型矩阵，该基质是二阶椭圆差差算子的一致估计器。最终的数值方法是解决受神经网络假设空间解决方案的高度非凸经验最小化问题。在体积良好的椭圆PDE设置中，当假设空间由具有无限宽度或深度的神经网络组成时，我们表明，经验损失函数的全球最小化器是大型训练数据极限的一致解决方案。当假设空间是一个两层神经网络时，我们表明，对于足够大的宽度，梯度下降可以识别经验损失函数的全局最小化器。支持数值示例证明了解决方案的收敛性，范围从具有低和高共限度的简单歧管到具有和没有边界的粗糙表面。我们还表明，所提出的NN求解器可以在具有概括性误差的新数据点上稳健地概括PDE解决方案，这些误差几乎与训练错误相同，从而取代了基于Nystrom的插值方法。

由学习的迭代软阈值算法（Lista）的动机，我们介绍了一种适用于稀疏重建的一般性网络，从少数线性测量。通过在层之间允许各种重量共享度，我们为非常不同的神经网络类型提供统一分析，从复发到网络更类似于标准前馈神经网络。基于训练样本，通过经验风险最小化，我们旨在学习最佳网络参数，从而实现从其低维线性测量的最佳网络。我们通过分析由这种深网络组成的假设类的RadeMacher复杂性来衍生泛化界限，这也考虑了阈值参数。我们获得了对样本复杂性的估计，基本上只取决于参数和深度的数量。我们应用主要结果以获得几个实际示例的特定泛化界限，包括（隐式）字典学习和卷积神经网络的不同算法。

我们研究了仅当仅可用的嘈杂数据时，重建神经网络反问题的解决方案的问题。我们假设问题可以用无限可逆的无限前向操作员建模。然后，我们将该正向操作员限制为有限维空间，以使逆向Lipschitz连续。对于逆操作员，我们证明存在一个神经网络，该神经网络是操作员的健壮到噪声近似。此外，我们表明可以从适当的干扰培训数据中学到这些神经网络。我们证明了这种方法对实践感兴趣的各种反向问题的可接受性。给出了支持理论发现的数值示例。

古典统计学习理论表示，拟合太多参数导致过度舒服和性能差。尽管大量参数矛盾，但是现代深度神经网络概括了这一发现，并构成了解释深度学习成功的主要未解决的问题。随机梯度下降（SGD）引起的隐式正规被认为是重要的，但其特定原则仍然是未知的。在这项工作中，我们研究了当地最小值周围的能量景观的局部几何学如何影响SGD的统计特性，具有高斯梯度噪声。我们争辩说，在合理的假设下，局部几何形状力强制SGD保持接近低维子空间，这会引起隐式正则化并导致深神经网络的泛化误差界定更严格的界限。为了获得神经网络的泛化误差界限，我们首先引入局部最小值周围的停滞迹象，并施加人口风险的局部基本凸性财产。在这些条件下，推导出SGD的下界，以保留在这些停滞套件中。如果发生停滞，我们会导出涉及权重矩阵的光谱规范的深神经网络的泛化误差的界限，但不是网络参数的数量。从技术上讲，我们的证据基于控制SGD中的参数值的变化以及基于局部最小值周围的合适邻域的熵迭代的参数值和局部均匀收敛。我们的工作试图通过统一收敛更好地连接非凸优化和泛化分析。

近年来，已经开发出各种基于梯度的方法来解决机器学习和计算机视觉地区的双层优化（BLO）问题。然而，这些现有方法的理论正确性和实际有效性总是依赖于某些限制性条件（例如，下层单身，LLS），这在现实世界中可能很难满足。此外，以前的文献仅证明了基于其特定的迭代策略的理论结果，因此缺乏一般的配方，以统一分析不同梯度的BLO的收敛行为。在这项工作中，我们从乐观的双级视点制定BLOS，并建立一个名为Bi-Level血液血统聚合（BDA）的新梯度的算法框架，以部分地解决上述问题。具体而言，BDA提供模块化结构，以分级地聚合上层和下层子问题以生成我们的双级迭代动态。从理论上讲，我们建立了一般会聚分析模板，并导出了一种新的证据方法，以研究基于梯度的BLO方法的基本理论特性。此外，这项工作系统地探讨了BDA在不同优化场景中的收敛行为，即，考虑从解决近似子问题返回的各种解决方案质量（即，全局/本地/静止解决方案）。广泛的实验证明了我们的理论结果，并展示了所提出的超参数优化和元学习任务算法的优越性。源代码可在https://github.com/vis-opt-group/bda中获得。

诸如压缩感测，图像恢复，矩阵/张恢复和非负矩阵分子等信号处理和机器学习中的许多近期问题可以作为约束优化。预计的梯度下降是一种解决如此约束优化问题的简单且有效的方法。本地收敛分析将我们对解决方案附近的渐近行为的理解，与全球收敛分析相比，收敛率的较小界限提供了较小的界限。然而，本地保证通常出现在机器学习和信号处理的特定问题领域。此稿件在约束最小二乘范围内，对投影梯度下降的局部收敛性分析提供了统一的框架。该建议的分析提供了枢转局部收敛性的见解，例如线性收敛的条件，收敛区域，精确的渐近收敛速率，以及达到一定程度的准确度所需的迭代次数的界限。为了证明所提出的方法的适用性，我们介绍了PGD的收敛分析的配方，并通过在四个基本问题上的配方的开始延迟应用来证明它，即线性约束最小二乘，稀疏恢复，最小二乘法使用单位规范约束和矩阵完成。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

我们的目标是在沿着张量模式的协变量信息存在中可获得稀疏和高度缺失的张量。我们的动机来自在线广告，在各种设备上的广告上的用户点击率（CTR）形成了大约96％缺失条目的CTR张量，并且在非缺失条目上有许多零，这使得独立的张量完井方法不满意。除了CTR张量旁边，额外的广告功能或用户特性通常可用。在本文中，我们提出了协助协助的稀疏张力完成（Costco），以合并复苏恢复稀疏张量的协变量信息。关键思想是共同提取来自张量和协变矩阵的潜伏组分以学习合成表示。从理论上讲，我们导出了恢复的张量组件的错误绑定，并明确地量化了由于协变量引起的显露概率条件和张量恢复精度的改进。最后，我们将Costco应用于由CTR张量和广告协变矩阵组成的广告数据集，从而通过基线的23％的准确性改进。重要的副产品是来自Costco的广告潜在组件显示有趣的广告集群，这对于更好的广告目标是有用的。