样本是否足够丰富，至少在本地确定神经网络的参数？为了回答这个问题，我们通过固定其某些权重的值来介绍给定深层神经网络的新局部参数化。这使我们能够定义本地提升操作员，其倒置是高维空间的平滑歧管的图表。Deep Relu神经网络实现的函数由依赖样本的线性操作员组成局部提升。我们从这种方便的表示中得出了局部可识别性的几何必要条件。查看切线空间，几何条件提供了：1/可识别性的尖锐而可测试的必要条件以及2/可识别局部可识别性的尖锐且可测试的足够条件。可以使用反向传播和矩阵等级计算对条件的有效性进行数值测试。

由于其在输入空间子集上的功能的知识，因此可以根据情况，诅咒或祝福来恢复神经网络的参数权重和偏差的可能性。一方面，恢复参数允许更好的对抗攻击，并且还可以从用于构造网络的数据集中披露敏感信息。另一方面，如果可以恢复网络的参数，它可以保证用户可以解释潜在空间中的特征。它还提供基础，以获得对网络性能的正式保障。因此，表征可以识别其参数的网络以及其参数不能的网络是很重要的。在本文中，我们在深度全连接的前馈recu网络上提供了一组条件，在该馈电中，网络的参数是唯一识别的模型置换和正重型 - 从其实现输入空间的子集。

具有整流线性单元（Relu）非线性的神经网络由参数$ \ Theta $的矢量描述，并实现为分段线性连续函数$ r _ {\ theta}：x \ in \ mathbb r ^ {d} \ mapsto r _ {\ theta}（x）\ in \ mathbb r ^ {k} $。自然缩放和排列在参数$ \ theta $留下的实现不变，导致相同的参数类，产生相同的实现。这些考虑因而导致可识别性的概念 - 从其实现$ r _ {\} $的唯一知识中恢复（等价类别）$ \ theta $的能力。本文的总体目标是介绍任何深度的Relu神经网络，$ \ Phi（\ Theta）$的嵌入，即不变于缩放，并且提供网络实现的本地线性参数化。利用这两个关键属性，我们得出了一些条件，在这种情况下，深度relu网络确实可以从有限一组样本的实现的知识局部地识别$ x_ {i} \ in \ mathbb r ^ {d} $。我们在更深入的深度上研究了浅层案例，为网络建立了必要的和充分条件，从界限子集$ \ Mathcal X \ subseteq \ MathBB r ^ {d} $识别。

众所周知，具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是，对于Relu神经网络的每个固定架构，参数空间都允许对称的正维空间，因此，在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中，我们仔细地定义了功能维度的概念，表明它在Relu神经网络函数的参数空间中是不均匀的，并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维，提供了断开连接的纤维的示例，功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。

让F：R ^ N - > R是前馈RELU神经网络。众所周知，对于任何选择参数，F是连续和分段（仿射）线性的。我们为有系统调查提供了一些基础，用于系统的架构如何影响其可能的决策区域的几何和拓扑以进行二进制分类任务。在差分拓扑中顺利函数的经典进展之后，我们首先定义通用，横向relu神经网络的概念，并显示几乎所有的Relu网络都是通用的和横向的。然后，我们在F的域中定义了一个部分取向的线性1-复合物，并识别该复合物的属性，从而产生妨碍决策区域的有界连接分量的障碍物。我们使用该阻塞来证明具有单个隐藏的尺寸层（N + 1）的通用横向Relu网络F：R ^ N - > R的决策区域可以不具有多于一个有界连接的组件。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

我们有助于更好地理解由具有Relu激活和给定架构的神经网络表示的功能。使用来自混合整数优化，多面体理论和热带几何的技术，我们为普遍近似定理提供了数学逆向，这表明单个隐藏层足以用于学习任务。特别是，我们调查完全可增值功能是否完全可以通过添加更多层（没有限制大小）来严格增加。由于它为神经假设类别代表的函数类提供给算法和统计方面，这个问题对算法和统计方面具有潜在的影响。然而，据我们所知，这个问题尚未在神经网络文学中调查。我们还在这些神经假设类别中代表功能所需的神经网络的大小上存在上限。

我们介绍了一类完全连接的神经网络，其激活功能而不是点，而是仅取决于其规范来缩回特征向量。我们称此类网络径向神经网络，扩展了先前在旋转模棱两可的网络上的工作，该网络认为将激活重新激活较少。我们证明了径向神经网络的通用近似定理，包括在更困难的宽度和无界域的情况下。我们的证明技术是新颖的，与偶然的情况不同。此外，径向神经网络在可训练参数的矢量空间上表现出丰富的基础对称性。分解这些对称性会导致实用的无损模型压缩算法。通过梯度下降对压缩模型的优化等效于整个模型的投影梯度下降。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

深度神经网络被广泛用于解决多个科学领域的复杂问题，例如语音识别，机器翻译，图像分析。用于研究其理论特性的策略主要依赖于欧几里得的几何形状，但是在过去的几年中，已经开发了基于Riemannian几何形状的新方法。在某些开放问题的动机中，我们研究了歧管之间的特定地图序列，该序列的最后一个歧管配备了riemannian指标。我们研究了序列的其他歧管和某些相关商的结构引起的槽撤回。特别是，我们表明，最终的riemannian度量的回调到该序列的任何歧管是一个退化的riemannian度量，诱导了伪模空间的结构，我们表明，该伪仪的kolmogorov商均产生了平滑的歧管，这是基础的，这是基础，这是基础的基础。特定垂直束的空间。我们研究了此类序列图的理论属性，最终我们着重于实施实际关注神经网络的流形之间的地图，并介绍了本文第一部分中引入的几何框架的某些应用。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} \to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation functions $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of "good activation functions" which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

在这项工作中，证明了功能$ f $的收敛引理是分析映射的有限组成和最大运算符。引理表明，$ \ delta $ - 定位点附近附近的隔离本地最小点$ x^*$正在收缩到$ x^*$，为$ \ delta \ to 0 $。它是强烈凸出$ c^1 $函数的版本的自然扩展。但是，引理的正确性是微妙的。分析映射对于诱饵是必要的，因为用可区分或$ c^\ infty $映射代替它会导致引理错误。该证明基于{\ l} ojasiewicz的半分析集的分层定理。此证明的扩展显示了$ f $的一组固定点的几何表征。最后，提出了在固定点上的稳定性概念，称为收敛稳定性。它询问，在小数字错误下，合理的收敛优化方法是否在固定点附近开始应最终收敛到同一固定点。仅当目标函数既非滑动和非概念），趋同稳定性的概念在质量上变得无处不在。通过收敛引理，证明了$ F $的收敛稳定性的直观等效条件。这些结果共同提供了一个新的几何观点，可以研究非平滑非凸优化中“何处连接”的问题。

在本文中，我们在具有线性阈值激活功能的神经网络上提出了新的结果。我们精确地表征了这种神经网络可表示的功能，并且显示2个隐藏层是必要的并且足以表示类中可表示的任何功能。鉴于使用其他流行的激活功能的神经网络的最近精确的可比性调查，这是一个令人惊讶的结果，这些功能使用其他流行的激活功能，如整流的线性单元（Relu）。我们还给出了代表类中任意函数所需的神经网络的大小的精确界限。最后，我们设计了一种算法来解决具有固定架构的这些神经网络的全球最优性的经验风险最小化（ERM）问题。如果输入维度和网络架构的大小被认为是固定常数，则算法的运行时间是数据样本大小的多项式。该算法的意义上是独一无二的，即它适用于任何数量的层数，而先前的多项式时间全局最佳算法仅适用于非常受限制的架构类。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

我们从算法上确定了规范多面体复合物的所有维度的区域和方面，这是relu网络分解其输入空间的通用对象。我们表明，规范多面体复合物的顶点的位置及其相对于层地图的迹象决定了所有维度的整个刻面结构。我们提出了一种计算完整的组合结构的算法，利用了我们的定理，该定理与规范多面体复合物的双重复合物是立方体的，并且具有与其相结构兼容的乘法。所得算法在中间神经元的数量上是数值稳定的多项式时间，并且在所有维度上都获得了准确的信息。这使我们能够获得例如具有低维输入的网络的决策边界的真实拓扑。我们在初始化时在此类网络上运行经验，发现单独的宽度不会增加观察到的拓扑，而是在深度存在下的宽度。我们的算法的源代码可在https://github.com/mmasden/caronicalpoly上在线访问。

对称性一直是探索广泛复杂系统的基本工具。在机器学习中，在模型和数据中都探索了对称性。在本文中，我们试图将模型家族架构引起的对称性与该家族的内部数据表示的对称性联系起来。我们通过计算一组基本的对称组来做到这一点，我们称它们称为模型的\ emph {Intertwiner组}。这些中的每一个都来自模型的特定非线性层，不同的非线性导致不同的对称组。这些组以模型的权重更改模型的权重，使模型所代表的基础函数保持恒定，但模型内部数据的内部表示可能会改变。我们通过一系列实验将Intertwiner组连接到模型的数据内部表示，这些实验在具有相同体系结构的模型之间探测隐藏状态之间的相似性。我们的工作表明，网络的对称性在该网络的数据表示中传播到对称性中，从而使我们更好地了解架构如何影响学习和预测过程。最后，我们推测，对于Relu网络，交织组可能会为在隐藏层而不是任意线性组合的激活基础上集中模型可解释性探索的共同实践提供理由。

我们研究由线性卷积神经网络（LCN）代表的功能家族。这些函数形成了从输入空间到输出空间的线性地图集的半代数子集。相比之下，由完全连接的线性网络表示的函数家族形成代数集。我们观察到，LCN代表的功能可以通过接受某些因素化的多项式来识别，我们使用此视角来描述网络体系结构对所得功能空间几何形状的影响。我们进一步研究了在LCN上的目标函数的优化，分析了功能空间和参数空间中的临界点，并描述了梯度下降的动态不变性。总体而言，我们的理论预测，LCN的优化参数通常对应于跨层的重复过滤器，或可以分解为重复过滤器的过滤器。我们还进行了数值和符号实验，以说明我们的结果，并对小体系结构的景​​观进行深入分析。