深度神经网络被广泛用于解决多个科学领域的复杂问题，例如语音识别，机器翻译，图像分析。用于研究其理论特性的策略主要依赖于欧几里得的几何形状，但是在过去的几年中，已经开发了基于Riemannian几何形状的新方法。在某些开放问题的动机中，我们研究了歧管之间的特定地图序列，该序列的最后一个歧管配备了riemannian指标。我们研究了序列的其他歧管和某些相关商的结构引起的槽撤回。特别是，我们表明，最终的riemannian度量的回调到该序列的任何歧管是一个退化的riemannian度量，诱导了伪模空间的结构，我们表明，该伪仪的kolmogorov商均产生了平滑的歧管，这是基础的，这是基础，这是基础的基础。特定垂直束的空间。我们研究了此类序列图的理论属性，最终我们着重于实施实际关注神经网络的流形之间的地图，并介绍了本文第一部分中引入的几何框架的某些应用。

在以前的工作中，我们提出了一种学习深层神经网络的几何框架，作为歧管之间的地图序列，采用奇异的黎曼几何形状。在本文中，我们介绍了该框架的应用，提出了一种建立输入点的等价等级的方法：将这种类定义为输入歧管上的点上的点，由神经网络映射到相同的输出。换句话说，我们在输入空间中构建输出歧管中的点的预测。特别是。我们在N维实际空间的神经网络映射到（N-1） - 二维实际空间的情况下，我们专注于简单，我们提出了一种算法，允许构建位于同一类等效等级的一组点。这种方法导致两个主要应用：新的合成数据的产生，它可以对分类器如何通过输入数据的小扰动来混淆一些洞察（例如，分类为包含奇瓦瓦狗的图像）。此外，对于从2D到1D实际空间的神经网络，我们还讨论了如何找到实际线路的封闭间隔的疑望。我们还提供了一些具有训练的神经网络的数值实验，以执行非线性回归任务，包括二进制分类器的情况。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

Riemannian geometry provides powerful tools to explore the latent space of generative models while preserving the inherent structure of the data manifold. Lengths, energies and volume measures can be derived from a pullback metric, defined through the immersion that maps the latent space to the data space. With this in mind, most generative models are stochastic, and so is the pullback metric. Manipulating stochastic objects is strenuous in practice. In order to perform operations such as interpolations, or measuring the distance between data points, we need a deterministic approximation of the pullback metric. In this work, we are defining a new metric as the expected length derived from the stochastic pullback metric. We show this metric is Finslerian, and we compare it with the expected pullback metric. In high dimensions, we show that the metrics converge to each other at a rate of $\mathcal{O}\left(\frac{1}{D}\right)$.

Deep neural networks can approximate functions on different types of data, from images to graphs, with varied underlying structure. This underlying structure can be viewed as the geometry of the data manifold. By extending recent advances in the theoretical understanding of neural networks, we study how a randomly initialized neural network with piece-wise linear activation splits the data manifold into regions where the neural network behaves as a linear function. We derive bounds on the density of boundary of linear regions and the distance to these boundaries on the data manifold. This leads to insights into the expressivity of randomly initialized deep neural networks on non-Euclidean data sets. We empirically corroborate our theoretical results using a toy supervised learning problem. Our experiments demonstrate that number of linear regions varies across manifolds and the results hold with changing neural network architectures. We further demonstrate how the complexity of linear regions is different on the low dimensional manifold of images as compared to the Euclidean space, using the MetFaces dataset.

众所周知，具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是，对于Relu神经网络的每个固定架构，参数空间都允许对称的正维空间，因此，在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中，我们仔细地定义了功能维度的概念，表明它在Relu神经网络函数的参数空间中是不均匀的，并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维，提供了断开连接的纤维的示例，功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。

我们使用运输公制（Delon和Desolneux 2020）中的单变量高斯混合物中的任意度量空间$ \ MATHCAL {X} $研究数据表示。我们得出了由称为\ emph {Probabilistic Transfersers}的小神经网络实现的特征图的保证。我们的保证是记忆类型：我们证明了深度约为$ n \ log（n）$的概率变压器和大约$ n^2 $ can bi-h \'{o} lder嵌入任何$ n $ - 点数据集从低度量失真的$ \ Mathcal {x} $，从而避免了维数的诅咒。我们进一步得出了概率的bi-lipschitz保证，可以兑换失真量和随机选择的点与该失真的随机选择点的可能性。如果$ \ MATHCAL {X} $的几何形状足够规律，那么我们可以为数据集中的所有点获得更强的Bi-Lipschitz保证。作为应用程序，我们从Riemannian歧管，指标和某些类型的数据集中获得了神经嵌入保证金组合图。

让F：R ^ N - > R是前馈RELU神经网络。众所周知，对于任何选择参数，F是连续和分段（仿射）线性的。我们为有系统调查提供了一些基础，用于系统的架构如何影响其可能的决策区域的几何和拓扑以进行二进制分类任务。在差分拓扑中顺利函数的经典进展之后，我们首先定义通用，横向relu神经网络的概念，并显示几乎所有的Relu网络都是通用的和横向的。然后，我们在F的域中定义了一个部分取向的线性1-复合物，并识别该复合物的属性，从而产生妨碍决策区域的有界连接分量的障碍物。我们使用该阻塞来证明具有单个隐藏的尺寸层（N + 1）的通用横向Relu网络F：R ^ N - > R的决策区域可以不具有多于一个有界连接的组件。

样本是否足够丰富，至少在本地确定神经网络的参数？为了回答这个问题，我们通过固定其某些权重的值来介绍给定深层神经网络的新局部参数化。这使我们能够定义本地提升操作员，其倒置是高维空间的平滑歧管的图表。Deep Relu神经网络实现的函数由依赖样本的线性操作员组成局部提升。我们从这种方便的表示中得出了局部可识别性的几何必要条件。查看切线空间，几何条件提供了：1/可识别性的尖锐而可测试的必要条件以及2/可识别局部可识别性的尖锐且可测试的足够条件。可以使用反向传播和矩阵等级计算对条件的有效性进行数值测试。

由于其在输入空间子集上的功能的知识，因此可以根据情况，诅咒或祝福来恢复神经网络的参数权重和偏差的可能性。一方面，恢复参数允许更好的对抗攻击，并且还可以从用于构造网络的数据集中披露敏感信息。另一方面，如果可以恢复网络的参数，它可以保证用户可以解释潜在空间中的特征。它还提供基础，以获得对网络性能的正式保障。因此，表征可以识别其参数的网络以及其参数不能的网络是很重要的。在本文中，我们在深度全连接的前馈recu网络上提供了一组条件，在该馈电中，网络的参数是唯一识别的模型置换和正重型 - 从其实现输入空间的子集。

在形状分析中，基本问题之一是在计算这些形状之间的（地球）距离之前对齐曲线或表面。为了找到最佳的重新训练，实现这种比对的是一项计算要求的任务，它导致了在差异组上的优化问题。在本文中，我们通过组成基本差异性来解决近似问题，构建了定向性扩散的近似值。我们提出了一种在Pytorch中实施的实用算法，该算法既适用于未参考的曲线和表面。我们得出了通用近似结果，并获得了获得的差异形态成分的Lipschitz常数的边界。

我们研究由线性卷积神经网络（LCN）代表的功能家族。这些函数形成了从输入空间到输出空间的线性地图集的半代数子集。相比之下，由完全连接的线性网络表示的函数家族形成代数集。我们观察到，LCN代表的功能可以通过接受某些因素化的多项式来识别，我们使用此视角来描述网络体系结构对所得功能空间几何形状的影响。我们进一步研究了在LCN上的目标函数的优化，分析了功能空间和参数空间中的临界点，并描述了梯度下降的动态不变性。总体而言，我们的理论预测，LCN的优化参数通常对应于跨层的重复过滤器，或可以分解为重复过滤器的过滤器。我们还进行了数值和符号实验，以说明我们的结果，并对小体系结构的景​​观进行深入分析。

高斯工艺是能够以代表不确定性的方式学习未知功能的机器学习模型，从而促进了最佳决策系统的构建。由于渴望部署新颖的科学领域的高斯过程，一种迅速增长的研究线路集中于建设性地扩展这些模型来处理非欧几里德域，包括黎曼歧管，例如球形和托尔。我们提出了概括这一类的技术，以模拟黎曼歧管上的矢量字段，这在物理科学中的许多应用领域都很重要。为此，我们介绍了构建规范独立核的一般配方，它诱导高斯矢量字段，即矢量值高斯工艺与几何形状相干，从标量值riemannian内核。我们扩展了标准高斯过程培训方法，例如变分推理，以此设置。这使得旨在使用标准方法培训的Riemannian歧管上的矢量值高斯流程，并使它们可以访问机器学习从业者。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

作为理解过度参数模型中梯度下降的隐式偏差的努力的一部分，有几个结果表明，如何将过份术模型上的训练轨迹理解为不同目标上的镜像。这里的主要结果是在称为通勤参数化的概念下对这种现象的表征，该概念涵盖了此设置中的所有先前结果。结果表明，具有任何通勤参数化的梯度流相当于具有相关Legendre函数的连续镜下降。相反，具有任何legendre函数的连续镜下降可以被视为具有相关通勤参数化的梯度流。后一个结果依赖于纳什的嵌入定理。

Riemannian优化是解决优化问题的原则框架，其中所需的最佳被限制为光滑的歧管$ \ Mathcal {M} $。在此框架中设计的算法通常需要对歧管的几何描述，该描述通常包括切线空间，缩回和成本函数的梯度。但是，在许多情况下，由于缺乏信息或棘手的性能，只能访问这些元素的子集（或根本没有）。在本文中，我们提出了一种新颖的方法，可以在这种情况下执行近似Riemannian优化，其中约束歧管是$ \ r^{d} $的子手机。至少，我们的方法仅需要一组无噪用的成本函数$（\ x_ {i}，y_ {i}）\ in {\ mathcal {m}} \ times \ times \ times \ times \ times \ mathbb {r} $和内在的歧管$ \ MATHCAL {M} $的维度。使用样品，并利用歧管-MLS框架（Sober和Levin 2020），我们构建了缺少的组件的近似值，这些组件娱乐可证明的保证并分析其计算成本。如果某些组件通过分析给出（例如，如果成本函数及其梯度明确给出，或者可以计算切线空间），则可以轻松地适应该算法以使用准确的表达式而不是近似值。我们使用我们的方法分析了基于Riemannian梯度的方法的全球收敛性，并从经验上证明了该方法的强度，以及基于类似原理的共轭梯度类型方法。

A common approach to modeling networks assigns each node to a position on a low-dimensional manifold where distance is inversely proportional to connection likelihood. More positive manifold curvature encourages more and tighter communities; negative curvature induces repulsion. We consistently estimate manifold type, dimension, and curvature from simply connected, complete Riemannian manifolds of constant curvature. We represent the graph as a noisy distance matrix based on the ties between cliques, then develop hypothesis tests to determine whether the observed distances could plausibly be embedded isometrically in each of the candidate geometries. We apply our approach to data-sets from economics and neuroscience.

在此备忘录中，我们开发了一般框架，它允许同时研究$ \ MathBB R ^ D $和惠特尼在$ \ Mathbb r的离散和非离散子集附近的insoctry扩展问题附近的标签和未标记的近对准数据问题。^ d $与某些几何形状。此外，我们调查了与集群，维度减少，流形学习，视觉以及最小的能量分区，差异和最小最大优化的相关工作。给出了谐波分析，计算机视觉，歧管学习和与我们工作的信号处理中的众多开放问题。本发明内容中的一部分工作基于纸张中查尔斯Fefferman的联合研究[48]，[49]，[50]，[51]。

由编码器和解码器组成的自动编码器被广泛用于机器学习，以缩小高维数据的尺寸。编码器将输入数据歧管嵌入到较低的潜在空间中，而解码器表示反向映射，从而提供了潜在空间中的歧管的数据歧管的参数化。嵌入式歧管的良好规律性和结构可以实质性地简化进一步的数据处理任务，例如群集分析或数据插值。我们提出并分析了一种新的正则化，以学习自动编码器的编码器组件：一种损失功能，可倾向于等距，外层平坦的嵌入，并允许自行训练编码器。为了进行训练，假定对于输入歧管上的附近点，他们的本地riemannian距离及其本地riemannian平均水平可以评估。损失函数是通过蒙特卡洛集成计算的，具有不同的采样策略，用于输入歧管上的一对点。我们的主要定理将嵌入图的几何损失函数识别为$ \ gamma $ - 依赖于采样损失功能的限制。使用编码不同明确给定的数据歧管的图像数据的数值测试表明，将获得平滑的歧管嵌入到潜在空间中。由于促进了外部平坦度，这些嵌入足够规律，因此在潜在空间中线性插值可以作为一种可能的后处理。

In this work we study statistical properties of graph-based algorithms for multi-manifold clustering (MMC). In MMC the goal is to retrieve the multi-manifold structure underlying a given Euclidean data set when this one is assumed to be obtained by sampling a distribution on a union of manifolds $\mathcal{M} = \mathcal{M}_1 \cup\dots \cup \mathcal{M}_N$ that may intersect with each other and that may have different dimensions. We investigate sufficient conditions that similarity graphs on data sets must satisfy in order for their corresponding graph Laplacians to capture the right geometric information to solve the MMC problem. Precisely, we provide high probability error bounds for the spectral approximation of a tensorized Laplacian on $\mathcal{M}$ with a suitable graph Laplacian built from the observations; the recovered tensorized Laplacian contains all geometric information of all the individual underlying manifolds. We provide an example of a family of similarity graphs, which we call annular proximity graphs with angle constraints, satisfying these sufficient conditions. We contrast our family of graphs with other constructions in the literature based on the alignment of tangent planes. Extensive numerical experiments expand the insights that our theory provides on the MMC problem.