庆祝的Takens嵌入定理界面涉及通过通用延迟观察地图在适当的维度的欧几里德空间中嵌入动态系统的吸引子。嵌入也建立了一种拓扑共轭。在本文中，我们展示了如何将任意序列映射到另一个空间中作为非自治动态系统的吸引力的解决方案。这种映射还需要拓扑缀合物和序列与吸引人的解决方案空间之间的嵌入。这一结果不是嵌入定理的Takens的概括，但有助于我们了解所广泛用于应用程序的离散时间状态模型所需的究竟是什么，以将外部刺激嵌入到其解决方案上。我们的成果解决了关于自主动态系统扰动的另一个基本问题。我们描述了当外源噪声渗透到连续的局部不可缩续的吸引装置（如稳定的固定点）的离散时间自主动态系统的局部不可缩短的局部噪声时究竟发生了什么。

储层计算系统是使用驱动的动力系统构建的，在该系统中，外部输入可以改变系统的发展状态。这些范例用于信息处理，机器学习和计算。在此框架中需要解决的一个基本问题是输入与系统状态之间的统计关系。本文提供的条件可以保证驱动系统的渐近措施的存在和唯一性，并表明当输入和输出过程的集合赋予了Wasserstein距离时，它们对输入过程的依赖性是连续的。这些发展中的主要工具是将这些不变的度量表征为在这种情况下出现并在论文中进行了大量研究的自然定义的FOIA算子的固定点。这些固定点是通过在驱动系统中施加新引入的随机状态合同性来获得的，该系统在示例中很容易验证。可以通过非国家缩减的系统来满足随机状态的合同性，这通常是为了保证储层计算中的回声状态属性的需求。结果，即使不存在Echo State属性，也可能会得到满足。

我们研究了使用动力学系统的流量图相对于输入指数的某些置换的函数的近似值。这种不变的功能包括涉及图像任务的经过研究的翻译不变性功能，但还包含许多在科学和工程中找到新兴应用程序的置换不变函数。我们证明了通过受控的模棱两可的动态系统的通用近似的足够条件，可以将其视为具有对称约束的深度残留网络的一般抽象。这些结果不仅意味着用于对称函数近似的各种常用神经网络体系结构的通用近似，而且还指导设计具有近似值保证的架构的设计，以保证涉及新对称要求的应用。

在这项工作中，证明了功能$ f $的收敛引理是分析映射的有限组成和最大运算符。引理表明，$ \ delta $ - 定位点附近附近的隔离本地最小点$ x^*$正在收缩到$ x^*$，为$ \ delta \ to 0 $。它是强烈凸出$ c^1 $函数的版本的自然扩展。但是，引理的正确性是微妙的。分析映射对于诱饵是必要的，因为用可区分或$ c^\ infty $映射代替它会导致引理错误。该证明基于{\ l} ojasiewicz的半分析集的分层定理。此证明的扩展显示了$ f $的一组固定点的几何表征。最后，提出了在固定点上的稳定性概念，称为收敛稳定性。它询问，在小数字错误下，合理的收敛优化方法是否在固定点附近开始应最终收敛到同一固定点。仅当目标函数既非滑动和非概念），趋同稳定性的概念在质量上变得无处不在。通过收敛引理，证明了$ F $的收敛稳定性的直观等效条件。这些结果共同提供了一个新的几何观点，可以研究非平滑非凸优化中“何处连接”的问题。

Several problems in stochastic analysis are defined through their geometry, and preserving that geometric structure is essential to generating meaningful predictions. Nevertheless, how to design principled deep learning (DL) models capable of encoding these geometric structures remains largely unknown. We address this open problem by introducing a universal causal geometric DL framework in which the user specifies a suitable pair of geometries $\mathscr{X}$ and $\mathscr{Y}$ and our framework returns a DL model capable of causally approximating any ``regular'' map sending time series in $\mathscr{X}^{\mathbb{Z}}$ to time series in $\mathscr{Y}^{\mathbb{Z}}$ while respecting their forward flow of information throughout time. Suitable geometries on $\mathscr{Y}$ include various (adapted) Wasserstein spaces arising in optimal stopping problems, a variety of statistical manifolds describing the conditional distribution of continuous-time finite state Markov chains, and all Fr\'echet spaces admitting a Schauder basis, e.g. as in classical finance. Suitable, $\mathscr{X}$ are any compact subset of any Euclidean space. Our results all quantitatively express the number of parameters needed for our DL model to achieve a given approximation error as a function of the target map's regularity and the geometric structure both of $\mathscr{X}$ and of $\mathscr{Y}$. Even when omitting any temporal structure, our universal approximation theorems are the first guarantees that H\"older functions, defined between such $\mathscr{X}$ and $\mathscr{Y}$ can be approximated by DL models.

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

我们研究具有随机生成内部权重的回声状态网络的均匀近似。这些模型在训练过程中仅优化了读数权重，在学习动态系统方面取得了经验成功。我们通过证明它们在弱条件下是普遍的来解决这些模型的代表性。我们的主要结果为激活函数提供了足够的条件和内部权重的采样过程，因此回声状态网络可以近似具有高概率的任何连续的休闲时间不变的操作员。特别是，对于Relu激活，我们量化了足够常规运算符的回声状态网络的近似误差。

对抗性鲁棒性是各种现代机器学习应用中的关键财产。虽然它是最近几个理论研究的主题，但与对抗性稳健性有关的许多重要问题仍然是开放的。在这项工作中，我们研究了有关对抗对抗鲁棒性的贝叶斯最优性的根本问题。我们提供了一般的充分条件，可以保证贝叶斯最佳分类器的存在，以满足对抗性鲁棒性。我们的结果可以提供一种有用的工具，用于随后研究对抗性鲁棒性及其一致性的替代损失。这份稿件是“关于普通贝叶斯分类器的存在”在神经潮端中发表的延伸版本。原始纸张的结果不适用于一些非严格凸的规范。在这里，我们将结果扩展到所有可能的规范。

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

非线性自适应控制理论中的一个关键假设是系统的不确定性可以在一组已知基本函数的线性跨度中表示。虽然该假设导致有效的算法，但它将应用限制为非常特定的系统类别。我们介绍一种新的非参数自适应算法，其在参数上学习无限尺寸密度，以取消再现内核希尔伯特空间中的未知干扰。令人惊讶的是，所产生的控制输入承认，尽管其底层无限尺寸结构，但是尽管它的潜在无限尺寸结构实现了其实施的分析表达。虽然这种自适应输入具有丰富和富有敏感性的 - 例如，传统的线性参数化 - 其计算复杂性随时间线性增长，使其比其参数对应力相对较高。利用随机傅里叶特征的理论，我们提供了一种有效的随机实现，该实现恢复了经典参数方法的复杂性，同时可透明地保留非参数输入的表征性。特别地，我们的显式范围仅取决于系统的基础参数，允许我们所提出的算法有效地缩放到高维系统。作为该方法的说明，我们展示了随机近似算法学习由牛顿重力交互的十点批量组成的60维系统的预测模型的能力。

我们在非参数二进制分类的一个对抗性训练问题之间建立了等价性，以及规范器是非识别范围功能的正则化风险最小化问题。由此产生的正常风险最小化问题允许在图像分析和基于图形学习中常常研究的$ L ^ 1 + $（非本地）$ \ Operatorvers {TV} $的精确凸松弛。这种重构揭示了丰富的几何结构，这反过来允许我们建立原始问题的最佳解决方案的一系列性能，包括存在最小和最大解决方案（以合适的意义解释），以及常规解决方案的存在（也以合适的意义解释）。此外，我们突出了对抗性训练和周长最小化问题的联系如何为涉及周边/总变化的正规风险最小化问题提供一种新颖的直接可解释的统计动机。我们的大部分理论结果与用于定义对抗性攻击的距离无关。

我们提出了一种从数据模拟动态系统的数值方法。我们使用最近引入的方法可扩展的概率近似（SPA）从欧几里德空间到凸多台的项目点，并表示在新的低维坐标中的系统的预计状态，表示其在多晶硅中的位置。然后，我们介绍特定的非线性变换，以构建多特渗透中动力学的模型，并转换回原始状态空间。为了克服投影到低维层的潜在信息损失，我们在局部延迟嵌入定理的意义上使用记忆。通过施工，我们的方法产生稳定的模型。我们说明了在各种示例上具有多个连接组件的甚至复制混沌动力学和吸引子的方法的能力。

提出了用于基于合奏的估计和模拟高维动力系统（例如海洋或大气流）的方法学框架。为此，动态系统嵌入了一个由动力学驱动的内核功能的繁殖核Hilbert空间的家族中。这个家庭因其吸引人的财产而被昵称为仙境。在梦游仙境中，Koopman和Perron-Frobenius操作员是统一且均匀的。该属性保证它们可以在一系列可对角线的无限发电机中表达。访问Lyapunov指数和切线线性动力学的精确集合表达式也可以直接可用。仙境使我们能够根据轨迹样本的恒定时间线性组合来设计出惊人的简单集合数据同化方法。通过几个基本定理的完全合理的叠加原则，使这种令人尴尬的简单策略成为可能。

许多重要的学习算法，例如随机梯度方法，通常被部署以解决Riemannian歧管上的非线性问题。在这些应用中，我们提出了一个概括和扩展Robbins和Monro的精确随机近似框架的Riemannian算法家族。与他们的欧几里得对应物相比，由于歧管上缺乏全局线性结构，Riemannian迭代算法的理解要少得多。我们通过引入扩展的费米坐标框架来克服这一困难，该框架使我们能够绘制拟议的Riemannian Robbins-Monro（RRM）算法类别的渐近行为，以在基础歧管上非常轻微的假设下，在相关的确定性动力学系统下的算法。这样一来，我们提供了一个几乎肯定的收敛结果的一般模板，该模板镜像并扩展了欧几里得robbins-Monro方案的现有理论，尽管其分析要大得多，需要大量的新几何成分。我们通过使用该框架来建立基于回缩的类似物的融合来展示提出的RRM框架的灵活性，以解决最小化问题和游戏的流行乐观 /额外梯度方法，并且我们为其收敛提供了统一的处理。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

Wassersein梯度流通概率措施在各种优化问题中发现了许多应用程序。它们通常由于由涉及梯度型电位的一些平均场相互作用而发展的可交换粒子系统的连续极限。然而，在许多问题中，例如在多层神经网络中，所谓的粒子是在节点可更换的大图上的边缘权重。已知这样的大图可以收敛到连续的限制，称为Graphons，因为它们的大小增长到无穷大。我们表明，边缘权重的合适功能的欧几里德梯度流量会聚到可以被适当地描述为梯度流的曲线上的曲线给出的新型连续轴限制，或者更重要的是最大斜率的曲线。我们的设置涵盖了诸如同性恋功能和标量熵的石墨源上的几种自然功能，并详细介绍了示例。

Lipschitz Learning是一种基于图的半监督学习方法，其中一个人通过在加权图上求解Infinity Laplace方程来扩展标签到未标记的数据集的标签。在这项工作中，随着顶点的数量生长到无穷大，我们证明了图形无穷大行道方程的解决方案的统一收敛速率。它们的连续内容是绝对最小化LipsChitz扩展，即关于从图形顶点采样图形顶点的域的测地度量。我们在图表权重的非常一般的假设下工作，标记顶点的集合和连续域。我们的主要贡献是，即使对于非常稀疏的图形，我们也获得了定量的收敛速率，因为它们通常出现在半监督学习等应用中。特别是，我们的框架允许绘制到连接半径的图形带宽。为了证明，我们首先显示图表距离函数的定量收敛性声明，在连续体中的测量距离功能。使用“与距离函数的比较”原理，我们可以将这些收敛语句传递给无限谐波函数，绝对最小化Lipschitz扩展。

众所周知，具有重新激活函数的完全连接的前馈神经网络可以表示的参数化函数家族恰好是一类有限的分段线性函数。鲜为人知的是，对于Relu神经网络的每个固定架构，参数空间都允许对称的正维空间，因此，在任何给定参数附近的局部功能维度都低于参数维度。在这项工作中，我们仔细地定义了功能维度的概念，表明它在Relu神经网络函数的参数空间中是不均匀的，并继续进行[14]和[5]中的调查 - 何时在功能维度实现其理论时最大。我们还研究了从参数空间到功能空间的实现图的商空间和纤维，提供了断开连接的纤维的示例，功能尺寸为非恒定剂的纤维以及对称组在其上进行非转换的纤维。

我们研究了两层神经网络，其领域和范围是具有可分离性的Banach空间。另外，我们假设图像空间配备了部分顺序，即它是Riesz空间。作为非线性，我们选择了取积极部分的晶格操作；如果$ \ Mathbb r^d $可值的神经网络，这对应于Relu激活函数。我们证明了特定类别功能的蒙特卡洛速率的逆近似定理和直接近似定理，从而扩展了有限维情况的现有结果。在本文的第二部分中，我们从正规化理论的角度研究，通过有限数量的嘈杂观测值在潜在空间上进行签名的措施来找到此类功能的最佳表示的问题。我们讨论称为源条件的规律性条件，并在噪声水平均为零并且样本数量以适当的速度为零时，在Bregman距离中获得代表度量的收敛速率。

在本文中，我们提出了一个深度学习架构，以将差异性差异与身份近似。我们考虑一个表单的控制系统$ \ dot x = \ sum_ {i = 1}^lf_i（x）u_i $，在控件中具有线性依赖性，我们使用相应的流程来近似差异性对差异性的作用紧凑的积分合奏。尽管控制系统的简单性，但最近已证明通用近似属性仍然存在。最小化训练误差和正规化项的总和的问题会导致在可接受控制的空间中引起梯度流。离散时间神经网络的可能培训程序包括将梯度流投射到可允许控件的有限维子空间上。另一种方法依赖于基于Pontryagin的最大原理的迭代方法来解决最佳控制问题的数值。在这里，由于系统在控制变量中的线性依赖性，可以以极低的计算工作来实现哈密顿量的最大化。