理解主要视觉皮层V1中感觉诱导的皮质模式，既是生理动机的重要挑战，又是提高我们对人类感知和视觉组织的理解。在这项工作中，当皮质活性由几何视觉幻觉样刺激驱动时，我们专注于视觉皮层中的图案形成。特别是，我们提出了一种理论框架，用于感官诱导的幻觉，该框架使人们能够再现新的心理物理结果，例如Mackay效应（Nature，1957）以及Billock and Tsou经验（PNAS，2007年）。

具有复发性不对称耦合的神经网络对于了解如何在大脑中编码情节记忆很重要。在这里，我们将广泛的突触整合窗口的实验性观察整合到连续时间动力学中的序列检索模型中。理论上通过得出神经动力学中的雅可比矩阵的随机基质理论来研究具有非正态神经元相互作用的模型。这些光谱具有几个不同的特征，例如围绕原点的旋转对称性以及光谱边界内嵌套空隙的出现。因此，光谱密度高度不均匀地分布在复杂平面中。随机矩阵理论还可以预测过渡到混乱。特别是，混乱的边缘为记忆的顺序检索提供了计算益处。我们的工作提供了与任意时间延迟的时间隔离相关性的系统研究，因此可以激发对广泛记忆模型的未来研究，甚至可以激发生物学时间序列的大数据分析。

我们研究了具有由完全连接的神经网络产生的密度场的固体各向同性物质惩罚（SIMP）方法，将坐标作为输入。在大的宽度限制中，我们表明DNN的使用导致滤波效果类似于SIMP的传统过滤技术，具有由神经切线内核（NTK）描述的过滤器。然而，这种过滤器在翻译下不是不变的，导致视觉伪像和非最佳形状。我们提出了两个输入坐标的嵌入，导致NTK和滤波器的空间不变性。我们经验证实了我们的理论观察和研究了过滤器大小如何受网络架构的影响。我们的解决方案可以很容易地应用于任何其他基于坐标的生成方法。

We consider the idealized setting of gradient flow on the population risk for infinitely wide two-layer ReLU neural networks (without bias), and study the effect of symmetries on the learned parameters and predictors. We first describe a general class of symmetries which, when satisfied by the target function $f^*$ and the input distribution, are preserved by the dynamics. We then study more specific cases. When $f^*$ is odd, we show that the dynamics of the predictor reduces to that of a (non-linearly parameterized) linear predictor, and its exponential convergence can be guaranteed. When $f^*$ has a low-dimensional structure, we prove that the gradient flow PDE reduces to a lower-dimensional PDE. Furthermore, we present informal and numerical arguments that suggest that the input neurons align with the lower-dimensional structure of the problem.

经常性神经网络（RNNS）是强大的动态模型，广泛用于机器学习（ML）和神经科学。之前的理论作品集中在具有添加剂相互作用的RNN上。然而，门控 - 即乘法 - 相互作用在真神经元中普遍存在，并且也是ML中最佳性能RNN的中心特征。在这里，我们表明Gating提供灵活地控制集体动态的两个突出特征：i）时间尺寸和ii）维度。栅极控制时间尺度导致新颖的稳定状态，网络用作灵活积分器。与以前的方法不同，Gating允许这种重要功能而没有参数微调或特殊对称。门还提供一种灵活的上下文相关机制来重置存储器跟踪，从而补充存储器功能。调制维度的栅极可以诱导新颖的不连续的混沌转变，其中输入将稳定的系统推向强的混沌活动，与通常稳定的输入效果相比。在这种转变之上，与添加剂RNN不同，关键点（拓扑复杂性）的增殖与混沌动力学的外观解耦（动态复杂性）。丰富的动态总结在相图中，从而为ML从业者提供了一个原理参数初始化选择的地图。

神经网络的经典发展主要集中在有限维欧基德空间或有限组之间的学习映射。我们提出了神经网络的概括，以学习映射无限尺寸函数空间之间的运算符。我们通过一类线性积分运算符和非线性激活函数的组成制定运营商的近似，使得组合的操作员可以近似复杂的非线性运算符。我们证明了我们建筑的普遍近似定理。此外，我们介绍了四类运算符参数化：基于图形的运算符，低秩运算符，基于多极图形的运算符和傅里叶运算符，并描述了每个用于用每个计算的高效算法。所提出的神经运营商是决议不变的：它们在底层函数空间的不同离散化之间共享相同的网络参数，并且可以用于零击超分辨率。在数值上，与现有的基于机器学习的方法，达西流程和Navier-Stokes方程相比，所提出的模型显示出卓越的性能，而与传统的PDE求解器相比，与现有的基于机器学习的方法有关的基于机器学习的方法。

在随机抽样方法中，马尔可夫链蒙特卡洛算法是最重要的。在随机行走都市方案中，我们利用分析方法和数值方法的结合研究了它们的收敛性能。我们表明，偏离目标稳态分布的偏差特征是定位过渡的函数，这是定义随机步行的尝试跳跃的特征长度。该过渡大大改变了误差，而误差是通过不完整的收敛引入的，并区分了两个方案，其中弛豫机制分别受扩散和排斥分别受到限制。

生成对抗网络（GAN）是强大的机器学习模型，能够生成具有高分辨率的所需现象的完全合成样本。尽管他们成功了，但GAN的训练过程非常不稳定，通常有必要对网络实施几种附属启发式方法，以达到模型的可接受收敛。在本文中，我们介绍了一种新颖的方法来分析生成对抗网络培训的收敛性和稳定性。为此，我们建议分解对手Min-Max游戏的目标功能，将定期gan定义为傅立叶系列。通过研究连续交替梯度下降算法的截短傅里叶序列的动力学，我们能够近似实际流量并确定GAN收敛的主要特征。通过研究$ 2 $ - 参数gan的旨在产生未知指数分布的训练流，从经验上证实了这种方法。作为副产品，我们表明gan中的融合轨道是周期性轨道的小扰动，因此纳什均值是螺旋吸引子。从理论上讲，这证明了在甘斯中观察到的缓慢和不稳定的训练。

计算科学和统计推断中的许多应用都需要计算有关具有未知归一化常数的复杂高维分布以及这些常数的估计。在这里，我们开发了一种基于从简单的基本分布生成样品，沿着速度场生成的流量运输的方法，并沿这些流程线执行平均值。这种非平衡重要性采样（NEIS）策略是直接实施的，可用于具有任意目标分布的计算。在理论方面，我们讨论了如何将速度场定制到目标，并建立所提出的估计器是一个完美的估计器，具有零变化。我们还通过将基本分布映射到目标上，通过传输图绘制了NEIS和方法之间的连接。在计算方面，我们展示了如何使用深度学习来代表神经网络，并将其训练为零方差最佳。这些结果在高维示例上进行了数值说明，我们表明训练速度场可以将NEIS估计量的方差降低至6个数量级，而不是Vanilla估计量。我们还表明，NEIS在这些示例上的表现要比NEAL的退火重要性采样（AIS）更好。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

最近在J. Math中引入的分配流程。成像和视觉58/2（2017）构成了一种高维动态系统，其在基本统计歧管上发展，并执行任何度量空间中给出的数据的上下文标记（分类）。给定图形的顶点索引数据点并定义邻域的系统。这些邻域与非负重量参数一起定义标签分配的演变的正则化，通过由信息几何的仿射电子连接引起的几何平均来定义对数据点的数量。关于进化游戏动态，分配流程可以被称为由几何平均耦合的复制器方程的大型系统。本文在重量参数上建立了保证连续时间分配流程的重量参数（标签）的融合，最多可忽略不计在实际数据的实际数据时不会遇到的情况。此外，我们对流动的吸引子分类并量化相应的吸引力盆地。这为分配流提供了会聚保证，该分配流程扩展到不同时间分配流程，这些流量是应用跑步-Kutta-munthe-KAAS方案的用于分配流的数值几何集成。若干反作用例说明违反条件可能需要关于上下文数据分类的分配流的不利行为。

在本说明中，我们研究了如何使用单个隐藏层和RELU激活的神经网络插值数据，该数据是从径向对称分布中的，目标标签1处的目标标签1和单位球外部0，如果单位球内没有标签。通过重量衰减正则化和无限神经元的无限数据限制，我们证明存在独特的径向对称最小化器，其重量衰减正常器和Lipschitz常数分别为$ d $和$ \ sqrt {d} $。我们此外表明，如果标签$ 1 $强加于半径$ \ varepsilon $，而不仅仅是源头，则重量衰减正规剂会在$ d $中成倍增长。相比之下，具有两个隐藏层的神经网络可以近似目标函数，而不会遇到维度的诅咒。

Koopman运算符是无限维的运算符，可全球线性化非线性动态系统，使其光谱信息可用于理解动态。然而，Koopman运算符可以具有连续的光谱和无限维度的子空间，使得它们的光谱信息提供相当大的挑战。本文介绍了具有严格融合的数据驱动算法，用于从轨迹数据计算Koopman运算符的频谱信息。我们引入了残余动态模式分解（ResDMD），它提供了第一种用于计算普通Koopman运算符的Spectra和PseudtoStra的第一种方案，无需光谱污染。使用解析器操作员和RESDMD，我们还计算与测量保存动态系统相关的光谱度量的平滑近似。我们证明了我们的算法的显式收敛定理，即使计算连续频谱和离散频谱的密度，也可以实现高阶收敛即使是混沌系统。我们展示了在帐篷地图，高斯迭代地图，非线性摆，双摆，洛伦茨系统和11美元延长洛伦兹系统的算法。最后，我们为具有高维状态空间的动态系统提供了我们的算法的核化变体。这使我们能够计算与具有20,046维状态空间的蛋白质分子的动态相关的光谱度量，并计算出湍流流过空气的误差界限的非线性Koopman模式，其具有雷诺数为$> 10 ^ 5 $。一个295,122维的状态空间。

The study of feature propagation at initialization in neural networks lies at the root of numerous initialization designs. An assumption very commonly made in the field states that the pre-activations are Gaussian. Although this convenient Gaussian hypothesis can be justified when the number of neurons per layer tends to infinity, it is challenged by both theoretical and experimental works for finite-width neural networks. Our major contribution is to construct a family of pairs of activation functions and initialization distributions that ensure that the pre-activations remain Gaussian throughout the network's depth, even in narrow neural networks. In the process, we discover a set of constraints that a neural network should fulfill to ensure Gaussian pre-activations. Additionally, we provide a critical review of the claims of the Edge of Chaos line of works and build an exact Edge of Chaos analysis. We also propose a unified view on pre-activations propagation, encompassing the framework of several well-known initialization procedures. Finally, our work provides a principled framework for answering the much-debated question: is it desirable to initialize the training of a neural network whose pre-activations are ensured to be Gaussian?

每个已知的人工深神经网络（DNN）都对应于规范Grothendieck的拓扑中的一个物体。它的学习动态对应于此拓扑中的形态流动。层中的不变结构（例如CNNS或LSTMS）对应于Giraud的堆栈。这种不变性应该是对概括属性的原因，即从约束下的学习数据中推断出来。纤维代表语义前类别（Culioli，Thom），在该类别上定义了人工语言，内部逻辑，直觉主义者，古典或线性（Girard）。网络的语义功能是其能够用这种语言表达理论的能力，以回答输出数据中有关输出的问题。语义信息的数量和空间是通过类比与2015年香农和D.Bennequin的Shannon熵的同源解释来定义的。他们概括了Carnap和Bar-Hillel（1952）发现的措施。令人惊讶的是，上述语义结构通过封闭模型类别的几何纤维对象进行了分类，然后它们产生了DNNS及其语义功能的同位不变。故意类型的理论（Martin-Loef）组织了这些物体和它们之间的纤维。 Grothendieck的导数分析了信息内容和交流。

我们开发了一种多尺度方法，以从实验或模拟中观察到的物理字段或配置的数据集估算高维概率分布。通过这种方式，我们可以估计能量功能（或哈密顿量），并有效地在从统计物理学到宇宙学的各个领域中生成多体系统的新样本。我们的方法 - 小波条件重新归一化组（WC-RG） - 按比例进行估算，以估算由粗粒磁场来调节的“快速自由度”的条件概率的模型。这些概率分布是由与比例相互作用相关的能量函数建模的，并以正交小波为基础表示。 WC-RG将微观能量函数分解为各个尺度上的相互作用能量之和，并可以通过从粗尺度到细度来有效地生成新样品。近相变，它避免了直接估计和采样算法的“临界减速”。理论上通过结合RG和小波理论的结果来解释这一点，并为高斯和$ \ varphi^4 $字段理论进行数值验证。我们表明，多尺度WC-RG基于能量的模型比局部电位模型更通用，并且可以在所有长度尺度上捕获复杂的多体相互作用系统的物理。这是针对反映宇宙学中暗物质分布的弱透镜镜头的，其中包括与长尾概率分布的长距离相互作用。 WC-RG在非平衡系统中具有大量的潜在应用，其中未知基础分布{\ it先验}。最后，我们讨论了WC-RG和深层网络体系结构之间的联系。

平衡传播（EP）是返回传播（BP）的替代方法，它允许使用本地学习规则训练深层神经网络。因此，它为训练神经形态系统和了解神经生物学的学习提供了一个令人信服的框架。但是，EP需要无限的教学信号，从而限制其在嘈杂的物理系统中的适用性。此外，该算法需要单独的时间阶段，并且尚未应用于大规模问题。在这里，我们通过将EP扩展到全体形态网络来解决这些问题。我们分析表明，即使对于有限振幅教学信号，这种扩展也会自然导致精确的梯度。重要的是，可以将梯度计算为在连续时间内有限神经元活性振荡的第一个傅立叶系数，而无需单独的阶段。此外，我们在数值模拟中证明了我们的方法允许在存在噪声的情况下对梯度的强大估计，并且更深的模型受益于有限的教学信号。最后，我们在ImageNet 32​​x32数据集上建立了EP的第一个基准，并表明它与接受BP训练的等效网络的性能相匹配。我们的工作提供了分析见解，使EP可以扩展到大规模问题，并为振荡如何支持生物学和神经形态系统的学习建立正式框架。

在这项工作中，我们启动了$ p $ -ADIC统计领域理论（SFTS）和神经网络（NNS）之间的对应关系的研究。在一般的量子场理论中，可以以严格的方式制定超过$ p $ - ad的时空理论。如今，这些理论被认为只是数学玩具模型，以理解真实理论的问题。在这项工作中，我们表明这些理论与深度信念网络（DBN）密切相关。 Hinton等。通过堆叠几台受限的玻尔兹曼机器（RBMS）来构建DBN。该结构的目的是获得具有层次结构（深度学习体系结构）的网络。 RBM对应于特定的自旋玻璃，因此DBN应对应于超法（分层）自旋玻璃。通过使用$ p $ -ADIC数字可以轻松构建此类系统的模型。在我们的方法中，$ p $ - adic SFT对应于$ p $ adiC的连续dbn，该理论的离散化对应于$ p $ - 亚种的离散dbn。我们证明这些最后的机器是通用近似器。在$ p $ -ADIC框架中，SFTS和NNS之间的对应关系尚未完全开发。我们指出几个开放问题。

众所周知，HEBB的学习探索了帕夫洛夫的古典条件，而前者在过去几十年中进行了广泛的建模（例如，通过Hopfield模型和无数的主题变化），因为后者的建模在很大程度上保持了很大的含糊状态。远的;此外，完全缺乏这两个支柱之间的桥梁。实现该目标的主要困难置于所涉及的信息的本质上不同的范围：帕夫洛夫的理论是关于\ emph {concepts}之间的相关性（动态地）存储在突触矩阵中，这是由狗和一个戒指主演的著名实验所体现的钟;相反，HEBB的理论是关于相邻神经元对之间的相关性，如著名的陈述{\ em神经元一起发射汇合的}所总结。在本文中，我们依靠随机过程理论以及通过langevin方程进行神经和突触动力学模型，以证明 - 只要我们保持神经元和突触的时间表的大量分裂，Pavlov机制就会自发地发生并最终产生至恢复Hebbian内核的突触重量。

要了解深层relu网络的动态，我们通过将其分解为级级$ w（t）$ and Angle $ \ phi（t）：= \ pi- \ theta，研究了梯度流量$ W（t）$的动态系统（t）$组件。特别是，对于具有球形对称数据分布和平方损耗函数的多层单晶元神经元，我们为大小和角度成分提供上限和下限，以描述梯度流动的动力学。使用获得的边界，我们得出结论，小规模初始化会导致深单重质神经元的缓慢收敛速度。最后，通过利用梯度流和梯度下降的关系，我们将结果扩展到梯度下降方法。所有理论结果均通过实验验证。