我们为多层神经网络架构定义了一种不断微弱的完美学习算法的概念，并表明了这种算法不存在，条件是数据集的长度超过所涉及的参数的数量，并且激活功能是逻辑，坦希或罪。

We generalize the classical universal approximation theorem for neural networks to the case of complex-valued neural networks. Precisely, we consider feedforward networks with a complex activation function $\sigma : \mathbb{C} \to \mathbb{C}$ in which each neuron performs the operation $\mathbb{C}^N \to \mathbb{C}, z \mapsto \sigma(b + w^T z)$ with weights $w \in \mathbb{C}^N$ and a bias $b \in \mathbb{C}$, and with $\sigma$ applied componentwise. We completely characterize those activation functions $\sigma$ for which the associated complex networks have the universal approximation property, meaning that they can uniformly approximate any continuous function on any compact subset of $\mathbb{C}^d$ arbitrarily well. Unlike the classical case of real networks, the set of "good activation functions" which give rise to networks with the universal approximation property differs significantly depending on whether one considers deep networks or shallow networks: For deep networks with at least two hidden layers, the universal approximation property holds as long as $\sigma$ is neither a polynomial, a holomorphic function, or an antiholomorphic function. Shallow networks, on the other hand, are universal if and only if the real part or the imaginary part of $\sigma$ is not a polyharmonic function.

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。

我们研究了神经网络中平方损耗训练问题的优化景观和稳定性，但通用非线性圆锥近似方案。据证明，如果认为非线性圆锥近似方案是（以适当定义的意义）比经典线性近似方法更具表现力，并且如果存在不完美的标签向量，则在方位损耗的训练问题必须在其中不稳定感知其解决方案集在训练数据中的标签向量上不连续地取决于标签向量。我们进一步证明对这些不稳定属性负责的效果也是马鞍点出现的原因和杂散的局部最小值，这可能是从全球解决方案的任意遥远的，并且既不训练问题也不是训练问题的不稳定性通常，杂散局部最小值的存在可以通过向目标函数添加正则化术语来克服衡量近似方案中参数大小的目标函数。无论可实现的可实现性是否满足，后一种结果都被证明是正确的。我们表明，我们的分析特别适用于具有可变宽度的自由结插值方案和深层和浅层神经网络的培训问题，其涉及各种激活功能的任意混合（例如，二进制，六骨，Tanh，arctan，软标志， ISRU，Soft-Clip，SQNL，Relu，Lifley Relu，Soft-Plus，Bent Identity，Silu，Isrlu和ELU）。总之，本文的发现说明了神经网络和一般非线性圆锥近似仪器的改进近似特性以直接和可量化的方式与必须解决的优化问题的不期望的性质链接，以便训练它们。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

我们为特殊神经网络架构，称为运营商复发性神经网络的理论分析，用于近似非线性函数，其输入是线性运算符。这些功能通常在解决方案算法中出现用于逆边值问题的问题。传统的神经网络将输入数据视为向量，因此它们没有有效地捕获与对应于这种逆问题中的数据的线性运算符相关联的乘法结构。因此，我们介绍一个类似标准的神经网络架构的新系列，但是输入数据在向量上乘法作用。由较小的算子出现在边界控制中的紧凑型操作员和波动方程的反边值问题分析，我们在网络中的选择权重矩阵中促进结构和稀疏性。在描述此架构后，我们研究其表示属性以及其近似属性。我们还表明，可以引入明确的正则化，其可以从所述逆问题的数学分析导出，并导致概括属性上的某些保证。我们观察到重量矩阵的稀疏性改善了概括估计。最后，我们讨论如何将运营商复发网络视为深度学习模拟，以确定诸如用于从边界测量的声波方程中重建所未知的WAVESTED的边界控制的算法算法。

本文通过引入几何深度学习（GDL）框架来构建通用馈电型型模型与可区分的流形几何形状兼容的通用馈电型模型，从而解决了对非欧国人数据进行处理的需求。我们表明，我们的GDL模型可以在受控最大直径的紧凑型组上均匀地近似任何连续目标函数。我们在近似GDL模型的深度上获得了最大直径和上限的曲率依赖性下限。相反，我们发现任何两个非分类紧凑型歧管之间始终都有连续的函数，任何“局部定义”的GDL模型都不能均匀地近似。我们的最后一个主要结果确定了数据依赖性条件，确保实施我们近似的GDL模型破坏了“维度的诅咒”。我们发现，任何“现实世界”（即有限）数据集始终满足我们的状况，相反，如果目标函数平滑，则任何数据集都满足我们的要求。作为应用，我们确认了以下GDL模型的通用近似功能：Ganea等。 （2018）的双波利馈电网络，实施Krishnan等人的体系结构。 （2015年）的深卡尔曼 - 滤波器和深度玛克斯分类器。我们构建了：Meyer等人的SPD-Matrix回归剂的通用扩展/变体。 （2011）和Fletcher（2003）的Procrustean回归剂。在欧几里得的环境中，我们的结果暗示了Kidger和Lyons（2020）的近似定理和Yarotsky和Zhevnerchuk（2019）无估计近似率的数据依赖性版本的定量版本。

本文旨在通过从基本规则中扣除来探索其分段线性函数的解决方案来解释FeedForward Relu网络的机制。构造的解决方案应足够通用，以解释某些工程的网络体系结构；为此，提供了多种方法来增强解决方案通用性。我们理论的某些后果包括：在仿射几何背景下，给出了三层网络和深层网络的解决方案，尤其是对于实践中应用的那些架构，例如多层馈电神经网络和解码器；我们对网络体系结构的每个组成部分进行清晰而直观的解释；研究了多输出的参数共享机制；我们提供了过度参数解决方案的解释，该解决方案在仿射变换方面提供了解释。在我们的框架下，与较浅层相比，深层的优势是自然而然的。一些中间结果是对神经网络建模或理解的基本知识，例如嵌入在高维空间中的数据的分类，仿射变换的概括，矩阵等级的概率模型，可区分数据集的概念和干扰的概念在超级公寓中，等等。

对于由缺陷线性回归中的标签噪声引起的预期平均平方概率，我们证明了无渐近分布的下限。我们的下部结合概括了过度公共数据（内插）制度的类似已知结果。与最先前的作品相比，我们的分析适用于广泛的输入分布，几乎肯定的全排列功能矩阵，允许我们涵盖各种类型的确定性或随机特征映射。我们的下限是渐近的锐利，暗示在存在标签噪声时，缺陷的线性回归不会在任何这些特征映射中围绕内插阈值进行良好的。我们详细分析了强加的假设，并为分析（随机）特征映射提供了理论。使用此理论，我们可以表明我们的假设对于具有（Lebesgue）密度的输入分布以及随机深神经网络给出的特征映射，具有Sigmoid，Tanh，SoftPlus或Gelu等分析激活功能。作为进一步的例子，我们示出了来自随机傅里叶特征和多项式内核的特征映射也满足我们的假设。通过进一步的实验和分析结果，我们补充了我们的理论。

保留测量神经网络是良好的可逆模型，然而，它们的近似功能仍未探索。本文严格分析了现有的保留保留神经网络的近似能力，包括漂亮和雷控。表明，对于Compact $ U \ Subset \ R ^ D $以$ d \ geq 2 $，保留的标准神经网络能够近似任意度量保存映射$ \ psi：u \ to \ r ^ d $在$ l ^ p $ -norm中是有界和注射的。特别是，任何带有$ \ PM 1 $ Cateminant的任何连续可微分的注射图都是测量保存的，因此可以近似。

单调功能和数据集在各种应用中都会出现。我们研究单调数据集的插值问题：输入是带有$ n $点的单调数据集，目标是找到一个大小和深度有效的单调神经网络，具有非负参数和阈值单元，可以插入数据放。我们表明，单调数据集无法通过深度$ 2 $的单调网络插值。另一方面，我们证明，对于每个单调数据集，在$ \ mathbb {r}^d $中$ n $点，存在一个插值的单调网络，该网络的深度为$ 4 $ $ 4 $和size $ o（nd）$。我们的插值结果意味着，每个单调功能超过$ [0,1]^d $可以通过DEPTH-4单调网络任意地近似，从而改善了先前最著名的深度构建$ d+1 $。最后，基于布尔电路复杂性的结果，我们表明，当近似单调函数时，具有正参数的电感偏差会导致神经元数量的超顺式爆炸。

灵活的变送器网络（FTNET）是最近提出的生物合理的神经网络，并在处理时间空间数据时与最先进的模型实现了竞争性能。但是，关于FTNET的理论理解仍然存在开放问题。从近似和局部最小值的角度来看，这项工作调查了一个隐藏层FTNET的理论属性。在温和的假设下，我们表明：i）Ftnet是一个普遍的近似器; ii）FTNET的近似复杂度可以是指数相比于具有前馈/复发架构的实值神经网络的复杂性，并且在最坏情况下具有相同的顺序; III）任何本地FTNET都是全局最小值，这表明本地搜索算法可以收敛到全局最小值。我们的理论结果表明，FTNET可以有效地表达目标功能，并且对局部最小值没有担忧，这补充了FTNET的理论空白，并表现出改善FTNET的可能性。

本文研究了粗略量化的神经网络的近似能力 - 那些参数选自一小组允许值的那些。我们表明，任何平滑的多变量功能都可以通过适当的粗略量化的神经网络任意地近似地近似，并提供定量近似速率。对于二次激活，可以仅使用一位字母表进行;对于Relu激活，我们使用三位字母。主要定理依赖于伯恩斯坦多项式的重要属性。我们证明了伯尔斯坦多项式，伯恩斯坦对伯恩斯坦的噪声整形量化的近似的新结果，并通过粗略量化的神经网络实现伯恩斯坦多项式。

We show that standard multilayer feedforward networks with as few as a single hidden layer and arbitrary bounded and nonconstant activation function are universal approximators with respect to V(p.) performance criteria, for arbitrary finite input environment measures Jl., provided only that sufficiently many hidden units are available. If the activation function is continuous, bounded and nonconstant, then continuous mappings can be learned uniformly over compact input sets. We also give very general conditions ensuring that networks with sufficiently smooth activation functions are capable of arbitrarily accurate approximation to a function and its derivatives.

其中的许多神经网络能够复制复杂的任务或功能的原因之一是其普遍性财产。在过去的几十年里已经在提供单一或类神经网络的构造性证明见过很多尝试。本文是为了提供一大类，包括激活现有的大多数激活和超越的普遍性统一的和建设性的框架。在框架的心脏是神经网络近似标识的概念。事实证明，大多数现有的激活是神经网络近似的标志，因此在连续的函数对致密的空间普遍。该框架诱导几个优点。首先，它是建设性与功能分析，概率论，和数值分析的基本手段。其次，它是第一个统一的尝试，其有效期为大多数现有的激活。第三，作为一个以产品，该框架提供了一些现有的激活功能，包括米什司炉ELU，格鲁，等四的第一所大学证明，它发现带有普遍性的保证财产新的激活。事实上，任何活化\ textemdash其$ \ķ$阶导数，以$ \ķ$为整数，是积并且基本上界定\ textemdash是普遍的。第五，对于给定的激活和容错，框架精确地提供了具有预定数量的神经元，和重量/偏差的值中对应的一个隐藏神经网络的体系结构。

本文介绍了梯度下降到全球最低最低限度的新标准。该标准用于表明，当训练任何具有光滑且严格增加激活功能的前馈神经网络时，具有适当初始化的梯度下降将收敛到全局最小值，前提是输入维度大于或等于数据点的数量。先前工作的主要区别在于，网络的宽度可以是固定的数字，而不是作为数据点数量的某些倍数或功率而不现实地生长。

众所周知，进食前馈神经网络的学习速度很慢，并且在深度学习应用中呈现了几十年的瓶颈。例如，广泛用于训练神经网络的基于梯度的学习算法在所有网络参数都必须迭代调整时往往会缓慢起作用。为了解决这个问题，研究人员和从业人员都尝试引入随机性来减少学习要求。基于Igelnik和Pao的原始结构，具有随机输入层的重量和偏见的单层神经网络在实践中取得了成功，但是缺乏必要的理论理由。在本文中，我们开始填补这一理论差距。我们提供了一个（校正的）严格证明，即Igelnik和PAO结构是连续函数在紧凑型域上连续函数的通用近似值，并且近似错误渐近地衰减，例如$ o（1/\ sqrt {n}）网络节点。然后，我们将此结果扩展到非反应设置，证明人们可以在$ n $的情况下实现任何理想的近似误差，而概率很大。我们进一步调整了这种随机神经网络结构，以近似欧几里得空间的平滑，紧凑的亚曼叶量的功能，从而在渐近和非催化形式的理论保证中提供了理论保证。最后，我们通过数值实验说明了我们在歧管上的结果。

This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.

We study expressive power of shallow and deep neural networks with piece-wise linear activation functions. We establish new rigorous upper and lower bounds for the network complexity in the setting of approximations in Sobolev spaces. In particular, we prove that deep ReLU networks more efficiently approximate smooth functions than shallow networks. In the case of approximations of 1D Lipschitz functions we describe adaptive depth-6 network architectures more efficient than the standard shallow architecture.

在这项工作中，我们探讨了H +“旧常规功能的深度整流二次单位神经网络的近似能力，相对于统一标准。我们发现理论近似大量取决于神经网络中的所选激活函数。