Quaternion valued neural networks experienced rising popularity and interest from researchers in the last years, whereby the derivatives with respect to quaternions needed for optimization are calculated as the sum of the partial derivatives with respect to the real and imaginary parts. However, we can show that product- and chain-rule does not hold with this approach. We solve this by employing the GHRCalculus and derive quaternion backpropagation based on this. Furthermore, we experimentally prove the functionality of the derived quaternion backpropagation.
translated by 谷歌翻译
深度学习使用由其重量进行参数化的神经网络。通常通过调谐重量来直接最小化给定损耗功能来训练神经网络。在本文中，我们建议将权重重新参数转化为网络中各个节点的触发强度的目标。给定一组目标，可以计算使得发射强度最佳地满足这些目标的权重。有人认为，通过我们称之为级联解压缩的过程，使用培训的目标解决爆炸梯度的问题，并使损失功能表面更加光滑，因此导致更容易，培训更快，以及潜在的概括，神经网络。它还允许更容易地学习更深层次和经常性的网络结构。目标对重量的必要转换有额外的计算费用，这是在许多情况下可管理的。在目标空间中学习可以与现有的神经网络优化器相结合，以额外收益。实验结果表明了使用目标空间的速度，以及改进的泛化的示例，用于全连接的网络和卷积网络，以及调用和处理长时间序列的能力，并使用经常性网络进行自然语言处理。
translated by 谷歌翻译
通用近似定理断言，单个隐藏层神经网络在紧凑型集合上具有任何所需的精度，可以近似连续函数。作为存在的结果，通用近似定理支持在各种应用程序中使用神经网络，包括回归和分类任务。通用近似定理不仅限于实现的神经网络，而且还具有复杂，季节，Tessarines和Clifford值的神经网络。本文扩展了广泛的超复杂性神经网络的通用近似定理。确切地说，我们首先介绍非分类超复杂代数的概念。复数，偶数和苔丝是非分类超复合代数的示例。然后，我们陈述了在非分类代数上定义的超复合值的神经网络的通用近似定理。
translated by 谷歌翻译
这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。
translated by 谷歌翻译
Multilayer Perceptrons struggle to learn certain simple arithmetic tasks. Specialist neural modules for arithmetic can outperform classical architectures with gains in extrapolation, interpretability and convergence speeds, but are highly sensitive to the training range. In this paper, we show that Neural Multiplication Units (NMUs) are unable to reliably learn tasks as simple as multiplying two inputs when given different training ranges. Causes of failure are linked to inductive and input biases which encourage convergence to solutions in undesirable optima. A solution, the stochastic NMU (sNMU), is proposed to apply reversible stochasticity, encouraging avoidance of such optima whilst converging to the true solution. Empirically, we show that stochasticity provides improved robustness with the potential to improve learned representations of upstream networks for numerical and image tasks.
translated by 谷歌翻译
我们研究并介绍了复杂和双色复合物环境中的新梯度运算符，这是受自适应线性神经元（Adaline）在1960年发明的著名的最少均等（LMS）算法的启发。这些梯度运算符将用于制定最小二平方（BLM）算法的新学习规则。这种方法既扩展了经典的真实和复杂的LMS算法。
translated by 谷歌翻译
这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。
translated by 谷歌翻译
2022-08-31
我介绍了理查德·费曼（Richard Feynman）1980年代中期对人工智能和神经网络的兴趣，这是基于当时与物理相关方法的技术背景的。从那时起，我试图根据该领域的重大进展来评估他的想法，反之亦然。我认为，Feynman利益的某些方面在很大程度上取得了成就，而其他方面仍然令人兴奋，尤其是在计算科学中，可能包括其中的符号方法的复兴。
translated by 谷歌翻译
受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。
translated by 谷歌翻译
我们使用fr \'echet演算介绍了前馈神经网络梯度的推导，这比文献中通常呈现的梯度更紧凑。我们首先得出了在矢量数据上工作的普通神经网络的梯度，并展示如何使用这些派生公式来得出一种简单有效的算法来计算神经网络梯度。随后，我们展示了我们的分析如何推广到更通用的神经网络架构，包括但不限于卷积网络。
translated by 谷歌翻译
These notes were compiled as lecture notes for a course developed and taught at the University of the Southern California. They should be accessible to a typical engineering graduate student with a strong background in Applied Mathematics. The main objective of these notes is to introduce a student who is familiar with concepts in linear algebra and partial differential equations to select topics in deep learning. These lecture notes exploit the strong connections between deep learning algorithms and the more conventional techniques of computational physics to achieve two goals. First, they use concepts from computational physics to develop an understanding of deep learning algorithms. Not surprisingly, many concepts in deep learning can be connected to similar concepts in computational physics, and one can utilize this connection to better understand these algorithms. Second, several novel deep learning algorithms can be used to solve challenging problems in computational physics. Thus, they offer someone who is interested in modeling a physical phenomena with a complementary set of tools.
translated by 谷歌翻译
本文有助于加强机器学习与微分方程理论之间的关系。在这种情况下，拟合参数的逆问题，而微分方程与某些测量值的初始条件构成了关键问题。本文探讨了一个可以用于构建损失函数家族的抽象，目的是将初始值问题解决方案拟合到一组离散或连续测量中。可以证明，伴随方程的扩展可以用来推导损失函数的梯度，作为机器学习中反向传播的连续类似物。提供了数值证据，表明在合理控制的情况下，获得的梯度可以在梯度下降中使用，以将初始值问题解决方案拟合到一组连续的嘈杂测量值中，以及一组离散的噪声测量值，这些测量值在不确定的情况下记录下来时代。
translated by 谷歌翻译
动态系统参见在物理，生物学，化学等自然科学中广泛使用，以及电路分析，计算流体动力学和控制等工程学科。对于简单的系统，可以通过应用基本物理法来导出管理动态的微分方程。然而，对于更复杂的系统，这种方法变得非常困难。数据驱动建模是一种替代范式，可以使用真实系统的观察来了解系统的动态的近似值。近年来，对数据驱动的建模技术的兴趣增加，特别是神经网络已被证明提供了解决广泛任务的有效框架。本文提供了使用神经网络构建动态系统模型的不同方式的调查。除了基础概述外，我们还审查了相关的文献，概述了这些建模范式必须克服的数值模拟中最重要的挑战。根据审查的文献和确定的挑战，我们提供了关于有前途的研究领域的讨论。
translated by 谷歌翻译
神经网络的设计通常是通过定义层数，每层神经元的数量，连接或突触的数量以及它们将执行的激活函数来实现的。培训过程试图优化分配给这些连接的权重，以及神经元的偏见，以更好地适合训练数据。但是，激活功能的定义通常是在设计过程中确定的，而在培训期间未修改，这意味着它们的行为与培训数据集无关。在本文中，我们提出了在训练过程中适应其形状的隐式，参数，非线性激活函数的定义和利用。这一事实增加了参数的空间以在网络中进行优化，但是它允许更大的灵活性并推广神经网络的概念。此外，它简化了架构设计，因为可以在每个神经元中使用相同的激活函数定义，从而使训练过程优化其参数，从而优化其行为。我们提出的激活函数来自通过$ L_P^Q $正则化项的线性不确定问题优化共识变量的定义，该定义是通过乘数的交替方向方法（ADMM）。我们使用这种类型的激活功能将神经网络定义为$ PQ-$网络。初步结果表明，与具有固定激活功能的等效的常规前馈神经网络相比，与等效的常规前馈神经网络相比，这些神经网络与这种自适应激活功能的使用减少了回归和分类示例中的误差。
translated by 谷歌翻译
我们最近提出了S4NN算法，基本上是对多层尖峰神经网络的反向化的适应，该网上网络使用简单的非泄漏整合和火神经元和一种形式称为第一峰值编码的时间编码。通过这种编码方案，每次刺激最多一次都是神经元火灾，但射击令携带信息。这里，我们引入BS4NN，S4NN的修改，其中突触权重被约束为二进制（+1或-1），以便减少存储器（理想情况下，每个突触的一个比特）和计算占地面积。这是使用两组权重完成：首先，通过梯度下降更新的实际重量，并在BackProjagation的后退通行证中使用，其次是在前向传递中使用的迹象。类似的策略已被用于培训（非尖峰）二值化神经网络。主要区别在于BS4NN在时域中操作：尖峰依次繁殖，并且不同的神经元可以在不同时间达到它们的阈值，这增加了计算能力。我们验证了两个流行的基准，Mnist和Fashion-Mnist上的BS4NN，并获得了这种网络的合理精度（分别为97.0％和87.3％），具有可忽略的准确率，具有可忽略的重量率（0.4％和0.7％，分别）。我们还展示了BS4NN优于具有相同架构的简单BNN，在这两个数据集上（分别为0.2％和0.9％），可能是因为它利用时间尺寸。建议的BS4NN的源代码在HTTPS://github.com/srkh/bs4nn上公开可用。
translated by 谷歌翻译
深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术
translated by 谷歌翻译
Nonlinear methods such as Deep Neural Networks (DNNs) are the gold standard for various challenging machine learning problems, e.g., image classification, natural language processing or human action recognition. Although these methods perform impressively well, they have a significant disadvantage, the lack of transparency, limiting the interpretability of the solution and thus the scope of application in practice. Especially DNNs act as black boxes due to their multilayer nonlinear structure. In this paper we introduce a novel methodology for interpreting generic multilayer neural networks by decomposing the network classification decision into contributions of its input elements. Although our focus is on image classification, the method is applicable to a broad set of input data, learning tasks and network architectures. Our method is based on deep Taylor decomposition and efficiently utilizes the structure of the network by backpropagating the explanations from the output to the input layer. We evaluate the proposed method empirically on the MNIST and ILSVRC data sets.
translated by 谷歌翻译
复发性神经网络（RNN）的可伸缩性受到每个时间步骤计算对先前时间步长输出的顺序依赖性的阻碍。因此，加快和扩展RNN的一种方法是减少每个时间步长所需的计算，而不是模型大小和任务。在本文中，我们提出了一个模型，该模型将封闭式复发单元（GRU）作为基于事件的活动模型，我们称为基于事件的GRU（EGRU），其中仅在收到输入事件（事件 - 基于其他单位。当与一次活跃的单位仅一小部分（活动 - 帕斯斯）相结合时，该模型具有比当前RNN的计算更高效的潜力。值得注意的是，我们模型中的活动 - 表格性也转化为梯度下降期间稀疏参数更新，从而将此计算效率扩展到训练阶段。我们表明，与现实世界中最新的经常性网络模型相比，EGRU表现出竞争性能，包括语言建模，同时在推理和培训期间自然保持高活动稀疏性。这为下一代重复网络奠定了基础，这些网络可扩展，更适合新型神经形态硬件。
translated by 谷歌翻译
The error Backpropagation algorithm (BP) is a key method for training deep neural networks. While performant, it is also resource-demanding in terms of computation, memory usage and energy. This makes it unsuitable for online learning on edge devices that require a high processing rate and low energy consumption. More importantly, BP does not take advantage of the parallelism and local characteristics offered by dedicated neural processors. There is therefore a demand for alternative algorithms to BP that could improve the latency, memory requirements, and energy footprint of neural networks on hardware. In this work, we propose a novel method based on Direct Feedback Alignment (DFA) which uses Forward-Mode Automatic Differentiation to estimate backpropagation paths and learn feedback connections in an online manner. We experimentally show that Directional DFA achieves performances that are closer to BP than other feedback methods on several benchmark datasets and architectures while benefiting from the locality and parallelization characteristics of DFA. Moreover, we show that, unlike other feedback learning algorithms, our method provides stable learning for convolution layers.
translated by 谷歌翻译
This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.
translated by 谷歌翻译