为了增强神经网络的非线性并提高输入和响应变量之间的映射能力，激活函数在数据中扮演更复杂的关系和模式的重要作用。在这项工作中，提出了一种新颖的方法，仅通过向传统的激活功能（如Sigmoid，TanH和Relu）添加很少的参数来自适应地自定义激活函数。为了验证所提出的方法的有效性，提出了关于加速收敛性和提高性能的一些理论和实验分析，并基于各种网络模型进行一系列实验（例如AlexNet，Vggnet，Googlenet，Reset和DenSenet）和各种数据集（如Cifar10，CiFar100，MiniimAgenet，Pascal VOC和Coco）。为了进一步验证各种优化策略和使用场景中的有效性和适用性，还在不同的优化策略（如SGD，势头，adagrad，Adadelta和AdaDelta和Adam）之间实施了一些比较实验以及与分类和检测等不同的识别任务。结果表明，提出的方法非常简单，但在收敛速度，精度和泛化方面具有显着性能，它可以超越像雷丝和自适应功能等其他流行的方法，如在整体性能方面几乎所有实验。该代码公开可在https://github.com/huhaigen/aptove-custivation-操作系统上使用。该包装包括所提出的三种自适应激活功能，可用于可重复性目的。
translated by 谷歌翻译
近年来，神经网络已显示出巨大的增长，以解决许多问题。已经引入了各种类型的神经网络来处理不同类型的问题。但是，任何神经网络的主要目标是使用层层次结构将非线性可分离的输入数据转换为更线性可分离的抽象特征。这些层是线性和非线性函数的组合。最流行和常见的非线性层是激活功能（AFS），例如Logistic Sigmoid，Tanh，Relu，Elu，Swish和Mish。在本文中，在神经网络中为AFS提供了全面的概述和调查，以进行深度学习。涵盖了不同类别的AFS，例如Logistic Sigmoid和Tanh，基于RELU，基于ELU和基于学习的AFS。还指出了AFS的几种特征，例如输出范围，单调性和平滑度。在具有不同类型的数据的不同网络的18个最先进的AF中，还进行了性能比较。提出了AFS的见解，以使研究人员受益于进一步的研究和从业者在不同选择中进行选择。用于实验比较的代码发布于：\ url {https://github.com/shivram1987/activationfunctions}。
translated by 谷歌翻译
受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。
translated by 谷歌翻译
2022-10-17
An activation function has a significant impact on the efficiency and robustness of the neural networks. As an alternative, we evolved a cutting-edge non-monotonic activation function, Negative Stimulated Hybrid Activation Function (Nish). It acts as a Rectified Linear Unit (ReLU) function for the positive region and a sinus-sigmoidal function for the negative region. In other words, it incorporates a sigmoid and a sine function and gaining new dynamics over classical ReLU. We analyzed the consistency of the Nish for different combinations of essential networks and most common activation functions using on several most popular benchmarks. From the experimental results, we reported that the accuracy rates achieved by the Nish is slightly better than compared to the Mish in classification.
translated by 谷歌翻译
2019-09-12
随机梯度体面（SGD）是深神经网络成功背后的核心技术之一。梯度提供有关功能具有最陡变化率的方向的信息。基本SGD的主要问题是通过梯度行为而对所有参数的相等大小的步骤进行更改。因此，深度网络优化的有效方式是为每个参数进行自适应步骤尺寸。最近，已经进行了几次尝试，以改善梯度下降方法，例如Adagrad，Adadelta，RMSProp和Adam。这些方法依赖于平方过去梯度的指数移动平均线的平方根。因此，这些方法不利用梯度的局部变化。在本文中，基于当前和立即梯度（即，差异）之间的差异提出了一种新颖的优化器。在所提出的差异优化技术中，以这样的方式调整步长，使得它应该具有更大的梯度改变参数的较大步长，以及用于较低梯度改变参数的较低步长。收敛分析是使用在线学习框架的遗憾方法完成。在本文中进行严格的分析超过三种合成复合的非凸功能。图像分类实验也在CiFar10和CiFAR100数据集上进行，以观察漫反射的性能，相对于最先进的优化器，例如SGDM，Adagrad，Adadelta，RMSProp，Amsgrad和Adam。基于基于单元（Reset）的基于卷积神经网络（CNN）架构用于实验中。实验表明，Diffgrad优于其他优化器。此外，我们表明差异对使用不同的激活功能训练CNN的均匀良好。源代码在https://github.com/shivram1987/diffgrad公开使用。
translated by 谷歌翻译
本文提出了一种新的和富有激光激活方法，被称为FPLUS，其利用具有形式的极性标志的数学功率函数。它是通过常见的逆转操作来启发，同时赋予仿生学的直观含义。制剂在某些先前知识和预期特性的条件下理论上得出，然后通过使用典型的基准数据集通过一系列实验验证其可行性，其结果表明我们的方法在许多激活功能中拥有卓越的竞争力，以及兼容稳定性许多CNN架构。此外，我们将呈现给更广泛类型的功能延伸到称为PFPlus的函数，具有两个可以固定的或学习的参数，以便增加其表现力的容量，并且相同的测试结果验证了这种改进。
translated by 谷歌翻译
模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。
translated by 谷歌翻译
激活功能在深神网络中引入非线性。这种非线性有助于神经网络从数据集中更快，有效地学习。在深度学习中，基于类型问题陈述开发和使用许多激活功能。Relu的变体，Swish和Mish是Goto激活功能。Mish功能被认为比Swish相似甚至更好，并且比Relu更好。在本文中，我们提出了一个名为APTX的激活函数，其行为与Mish相似，但需要较少的数学操作来计算。APTX的计算要求较小会加快模型培训的速度，从而减少了深度学习模型的硬件需求。
translated by 谷歌翻译
深度学习研究人员对提出两个可以提高网络性能的新型激活功能具有敏锐的兴趣。在提高网络性能方面，激活功能的良好选择可能具有重大影响。手工制作的激活是神经网络模型中最常见的选择。relu是深度学习社区中最常见的选择，因为它的简单性虽然Relu有一些严肃的缺点。在本文中，我们提出了一种基于已知激活功能的近似新的新型激活功能，如泄漏释放，我们称之为平滑的最大单位（SMU）。通过SMU替换Relu，我们在Cifar100数据集中有6.22％，使用Shuffleenet V2型号。
translated by 谷歌翻译
本文研究了重量和激活都将二进制神经网络（BNN）二进制为1位值，从而大大降低了记忆使用率和计算复杂性。由于现代深层神经网络具有复杂的设计，具有复杂的架构，其准确性，因此权重和激活分布的多样性非常高。因此，传统的符号函数不能很好地用于有效地在BNN中进行全精度值。为此，我们提出了一种称为Adabin的简单而有效的方法，可自适应获得最佳的二进制集$ \ {b_1，b_2 \} $（$ b_1，b_1，b_2 \ in \ mathbb {r} $）的重量和激活而不是固定集（即$ \ { - 1，+1 \} $）。通过这种方式，提出的方法可以更好地拟合不同的分布，并提高二进制特征的表示能力。实际上，我们使用中心位置和1位值的距离来定义新的二进制量化函数。对于权重，我们提出了一种均衡方法，将对称分布的对称中心与实价分布相对，并最大程度地减少它们的kullback-leibler差异。同时，我们引入了一种基于梯度的优化方法，以获取这两个激活参数，这些参数以端到端的方式共同训练。基准模型和数据集的实验结果表明，拟议的Adabin能够实现最新性能。例如，我们使用RESNET-18体系结构在Imagenet上获得66.4 \％TOP-1的精度，并使用SSD300获得了Pascal VOC的69.4映射。
translated by 谷歌翻译
最近，稀疏的培训方法已开始作为事实上的人工神经网络的培训和推理效率的方法。然而，这种效率只是理论上。在实践中，每个人都使用二进制掩码来模拟稀疏性，因为典型的深度学习软件和硬件已针对密集的矩阵操作进行了优化。在本文中，我们采用正交方法，我们表明我们可以训练真正稀疏的神经网络以收获其全部潜力。为了实现这一目标，我们介绍了三个新颖的贡献，这些贡献是专门为稀疏神经网络设计的：（1）平行训练算法及其相应的稀疏实现，（2）具有不可训练的参数的激活功能，以支持梯度流动，以支持梯度流量， （3）隐藏的神经元对消除冗余的重要性指标。总而言之，我们能够打破记录并训练有史以来最大的神经网络在代表力方面训练 - 达到蝙蝠大脑的大小。结果表明，我们的方法具有最先进的表现，同时为环保人工智能时代开辟了道路。
translated by 谷歌翻译
在本研究中，提出了一种新的，一般和巧妙的激活函数，被称为MDAC，以超越梯度消失和不可分化的存在的麻烦。 MDAC大致继承指数激活函数（如Tanh系列）的属性和分段线性激活函数（例如Relu系列）。具体地，在正区域中，自适应线性结构被设计为响应各种域分布。在负面地区，指数和线性度的组合被认为是征服梯度消失的障碍。此外，通过光滑的近似消除了不可分化的存在。实验表明，MDAC通过简单地改变激活功能，MDAC在六个域数据集中提高了六个域数据集的性能，这表明MDAC的有效性和高尚的革命性。 MDAC优于鲁棒性和泛化的其他普遍激活功能，并且可以在多个域中反映出色的激活性能。
translated by 谷歌翻译
2020-02-02
为了对线性不可分离的数据进行分类，神经元通常被组织成具有至少一个隐藏层的多层神经网络。灵感来自最近神经科学的发现，我们提出了一种新的神经元模型以及一种新的激活函数，可以使用单个神经元来学习非线性决策边界。我们表明标准神经元随后是新颖的顶端枝晶激活（ADA）可以使用100 \％的精度来学习XOR逻辑函数。此外，我们在计算机视觉，信号处理和自然语言处理中进行五个基准数据集进行实验，即摩洛哥，utkface，crema-d，时尚mnist和微小的想象成，表明ADA和泄漏的ADA功能提供了卓越的结果用于各种神经网络架构的整流线性单元（Relu），泄漏的Relu，RBF和嗖嗖声，例如单隐层或两个隐藏层的多层的Perceptrons（MLPS）和卷积神经网络（CNNS），如LENET，VGG，RESET和字符级CNN。当我们使用具有顶端树突激活（Pynada）的金字塔神经元改变神经元的标准模型时，我们获得进一步的性能改进。我们的代码可用于：https://github.com/raduionescu/pynada。
translated by 谷歌翻译
在资源受限的嵌入式系统上部署卷积神经网络的关键推动力是二进制神经网络（BNN）。 BNNS通过将功能和权重进行分配来保存内存并简化计算。不幸的是，二进制不可避免地伴随着准确性的严重降低。为了减少二进制和完整精确网络之间的准确性差距，最近提出了许多维修方法，我们已经将其分类并在本章中进行了单一概述。维修方法分为两个主要分支，培训技术和网络拓扑变化，可以进一步分为较小的类别。后一个类别为嵌入式系统引入了额外的成本（能源消耗或额外的面积），而前者则没有。从我们的概述中，我们可以观察到在减少准确性差距方面取得了进展，但是BNN论文并不对应使用哪种修复方法进行对齐，以获得高度准确的BNN。因此，本章包含一项经验综述，该综述评估了许多维修方法的好处，而不是Resnet-20 \＆Cifar10和Resnet-18 \＆Cifar100基准。我们发现三个维修类别最有益：功能二进制器，功能归一化和双重残留。基于这篇评论，我们讨论未来的方向和研究机会。我们勾勒出与BNN在嵌入式系统上相关的收益和成本，因为BNN是否能够缩小准确性差距，同时在资源受限的嵌入式系统上保持高能效率仍然有待观察。
translated by 谷歌翻译
作为一种强大的建模方法，分段线性神经网络（PWLNNS）已在各个领域都被证明是成功的，最近在深度学习中。为了应用PWLNN方法，长期以来一直研究了表示和学习。 1977年，规范表示率先通过增量设计学到了浅层PWLNN的作品，但禁止使用大规模数据的应用。 2010年，纠正的线性单元（RELU）提倡在深度学习中PWLNN的患病率。从那以后，PWLNNS已成功地应用于广泛的任务并实现了有利的表现。在本引物中，我们通过将作品分组为浅网络和深层网络来系统地介绍PWLNNS的方法。首先，不同的PWLNN表示模型是由详细示例构建的。使用PWLNNS，提出了学习数据的学习算法的演变，并且基本理论分析遵循深入的理解。然后，将代表性应用与讨论和前景一起引入。
translated by 谷歌翻译
非线性激活功能赋予神经网络，具有学习复杂的高维功能的能力。激活功能的选择是一个重要的超参数，确定深神经网络的性能。它显着影响梯度流动，训练速度，最终是神经网络的表示力。像Sigmoids这样的饱和活化功能遭受消失的梯度问题，不能用于深神经网络。通用近似定理保证，Sigmoids和Relu的多层网络可以学习任意复杂的连续功能，以任何准确性。尽管多层神经网络来学习任意复杂的激活功能，但传统神经网络中的每个神经元（使用SIGMOIDS和Relu类似的网络）具有单个超平面作为其决策边界，因此进行线性分类。因此，具有S形，Relu，Swish和Mish激活功能的单个神经元不能学习XOR函数。最近的研究已经发现了两层和三个人皮层中的生物神经元，具有摆动激活功能并且能够单独学习XOR功能。生物神经元中振荡激活功能的存在可能部分解释生物和人工神经网络之间的性能差距。本文提出了4个新的振荡激活功能，使单个神经元能够在没有手动功能工程的情况下学习XOR功能。本文探讨了使用振荡激活功能来解决较少神经元并减少培训时间的分类问题的可能性。
translated by 谷歌翻译
作为众所周知的优化框架，乘法器（ADMM）的交替方向方法在许多分类和回归应用中取得了巨大的成功。最近，它引起了深度学习研究人员的注意，被认为是梯度下降（GD）的潜在替代品。然而，作为新兴领域，一些挑战仍未解决，包括1）缺乏全球收敛保证，2）对解决方案的收敛缓慢，以及3）立方时间复杂于特征尺寸。在本文中，我们提出了一种新颖的优化框架，以通过ADMM（DLADMM）解决一般神经网络训练问题，同时解决这些挑战。具体地，每层中的参数被向后更新，然后向前移动，以便有效地交换每层中的参数信息。当DLADMM应用于特定架构时，通过使用二次近似和回溯技术，通过专用算法设计从立方到二次数据的时间复杂度。最后但并非最不重要的是，我们在温和条件下向第一个趋同的趋同点提供延长的临界点（DLADMM）。七个基准数据集的实验证明了我们提出的DLADMM算法的收敛性，效率和有效性。
translated by 谷歌翻译
激活功能对于神经网络引入非线性至关重要。许多经验实验已经验证了各种激活功能，但有关激活功能的理论研究不足。在这项工作中，我们研究了激活功能对梯度方差的影响，并提出了一种使激活函数正常化的方法，以使所有层的梯度方差保持相同，以便神经网络可以实现更好的收敛性。首先，我们补充了先前的工作，以分析梯度方差的分析，在这种梯度的方差中，激活功能的影响仅在理想化的初始状态下，几乎不能保存在训练过程中，并获得了良好激活功能应尽可能满足的属性。其次，我们提供了一种将激活功能归一化并证明其对普遍激活功能的有效性的方法。通过观察实验，我们发现收敛速度与我们在前一部分中得出的属性大致相关。我们针对共同的激活函数进行了归一化激活函数的实验。结果表明，我们的方法始终优于其非标准化对应物。例如，就TOP-1的准确性而言，用CIFAR-100的RESNET50在RESNET50上归一化的Swish swilla swish swish swish。我们的方法通过简单地在完全连接的网络和残留网络中替换其归一化功能来改善性能。
translated by 谷歌翻译
深度学习在广泛的AI应用方面取得了有希望的结果。较大的数据集和模型一致地产生更好的性能。但是，我们一般花费更长的培训时间，以更多的计算和沟通。在本调查中，我们的目标是在模型精度和模型效率方面提供关于大规模深度学习优化的清晰草图。我们调查最常用于优化的算法，详细阐述了大批量培训中出现的泛化差距的可辩论主题，并审查了解决通信开销并减少内存足迹的SOTA策略。
translated by 谷歌翻译
由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。
translated by 谷歌翻译