我在本文中提出的想法是一种基于从人工神经网络操作中提取的指导和无方向规则的综合功能。

一方面，人工神经网络（ANNS）通常被标记为黑匣子，缺乏可解释性;阻碍了人类对ANNS行为的理解的问题。存在需要生成ANN的有意义的顺序逻辑，用于解释特定输出的生产过程。另一方面，决策树由于它们的代表语言和有效算法的存在而导致更好的可解释性和表现力，以将树木转化为规则。然而，基于可用数据生长决策树可能会产生大于不概括的必要树木或树木。在本文中，我们介绍了来自ANN的规则提取的两种新的多变量决策树（MDT）算法：精确可转换决策树（EC-DT）和扩展的C-NET算法。它们都将纠正的线性单元激活函数转换为代表树的神经网络，这可以进一步用于提取多元规则以进行推理。虽然EC-DT以层式方式转换ANN以表示由网络的隐藏层内隐式学习的决策边界，但扩展的C-Net将来自EC-DT的分解方法与C5树学习算法相结合形成决策规则。结果表明，虽然EC-DT在保持结构和ANN的保真度方面优越，但扩展的C-Net产生了来自ANN的最紧凑且高效的树木。两者都建议的MDT算法生成规则，包括多个属性的组合，以便决策的精确解释。

非线性激活功能赋予神经网络，具有学习复杂的高维功能的能力。激活功能的选择是一个重要的超参数，确定深神经网络的性能。它显着影响梯度流动，训练速度，最终是神经网络的表示力。像Sigmoids这样的饱和活化功能遭受消失的梯度问题，不能用于深神经网络。通用近似定理保证，Sigmoids和Relu的多层网络可以学习任意复杂的连续功能，以任何准确性。尽管多层神经网络来学习任意复杂的激活功能，但传统神经网络中的每个神经元（使用SIGMOIDS和Relu类似的网络）具有单个超平面作为其决策边界，因此进行线性分类。因此，具有S形，Relu，Swish和Mish激活功能的单个神经元不能学习XOR函数。最近的研究已经发现了两层和三个人皮层中的生物神经元，具有摆动激活功能并且能够单独学习XOR功能。生物神经元中振荡激活功能的存在可能部分解释生物和人工神经网络之间的性能差距。本文提出了4个新的振荡激活功能，使单个神经元能够在没有手动功能工程的情况下学习XOR功能。本文探讨了使用振荡激活功能来解决较少神经元并减少培训时间的分类问题的可能性。

受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

A quantitative and practical Bayesian framework is described for learning of mappings in feedforward networks. The framework makes possible (1) objective comparisons between solutions using alternative network architectures, (2) objective stopping rules for network pruning or growing procedures, (3) objective choice of magnitude and type of weight decay terms or additive regularizers (for penalizing large weights, etc.), (4) a measure of the effective number of well-determined parameters in a model, (5) quantified estimates of the error bars on network parameters and on network output, and (6) objective comparisons with alternative learning and interpolation models such as splines and radial basis functions. The Bayesian "evidence" automatically embodies "Occam's razor,'' penalizing overflexible and overcomplex models.The Bayesian approach helps detect poor underlying assumptions in learning models. For learning models well matched to a problem, a good correlation between generalization ability and the Bayesian evidence is obtained.This paper makes use of the Bayesian framework for regularization and model comparison described in the companion paper "Bayesian Interpolation" (MacKay 1992a). This framework is due to Gull and Skilling (Gull 1989). The Gaps in BackpropThere are many knobs on the black box of "backprop" [learning by backpropagation of errors (Rumelhart et al. 198611. Generally these knobs are set by rules of thumb, trial and error, and the use of reserved test data to assess generalization ability (or more sophisticated cross-validation). The knobs fall into two classes: (1) parameters that change the effective learning model, for example, number of hidden units, and weight decay

我们训练神经网络以优化最小描述长度分数，即，在网络的复杂性之间平衡，并在任务中的准确性。我们展示了使用此目标函数主任务培训的网络，涉及记忆挑战，例如计数，包括超出无背景语言的案例。这些学习者掌握语法，例如，$ a ^ nb ^ n $，$ a ^ nb ^ nc ^ n $，$ a ^ nb ^ {2n} $和$ a ^ nb ^ mc ^ {n + m} $，他们进行加法。他们这样做的准确性100％，有时也有100％的信心。网络也很小，内部工作是透明的。因此，我们提供正式证据，即他们的完美准确性不仅在给定的测试集上持有，而是用于任何输入序列。

这项调查的目的是介绍对深神经网络的近似特性的解释性回顾。具体而言，我们旨在了解深神经网络如何以及为什么要优于其他经典线性和非线性近似方法。这项调查包括三章。在第1章中，我们回顾了深层网络及其组成非线性结构的关键思想和概念。我们通过在解决回归和分类问题时将其作为优化问题来形式化神经网络问题。我们简要讨论用于解决优化问题的随机梯度下降算法以及用于解决优化问题的后传播公式，并解决了与神经网络性能相关的一些问题，包括选择激活功能，成本功能，过度适应问题和正则化。在第2章中，我们将重点转移到神经网络的近似理论上。我们首先介绍多项式近似中的密度概念，尤其是研究实现连续函数的Stone-WeierStrass定理。然后，在线性近似的框架内，我们回顾了馈电网络的密度和收敛速率的一些经典结果，然后在近似Sobolev函数中进行有关深网络复杂性的最新发展。在第3章中，利用非线性近似理论，我们进一步详细介绍了深度和近似网络与其他经典非线性近似方法相比的近似优势。

鉴于神经网络，训练数据和阈值，已知它是NP-HARD，用于找到神经网络的权重，使得总误差低于阈值。我们精确地确定了这种基本问题的算法复杂性，通过表示它是$ \存在\ mathbb r $ -complete。这意味着问题是等同的，达到多项式时间减少，以决定多项式方程和具有整数系数的不等式和真实未知的不平等是否具有解决方案。如果广泛预期，$ \存在\ MathBB r $严格大于NP，我们的工作意味着培训神经网络的问题甚至不是在NP中。通常使用反向化的一些变异培训神经网络。本文的结果提供了一种解释，为什么常用的技术常用于NP完全问题的大实例似乎不用于此任务。这种技术的示例是SAT求解器，IP求解器，本地搜索，动态编程，命名几个一般的。

微分方程在现代世界中起着关键作用，包括科学，工程，生态，经济学和金融，这些方程可用于模拟许多物理系统和过程。在本文中，我们使用物理知识的神经网络（PINN）研究了人类系统中药物同化的两个数学模型。在第一个模型中，我们考虑了人类系统中单剂量的单剂量的情况，在第二种情况下，我们考虑定期服用这种药物的过程。我们已经使用隔室图来对这些情况进行建模。使用PINN求解所得的微分方程，在该方程中，我们使用feed向前的多层感知器作为函数近似器，并且对网络参数进行调整以获取最小误差。此外，通过找到有关网络参数的误差函数的梯度来训练网络。我们采用了用于PINNS的Python库DeepXde来求解描述两种药物同化模型的一阶微分方程。结果显示，确切解决方案和预测解之间的高度准确性与第一个模型的结果误差达到10^（-11），而第二个模型的误差为10^（-8）。这验证了PINN在求解任何动态系统中的使用。

神经网络已广泛应用于垃圾邮件和网络钓鱼检测，入侵预防和恶意软件检测等安全应用程序。但是，这种黑盒方法通常在应用中具有不确定性和不良的解释性。此外，神经网络本身通常容易受到对抗攻击的影响。由于这些原因，人们对可信赖和严格的方法有很高的需求来验证神经网络模型的鲁棒性。对抗性的鲁棒性在处理恶意操纵输入时涉及神经网络的可靠性，是安全和机器学习中最热门的主题之一。在这项工作中，我们在神经网络的对抗性鲁棒性验证中调查了现有文献，并在机器学习，安全和软件工程领域收集了39项多元化研究工作。我们系统地分析了它们的方法，包括如何制定鲁棒性，使用哪种验证技术以及每种技术的优势和局限性。我们从正式验证的角度提供分类学，以全面理解该主题。我们根据财产规范，减少问题和推理策略对现有技术进行分类。我们还展示了使用样本模型在现有研究中应用的代表性技术。最后，我们讨论了未来研究的开放问题。

多项式扩张对于神经网络非线性的分析很重要。他们已应用于验证，解释性和安全性的众所周知的困难。现有方法跨度古典泰勒和切苯齐夫方法，渐近学和许多数值方法。我们发现，虽然这些单独具有有用的属性，如确切的错误公式，可调域和鲁棒性对未定义的衍生物，但没有提供一致方法，其具有所有这些属性的扩展。为解决此问题，我们开发了一个分析修改的积分变换扩展（AMITE），通过使用派生标准进行修改的整体变换的新型扩展。我们展示了一般的扩展，然后展示了两个流行的激活功能，双曲线切线和整流线性单位的应用。与本端使用的现有扩展（即Chebyshev，Taylor和Numerical）相比，Amite是第一个提供六个以前相互排斥的膨胀性能，例如系数的精确公式和精确的膨胀误差（表II）。我们展示了两种案例研究中Amite的有效性。首先，多变量多项式形式从单个隐藏层黑盒子多层Perceptron（MLP）有效地提取，以促进从嘈杂的刺激响应对的等效测试。其次，在3到7层之间的各种前馈神经网络（FFNN）架构是使用由Amite多项式和误差公式改善的泰勒模型的范围。 Amite呈现了一种新的扩展方法维度，适用于神经网络中的非线性的分析/近似，打开新的方向和机会，了解神经网络的理论分析和系统测试。

生物树突计算的模拟对于人工智能发展至关重要（AI）。本文介绍了一个名为DendRite网或DD的基本机器学习算法，就像支持向量机（SVM）或MultiDayer Perceptron（MLP）一样。 DD的主要概念是，如果输出的逻辑表达式包含输入（以及$ \ backslash $或$ \ backslash $），则该算法可以在学习之后识别此类课程。实验和主要结果：DD，白盒机学习算法，为黑盒系统表示出色的系统识别性能。其次，它被九个现实世界应用验证，DD相对于MLP架构的更好的泛化能力，该架构是模仿神经元细胞体（细胞体网）进行回归。第三，由Mnist和Fashion-Mnist数据集进行了验证，DD在更大的训练损失下表现出更高的测试精度，而不是细胞正文净进行分类。模块的数量可以有效地调整DD的逻辑表达式容量，这避免了过度拟合并使其轻松获得具有出色的泛化能力的模型。最后，Matlab和Python（Python）的重复实验证明，DD在时期和前向传播中均比细胞体网快。本文的主要贡献是基本机器学习算法（DD），具有白色盒子属性，可控精度，可更好的泛化能力和更低的计算复杂性。 DD不仅用于广义工程，而DD具有广泛的发展潜力作为深度学习的模块。 DD代码可在GitHub上获得：https://github.com/liugang1234567/gang-neuron。

我们在回归任务的背景下研究二元激活的神经网络，为这些特定网络的表现提供保证，并提出一种用于构建此类网络的贪婪算法。为了满足预测因素的资源需求较小，贪婪的方法无需提前修复网络的架构：一次构建一层，一次是一个神经元，导致预测因子并不必不是宽。深入执行给定的任务。与增强算法类似，我们的方法可以保证每次将神经元添加到一层时都会减少训练损失。这与大多数依赖于随机梯度下降的训练方案有很大的不同（避免了由替代物（如直通估计器或连续二进制化）等二进制激活功能的二进制激活功能的0个衍生衍生物问题）。我们表明，我们的方法提供了紧凑而稀疏的预测因子，同时获得了与训练二进制激活网络的最先进方法相似的性能。

如今，神经网络广泛用于许多应用中，作为人工智能模型，用于学习任务。由于通常神经网络处理非常大量的数据，因此在平均场和动力学理论内方便地制定它们。在这项工作中，我们专注于特定类别的神经网络，即残余神经网络，假设每层的特征是相同数量的神经元数量$ N $，这是由数据的维度固定的。这种假设允许将残余神经网络作为时间离散化的常微分方程解释，与神经微分方程类似。然后在无限的许多输入数据的极限中获得平均场描述。这导致VLASOV型部分微分方程描述了输入数据分布的演变。我们分析了网络参数的稳态和灵敏度，即重量和偏置。在线性激活功能和一维输入数据的简单设置中，矩的研究为网络的参数选择提供了见解。此外，通过随机残留神经网络的启发的微观动态的修改导致网络的Fokker-Planck配方，其中网络训练的概念被拟合分布的任务所取代。通过人工数值模拟验证所执行的分析。特别是，提出了对分类和回归问题的结果。

符号回归是一种机器学习技术，可以学习数据的管理公式，因此有可能改变科学发现。但是，符号回归仍然受到分析系统的复杂性和维度的限制。另一方面，深度学习改变了机器学习的能力，可以分析极其复杂和高维数据集。我们提出了一个神经网络体系结构，以将符号回归扩展到参数系统，其中某些系数可能会有所不同，但是基础管理方程的结构仍然恒定。我们演示了有关各种系数的各种分析表达式，ODE和PDE的方法，并表明它可以很好地推断出训练域之外。基于神经网络的体系结构还可以与其他深度学习体系结构集成，以便在端到端训练的同时分析高维数据。为此，我们将架构与卷积神经网络集成在一起，以分析不同弹簧系统的1D图像。

深度学习表明了视觉识别和某些人工智能任务的成功应用。深度学习也被认为是一种强大的工具，具有近似功能的高度灵活性。在本工作中，设计具有所需属性的功能，以近似PDE的解决方案。我们的方法基于后验误差估计，其中解决了错误定位以在神经网络框架内制定误差估计器的伴随问题。开发了一种高效且易于实现的算法，以通过采用双重加权剩余方法来获得多个目标功能的后验误差估计，然后使用神经网络计算原始和伴随解决方案。本研究表明，即使具有相对较少的训练数据，这种基于数据驱动的模型的学习具有卓越的感兴趣量的近似。用数值测试实施例证实了新颖的算法发展。证明了在浅神经网络上使用深神经网络的优点，并且还呈现了收敛增强技术

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

Two approaches to AI, neural networks and symbolic systems, have been proven very successful for an array of AI problems. However, neither has been able to achieve the general reasoning ability required for human-like intelligence. It has been argued that this is due to inherent weaknesses in each approach. Luckily, these weaknesses appear to be complementary, with symbolic systems being adept at the kinds of things neural networks have trouble with and vice-versa. The field of neural-symbolic AI attempts to exploit this asymmetry by combining neural networks and symbolic AI into integrated systems. Often this has been done by encoding symbolic knowledge into neural networks. Unfortunately, although many different methods for this have been proposed, there is no common definition of an encoding to compare them. We seek to rectify this problem by introducing a semantic framework for neural-symbolic AI, which is then shown to be general enough to account for a large family of neural-symbolic systems. We provide a number of examples and proofs of the application of the framework to the neural encoding of various forms of knowledge representation and neural network. These, at first sight disparate approaches, are all shown to fall within the framework's formal definition of what we call semantic encoding for neural-symbolic AI.

在智能手机和控制器系统中的爆炸性增长之后，在从集中数据朝向设备生成的数据中消除数据如何生成数据的加速偏移。作为响应，机器学习算法正在适于在本地运行，潜在的硬件有限，设备，以改善用户隐私，减少延迟并更节能。但是，我们对这些方向算法的表现方式和应培训的理解仍然相当有限。为了解决这个问题，介绍了一种方法来自动综合降低的神经网络（具有较少的神经元）近似近似较大的输入/输出映射。从凸的半定程序生成降低的神经网络的权重和偏差，该凸形半定程序产生相对于较大网络的最坏情况近似误差。获得该近似误差的最坏情况界限，并且该方法可以应用于各种神经网络架构。例如，如何区分所提出的方法来产生小型神经网络的现有方法。修剪是在训练成本函数中直接包含最坏情况近似误差，这应该增加鲁棒性。数值示例突出了所提出的方法的潜力。本文的重新实现目的是概括最近导致神经网络对其重量和偏差的鲁棒合成问题的鲁棒性分析。