人工神经网络的许多现代应用随之而来的是大量层，使传统的数字实施越来越复杂。光学神经网络在高带宽处提供并行处理，但面临噪声积累的挑战。我们在这里提出了一种新型的神经网络，使用随机共振作为体系结构的固有部分，并证明了以给定性能准确性大量减少所需神经元数量的可能性。我们还表明，这种神经网络对噪声的影响更强大。

深度神经网络通过解决了许多以前被视为更高人类智能的任务解锁了广泛的新应用。实现这一成功的一个发展之一是由专用硬件提供的计算能力提升，例如图形或张量处理单元。但是，这些不利用神经网络等并行性和模拟状态变量的基本特征。相反，它们模拟了依赖于二元计算的神经网络，这导致不可持续的能量消耗和相对低的速度。完全平行和模拟硬件承诺克服这些挑战，但模拟神经元噪声的影响及其传播，即积累，威胁到威胁这些方法无能为力。在这里，我们首次确定噪声在训练的完全连接层中包含噪声非线性神经元的深神经网络中的噪声传播。我们研究了添加剂和乘法以及相关和不相关的噪声，以及开发预测因对称深神经网络的任何层中的噪声水平的分析方法，或者在训练中培训的对称深神经网络或深神经网络。我们发现噪声累积通常绑定，并且添加附加网络层不会使信号与超出限制的信噪比恶化。最重要的是，当神经元激活函数具有小于单位的斜率时，可以完全抑制噪声累积。因此，我们开发了在模拟系统中实现的完全连接的深神经网络中的噪声框架，并识别允许工程师设计噪声弹性新型神经网络硬件的标准。

在时间序列预测的各种软计算方法中，模糊认知地图（FCM）已经显示出显着的结果作为模拟和分析复杂系统动态的工具。 FCM具有与经常性神经网络的相似之处，可以被分类为神经模糊方法。换句话说，FCMS是模糊逻辑，神经网络和专家系统方面的混合，它作为模拟和研究复杂系统的动态行为的强大工具。最有趣的特征是知识解释性，动态特征和学习能力。本调查纸的目标主要是在文献中提出的最相关和最近的基于FCCM的时间序列预测模型概述。此外，本文认为介绍FCM模型和学习方法的基础。此外，该调查提供了一些旨在提高FCM的能力的一些想法，以便在处理非稳定性数据和可扩展性问题等现实实验中涵盖一些挑战。此外，具有快速学习算法的FCMS是该领域的主要问题之一。

除了极其非线性的情况外，如果不是数十亿个参数来解决或至少要获得良好的解决方案，并且众所周知，众所周知，众所周知，并且通过深化和扩大其拓扑来实现复杂性的神经网络增加更好近似所需的非线性水平。然而，紧凑的拓扑始终优先于更深的拓扑，因为它们提供了使用较少计算单元和更少参数的优势。这种兼容性以减少的非线性的价格出现，因此有限的解决方案搜索空间。我们提出了使用自动多项式内核估计的1维多项式神经网络（1DPNN）模型，用于1维卷积神经网络（1dcnns），并且从第一层引入高度的非线性，这可以补偿深度的需要和/或宽拓扑。我们表明，这种非线性使得模型能够产生比与音频信号相关的各种分类和回归问题的常规1dcnn的计算和空间复杂性更好的结果，即使它在神经元水平上引入了更多的计算和空间复杂性。实验在三个公共数据集中进行，并证明，在解决的问题上，所提出的模型可以在更少的时间内从数据中提取比1dcnn更多的相关信息，并且存储器较少。

在本文中，我们提出了一种深度学习技术，用于数据驱动的流体介质中波传播的预测。该技术依赖于基于注意力的卷积复发自动编码器网络（AB-CRAN）。为了构建波传播数据的低维表示，我们采用了基于转化的卷积自动编码器。具有基于注意力的长期短期记忆细胞的AB-CRAN体系结构构成了我们的深度神经网络模型，用于游行低维特征的时间。我们评估了针对标准复发性神经网络的拟议的AB-Cran框架，用于波传播的低维学习。为了证明AB-Cran模型的有效性，我们考虑了三个基准问题，即一维线性对流，非线性粘性汉堡方程和二维圣人浅水系统。我们的新型AB-CRAN结构使用基准问题的空间 - 时空数据集，可以准确捕获波幅度，并在长期范围内保留溶液的波特性。与具有长期短期记忆细胞的标准复发性神经网络相比，基于注意力的序列到序列网络增加了预测的时间莫。 Denoising自动编码器进一步减少了预测的平方平方误差，并提高了参数空间中的概括能力。

受生物神经元的启发，激活功能在许多现实世界中常用的任何人工神经网络的学习过程中起着重要作用。文献中已经提出了各种激活功能，用于分类和回归任务。在这项工作中，我们调查了过去已经使用的激活功能以及当前的最新功能。特别是，我们介绍了多年来激活功能的各种发展以及这些激活功能的优势以及缺点或局限性。我们还讨论了经典（固定）激活功能，包括整流器单元和自适应激活功能。除了基于表征的激活函数的分类法外，还提出了基于应用的激活函数的分类法。为此，对MNIST，CIFAR-10和CIFAR-100等分类数据集进行了各种固定和自适应激活函数的系统比较。近年来，已经出现了一个具有物理信息的机器学习框架，以解决与科学计算有关的问题。为此，我们还讨论了在物理知识的机器学习框架中使用的激活功能的各种要求。此外，使用Tensorflow，Pytorch和Jax等各种机器学习库之间进行了不同的固定和自适应激活函数进行各种比较。

模糊认知地图（FCMS）被出现为可解释的签名加权数字化方法，其由代表概念之间的依赖性的节点（概念）和权重。虽然FCMS在各种时间序列预测应用中取得了相当大的成果，但设计了具有较节约的训练方法的FCM模型仍然是一个开放的挑战。因此，本文介绍了一种新颖的单变量时间序列预测技术，该技术由标记为R-HFCM的一组随机高阶FCM模型组成。提出的R-HFCM模型的新颖性与将FCM和回声状态网络（ESN）的概念合并为高效且特定的储层计算（RC）模型系列，其中应用于训练模型的最小二乘算法。从另一个角度来看，R-HFCM的结构包括输入层，储存层和输出层，其中仅输出层是可训练的，同时在训练过程中随机选择每个子储存组件的重量并保持恒定。如案例研究，该模型考虑了与巴西太阳能站以及马来西亚数据集的公共数据的太阳能预测，包括马来西亚市柔佛市电源公司的每小时电负荷和温度数据。实验还包括地图尺寸，激活功能，偏置的存在和储存器的尺寸的效果，储存器的尺寸为R-HFCM方法的准确性。所获得的结果证实了所提出的R-HFCM模型与其他方法相比表现。本研究提供了证据表明，FCM可以是在时间序列建模中实施动态储存的新方法。

与神经网络的软件模拟相反，硬件实现通常有限或没有可调性。尽管此类网络在速度和能源效率方面有了很大的改善，但它们的性能受到应用有效培训的困难的限制。我们建议并实现实验性的光学系统，在该系统中，可以通过一系列高度非线性的，不可调节的节点来应用高效的反向传播训练。该系统包括实现非线性激活函数的激子孔节点。我们在单个隐藏层系统中的MNIST手写数字基准中演示了高分类精度。

物理信息的神经网络（PINN）是神经网络（NNS），它们作为神经网络本身的组成部分编码模型方程，例如部分微分方程（PDE）。如今，PINN是用于求解PDE，分数方程，积分分化方程和随机PDE的。这种新颖的方法已成为一个多任务学习框架，在该框架中，NN必须在减少PDE残差的同时拟合观察到的数据。本文对PINNS的文献进行了全面的综述：虽然该研究的主要目标是表征这些网络及其相关的优势和缺点。该综述还试图将出版物纳入更广泛的基于搭配的物理知识的神经网络，这些神经网络构成了香草·皮恩（Vanilla Pinn）以及许多其他变体，例如物理受限的神经网络（PCNN），各种HP-VPINN，变量HP-VPINN，VPINN，VPINN，变体。和保守的Pinn（CPINN）。该研究表明，大多数研究都集中在通过不同的激活功能，梯度优化技术，神经网络结构和损耗功能结构来定制PINN。尽管使用PINN的应用范围广泛，但通过证明其在某些情况下比有限元方法（FEM）等经典数值技术更可行的能力，但仍有可能的进步，最著名的是尚未解决的理论问题。

This short report reviews the current state of the research and methodology on theoretical and practical aspects of Artificial Neural Networks (ANN). It was prepared to gather state-of-the-art knowledge needed to construct complex, hypercomplex and fuzzy neural networks. The report reflects the individual interests of the authors and, by now means, cannot be treated as a comprehensive review of the ANN discipline. Considering the fast development of this field, it is currently impossible to do a detailed review of a considerable number of pages. The report is an outcome of the Project 'The Strategic Research Partnership for the mathematical aspects of complex, hypercomplex and fuzzy neural networks' meeting at the University of Warmia and Mazury in Olsztyn, Poland, organized in September 2022.

经常性神经网络（RNN）经常用于建模脑功能和结构的方面。在这项工作中，我们培训了小型完全连接的RNN，以具有时变刺激的时间和流量控制任务。我们的结果表明，不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务，并且优雅地降低的性能随着网络尺寸而降低，间隔持续时间增加，或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的，并且需要预先理解以建模脑皮质区域的生物反应。

The identification of material parameters occurring in constitutive models has a wide range of applications in practice. One of these applications is the monitoring and assessment of the actual condition of infrastructure buildings, as the material parameters directly reflect the resistance of the structures to external impacts. Physics-informed neural networks (PINNs) have recently emerged as a suitable method for solving inverse problems. The advantages of this method are a straightforward inclusion of observation data. Unlike grid-based methods, such as the finite element method updating (FEMU) approach, no computational grid and no interpolation of the data is required. In the current work, we aim to further develop PINNs towards the calibration of the linear-elastic constitutive model from full-field displacement and global force data in a realistic regime. We show that normalization and conditioning of the optimization problem play a crucial role in this process. Therefore, among others, we identify the material parameters for initial estimates and balance the individual terms in the loss function. In order to reduce the dependence of the identified material parameters on local errors in the displacement approximation, we base the identification not on the stress boundary conditions but instead on the global balance of internal and external work. In addition, we found that we get a better posed inverse problem if we reformulate it in terms of bulk and shear modulus instead of Young's modulus and Poisson's ratio. We demonstrate that the enhanced PINNs are capable of identifying material parameters from both experimental one-dimensional data and synthetic full-field displacement data in a realistic regime. Since displacement data measured by, e.g., a digital image correlation (DIC) system is noisy, we additionally investigate the robustness of the method to different levels of noise.

Deep neural networks (DNNs) recently emerged as a promising tool for analyzing and solving complex differential equations arising in science and engineering applications. Alternative to traditional numerical schemes, learning-based solvers utilize the representation power of DNNs to approximate the input-output relations in an automated manner. However, the lack of physics-in-the-loop often makes it difficult to construct a neural network solver that simultaneously achieves high accuracy, low computational burden, and interpretability. In this work, focusing on a class of evolutionary PDEs characterized by having decomposable operators, we show that the classical ``operator splitting'' numerical scheme of solving these equations can be exploited to design neural network architectures. This gives rise to a learning-based PDE solver, which we name Deep Operator-Splitting Network (DOSnet). Such non-black-box network design is constructed from the physical rules and operators governing the underlying dynamics contains learnable parameters, and is thus more flexible than the standard operator splitting scheme. Once trained, it enables the fast solution of the same type of PDEs. To validate the special structure inside DOSnet, we take the linear PDEs as the benchmark and give the mathematical explanation for the weight behavior. Furthermore, to demonstrate the advantages of our new AI-enhanced PDE solver, we train and validate it on several types of operator-decomposable differential equations. We also apply DOSnet to nonlinear Schr\"odinger equations (NLSE) which have important applications in the signal processing for modern optical fiber transmission systems, and experimental results show that our model has better accuracy and lower computational complexity than numerical schemes and the baseline DNNs.

深度学习方法的应用加快了挑战性电流问题的分辨率，最近显示出令人鼓舞的结果。但是，电力系统动力学不是快照，稳态操作。必须考虑这些动力学，以确保这些模型提供的最佳解决方案遵守实用的动力约束，避免频率波动和网格不稳定性。不幸的是，由于其高计算成本，基于普通或部分微分方程的动态系统模型通常不适合在控制或状态估计中直接应用。为了应对这些挑战，本文介绍了一种机器学习方法，以近乎实时近似电力系统动态的行为。该拟议的框架基于梯度增强的物理知识的神经网络（GPINNS），并编码有关电源系统的基本物理定律。拟议的GPINN的关键特征是它的训练能力而无需生成昂贵的培训数据。该论文说明了在单机无限总线系统中提出的方法在预测转子角度和频率的前进和反向问题中的潜力，以及不确定的参数，例如惯性和阻尼，以展示其在一系列电力系统应用中的潜力。

尖峰神经网络（SNN）提供了一个新的计算范式，能够高度平行，实时处理。光子设备是设计与SNN计算范式相匹配的高带宽，平行体系结构的理想选择。 CMO和光子元件的协整允许将低损耗的光子设备与模拟电子设备结合使用，以更大的非线性计算元件的灵活性。因此，我们在整体硅光子学（SIPH）过程上设计和模拟了光电尖峰神经元电路，该过程复制了超出泄漏的集成和火（LIF）之外有用的尖峰行为。此外，我们探索了两种学习算法，具有使用Mach-Zehnder干涉法（MZI）网格作为突触互连的片上学习的潜力。实验证明了随机反向传播（RPB）的变体，并在简单分类任务上与标准线性回归的性能相匹配。同时，将对比性HEBBIAN学习（CHL）规则应用于由MZI网格组成的模拟神经网络，以进行随机输入输出映射任务。受CHL训练的MZI网络的性能比随机猜测更好，但不符合理想神经网络的性能（没有MZI网格施加的约束）。通过这些努力，我们证明了协调的CMO和SIPH技术非常适合可扩展的SNN计算体系结构的设计。

粒子加速器是复杂的设施，可产生大量的结构化数据，并具有明确的优化目标以及精确定义的控制要求。因此，它们自然适合数据驱动的研究方法。来自传感器和监视加速器形式的多元时间序列的数据。在加速器控制和诊断方面，快速的先发制人方法是高度首选的，数据驱动的时间序列预测方法的应用尤其有希望。这篇综述提出了时间序列预测问题，并总结了现有模型，并在各个科学领域的应用中进行了应用。引入了粒子加速器领域中的几次和将来的尝试。预测到粒子加速器的时间序列的应用显示出令人鼓舞的结果和更广泛使用的希望，现有的问题（例如数据一致性和兼容性）已开始解决。

这项工作为鉴定非线性自回归外源性（NARX）模型提供了一种新颖的正则化方法。正则化方法促进了过去输入样品对当前模型输出的影响的指数衰减。这是通过惩罚NARX模型模拟输出相对于过去输入的灵敏度来完成的。这促进了估计模型的稳定性，并提高了获得的模型质量。通过模拟示例证明了该方法的有效性，其中使用这种新方法识别神经网络NARX模型。此外，与其他正则化方法和模型类相比，提出的正则化方法在模拟误差性能方面提高了模型精度。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

在这项工作中，我们介绍了一种光电尖峰，能够以超速率（$ \ \左右100磅/光学尖峰）和低能耗（$ <$ PJ /秒码）运行。所提出的系统结合了具有负差分电导的可激发谐振隧道二极管（RTD）元件，耦合到纳米级光源（形成主节点）或光电探测器（形成接收器节点）。我们在数值上学习互连的主接收器RTD节点系统的尖峰动态响应和信息传播功能。使用脉冲阈值和集成的关键功能，我们利用单个节点来对顺序脉冲模式进行分类，并对图像特征（边缘）识别执行卷积功能。我们还展示了光学互连的尖峰神经网络模型，用于处理超过10 Gbps的时空数据，具有高推理精度。最后，我们展示了利用峰值定时依赖性可塑性的片外监督的学习方法，使能RTD的光子尖峰神经网络。这些结果证明了RTD尖峰节点用于低占地面积，低能量，高速光电实现神经形态硬件的潜在和可行性。

ising机器是一个有前途的非von-neumann用于神经网络训练和组合优化的计算概念。然而，虽然可以用诸如展示机器实现各种神经网络，但是它们无法执行快速统计采样使得它们与数字计算机相比训练这些神经网络的效率低。在这里，我们通过注入模拟噪声来介绍一个通用概念，以实现具有ising机器的超快统计抽样。通过光电型机，我们证明这可用于精确采样Boltzmann分布和无监督的神经网络训练，具有与基于软件的培训等于准确性。通过模拟，我们发现ising机器可以比基于软件的方法更快地执行统计采样顺序。这使得Ising Machines成为机器学习的有效工具和超出组合优化的其他应用。