We propose a novel backpropagation algorithm for training spiking neural networks (SNNs) that encodes information in the relative multiple spike timing of individual neurons without single-spike restrictions. The proposed algorithm inherits the advantages of conventional timing-based methods in that it computes accurate gradients with respect to spike timing, which promotes ideal temporal coding. Unlike conventional methods where each neuron fires at most once, the proposed algorithm allows each neuron to fire multiple times. This extension naturally improves the computational capacity of SNNs. Our SNN model outperformed comparable SNN models and achieved as high accuracy as non-convolutional artificial neural networks. The spike count property of our networks was altered depending on the time constant of the postsynaptic current and the membrane potential. Moreover, we found that there existed the optimal time constant with the maximum test accuracy. That was not seen in conventional SNNs with single-spike restrictions on time-to-fast-spike (TTFS) coding. This result demonstrates the computational properties of SNNs that biologically encode information into the multi-spike timing of individual neurons. Our code would be publicly available.

继承是一种确定性算法，用于生成可以被视为满足输入时刻条件的随机样本的数据点。该算法基于高维动力系统的复杂行为，并由统计推断的最大熵原理的启发。在本文中，我们提出了埃尔特联算法的延伸，称为熵放牧，它产生一系列分布而不是点。熵放映是从最大熵原理获得的目标函数的优化。使用所提出的熵放牧算法作为框架，我们讨论了勃起与最大熵原理之间的更近的联系。具体而言，我们将原始的掠过算法解释为熵牧群的易缩放版，其理想的输出分布在数学上表示。我们进一步讨论了掠过算法的复杂行为如何有助于优化。我们认为，所提出的熵扩建算法扩展了爬行到概率建模的应用。与原来的放牧相比，熵放牧可以产生平滑的分布，使得两个有效的概率密度计算和样本产生都变得可能。为了证明这些研究中这些论点的可行性，进行了数值实验，包括合成和实际数据的与其他常规方法的比较。

机器学习方法最近被用作替代品或用于动态系统的物理/数学建模方法的帮助。为了开发一种用于建模和预测多尺度动力学的有效机器学习方法，我们通过使用异质性泄漏积分器（LI）神经元的复发网络提出了具有不同时间尺度的储层计算（RC）模型。我们在两个时间序列的预测任务中评估了所提出模型的计算性能，该任务与四个混乱的快速动力学系统有关。在仅从快速子系统提供输入数据的一步预测任务中，我们表明，所提出的模型比具有相同LI神经元的标准RC模型产生的性能更好。我们的分析表明，通过模型训练，适当，灵活地从储层动力学中选择了产生目标多尺度动力学的每个组件所需的时间尺度。在长期的预测任务中，我们证明了所提出的模型的闭环版本可以实现长期的预测，而与与参数相同的LI神经元相比，它可以实现长期预测。

在对肺癌患者的放疗治疗期间，需要最小化肿瘤周围健康组织的辐射，这由于呼吸运动和线性加速器系统的潜伏期很难。在拟议的研究中，我们首先使用Lucas-Kanade锥体光流算法来对四个肺癌患者的胸部计算机断层扫描图像进行可变形的图像登记。然后，我们根据先前计算的变形场跟踪靠近肺部肿瘤的三个内部点，并通过使用实时重复学习（RTRL）和梯度剪辑训练的复发神经网络（RNN）预测其位置。呼吸数据非常规规律，在约2.5Hz时采样，并在脊柱方向上包括人工漂移。轨道点的运动幅度范围为12.0mm至22.7mm。最后，我们提出了一种基于线性对应模型和Nadaraya-Watson非线性回归的最初肿瘤图像的恢复和预测3D肿瘤图像的简单方法。与测试集上RNN预测相对应的根平方误差，最大误差和抖动小于使用线性预测和最小平方（LMS）获得的相同性能度量。特别是，与RNN相关的最大预测误差等于1.51mm，比与线性预测和LMS相关的最大误差低16.1％和5.0％。 RTRL的平均预测时间等于119ms，小于400ms标记位置采样时间。预测图像中的肿瘤位置在视觉上似乎是正确的，这通过等于0.955的原始图像和预测图像之间的高平均互相关证实。

时间序列数据，例如不稳定的压力敏感涂料（PSP）测量数据，可能包含大量随机噪声。因此，在这项研究中，我们研究了一种将多元奇异频谱分析（MSSA）与低维数据表示结合的降噪方法。 MSSA是一种使用时间延迟嵌入的状态空间重建技术，并且通过将数据投影到单数值分解（SVD）基础上来实现低维表示。将提出的不稳定PSP数据（即预计的MSSA）的降噪性能与截短的SVD方法的降噪性能（预计的MSSA），这是使用最多的降噪方法之一。结果表明，与截断的SVD方法相比，预测的MSSA在减少随机噪声方面表现出更好的性能。此外，与截断的SVD方法相比，投影的MSSA的性能对截断等级不太敏感。此外，预测的MSSA通过从嘈杂的输入数据中提取状态空间中的平滑轨迹来有效地实现脱氧。预计，预计的MSSA将有效地减少不仅PSP测量数据中的随机噪声，还可以有效地降低各种高维时间序列数据。

多任务学习（MTL）是深度学习中的一个活动字段，其中我们通过利用任务之间的关系来共同学习多项任务。已经证明，与独立学习每个任务时，MTL有助于该模型共享任务之间的学习功能并增强预测。我们为2任务MTL问题提出了一个新的学习框架，它使用一个任务的预测作为另一个网络的输入来预测其他任务。我们定义了由循环一致性损失和对比学习，对齐和跨任务一致性损失的两个新的损失术语。这两个损耗都旨在实施模型以对准多个任务的预测，以便模型一致地预测。理论上我们证明，两次损失都帮助模型更有效地学习，并且在与直接预测的对齐方面更好地了解跨任务一致性损失。实验结果还表明，我们的拟议模型在基准城市景观和NYU数据集上实现了显着性能。

颗粒滤波方法广泛应用于非线性非高斯状态空间模型内的顺序状态估计。然而，传统的颗粒过滤方法在高维状态空间模型中遭受重量退化。目前，有许多方法可以提高高维状态空间模型中粒子滤波的性能。其中，更先进的方法是通过实施复合Metropolis-Hasting（MH）内核来构建顺序Makov Chian Monte Carlo（SMCMC）框架。在本文中，我们提出了离散的示出ZAG采样器，并在SMCMC框架内的复合MH内核的细化阶段应用Zig-Zag采样器，其在联合拉伸阶段中的可逆颗粒流动实现。通过挑战复杂的高维过滤实施例的数值实验，我们评估所提出的方法的性能。无限的实验表明，在高维状态估计例中，所提出的方法提高了估计精度并增加了与最先进的过滤方法相比的接收比率。

在这项研究中，我们调查了动态模式分解（DMD）算法的稳定性到嘈杂的数据。为了实现稳定的DMD算法，我们将截断的总，最小二乘（T-TLS）回归和最佳截断级别选择应用于TLS DMD算法。通过向TLS DMD算法添加截断正则化，T-TLS DMD可以提高计算的稳定性，同时保持TLS DMD的精度。通过对自助式细胞现象的圆筒和实际压敏涂料（PSP）数据的唤醒分析，评估T-TLS DMD的有效性。结果表明，正规化在DMD算法中的重要性。关于特征值，T-TLS DMD受到噪声的影响较小，并且可以稳定地获得精确的特征值，而TLS和子空间DMD的特征值可能由于噪音大大变化。如前所述，它还观察到标准的特征值和精确的DMD具有转移到阻尼侧的问题。关于特征向量，T-TLS和精确的DMD即使在存在噪声的情况下也明确地捕获了特征流模式，而TLS和子空间DMD不能由于噪音而清楚地捕获它们。

在肺放疗期间，可以记录红外反射物体的位置以估计肿瘤位置。但是，放射治疗系统具有阻碍辐射递送精度的机器人控制限制固有的延迟。通过在线学习复发性神经网络（RNN）的预测允许适应非平稳的呼吸信号，但是诸如RTRL和TRUNCED BPTT之类的经典方法分别缓慢且有偏见。这项研究调查了公正的在线复发优化（UORO）预测呼吸运动的能力，并提高肺放疗的安全性。我们使用了9个观察记录，记录了3D外部标记在胸部和健康个体的腹部的3D位置，从73至222s的间隔内呼吸。采样频率为10Hz，在上部方向上，记录的轨迹的幅度从6mm到40mm不等。我们使用经过UORO训练的RNN同时预测每个标记的3D位置，其地平值在0.1s和2.0之间。我们将其性能与经过RTRL，LMS和离线线性回归训练的RNN进行比较。我们为UORO中涉及梯度损失计算的数量提供了封闭形式的表达式，从而使其实施有效。在每个序列的第一分钟内进行训练和交叉验证。在考虑的地平线值和9个序列上，Uoro平均达到了比较算法之间最低的根平方（RMS）误差和最大误差。这些误差分别等于1.3mm和8.8mm，每时间步长的预测时间低于2.8ms（Dell Intel Core i9-9900K 3.60 GHz）。线性回归的Horizo​​n值为0.1和0.2s的RMS误差最低，其次是0.3s和0.5s之间的LMS，而LMS的LMS误差为0.3s和0.5s，而Uoro的地平线值大于0.6s。

变分推理（VI）与贝叶斯非线性滤波相结合，为潜在时间序列建模产生最先进的结果。最近的工作中的一个身体专注于序贯蒙特卡罗（SMC）及其变体，例如，前向滤波后仿真（FFBSI）。虽然这些研究成功了，但严重的问题仍然存在于粒子退化和偏见的渐变估计中。在本文中，我们提出了Enemble Kalman变分目标（ENKO），VI的混合方法和集合卡尔曼滤波器（ENKF），以推断出状态空间模型（SSMS）。我们所提出的方法可以有效地识别潜在动力学，因为其粒子多样性和无偏梯度估计值。我们展示了我们的ENKO在三个基准非线性系统识别任务的预测能力和粒子效率方面优于基于SMC的方法。