我们表明，细胞自动机可以通过诱导动态相共存形式来对数据进行分类。我们使用蒙特卡洛方法搜索一般的二维确定性自动机，该自动机根据活动对图像进行分类，即从图像引发的轨迹中发生的状态变化的数量。当自动机的时间段数量是可训练的参数时，搜索方案确定了自动机，该自动机会根据初始条件，生成一个动态轨迹群体显示出较高或低活动的动态轨迹。这种性质的自动机的表现为非线性激活功能，其输出有效二进制，类似于尖峰神经元的新兴版本。

我们将零温度的大都市蒙特卡洛算法作为通过最大程度地减少损失函数来训练神经网络的工具。我们发现，正如理论上的预期，并在其他作者的经验上表现出来，Metropolis Monte Carlo可以训练具有与梯度下降相当的准确性（即使不一定那么快）的准确性。当神经网络的参数数量较大时，大都市算法不会自动失败。当神经网络的结构或神经元激活是强大的异质性时，它可能会失败，并且我们引入了一种自适应的蒙特卡洛算法AMC来克服这些局限性。 Monte Carlo方法的内在随机性和数值稳定性使AMC可以训练深层神经网络和经常性的神经网络，其中梯度太小或太大，无法通过梯度下降进行训练。 Monte Carlo方法为培训神经网络的基于梯度的方法提供了补充，从而可以访问一组不同的网络架构和原理。

We apply the Hierarchical Autoregressive Neural (HAN) network sampling algorithm to the two-dimensional $Q$-state Potts model and perform simulations around the phase transition at $Q=12$. We quantify the performance of the approach in the vicinity of the first-order phase transition and compare it with that of the Wolff cluster algorithm. We find a significant improvement as far as the statistical uncertainty is concerned at a similar numerical effort. In order to efficiently train large neural networks we introduce the technique of pre-training. It allows to train some neural networks using smaller system sizes and then employing them as starting configurations for larger system sizes. This is possible due to the recursive construction of our hierarchical approach. Our results serve as a demonstration of the performance of the hierarchical approach for systems exhibiting bimodal distributions. Additionally, we provide estimates of the free energy and entropy in the vicinity of the phase transition with statistical uncertainties of the order of $10^{-7}$ for the former and $10^{-3}$ for the latter based on a statistics of $10^6$ configurations.

在机器学习中，对神经网络集合（NNE）（NNE）引起了新的兴趣，从而从一组较小的模型（而不是从单个较大的模型）中获得了预测作为汇总的预测。在这里，我们展示了如何使用随机系统中稀有轨迹的技术来定义和训练NNE。我们根据模型参数的轨迹定义一个NNE，在简单的，离散的时间，扩散动力学下，并通过将这些轨迹偏向较小的时间整合损失来训练NNE，并由适当的计数领域控制，这些领域的作用是超参数。我们证明了该技术在一系列简单监督的学习任务上的生存能力。与更常规的基于梯度的方法相比，我们讨论了轨迹采样方法的潜在优势。

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

我们提出了Memprop，即采用基于梯度的学习来培训完全的申请尖峰神经网络（MSNNS）。我们的方法利用固有的设备动力学来触发自然产生的电压尖峰。这些由回忆动力学发出的尖峰本质上是类似物，因此完全可区分，这消除了尖峰神经网络（SNN）文献中普遍存在的替代梯度方法的需求。回忆性神经网络通常将备忘录集成为映射离线培训网络的突触，或者以其他方式依靠关联学习机制来训练候选神经元的网络。相反，我们直接在循环神经元和突触的模拟香料模型上应用了通过时间（BPTT）训练算法的反向传播。我们的实现是完全的综合性，因为突触重量和尖峰神经元都集成在电阻RAM（RRAM）阵列上，而无需其他电路来实现尖峰动态，例如模数转换器（ADCS）或阈值比较器。结果，高阶电物理效应被充分利用，以在运行时使用磁性神经元的状态驱动动力学。通过朝着非同一梯度的学习迈进，我们在以前报道的几个基准上的轻巧密集的完全MSNN中获得了高度竞争的准确性。

过去十年来，人们对人工智能（AI）的兴趣激增几乎完全由人工神经网络（ANN）的进步驱动。尽管ANN为许多以前棘手的问题设定了最先进的绩效，但它们需要大量的数据和计算资源进行培训，并且由于他们采用了监督的学习，他们通常需要知道每个培训示例的正确标记的响应，并限制它们对现实世界域的可扩展性。尖峰神经网络（SNN）是使用更多类似脑部神经元的ANN的替代方法，可以使用无监督的学习来发现输入数据中的可识别功能，而又不知道正确的响应。但是，SNN在动态稳定性方面挣扎，无法匹配ANN的准确性。在这里，我们展示了SNN如何克服文献中发现的许多缺点，包括为消失的尖峰问题提供原则性解决方案，以优于所有现有的浅SNN，并等于ANN的性能。它在使用无标记的数据和仅1/50的训练时期使用无监督的学习时完成了这一点（标记数据仅用于最终的简单线性读数层）。该结果使SNN成为可行的新方法，用于使用未标记的数据集快速，准确，有效，可解释的机器学习。

尽管他们取得了巨大的成功，但由于缺乏解释性，神经网络仍然是黑盒。在这里，我们提出了一种新的分析方法，即重量途径分析（WPA），以使其透明。我们将重量从输入神经元纵向连接到输出神经元或简单的权重途径的途径中，是理解神经网络的基本单元，并将神经网络分解为此类权重途径的一系列子网络。提出了子网的可视化方案，该方案给出了网络的纵向观点，例如X光片，使网络的内部结构可见。参数调整或网络的结构变化的影响可以通过此类X光片可视化。为子网络建立了特征图，以表征输入样品对每个输出神经元的影响的增强或抑制。使用WPA，我们发现神经网络存储并以全息方式使用信息，也就是说，子网编码在连贯结构中的所有训练样本，因此只有通过研究重量途径才能探索存储在网络中的样品。此外，使用WPA，我们揭示了神经网络的基本学习模式：线性学习模式和非线性学习模式。前者提取了线性可分离的特征，而后者提取了线性不可分割的特征。隐藏的层神经元自组织分为不同的类，以建立学习模式并实现培训目标。学习模式的发现为我们提供了理解机器学习的一些基本问题的理论基础，例如学习过程的动态，线性和非线性神经元的作用以及网络宽度和深度的作用。

无监督的机器学习的目的是删除复杂的高维数据的表示形式，从而解释数据中的重要潜在因素以及操纵它们以生成具有理想功能的新数据。这些方法通常依赖于对抗方案，在该方案中，对代表进行调整以避免歧视者能够重建特定的数据信息（标签）。我们提出了一种简单，有效的方法，即在无需培训对抗歧视器的情况下解开表示形式，并将我们的方法应用于受限的玻尔兹曼机器（RBM），这是最简单的基于代表的生成模型之一。我们的方法依赖于在训练过程中引入对权重的足够约束，这使我们能够将有关标签的信息集中在一小部分潜在变量上。该方法的有效性在MNIST数据集，二维ISING模型和蛋白质家族的分类法上说明了。此外，我们还展示了我们的框架如何从数据的对数模型中计算成本，与其表示形式的删除相关。

从图像识别和对象检测到语音识别和机器翻译，神经网络已经证明是非常成功的广泛复杂任务。他们的成功之一是给出了适当的训练数据集的未来动态的技能。以前的研究表明，回声状态网络（ESNS）是如何成功地预测比Lyapunov时间长时间的混乱系统。本研究表明，显着的是，ESN可以成功地预测与训练集中包含的任何行为不同的动态行为。提供了用于流体动力学问题的证据，其中流动可以在层流（有序）和湍流（无序）的制度之间过渡。尽管仅受到湍流制度培训，但发现ESNS被发现预测层流行为。此外，还预先预测了湍流到层状和层流动转变的统计数据，并且讨论了ESN在作为转变过渡的早期预警系统中的效用。这些结果预计将广泛适用于在一系列物理，气候，生物，生态和金融模型中的数据行为建模，其特征在于在几个竞争状态之间存在折射点和突然过渡的存在。

Despite the widespread practical success of deep learning methods, our theoretical understanding of the dynamics of learning in deep neural networks remains quite sparse. We attempt to bridge the gap between the theory and practice of deep learning by systematically analyzing learning dynamics for the restricted case of deep linear neural networks. Despite the linearity of their input-output map, such networks have nonlinear gradient descent dynamics on weights that change with the addition of each new hidden layer. We

受限的玻尔兹曼机器（RBMS）提供了一种用于无监督的机器学习的多功能体系结构，原则上可以以任意准确性近似任何目标概率分布。但是，RBM模型通常由于其计算复杂性而无法直接访问，并调用了Markov-Chain采样以分析学习概率分布。因此，对于培训和最终应用，希望拥有既准确又有效的采样器。我们强调，这两个目标通常相互竞争，无法同时实现。更具体地说，我们确定并定量地表征了RBM学习的三个制度：独立学习，精度提高而不会失去效率；相关学习，较高的精度需要较低的效率；和退化，精度和效率都不再改善甚至恶化。这些发现基于数值实验和启发式论点。

手写数字识别（HDR）是光学特征识别（OCR）领域中最具挑战性的任务之一。不管语言如何，HDR都存在一些固有的挑战，这主要是由于个人跨个人的写作风格的变化，编写媒介和环境的变化，无法在反复编写任何数字等时保持相同的笔触。除此之外，特定语言数字的结构复杂性可能会导致HDR的模棱两可。多年来，研究人员开发了许多离线和在线HDR管道，其中不同的图像处理技术与传统的机器学习（ML）基于基于的和/或基于深度学习（DL）的体系结构相结合。尽管文献中存在有关HDR的广泛审查研究的证据，例如：英语，阿拉伯语，印度，法尔西，中文等，但几乎没有对孟加拉人HDR（BHDR）的调查，这缺乏对孟加拉语HDR（BHDR）的研究，而这些调查缺乏对孟加拉语HDR（BHDR）的研究。挑战，基础识别过程以及可能的未来方向。在本文中，已经分析了孟加拉语手写数字的特征和固有的歧义，以及二十年来最先进的数据集的全面见解和离线BHDR的方法。此外，还详细讨论了一些涉及BHDR的现实应用特定研究。本文还将作为对离线BHDR背后科学感兴趣的研究人员的汇编，煽动了对相关研究的新途径的探索，这可能会进一步导致在不同应用领域对孟加拉语手写数字进行更好的离线认识。

在本文中，我们考虑了与未知（或部分未知），非平稳性，潜在的嘈杂和混乱的时间演变相关的机器学习（ML）任务，以预测临界点过渡和长期尖端行为动力系统。我们专注于特别具有挑战性的情况，在过去的情况下，过去的动态状态时间序列主要是在状态空间的受限区域中，而要预测的行为会在ML未完全观察到的较大状态空间集中演变出来训练期间的模型。在这种情况下，要求ML预测系统能够推断出在训练过程中观察到的不同动态。我们研究了ML方法在多大程度上能够为此任务完成有用的结果以及它们失败的条件。通常，我们发现即使在极具挑战性的情况下，ML方法也出奇地有效，但是（正如人们所期望的）``需要``太多''的外推。基于科学知识的传统建模的ML方法，因此即使单独采取行动时，我们发现的混合预测系统也可以实现有用的预测。我们还发现，实现有用的结果可能需要使用使用非常仔细选择的ML超参数，我们提出了一个超参数优化策略来解决此问题。本文的主要结论是，基于ML （也许是由于临界点的穿越）包括在训练数据探索的集合中的动态。

经常性神经网络（RNN）经常用于建模脑功能和结构的方面。在这项工作中，我们培训了小型完全连接的RNN，以具有时变刺激的时间和流量控制任务。我们的结果表明，不同的RNN可以通过对不同的底层动态进行不同的RNN来解决相同的任务，并且优雅地降低的性能随着网络尺寸而降低，间隔持续时间增加，或者连接损坏。我们的结果对于量化通常用作黑匣子的模型的不同方面是有用的，并且需要预先理解以建模脑皮质区域的生物反应。

统计物理学的最新进展显示了机器学习在识别阶段过渡时的显着性能。在本文中，我们基于转移学习施加域对抗性神经网络（DANN），以研究非平衡和平衡相变模型，分别是渗透模型和定向渗透（DP）模型。通过DANN，只需要标记一小部分输入配置（2D图像），以便自动选择，以便捕获临界点。要了解DP模型，该方法通过确定临界点的迭代过程来改进，这是计算临界指数$ \ nu _ {\ perp} $的数据崩溃的先决条件。然后，我们将DANN应用于二维站点的遗传筛选，该配置过滤以仅包括可能包含与订单参数相关的信息的最大群集。两种模型的DANN学习都会产生可靠的结果，它与来自蒙特卡罗模拟的结果相当。我们的研究还表明，与监督学习相比，Dann可以以更低的成本实现相当高的准确性。

在神经网络的文献中，Hebbian学习传统上是指Hopfield模型及其概括存储原型的程序（即仅经历过一次形成突触矩阵的确定模式）。但是，机器学习中的“学习”一词是指机器从提供的数据集中提取功能的能力（例如，由这些原型的模糊示例制成），以制作自己的不可用原型的代表。在这里，给定一个示例示例，我们定义了一个有监督的学习协议，通过该协议可以通过该协议来推断原型，并检测到正确的控制参数（包括数据集的大小和质量）以描绘系统性能的相图。我们还证明，对于无结构数据集，配备了该监督学习规则的Hopfield模型等同于受限的Boltzmann机器，这表明了最佳且可解释的培训例程。最后，这种方法被推广到结构化的数据集：我们在分析的数据集中突出显示了一个准剥离组织（让人联想到复制对称性 - 对称性），因此，我们为其（部分）分开，为其（部分）删除层引入了一个附加的“复制性隐藏层”，该证明可以将MNIST分类从75％提高到95％，并提供有关深度体系结构的新观点。

机器学习最近被出现为研究复杂现象的有希望的方法，其特征是丰富的数据集。特别地，以数据为中心的方法为手动检查可能错过的实验数据集中自动发现结构的可能性。在这里，我们介绍可解释的无监督监督的混合机学习方法，混合相关卷积神经网络（Hybrid-CCNN），并将其应用于使用基于Rydberg Atom阵列的可编程量子模拟器产生的实验数据。具体地，我们应用Hybrid-CCNN以通过可编程相互作用分析在方形格子上的新量子阶段。初始无监督的维度降低和聚类阶段首先揭示了五个不同的量子相位区域。在第二个监督阶段，我们通过培训完全解释的CCNN来细化这些相界并通过训练每个阶段提取相关的相关性。在条纹相中的每个相捕获量子波动中专门识别的特征空间加权和相关的相关性并鉴定两个先前未检测到的相，菱形和边界有序相位。这些观察结果表明，具有机器学习的可编程量子模拟器的组合可用作有关相关量子态的详细探索的强大工具。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

The term ``neuromorphic'' refers to systems that are closely resembling the architecture and/or the dynamics of biological neural networks. Typical examples are novel computer chips designed to mimic the architecture of a biological brain, or sensors that get inspiration from, e.g., the visual or olfactory systems in insects and mammals to acquire information about the environment. This approach is not without ambition as it promises to enable engineered devices able to reproduce the level of performance observed in biological organisms -- the main immediate advantage being the efficient use of scarce resources, which translates into low power requirements. The emphasis on low power and energy efficiency of neuromorphic devices is a perfect match for space applications. Spacecraft -- especially miniaturized ones -- have strict energy constraints as they need to operate in an environment which is scarce with resources and extremely hostile. In this work we present an overview of early attempts made to study a neuromorphic approach in a space context at the European Space Agency's (ESA) Advanced Concepts Team (ACT).