传染媒介符号架构将高维传染料空间与一组精心设计的操作员组合起来，以便使用大型数字向量进行符号计算。主要目标是利用他们的代表权力和处理模糊和歧义的能力。在过去几年中，已经提出了几个VSA实现。可用的实现在底层矢量空间和VSA运算符的特定实现中不同。本文概述了十一可用的VSA实现，并讨论了其潜在的矢量空间和运营商的共性和差异。我们创建了一种可用绑定操作的分类，并使用来自类比推理的示例来显示非自逆绑定操作的重要分支。主要贡献是可用实施的实验比较，以便评估（1）捆绑的容量，（2）非精确解除界操作的近似质量，（3）组合绑定和捆绑操作对查询的影响回答性能，（4）两个示例应用程序的性能：视觉地位和语言识别。我们预计此比较和系统化与VSA的开发相关，并支持选择特定任务的适当VSA。实现可用。

这项两部分的综合调查专门用于计算框架，该计算框架最常见于名称超高规范计算和矢量符号架构（HDC / VSA）。这两个名称都指的是一系列使用高维分布式表示的计算模型，并依赖于其关键操作的代数属性来结合结构化符号表示和矢量分布式表示的优点。 HDC / VSA系列中的显着型号是张解产品表示，全息减少表示，乘法添加释放，二进制喷溅码和稀疏二进制分布式表示，但也有其他型号。 HDC / VSA是一个高度跨学科的地区，与计算机科学，电气工程，人工智能，数学和认知科学有关。这一事实使得创造了彻底概述了该地区的挑战。然而，由于近年来加入了该地区的新研究人员的激增，对该地区综合调查的必要性变得非常重要。因此，在该地区的其他方面中，该部分我调查了以下几个方面，例如：HDC / VSA的已知计算模型以及各种输入数据类型的转换为高维分布式表示。本调查的第II部分致力于应用，认知计算和架构，以及未来工作的方向。该调查是对新人和从业者有用的。

高维计算（HDC）是用于数据表示和学习的范式，起源于计算神经科学。HDC将数据表示为高维，低精度向量，可用于学习或召回等各种信息处理任务。高维空间的映射是HDC中的一个基本问题，现有方法在输入数据本身是高维时会遇到可伸缩性问题。在这项工作中，我们探索了一个基于哈希的流媒体编码技术。我们正式表明，这些方法在学习应用程序的性能方面具有可比的保证，同时比现有替代方案更有效。我们在一个流行的高维分类问题上对这些结果进行了实验验证，并表明我们的方法很容易扩展到非常大的数据集。

这是第两部分综合调查的第二部分，专门用于计算框架，最常见于名称超高规范计算和矢量符号架构（HDC / VSA）。这两个名称都指的是一系列使用高维分布式表示的计算模型，并依赖于其关键操作的代数属性来结合结构化符号表示和矢量分布式表示的优点。全息减少的表示是一种有影响力的HDC / VSA模型，在机器学习域中是众所周知的，通常用于指整个家庭。但是，为了一致性，我们使用HDC / VSA来参考该区域。该调查的第I部分涵盖了该地区的基本方面，例如历史背景，导致HDC / VSA的开发，任何HDC / VSA模型的关键要素，已知的HDC / VSA模型，以及将各种类型的输入数据转换为高 - 适用于HDC / VSA的尺寸载体。第二部分调查现有的应用程序，HDC / VSA在认知计算和架构中的作用，以及未来工作的方向。大多数应用程序位于机器学习/人工智能域内，但我们还涵盖其他应用程序来提供彻底的照片。该调查是对新人和从业者有用的。

全息减少的表示（HRR）是通过将每个向量与抽象概念相关联，并提供数学操作以操纵向量的方法来执行符号AI的方法，以便操纵向量，就像它们是经典的符号对象一样。这种方法在较旧的象征性AI工作和认知科学之外已经很少使用。我们的目标是重新审视这种方法，以了解它是否可行，以使混合神经象征性的方法能够学习作为深度学习架构的可差分量。由于数值不稳定性，HRRS今天在可分辨率的解决方案中无效，我们通过引入迫使向量存在于空间良好的点中的投影步骤来解决问题。这样做，我们将HRRS的概念检索效果提高超过100美元。使用多标签分类，我们演示了如何利用符号HRR属性来开发能够有效学习的输出层和损耗功能，并允许我们调查HRR神经象征性学习方法的一些优缺点。我们的代码可以在https://github.com/neuromorphiccomputationResearchProgram/learning-with-hotographicuredued-representations

本文以生物学启发的神经形态硬件进行了最新创新，本文介绍了一种新颖的无监督机器学习算法，名为Hyperseed，该算法借鉴了矢量符号体系结构（VSA）的原理，用于快速学习保存未标记数据的拓扑图。它依靠VSA的两个主要操作，具有约束力和捆绑。 Hyperseed的算法部分在傅立叶全息降低表示模型中表达，该模型特别适合于尖峰神经形态硬件实现。 Hyperseed算法的两个主要贡献是很少的学习和基于单个向量操作的学习规则。这些属性在合成数据集以及说明性基准用例，IRIS分类以及使用N-Gram统计信息的语言标识任务上进行了经验评估。这些实验的结果证实了Hyperseed及其在神经形态硬件中的应用。

十年自2010年以来，人工智能成功一直处于计算机科学和技术的最前沿，传染媒介空间模型已经巩固了人工智能最前沿的位置。与此同时，量子计算机已经变得更加强大，主要进步的公告经常在新闻中。这些区域的基础的数学技术比有时意识到更多的共同之处。传染媒介空间在20世纪30年代的量子力学的公理心脏上采取了位置，这一采用是从矢量空间的线性几何形状推导逻辑和概率的关键动机。粒子之间的量子相互作用是使用张量产品进行建模的，其也用于表达人工神经网络中的物体和操作。本文介绍了这些常见的数学区域中的一些，包括如何在人工智能（AI）中使用的示例，特别是在自动推理和自然语言处理（NLP）中。讨论的技术包括矢量空间，标量产品，子空间和含义，正交投影和否定，双向矩阵，密度矩阵，正算子和张量产品。应用领域包括信息检索，分类和含义，建模字传感和歧义，知识库的推断和语义构成。其中一些方法可能会在量子硬件上实现。该实施中的许多实际步骤都处于早期阶段，其中一些已经实现了。解释一些常见的数学工具可以帮助AI和量子计算中的研究人员进一步利用这些重叠，识别和沿途探索新方向。

虽然注意力成为深度学习的重要机制，但仍然有限的直觉，为什么它工作得很好。在这里，我们表明，在某些数据条件下，变压器注意力与Kanerva稀疏分布式内存（SDM）的某些数据条件密切相关，一种生物合理的关联内存模型。我们确认在预先培训的GPT2变压器模型中满足这些条件。我们讨论了注意力SDM地图的影响，并提供了对关注的新计算和生物学解释。

Disentanglement of constituent factors of a sensory signal is central to perception and cognition and hence is a critical task for future artificial intelligence systems. In this paper, we present a compute engine capable of efficiently factorizing holographic perceptual representations by exploiting the computation-in-superposition capability of brain-inspired hyperdimensional computing and the intrinsic stochasticity associated with analog in-memory computing based on nanoscale memristive devices. Such an iterative in-memory factorizer is shown to solve at least five orders of magnitude larger problems that cannot be solved otherwise, while also significantly lowering the computational time and space complexity. We present a large-scale experimental demonstration of the factorizer by employing two in-memory compute chips based on phase-change memristive devices. The dominant matrix-vector multiply operations are executed at O(1) thus reducing the computational time complexity to merely the number of iterations. Moreover, we experimentally demonstrate the ability to factorize visual perceptual representations reliably and efficiently.

超比计算（HDC）是由大脑启发的新出现的计算框架，其在数千个尺寸上运行以模拟认知的载体。与运行数量的传统计算框架不同，HDC，如大脑，使用高维随机向量并能够一次学习。 HDC基于明确定义的算术运算集，并且是高度误差的。 HDC的核心运营操纵高清vectors以散装比特方式，提供许多机会利用并行性。遗憾的是，在传统的von-neuman架构上，处理器中的高清矢量的连续运动可以使认知任务过度缓慢和能量密集。硬件加速器只会略微改进相关的指标。相反，只有使用新兴铭文设备内存的HDC框架的部分实施，已报告了相当大的性能/能源收益。本文介绍了一种基于赛道内存（RTM）的架构，以便在内存中进行和加速整个HDC框架。所提出的解决方案需要最小的附加CMOS电路，并在称为横向读取（TR）的RTM中跨多个域的读取操作，以实现排他性或（XOR）和添加操作。为了最小化CMOS电路的开销，我们提出了一种基于RTM纳米线的计数机制，其利用TR操作和标准RTM操作。使用语言识别作为用例，分别与FPGA设计相比，整体运行时和能耗降低了7.8倍和5.3倍。与最先进的内存实现相比，所提出的HDC系统将能耗降低8.6倍。

Hopfield attractor networks are robust distributed models of human memory. We propose construction rules such that an attractor network may implement an arbitrary finite state machine (FSM), where states and stimuli are represented by high-dimensional random bipolar vectors, and all state transitions are enacted by the attractor network's dynamics. Numerical simulations show the capacity of the model, in terms of the maximum size of implementable FSM, to be linear in the size of the attractor network. We show that the model is robust to imprecise and noisy weights, and so a prime candidate for implementation with high-density but unreliable devices. By endowing attractor networks with the ability to emulate arbitrary FSMs, we propose a plausible path by which FSMs may exist as a distributed computational primitive in biological neural networks.

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

Multilayer Neural Networks trained with the backpropagation algorithm constitute the best example of a successful Gradient-Based Learning technique. Given an appropriate network architecture, Gradient-Based Learning algorithms can be used to synthesize a complex decision surface that can classify high-dimensional patterns such as handwritten characters, with minimal preprocessing. This paper reviews various methods applied to handwritten character recognition and compares them on a standard handwritten digit recognition task. Convolutional Neural Networks, that are specifically designed to deal with the variability of 2D shapes, are shown to outperform all other techniques.Real-life document recognition systems are composed of multiple modules including eld extraction, segmentation, recognition, and language modeling. A new learning paradigm, called Graph Transformer Networks (GTN), allows such multi-module systems to be trained globally using Gradient-Based methods so as to minimize an overall performance measure.Two systems for on-line handwriting recognition are described. Experiments demonstrate the advantage of global training, and the exibility of Graph Transformer Networks.A Graph Transformer Network for reading bank check is also described. It uses Convolutional Neural Network character recognizers combined with global training techniques to provides record accuracy on business and personal checks. It is deployed commercially and reads several million checks per day.

Graph classification is an important area in both modern research and industry. Multiple applications, especially in chemistry and novel drug discovery, encourage rapid development of machine learning models in this area. To keep up with the pace of new research, proper experimental design, fair evaluation, and independent benchmarks are essential. Design of strong baselines is an indispensable element of such works. In this thesis, we explore multiple approaches to graph classification. We focus on Graph Neural Networks (GNNs), which emerged as a de facto standard deep learning technique for graph representation learning. Classical approaches, such as graph descriptors and molecular fingerprints, are also addressed. We design fair evaluation experimental protocol and choose proper datasets collection. This allows us to perform numerous experiments and rigorously analyze modern approaches. We arrive to many conclusions, which shed new light on performance and quality of novel algorithms. We investigate application of Jumping Knowledge GNN architecture to graph classification, which proves to be an efficient tool for improving base graph neural network architectures. Multiple improvements to baseline models are also proposed and experimentally verified, which constitutes an important contribution to the field of fair model comparison.

当前独立于域的经典计划者需要问题域和实例作为输入的符号模型，从而导致知识采集瓶颈。同时，尽管深度学习在许多领域都取得了重大成功，但知识是在与符号系统（例如计划者）不兼容的亚符号表示中编码的。我们提出了Latplan，这是一种无监督的建筑，结合了深度学习和经典计划。只有一组未标记的图像对，显示了环境中允许的过渡子集（训练输入），Latplan学习了环境的完整命题PDDL动作模型。稍后，当给出代表初始状态和目标状态（计划输入）的一对图像时，Latplan在符号潜在空间中找到了目标状态的计划，并返回可视化的计划执行。我们使用6个计划域的基于图像的版本来评估LATPLAN：8个插头，15个式嘴，Blockworld，Sokoban和两个LightsOut的变体。

Low-rank matrix approximations, such as the truncated singular value decomposition and the rank-revealing QR decomposition, play a central role in data analysis and scientific computing. This work surveys and extends recent research which demonstrates that randomization offers a powerful tool for performing low-rank matrix approximation. These techniques exploit modern computational architectures more fully than classical methods and open the possibility of dealing with truly massive data sets.This paper presents a modular framework for constructing randomized algorithms that compute partial matrix decompositions. These methods use random sampling to identify a subspace that captures most of the action of a matrix. The input matrix is then compressed-either explicitly or implicitly-to this subspace, and the reduced matrix is manipulated deterministically to obtain the desired low-rank factorization. In many cases, this approach beats its classical competitors in terms of accuracy, speed, and robustness. These claims are supported by extensive numerical experiments and a detailed error analysis.The specific benefits of randomized techniques depend on the computational environment. Consider the model problem of finding the k dominant components of the singular value decomposition of an m × n matrix. (i) For a dense input matrix, randomized algorithms require O(mn log(k)) floating-point operations (flops) in contrast with O(mnk) for classical algorithms. (ii) For a sparse input matrix, the flop count matches classical Krylov subspace methods, but the randomized approach is more robust and can easily be reorganized to exploit multi-processor architectures. (iii) For a matrix that is too large to fit in fast memory, the randomized techniques require only a constant number of passes over the data, as opposed to O(k) passes for classical algorithms. In fact, it is sometimes possible to perform matrix approximation with a single pass over the data.

这是一门专门针对STEM学生开发的介绍性机器学习课程。我们的目标是为有兴趣的读者提供基础知识，以在自己的项目中使用机器学习，并将自己熟悉术语作为进一步阅读相关文献的基础。在这些讲义中，我们讨论受监督，无监督和强化学习。注释从没有神经网络的机器学习方法的说明开始，例如原理分析，T-SNE，聚类以及线性回归和线性分类器。我们继续介绍基本和先进的神经网络结构，例如密集的进料和常规神经网络，经常性的神经网络，受限的玻尔兹曼机器，（变性）自动编码器，生成的对抗性网络。讨论了潜在空间表示的解释性问题，并使用梦和对抗性攻击的例子。最后一部分致力于加强学习，我们在其中介绍了价值功能和政策学习的基本概念。

在当前的嘈杂中间尺度量子（NISQ）时代，量子机学习正在成为基于程序门的量子计算机的主要范式。在量子机学习中，对量子电路的门进行了参数化，并且参数是根据数据和电路输出的测量来通过经典优化来调整的。参数化的量子电路（PQC）可以有效地解决组合优化问题，实施概率生成模型并进行推理（分类和回归）。该专着为具有概率和线性代数背景的工程师的观众提供了量子机学习的独立介绍。它首先描述了描述量子操作和测量所必需的必要背景，概念和工具。然后，它涵盖了参数化的量子电路，变异量子本质层以及无监督和监督的量子机学习公式。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

量子计算有可能彻底改变和改变我们的生活和理解世界的方式。该审查旨在提供对量子计算的可访问介绍，重点是统计和数据分析中的应用。我们从介绍了了解量子计算所需的基本概念以及量子和经典计算之间的差异。我们描述了用作量子算法的构建块的核心量子子程序。然后，我们审查了一系列预期的量子算法，以便在统计和机器学习中提供计算优势。我们突出了将量子计算应用于统计问题的挑战和机遇，并讨论潜在的未来研究方向。