The Transformer architecture is shown to provide a powerful framework as an end-to-end model for building expression trees from online handwritten gestures corresponding to glyph strokes. In particular, the attention mechanism was successfully used to encode, learn and enforce the underlying syntax of expressions creating latent representations that are correctly decoded to the exact mathematical expression tree, providing robustness to ablated inputs and unseen glyphs. For the first time, the encoder is fed with spatio-temporal data tokens potentially forming an infinitely large vocabulary, which finds applications beyond that of online gesture recognition. A new supervised dataset of online handwriting gestures is provided for training models on generic handwriting recognition tasks and a new metric is proposed for the evaluation of the syntactic correctness of the output expression trees. A small Transformer model suitable for edge inference was successfully trained to an average normalised Levenshtein accuracy of 94%, resulting in valid postfix RPN tree representation for 94% of predictions.

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

受到人类掌握算术和普遍不见问题的非凡能力的启发，我们提出了一个新的数据集，提示，以研究机器在三个层面上学习可推广概念的能力：感知，语法和语义。学习代理人是从图像（即感知）等原始信号中观察到的概念，如何在结构上组合多个概念来形成有效的表达（即语法），以及如何实现概念以提供各种推理任务（即语义学），都是以弱监督的方式。以系统的概括为重点，我们仔细设计了一个五倍的测试集，以评估插值和推断学概念W.R.T.这三个级别。我们进一步设计了一些学习的分割，以测试模型是否可以快速学习新概念并将其推广到更复杂的场景。为了了解现有模型的局限性，我们通过包括RNN，Transformers和GPT-3在内的各种顺序到序列模型（以及思想提示链）进行了广泛的实验。结果表明，当前的模型仍在推断出远程句法依赖性和语义方面仍在努力。当在几次设置中使用新概念测试时，模型显示出对人级概括的显着差距。此外，我们发现通过简单地扩大数据集和模型大小来解决提示是不可行的。该策略几乎没有帮助推断语法和语义。最后，在零拍的GPT-3实验中，思想链提示链显示出令人印象深刻的结果，并显着提高了测试准确性。我们认为，拟议的数据集以及实验发现在系统概括方面引起了极大的兴趣。

数学推理是人类智力最令人印象深刻的成就之一，但对于人工智能系统仍然是一个巨大的挑战。在这项工作中，我们探讨了现代深度学习体系结构是否可以通过发现有效的算术程序来学会解决符号加成任务。尽管乍看之下这个问题似乎似乎很容易，但将算术知识推广到涉及较高术语的操作（可能由较长的数字序列组成）的操作已被证明对神经网络而言非常具有挑战性。在这里，我们表明，配备了局部注意力和自适应停止机制的通用变压器可以学会利用外部，网格样的内存来进行多位数。即使在需要在训练分布之外推外的问题测试时，提出的模型也达到了显着的准确性。最值得注意的是，它通过发现类似人类的计算策略（例如位置价值对齐）来做到这一点。

在本文中，我们试图通过引入深度学习模型的句法归纳偏见来建立两所学校之间的联系。我们提出了两个归纳偏见的家族，一个家庭用于选区结构，另一个用于依赖性结构。选区归纳偏见鼓励深度学习模型使用不同的单位（或神经元）分别处理长期和短期信息。这种分离为深度学习模型提供了一种方法，可以从顺序输入中构建潜在的层次表示形式，即更高级别的表示由高级表示形式组成，并且可以分解为一系列低级表示。例如，在不了解地面实际结构的情况下，我们提出的模型学会通过根据其句法结构组成变量和运算符的表示来处理逻辑表达。另一方面，依赖归纳偏置鼓励模型在输入序列中找到实体之间的潜在关系。对于自然语言，潜在关系通常被建模为一个定向依赖图，其中一个单词恰好具有一个父节点和零或几个孩子的节点。将此约束应用于类似变压器的模型之后，我们发现该模型能够诱导接近人类专家注释的有向图，并且在不同任务上也优于标准变压器模型。我们认为，这些实验结果为深度学习模型的未来发展展示了一个有趣的选择。

我们提出了一项合成任务，乐高（学习平等和小组操作），该任务封装了遵循推理链的问题，我们研究了变压器体系结构如何学习这项任务。我们特别注意数据效应，例如预处理（看似无关的NLP任务）和数据集组成（例如，训练和测试时间时的链长度不同），以及体系结构变体，例如重量绑定层或添加卷积组件。我们研究了受过训练的模型最终如何在任务中取得成功，尤其是我们能够在某种程度上（一定程度地）理解一些注意力头以及网络中的信息如何流动。基于这些观察结果，我们提出了一个假设，即在这里进行预训练仅是因为是智能初始化而不是网络中存储的深层知识。我们还观察到，在某些数据制度中，受过训练的变压器发现“快捷方式”解决方案遵循推理链，这阻碍了该模型将其推广到主要任务的简单变体的能力，而且我们发现人们可以防止适当的快捷方式架构修改或仔细的数据准备。在我们的发现的激励下，我们开始探索学习执行C程序的任务，在此过程中，对变压器进行了卷积修改，即在密钥/查询/值图中添加卷积结构，显示出令人鼓舞的优势。

离线手写数学表达识别（HMER）是数学表达识别领域的主要领域。与在线HMER相比，由于缺乏时间信息和写作风格的可变性，离线HMER通常被认为是一个更困难的问题。在本文中，我们目的是使用配对对手学习的编码器模型。语义不变的特征是从手写数学表达图像及其编码器中的印刷数学表达式中提取的。学习语义不变的特征与Densenet编码器和变压器解码器相结合，帮助我们提高了先前研究的表达率。在Crohme数据集上进行了评估，我们已经能够将最新的Crohme 2019测试集结果提高4％。

二进制代码分析的最新趋势促进了基于教学嵌入模型的神经解决方案的使用。指令嵌入模型是一个神经网络，将汇编指令序列转换为嵌入向量。如果对嵌入式网络进行了训练，从而使从代码到向量的翻译部分保留了语义，则该网络有效地代表了汇编代码模型。在本文中，我们介绍了Binbert，这是一种新颖的装配代码模型。 Binbert建立在汇编指令序列和符号执行信息的庞大数据集中的预训练的变压器上。 Binbert可以应用于汇编指令序列，并且可以微调，即可以作为任务特定数据的神经体系结构的一部分进行重新训练。通过微调，Binbert学会了如何将获得预培训获得的通用知识应用于特定任务。我们根据多任务基准评估了Binbert，我们专门设计了用于测试组装代码的理解。基准是由几个任务组成的，其中一些是从文献中获得的，以及我们设计的一些新颖任务，并结合了内在和下游任务。我们的结果表明，Binbert优于二进制指令嵌入的最先进模型，提高了二进制代码理解的标准。

In order to achieve deep natural language understanding, syntactic constituent parsing is a vital step, highly demanded by many artificial intelligence systems to process both text and speech. One of the most recent proposals is the use of standard sequence-to-sequence models to perform constituent parsing as a machine translation task, instead of applying task-specific parsers. While they show a competitive performance, these text-to-parse transducers are still lagging behind classic techniques in terms of accuracy, coverage and speed. To close the gap, we here extend the framework of sequence-to-sequence models for constituent parsing, not only by providing a more powerful neural architecture for improving their performance, but also by enlarging their coverage to handle the most complex syntactic phenomena: discontinuous structures. To that end, we design several novel linearizations that can fully produce discontinuities and, for the first time, we test a sequence-to-sequence model on the main discontinuous benchmarks, obtaining competitive results on par with task-specific discontinuous constituent parsers and achieving state-of-the-art scores on the (discontinuous) English Penn Treebank.

我们通过与与前面令牌的局部相似度，通过调节从大语料库检索的文档块来增强自动回归语言模型。尽管使用25美元\时分，我们的检索增强型变压器（RetroCro）的检索增强型变压器（RetroCr）对GPT-3和侏罗纪-1获得了可比性的性能。微调后，复古表演转换为下游知识密集型任务，如问题应答。复古结合了冷冻BERT猎犬，一种可微分的编码器和块状的横向机制，以预测基于数量级的令牌，而不是训练期间通常消耗的数量。我们通常从头开始训练复古，还可以快速改造预先接受的变压器，通过检索，仍然达到良好的性能。我们的工作通过以前所未有的规模开辟了通过显式内存改进语言模型的新途径。

可靠的概括是安全ML和AI的核心。但是，了解神经网络何时以及如何推广仍然是该领域最重要的未解决问题之一。在这项工作中，我们进行了一项广泛的实证研究（2200个模型，16个任务），以研究计算理论中的见解是否可以预测实践中神经网络概括的局限性。我们证明，根据Chomsky层次结构进行分组任务使我们能够预测某些架构是否能够推广到分布外输入。这包括负面结果，即使大量数据和训练时间也不会导致任何非平凡的概括，尽管模型具有足够的能力完美地适合培训数据。我们的结果表明，对于我们的任务子集，RNN和变形金刚无法概括非规范的任务，LSTMS可以解决常规和反语言任务，并且只有通过结构化内存（例如堆栈或存储器磁带）可以增强的网络可以成功地概括了无上下文和上下文敏感的任务。

变压器对数学的大多数应用，从整合到定理证明，专注于象征性。在本文中，我们表明，可以培训变压器以高精度地执行数值计算。我们考虑线性代数的问题：矩阵转仓，加法，乘法，特征值和载体，奇异值分解和反转。在随机矩阵的数据集上训练小型变压器（最多六层），我们在所有问题上实现高精度（超过90％）。我们还表明，训练有素的模型可以通过从更多样化的数据集（特别是从具有非独立性和相同分布系数的矩阵训练）来概括他们的训练分配，并且可以大大提高域的域准确度。最后，我们表明，可以利用几枪学习来重新列车模型来解决更大的问题。

Transformer models have shown great success handling long-range interactions, making them a promising tool for modeling video. However they lack inductive biases and scale quadratically with input length. These limitations are further exacerbated when dealing with the high dimensionality introduced with the temporal dimension. While there are surveys analyzing the advances of Transformers for vision, none focus on an in-depth analysis of video-specific designs. In this survey we analyze main contributions and trends of works leveraging Transformers to model video. Specifically, we delve into how videos are handled as input-level first. Then, we study the architectural changes made to deal with video more efficiently, reduce redundancy, re-introduce useful inductive biases, and capture long-term temporal dynamics. In addition we provide an overview of different training regimes and explore effective self-supervised learning strategies for video. Finally, we conduct a performance comparison on the most common benchmark for Video Transformers (i.e., action classification), finding them to outperform 3D ConvNets even with less computational complexity.

这项工作提出了一个基于注意力的序列到序列模型，用于手写单词识别，并探讨了用于HTR系统数据有效培训的转移学习。为了克服培训数据稀缺性，这项工作利用了在场景文本图像上预先训练的模型，作为调整手写识别模型的起点。Resnet特征提取和基于双向LSTM的序列建模阶段一起形成编码器。预测阶段由解码器和基于内容的注意机制组成。拟议的端到端HTR系统的有效性已在新型的多作用数据集IMGUR5K和IAM数据集上进行了经验评估。实验结果评估了HTR框架的性能，并通过对误差案例的深入分析进一步支持。源代码和预培训模型可在https://github.com/dmitrijsk/attentionhtr上找到。

Transformer networks have seen great success in natural language processing and machine vision, where task objectives such as next word prediction and image classification benefit from nuanced context sensitivity across high-dimensional inputs. However, there is an ongoing debate about how and when transformers can acquire highly structured behavior and achieve systematic generalization. Here, we explore how well a causal transformer can perform a set of algorithmic tasks, including copying, sorting, and hierarchical compositions of these operations. We demonstrate strong generalization to sequences longer than those used in training by replacing the standard positional encoding typically used in transformers with labels arbitrarily paired with items in the sequence. We search for the layer and head configuration sufficient to solve these tasks, then probe for signs of systematic processing in latent representations and attention patterns. We show that two-layer transformers learn reliable solutions to multi-level problems, develop signs of task decomposition, and encode input items in a way that encourages the exploitation of shared computation across related tasks. These results provide key insights into how attention layers support structured computation both within a task and across multiple tasks.

文本到SQL解析是一项必不可少且具有挑战性的任务。文本到SQL解析的目的是根据关系数据库提供的证据将自然语言（NL）问题转换为其相应的结构性查询语言（SQL）。来自数据库社区的早期文本到SQL解析系统取得了显着的进展，重度人类工程和用户与系统的互动的成本。近年来，深层神经网络通过神经生成模型显着提出了这项任务，该模型会自动学习从输入NL问题到输出SQL查询的映射功能。随后，大型的预训练的语言模型将文本到SQL解析任务的最新作品带到了一个新级别。在这项调查中，我们对文本到SQL解析的深度学习方法进行了全面的评论。首先，我们介绍了文本到SQL解析语料库，可以归类为单转和多转。其次，我们提供了预先训练的语言模型和现有文本解析方法的系统概述。第三，我们向读者展示了文本到SQL解析所面临的挑战，并探索了该领域的一些潜在未来方向。

目前，用于训练语言模型的最广泛的神经网络架构是所谓的BERT，导致各种自然语言处理（NLP）任务的改进。通常，BERT模型中的参数的数量越大，这些NLP任务中获得的结果越好。不幸的是，内存消耗和训练持续时间随着这些模型的大小而大大增加。在本文中，我们调查了较小的BERT模型的各种训练技术：我们将不同的方法与Albert，Roberta和相对位置编码等其他BERT变体相结合。此外，我们提出了两个新的微调修改，导致更好的性能：类开始终端标记和修改形式的线性链条条件随机字段。此外，我们介绍了整个词的注意力，从而降低了伯特存储器的使用，并导致性能的小幅增加，与古典的多重关注相比。我们评估了这些技术的五个公共德国命名实体识别（NER）任务，其中两条由这篇文章引入了两项任务。

无约束的手写文本识别是一项具有挑战性的计算机视觉任务。传统上，它是通过两步方法来处理的，结合了线细分，然后是文本线识别。我们第一次为手写文档识别任务提出了无端到端的无分段体系结构：文档注意网络。除文本识别外，该模型还接受了使用类似XML的方式使用开始和结束标签标记文本零件的训练。该模型由用于特征提取的FCN编码器和用于复发令牌预测过程的变压器解码器层组成。它将整个文本文档作为输入和顺序输出字符以及逻辑布局令牌。与现有基于分割的方法相反，该模型是在不使用任何分割标签的情况下进行训练的。我们在页面级别的Read 2016数据集以及CER分别为3.43％和3.70％的双页级别上获得了竞争成果。我们还为Rimes 2009数据集提供了页面级别的结果，达到CER的4.54％。我们在https://github.com/factodeeplearning/dan上提供所有源代码和预训练的模型权重。

该文档的目的是对变压器体系结构和算法的独立，数学精确的概述（*非*结果）。它涵盖了变压器是什么，他们的训练方式，使用的方式，其关键架构组件以及最突出的模型的预览。假定读者熟悉基本的ML术语和更简单的神经网络体系结构，例如MLP。

Natural laws are often described through differential equations yet finding a differential equation that describes the governing law underlying observed data is a challenging and still mostly manual task. In this paper we make a step towards the automation of this process: we propose a transformer-based sequence-to-sequence model that recovers scalar autonomous ordinary differential equations (ODEs) in symbolic form from time-series data of a single observed solution of the ODE. Our method is efficiently scalable: after one-time pretraining on a large set of ODEs, we can infer the governing laws of a new observed solution in a few forward passes of the model. Then we show that our model performs better or on par with existing methods in various test cases in terms of accurate symbolic recovery of the ODE, especially for more complex expressions.