近年来，变压器模型的引入引发了自然语言处理（NLP）的革命。伯特（Bert）是仅使用注意机制的第一批文本编码者之一，没有任何复发部分来实现许多NLP任务的最新结果。本文使用拓扑数据分析介绍了文本分类器。我们将BERT的注意图转换为注意图作为该分类器的唯一输入。该模型可以解决诸如将垃圾邮件与HAM消息区分开的任务，认识到语法正确的句子，或将电影评论评估为负面还是正面。它与BERT基线相当表现，并在某些任务上表现优于它。此外，我们提出了一种新方法，以减少拓扑分类器考虑的BERT注意力头的数量，这使我们能够修剪从144个下降到只有10个，而不会降低性能。我们的工作还表明，拓扑模型比原始的BERT模型表现出对对抗性攻击的鲁棒性，该模型在修剪过程中维持。据我们所知，这项工作是第一个在NLP背景下以对抗性攻击的基于拓扑的模型。

拓扑数据分析（TDA）的主要挑战之一是从机器学习算法直接可用的持久图中提取功能。实际上，持久性图是R2中的本质上（多级）点，并且不能以直接的方式视为向量。在本文中，我们介绍了持平性器，这是一个接受持久图作为输入的第一变压器神经网络架构。坚持不懈的体系结构显着优于古典合成基准数据集上以前的拓扑神经网络架构。此外，它满足了通用近似定理。这使我们能够介绍一种用于拓扑机学习的第一解释方法，我们在两个示例中探讨。

我们考虑了$ d $维图像的新拓扑效率化，该图像通过在计算持久性之前与各种过滤器进行卷积。将卷积滤波器视为图像中的图案，结果卷积的持久图描述了图案在整个图像中分布的方式。我们称之为卷积持久性的管道扩展了拓扑结合图像数据中模式的能力。的确，我们证明（通常说）对于任何两个图像，人们都可以找到某些过滤器，它们会为其产生不同的持久图，以便给定图像的所有可能的卷积持久性图的收集是一个不变的不变性。通过表现出卷积的持久性是另一种拓扑不变的持续性副学变换的特殊情况，这证明了这一点。卷积持久性的其他优势是提高噪声的稳定性和鲁棒性，对数据依赖性矢量化的更大灵活性以及对具有较大步幅向量的卷积的计算复杂性降低。此外，我们还有一套实验表明，即使人们使用随机过滤器并通过仅记录其总持久性，卷积大大提高了持久性的预测能力，即使一个人使用随机过滤器并将结果图进行量化。

在半导体制造中，晶圆地图缺陷模式为设施维护和产量管理提供了关键信息，因此缺陷模式的分类是制造过程中最重要的任务之一。在本文中，我们提出了一种新颖的方式来表示缺陷模式作为有限维矢量的形状，该矢量将用作分类神经网络算法的输入。主要思想是使用拓扑数据分析（TDA）的持续同源性理论提取每种模式的拓扑特征。通过使用模拟数据集进行的一些实验，我们表明，与使用卷积神经网络（CNN）的方法相比，所提出的方法在训练方面更快，更有效地训练，这是晶圆映射缺陷模式分类的最常见方法。此外，当训练数据的数量不够并且不平衡时，我们的方法优于基于CNN的方法。

我们将拓扑分析的方法应用于注意力图，该方法是根据BERT模型的注意力头（ARXIV：1810.04805V2）计算的。我们的研究表明，基于训练有素的神经网络的基本持久拓扑特征（即Betti数字）构建的分类器可以与常规分类方法达到分类结果。我们在三个文本分类基准上展示了此类拓扑文本表示形式的相关性。据我们所知，这是分析基于注意力的神经网络拓扑的首次尝试，该网络广泛用于自然语言处理。

Transformer-based models have pushed state of the art in many areas of NLP, but our understanding of what is behind their success is still limited. This paper is the first survey of over 150 studies of the popular BERT model. We review the current state of knowledge about how BERT works, what kind of information it learns and how it is represented, common modifications to its training objectives and architecture, the overparameterization issue and approaches to compression. We then outline directions for future research.

In computer-aided drug discovery (CADD), virtual screening (VS) is used for identifying the drug candidates that are most likely to bind to a molecular target in a large library of compounds. Most VS methods to date have focused on using canonical compound representations (e.g., SMILES strings, Morgan fingerprints) or generating alternative fingerprints of the compounds by training progressively more complex variational autoencoders (VAEs) and graph neural networks (GNNs). Although VAEs and GNNs led to significant improvements in VS performance, these methods suffer from reduced performance when scaling to large virtual compound datasets. The performance of these methods has shown only incremental improvements in the past few years. To address this problem, we developed a novel method using multiparameter persistence (MP) homology that produces topological fingerprints of the compounds as multidimensional vectors. Our primary contribution is framing the VS process as a new topology-based graph ranking problem by partitioning a compound into chemical substructures informed by the periodic properties of its atoms and extracting their persistent homology features at multiple resolution levels. We show that the margin loss fine-tuning of pretrained Triplet networks attains highly competitive results in differentiating between compounds in the embedding space and ranking their likelihood of becoming effective drug candidates. We further establish theoretical guarantees for the stability properties of our proposed MP signatures, and demonstrate that our models, enhanced by the MP signatures, outperform state-of-the-art methods on benchmark datasets by a wide and highly statistically significant margin (e.g., 93% gain for Cleves-Jain and 54% gain for DUD-E Diverse dataset).

Tools of Topological Data Analysis provide stable summaries encapsulating the shape of the considered data. Persistent homology, the most standard and well studied data summary, suffers a number of limitations; its computations are hard to distribute, it is hard to generalize to multifiltrations and is computationally prohibitive for big data-sets. In this paper we study the concept of Euler Characteristics Curves, for one parameter filtrations and Euler Characteristic Profiles, for multi-parameter filtrations. While being a weaker invariant in one dimension, we show that Euler Characteristic based approaches do not possess some handicaps of persistent homology; we show efficient algorithms to compute them in a distributed way, their generalization to multifiltrations and practical applicability for big data problems. In addition we show that the Euler Curves and Profiles enjoys certain type of stability which makes them robust tool in data analysis. Lastly, to show their practical applicability, multiple use-cases are considered.

适当地表示数据库中的元素，以便可以准确匹配查询是信息检索的核心任务；最近，通过使用各种指标将数据库的图形结构嵌入层次结构的方式中来实现。持久性同源性是一种在拓扑数据分析中常用的工具，能够严格地以其层次结构和连接结构来表征数据库。计算各种嵌入式数据集上的持续同源性表明，一些常用的嵌入式无法保留连接性。我们表明，那些成功保留数据库拓扑的嵌入通过引入两种扩张不变的比较措施来捕获这种效果，尤其是解决了对流形的度量扭曲问题。我们为它们的计算提供了一种算法，该算法大大降低了现有方法的时间复杂性。我们使用这些措施来执行基于拓扑的信息检索的第一个实例，并证明了其在持久同源性的标准瓶颈距离上的性能提高。我们在不同数据品种的数据库中展示了我们的方法，包括文本，视频和医学图像。

In this paper, we investigate the impact of neural networks (NNs) topology on adversarial robustness. Specifically, we study the graph produced when an input traverses all the layers of a NN, and show that such graphs are different for clean and adversarial inputs. We find that graphs from clean inputs are more centralized around highway edges, whereas those from adversaries are more diffuse, leveraging under-optimized edges. Through experiments on a variety of datasets and architectures, we show that these under-optimized edges are a source of adversarial vulnerability and that they can be used to detect adversarial inputs.

面向目标的对话系统最初是作为自然语言界面设计的，用于用户可能会询问域，插槽和值进一步描述的实体的固定数据集。随着我们朝着适应性的对话系统迈进，有关域，插槽和值的知识可能会发生变化，因此越来越需要大规模从原始对话或相关的非拨号数据中自动提取这些术语。在本文中，我们通过探索可以使系统能够以纯粹数据驱动的方式在对话中发现对话中的域，插槽和值的不同功能来迈出这个方向的重要一步。我们检查的功能来自单词嵌入，语言建模功能以及嵌入空间一词的拓扑特征。为了检查每个功能集的效用，我们基于广泛使用的多沃兹数据集训练种子模型。然后，我们将此模型应用于其他语料库，即模式引导的对话数据集。我们的方法的表现优于仅依赖单词嵌入的先前提出的方法。我们还证明，每个功能都负责发现各种内容。我们认为，我们的结果需要进一步研究本体诱导，并继续利用对话和自然语言处理研究的拓扑数据分析。

We apply topological data analysis (TDA) to speech classification problems and to the introspection of a pretrained speech model, HuBERT. To this end, we introduce a number of topological and algebraic features derived from Transformer attention maps and embeddings. We show that a simple linear classifier built on top of such features outperforms a fine-tuned classification head. In particular, we achieve an improvement of about $9\%$ accuracy and $5\%$ ERR on four common datasets; on CREMA-D, the proposed feature set reaches a new state of the art performance with accuracy $80.155$. We also show that topological features are able to reveal functional roles of speech Transformer heads; e.g., we find the heads capable to distinguish between pairs of sample sources (natural/synthetic) or voices without any downstream fine-tuning. Our results demonstrate that TDA is a promising new approach for speech analysis, especially for tasks that require structural prediction.

持续的同源性（PH）是拓扑数据分析中最流行的方法之一。尽管PH已用于许多不同类型的应用程序中，但其成功背后的原因仍然难以捉摸。特别是，尚不知道哪种类别的问题最有效，或者在多大程度上可以检测几何或拓扑特征。这项工作的目的是确定pH在数据分析中比其他方法更好甚至更好的问题。我们考虑三个基本形状分析任务：从形状采样的2D和3D点云中检测孔数，曲率和凸度。实验表明，pH在这些任务中取得了成功，超过了几个基线，包括PointNet，这是一个精确地受到点云的属性启发的体系结构。此外，我们观察到，pH对于有限的计算资源和有限的培训数据以及分布外测试数据，包括各种数据转换和噪声，仍然有效。

无监督的特征学习通常会发现捕获复杂数据结构的低维嵌入。对于专家的任务可获得专家，将其纳入学习的代表可能会导致更高质量的嵌入品。例如，这可以帮助人们将数据嵌入给定的簇数，或者容纳阻止一个人直接在模型上衍生数据分布的噪声，然后可以更有效地学习。然而，缺乏将不同的先前拓扑知识集成到嵌入中的一般工具。虽然最近已经开发了可微分的拓扑层，但可以（重新）形状嵌入预定的拓扑模型，他们对代表学习有两个重要的局限性，我们在本文中解决了这一点。首先，目前建议的拓扑损失未能以自然的方式代表诸如群集和耀斑的简单模型。其次，这些损失忽略了对学习有用的数据中的所有原始结构（例如邻域）信息。我们通过引入一组新的拓扑损失来克服这些限制，并提出其用法作为拓扑正规规范数据嵌入来自然代表预定模型的一种方法。我们包括彻底的综合和实际数据实验，突出了这种方法的有用性和多功能性，其中应用范围从建模高维单胞胎数据进行建模到绘图嵌入。

拓扑数据分析（TDA）是来自数据科学和数学的工具，它开始在环境科学领域引起波浪。在这项工作中，我们寻求对TDA工具的直观且可理解的介绍，该工具对于分析图像（即持续存在同源性）特别有用。我们简要讨论理论背景，但主要关注理解该工具的输出并讨论它可以收集的信息。为此，我们围绕着一个指导示例进行讨论，该指导示例是对RASP等人研究的糖，鱼类，花朵和砾石数据集进行分类。 al。 2020年（Arxiv：1906：01906）。我们证明了如何使用简单的机器学习算法来获得良好的结果，并详细探讨了如何用图像级特征来解释这种行为。持续同源性的核心优势之一是它的解释性是可解释的，因此在本文中，我们不仅讨论了我们发现的模式，而且要考虑到为什么我们对持续性同源性理论的了解，因此可以期待这些结果。我们的目标是，本文的读者将更好地了解TDA和持续的同源性，能够确定自己的问题和数据集，为此，持续的同源性可能会有所帮助，并从应用程序中获得对结果的理解包括GitHub示例代码。

Large pre-trained neural networks such as BERT have had great recent success in NLP, motivating a growing body of research investigating what aspects of language they are able to learn from unlabeled data. Most recent analysis has focused on model outputs (e.g., language model surprisal) or internal vector representations (e.g., probing classifiers). Complementary to these works, we propose methods for analyzing the attention mechanisms of pre-trained models and apply them to BERT. BERT's attention heads exhibit patterns such as attending to delimiter tokens, specific positional offsets, or broadly attending over the whole sentence, with heads in the same layer often exhibiting similar behaviors. We further show that certain attention heads correspond well to linguistic notions of syntax and coreference. For example, we find heads that attend to the direct objects of verbs, determiners of nouns, objects of prepositions, and coreferent mentions with remarkably high accuracy. Lastly, we propose an attention-based probing classifier and use it to further demonstrate that substantial syntactic information is captured in BERT's attention. 1 Code will be released at https://github.com/ clarkkev/attention-analysis.2 We use the English base-sized model.

本文旨在通过一种称为拓扑数据分析的方法来讨论一种量化数据“形状”的方法。拓扑数据分析中的主要工具是持续的同源性。这是从简单复合物的同源物中测量数据形状的一种手段，该方法在一系列值范围内计算出来。此处介绍了所需的背景理论和计算持续同源性的方法，并具有针对结构健康监测的应用。这些结果允许拓扑推断和推断高维数据中的功能的能力，否则可能会被忽略。为给定距离参数的数据构建了一个简单复合物。该复合物编码有关数据点局部接近性的信息。可以从这个简单复合物中计算出奇异的同源性值。扩展此想法，为一系列值提供了距离参数，并且在此范围内计算同源性。持续的同源性是在此间隔中如何持续存在数据的同源特征的一种表示。结果是数据的特征。还讨论了一种允许比较不同数据集的持续同源性的方法。

Artificial neural networks can learn complex, salient data features to achieve a given task. On the opposite end of the spectrum, mathematically grounded methods such as topological data analysis allow users to design analysis pipelines fully aware of data constraints and symmetries. We introduce a class of persistence-based neural network layers. Persistence-based layers allow the users to easily inject knowledge about symmetries (equivariance) respected by the data, are equipped with learnable weights, and can be composed with state-of-the-art neural architectures.

本地解释性方法 - 由于需要从业者将其模型输出合理化，因此寻求为每次预测产生解释的人越来越普遍。然而，比较本地解释性方法很难，因为它们每个都会在各种尺度和尺寸中产生输出。此外，由于一些可解释性方法的随机性质，可以不同地运行方法以产生给定观察的矛盾解释。在本文中，我们提出了一种基于拓扑的框架来从一组本地解释中提取简化的表示。我们通过首先为标量函数设计解释空间和模型预测之间的关系来实现。然后，我们计算这个功能的拓扑骨架。这种拓扑骨架作为这样的功能的签名，我们用于比较不同的解释方法。我们证明我们的框架不仅可以可靠地识别可解释性技术之间的差异，而且提供稳定的表示。然后，我们展示了我们的框架如何用于标识本地解释性方法的适当参数。我们的框架很简单，不需要复杂的优化，并且可以广泛应用于大多数本地解释方法。我们认为，我们的方法的实用性和多功能性将有助于促进基于拓扑的方法作为理解和比较解释方法的工具。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。