Topological data analysis (TDA) is a branch of computational mathematics, bridging algebraic topology and data science, that provides compact, noise-robust representations of complex structures. Deep neural networks (DNNs) learn millions of parameters associated with a series of transformations defined by the model architecture, resulting in high-dimensional, difficult-to-interpret internal representations of input data. As DNNs become more ubiquitous across multiple sectors of our society, there is increasing recognition that mathematical methods are needed to aid analysts, researchers, and practitioners in understanding and interpreting how these models' internal representations relate to the final classification. In this paper, we apply cutting edge techniques from TDA with the goal of gaining insight into the interpretability of convolutional neural networks used for image classification. We use two common TDA approaches to explore several methods for modeling hidden-layer activations as high-dimensional point clouds, and provide experimental evidence that these point clouds capture valuable structural information about the model's process. First, we demonstrate that a distance metric based on persistent homology can be used to quantify meaningful differences between layers, and we discuss these distances in the broader context of existing representational similarity metrics for neural network interpretability. Second, we show that a mapper graph can provide semantic insight into how these models organize hierarchical class knowledge at each layer. These observations demonstrate that TDA is a useful tool to help deep learning practitioners unlock the hidden structures of their models.

数据表示的比较是一个复杂的多个方面问题，尚未享受完整的解决方案。我们提出了一种用于比较两个数据表示的方法。我们介绍了表示拓扑分歧（RTD），测量在两点云之间的多尺度拓扑中的异常相同，在点之间的一对一的对应关系。数据点云被允许位于不同的环境空间中。RTD是少数基于TDA的实用方法之一，适用于真实机器学习数据集。实验表明，提议的RTD同意对数据表示相似性的直观评估，对其拓扑结构敏感。我们申请RTD在各种问题的计算机视觉和NLP域中获得神经网络表示的见解：培训动力学分析，数据分配转移，转移学习，集合学习，解剖学评估。

可解释的人工智能（XAI）的新兴领域旨在为当今强大但不透明的深度学习模型带来透明度。尽管本地XAI方法以归因图的形式解释了个体预测，从而确定了重要特征的发生位置（但没有提供有关其代表的信息），但全局解释技术可视化模型通常学会的编码的概念。因此，两种方法仅提供部分见解，并留下将模型推理解释的负担。只有少数当代技术旨在将本地和全球XAI背后的原则结合起来，以获取更多信息的解释。但是，这些方法通常仅限于特定的模型体系结构，或对培训制度或数据和标签可用性施加其他要求，这实际上使事后应用程序成为任意预训练的模型。在这项工作中，我们介绍了概念相关性传播方法（CRP）方法，该方法结合了XAI的本地和全球观点，因此允许回答“何处”和“ where”和“什么”问题，而没有其他约束。我们进一步介绍了相关性最大化的原则，以根据模型对模型的有用性找到代表性的示例。因此，我们提高了对激活最大化及其局限性的共同实践的依赖。我们证明了我们方法在各种环境中的能力，展示了概念相关性传播和相关性最大化导致了更加可解释的解释，并通过概念图表，概念组成分析和概念集合和概念子区和概念子区和概念子集和定量研究对模型的表示和推理提供了深刻的见解。它们在细粒度决策中的作用。

持续的同源性（PH）是拓扑数据分析中最流行的方法之一。尽管PH已用于许多不同类型的应用程序中，但其成功背后的原因仍然难以捉摸。特别是，尚不知道哪种类别的问题最有效，或者在多大程度上可以检测几何或拓扑特征。这项工作的目的是确定pH在数据分析中比其他方法更好甚至更好的问题。我们考虑三个基本形状分析任务：从形状采样的2D和3D点云中检测孔数，曲率和凸度。实验表明，pH在这些任务中取得了成功，超过了几个基线，包括PointNet，这是一个精确地受到点云的属性启发的体系结构。此外，我们观察到，pH对于有限的计算资源和有限的培训数据以及分布外测试数据，包括各种数据转换和噪声，仍然有效。

用于图像分类的深神经网络通常使用卷积过滤器来提取区分特征，然后再将其传递到线性分类器。大多数可解释性文献都集中在为卷积过滤器提供语义含义，以解释模型的推理过程，并确认其从输入域中使用相关信息。可以通过使用单数值分解分解其重量矩阵来研究完全连接的层，实际上研究每个矩阵中的行之间的相关性以发现地图的动力学。在这项工作中，我们为卷积层的重量张量定义了一个奇异的值分解，该分解器提供了对过滤器之间的相关性的类似理解，从而揭示了卷积图的动力学。我们使用随机矩阵理论中的最新结果来验证我们的定义。通过在图像分类网络的线性层上应用分解，我们建议一个框架，可以使用HyperGraphs应用可解释性方法来模型类别分离。我们没有寻找激活来解释网络，而是使用每个线性层具有最大相应奇异值的奇异向量来识别对网络最重要的特征。我们用示例说明了我们的方法，并介绍了本研究使用的分析工具DeepDataProfiler库。

最近，已经开发了方法以准确地预测其在特定任务上的深神经网络（DNN）的测试性能，给定其底层拓扑结构的统计数据。然而，进一步利用这一新发现的实际应用的洞察力由于时间和记忆的高计算成本，因此是棘手的。在这项工作中，我们定义了一类新的拓扑功能，可以准确地表征学习的进度，同时在运行时迅速计算。此外，我们所提出的拓扑功能易于配备反向化，这意味着它们可以在最终训练中纳入其中。我们的新开发的DNN实际拓扑表征允许额外的应用程序。我们首先显示我们可以预测没有测试集的DNN的性能，而无需高性能计算。我们还证明了我们对DNN的拓扑表征在估计任务相似性方面是有效的。最后，我们表明我们可以通过主动限制DNN的拓扑结构来诱导DNN中的学习。这使得在元学框架中收缩了DNN的基础结构来开辟了新的途径。

本地解释性方法 - 由于需要从业者将其模型输出合理化，因此寻求为每次预测产生解释的人越来越普遍。然而，比较本地解释性方法很难，因为它们每个都会在各种尺度和尺寸中产生输出。此外，由于一些可解释性方法的随机性质，可以不同地运行方法以产生给定观察的矛盾解释。在本文中，我们提出了一种基于拓扑的框架来从一组本地解释中提取简化的表示。我们通过首先为标量函数设计解释空间和模型预测之间的关系来实现。然后，我们计算这个功能的拓扑骨架。这种拓扑骨架作为这样的功能的签名，我们用于比较不同的解释方法。我们证明我们的框架不仅可以可靠地识别可解释性技术之间的差异，而且提供稳定的表示。然后，我们展示了我们的框架如何用于标识本地解释性方法的适当参数。我们的框架很简单，不需要复杂的优化，并且可以广泛应用于大多数本地解释方法。我们认为，我们的方法的实用性和多功能性将有助于促进基于拓扑的方法作为理解和比较解释方法的工具。

In this paper, we investigate the impact of neural networks (NNs) topology on adversarial robustness. Specifically, we study the graph produced when an input traverses all the layers of a NN, and show that such graphs are different for clean and adversarial inputs. We find that graphs from clean inputs are more centralized around highway edges, whereas those from adversaries are more diffuse, leveraging under-optimized edges. Through experiments on a variety of datasets and architectures, we show that these under-optimized edges are a source of adversarial vulnerability and that they can be used to detect adversarial inputs.

拓扑数据分析（TDA）是来自数据科学和数学的工具，它开始在环境科学领域引起波浪。在这项工作中，我们寻求对TDA工具的直观且可理解的介绍，该工具对于分析图像（即持续存在同源性）特别有用。我们简要讨论理论背景，但主要关注理解该工具的输出并讨论它可以收集的信息。为此，我们围绕着一个指导示例进行讨论，该指导示例是对RASP等人研究的糖，鱼类，花朵和砾石数据集进行分类。 al。 2020年（Arxiv：1906：01906）。我们证明了如何使用简单的机器学习算法来获得良好的结果，并详细探讨了如何用图像级特征来解释这种行为。持续同源性的核心优势之一是它的解释性是可解释的，因此在本文中，我们不仅讨论了我们发现的模式，而且要考虑到为什么我们对持续性同源性理论的了解，因此可以期待这些结果。我们的目标是，本文的读者将更好地了解TDA和持续的同源性，能够确定自己的问题和数据集，为此，持续的同源性可能会有所帮助，并从应用程序中获得对结果的理解包括GitHub示例代码。

This work addresses the problems of (a) designing utilization measurements of trained artificial intelligence (AI) models and (b) explaining how training data are encoded in AI models based on those measurements. The problems are motivated by the lack of explainability of AI models in security and safety critical applications, such as the use of AI models for classification of traffic signs in self-driving cars. We approach the problems by introducing theoretical underpinnings of AI model utilization measurement and understanding patterns in utilization-based class encodings of traffic signs at the level of computation graphs (AI models), subgraphs, and graph nodes. Conceptually, utilization is defined at each graph node (computation unit) of an AI model based on the number and distribution of unique outputs in the space of all possible outputs (tensor-states). In this work, utilization measurements are extracted from AI models, which include poisoned and clean AI models. In contrast to clean AI models, the poisoned AI models were trained with traffic sign images containing systematic, physically realizable, traffic sign modifications (i.e., triggers) to change a correct class label to another label in a presence of such a trigger. We analyze class encodings of such clean and poisoned AI models, and conclude with implications for trojan injection and detection.

诸如深度学习之类的复杂预测模型是拟合机器学习，神经网络或AI模型到一组培训数据的输出。这些现在是科学的标准工具。当前一代模型的一个关键挑战是它们是高度参数化的，这使得和解释预测策略变得困难。我们使用拓扑数据分析将这些复杂预测模型转换为代表拓扑视图的图片。结果是可以进行检查的预测的地图。这些方法扩展到跨不同领域的大型数据集，使我们能够检测训练数据中的错误，了解图像分类中的概括，并检查BRCA1基因中可能致病性突变的预测。

最近有一项激烈的活动在嵌入非常高维和非线性数据结构的嵌入中，其中大部分在数据科学和机器学习文献中。我们分四部分调查这项活动。在第一部分中，我们涵盖了非线性方法，例如主曲线，多维缩放，局部线性方法，ISOMAP，基于图形的方法和扩散映射，基于内核的方法和随机投影。第二部分与拓扑嵌入方法有关，特别是将拓扑特性映射到持久图和映射器算法中。具有巨大增长的另一种类型的数据集是非常高维网络数据。第三部分中考虑的任务是如何将此类数据嵌入中等维度的向量空间中，以使数据适合传统技术，例如群集和分类技术。可以说，这是算法机器学习方法与统计建模（所谓的随机块建模）之间的对比度。在论文中，我们讨论了两种方法的利弊。调查的最后一部分涉及嵌入$ \ mathbb {r}^ 2 $，即可视化中。提出了三种方法：基于第一部分，第二和第三部分中的方法，$ t $ -sne，UMAP和大节。在两个模拟数据集上进行了说明和比较。一个由嘈杂的ranunculoid曲线组成的三胞胎，另一个由随机块模型和两种类型的节点产生的复杂性的网络组成。

破译神经网络内部运作的关键是了解模型学到了什么。发现学习特征的有前途的方法基于分析激活值，当前技术重点是分析高激活值，以在神经元水平上揭示有趣的特征。但是，分析高激活值限制了图层级概念发现。我们提出了一种方法，该方法将考虑整个激活分布。通过在神经网络层的高维活化空间内提取相似的激活曲线，我们发现了类似处理的输入组。这些输入组代表神经激活模式（午睡），可用于可视化和解释学习的层概念。我们释放一个框架，可以从预训练的模型中提取小睡，并提供可视觉内省工具，可用于分析午睡。我们通过各种网络测试了我们的方法，并展示了它如何补充现有的分析神经网络激活值的方法。

In computer-aided drug discovery (CADD), virtual screening (VS) is used for identifying the drug candidates that are most likely to bind to a molecular target in a large library of compounds. Most VS methods to date have focused on using canonical compound representations (e.g., SMILES strings, Morgan fingerprints) or generating alternative fingerprints of the compounds by training progressively more complex variational autoencoders (VAEs) and graph neural networks (GNNs). Although VAEs and GNNs led to significant improvements in VS performance, these methods suffer from reduced performance when scaling to large virtual compound datasets. The performance of these methods has shown only incremental improvements in the past few years. To address this problem, we developed a novel method using multiparameter persistence (MP) homology that produces topological fingerprints of the compounds as multidimensional vectors. Our primary contribution is framing the VS process as a new topology-based graph ranking problem by partitioning a compound into chemical substructures informed by the periodic properties of its atoms and extracting their persistent homology features at multiple resolution levels. We show that the margin loss fine-tuning of pretrained Triplet networks attains highly competitive results in differentiating between compounds in the embedding space and ranking their likelihood of becoming effective drug candidates. We further establish theoretical guarantees for the stability properties of our proposed MP signatures, and demonstrate that our models, enhanced by the MP signatures, outperform state-of-the-art methods on benchmark datasets by a wide and highly statistically significant margin (e.g., 93% gain for Cleves-Jain and 54% gain for DUD-E Diverse dataset).

诸如深度感知和语义分割的密集预测任务是计算机视觉中具有具体拓扑描述的重要应用，其在将图像划分到连接的组件或估计与图像中的对象相对应的少量局部极值的函数来估计函数。我们基于持续同源性的拓扑正常化形式，可用于具有这些拓扑描述的密集预测任务。实验结果表明，输出拓扑也可以出现在培训的神经网络的内部激活中，允许在训练期间新颖的拓扑正则化对神经网络的内部状态，降低正规化的计算成本。我们证明，内部激活的这种拓扑正规化导致了几个问题和架构的收敛性和测试基准。

神经网络（NNS）在广泛的应用中的成功导致对理解这些模型的潜在学习动态的兴趣增加。在本文中，我们通过采用图形透视并调查NNS图形结构与其性能之间的关系来超越学习动态的描述。具体地，我们提出（1）表示神经网络学习过程作为时间不断发展的图表（即，通过时代的一系列静态图形快照），（2）在简单的时间内捕获NN期间NN的结构变化发明内容，（3）利用结构摘要，以预测底层NN在分类或回归任务中的准确性。对于NNS的动态图形表示，我们探索完全连接和卷积层的结构表示，这是强大的NN模型的关键组件。我们的分析表明，图形统计数据简单摘要，如加权程度和特征向量中心，只能用于准确地预测NNS的性能。例如，基于Lenet架构的5次训练时期构造的基于加权的基于程度的概要，实现了超过93％的分类精度。我们的发现对于不同的NN架构，包括Lenet，VGG，AlexNet和Reset。

Current learning machines have successfully solved hard application problems, reaching high accuracy and displaying seemingly "intelligent" behavior. Here we apply recent techniques for explaining decisions of state-of-the-art learning machines and analyze various tasks from computer vision and arcade games. This showcases a spectrum of problem-solving behaviors ranging from naive and short-sighted, to wellinformed and strategic. We observe that standard performance evaluation metrics can be oblivious to distinguishing these diverse problem solving behaviors. Furthermore, we propose our semi-automated Spectral Relevance Analysis that provides a practically effective way of characterizing and validating the behavior of nonlinear learning machines. This helps to assess whether a learned model indeed delivers reliably for the problem that it was conceived for. Furthermore, our work intends to add a voice of caution to the ongoing excitement about machine intelligence and pledges to evaluate and judge some of these recent successes in a more nuanced manner.

为了了解神经网络行为，最近的作品定量比较使用规范相关分析（CCA），居中内核对准（CKA）和其他不同措施的不同网络的学习表示。不幸的是，这些广泛使用的措施往往不同意基本观察，例如只有在随机初始化中不同的深度网络都会学习类似的表示。这些分歧提出了问题：我们应该相信哪些，如果有的话，那么这些不相似措施？我们通过具体的测试提供了一个框架来解决这个问题：措施应该具有对影响功能行为的变化的敏感性，以及对没有的变化的特异性。我们通过各种功能行为量化，包括探测准确性和稳健性与分布换档，并检查变化的随机初始化和删除主组件。我们发现当前的指标表现出不同的弱点，请注意，经典基线令人惊讶地表现出令人惊讶的良好，并且突出显示所有度量都失败的设置，从而为进一步改进提供挑战。

无监督的特征学习通常会发现捕获复杂数据结构的低维嵌入。对于专家的任务可获得专家，将其纳入学习的代表可能会导致更高质量的嵌入品。例如，这可以帮助人们将数据嵌入给定的簇数，或者容纳阻止一个人直接在模型上衍生数据分布的噪声，然后可以更有效地学习。然而，缺乏将不同的先前拓扑知识集成到嵌入中的一般工具。虽然最近已经开发了可微分的拓扑层，但可以（重新）形状嵌入预定的拓扑模型，他们对代表学习有两个重要的局限性，我们在本文中解决了这一点。首先，目前建议的拓扑损失未能以自然的方式代表诸如群集和耀斑的简单模型。其次，这些损失忽略了对学习有用的数据中的所有原始结构（例如邻域）信息。我们通过引入一组新的拓扑损失来克服这些限制，并提出其用法作为拓扑正规规范数据嵌入来自然代表预定模型的一种方法。我们包括彻底的综合和实际数据实验，突出了这种方法的有用性和多功能性，其中应用范围从建模高维单胞胎数据进行建模到绘图嵌入。

Deep neural networks (DNNs) are currently widely used for many artificial intelligence (AI) applications including computer vision, speech recognition, and robotics. While DNNs deliver state-of-the-art accuracy on many AI tasks, it comes at the cost of high computational complexity. Accordingly, techniques that enable efficient processing of DNNs to improve energy efficiency and throughput without sacrificing application accuracy or increasing hardware cost are critical to the wide deployment of DNNs in AI systems.This article aims to provide a comprehensive tutorial and survey about the recent advances towards the goal of enabling efficient processing of DNNs. Specifically, it will provide an overview of DNNs, discuss various hardware platforms and architectures that support DNNs, and highlight key trends in reducing the computation cost of DNNs either solely via hardware design changes or via joint hardware design and DNN algorithm changes. It will also summarize various development resources that enable researchers and practitioners to quickly get started in this field, and highlight important benchmarking metrics and design considerations that should be used for evaluating the rapidly growing number of DNN hardware designs, optionally including algorithmic co-designs, being proposed in academia and industry.The reader will take away the following concepts from this article: understand the key design considerations for DNNs; be able to evaluate different DNN hardware implementations with benchmarks and comparison metrics; understand the trade-offs between various hardware architectures and platforms; be able to evaluate the utility of various DNN design techniques for efficient processing; and understand recent implementation trends and opportunities.