为了了解神经网络行为，最近的作品定量比较使用规范相关分析（CCA），居中内核对准（CKA）和其他不同措施的不同网络的学习表示。不幸的是，这些广泛使用的措施往往不同意基本观察，例如只有在随机初始化中不同的深度网络都会学习类似的表示。这些分歧提出了问题：我们应该相信哪些，如果有的话，那么这些不相似措施？我们通过具体的测试提供了一个框架来解决这个问题：措施应该具有对影响功能行为的变化的敏感性，以及对没有的变化的特异性。我们通过各种功能行为量化，包括探测准确性和稳健性与分布换档，并检查变化的随机初始化和删除主组件。我们发现当前的指标表现出不同的弱点，请注意，经典基线令人惊讶地表现出令人惊讶的良好，并且突出显示所有度量都失败的设置，从而为进一步改进提供挑战。

Recent work has sought to understand the behavior of neural networks by comparing representations between layers and between different trained models. We examine methods for comparing neural network representations based on canonical correlation analysis (CCA). We show that CCA belongs to a family of statistics for measuring multivariate similarity, but that neither CCA nor any other statistic that is invariant to invertible linear transformation can measure meaningful similarities between representations of higher dimension than the number of data points. We introduce a similarity index that measures the relationship between representational similarity matrices and does not suffer from this limitation. This similarity index is equivalent to centered kernel alignment (CKA) and is also closely connected to CCA. Unlike CCA, CKA can reliably identify correspondences between representations in networks trained from different initializations.

最近，已经观察到，转移学习解决方案可能是我们解决许多少量学习基准的全部 - 因此提出了有关何时以及如何部署元学习算法的重要问题。在本文中，我们试图通过1.提出一个新颖的指标（多样性系数）来阐明这些问题，以测量几次学习基准和2.的任务多样性。 ）并在公平条件下进行学习（相同的体系结构，相同的优化器和所有经过培训的模型）。使用多样性系数，我们表明流行的迷你胶原和Cifar-fs几乎没有学习基准的多样性低。这种新颖的洞察力将转移学习解决方案比在公平比较的低多样性方面的元学习解决方案更好。具体而言，我们从经验上发现，低多样性系数与转移学习和MAML学习解决方案之间的高相似性在元测试时间和分类层相似性方面（使用基于特征的距离指标，例如SVCCA，PWCCA，CKA和OPD） ）。为了进一步支持我们的主张，我们发现这种元测试的准确性仍然存在，即使模型大小变化也是如此。因此，我们得出的结论是，在低多样性制度中，MAML和转移学习在公平比较时具有等效的元检验性能。我们也希望我们的工作激发了对元学习基准测试基准的更周到的结构和定量评估。

代表学习，即对下游应用有用的表示形式的产生，是一项基本重要性的任务，它是深层神经网络（DNNS）成功的基础。最近，对对抗性例子的鲁棒性已成为DNNS的理想特性，促进了解释对抗性例子的强大训练方法的发展。在本文中，我们旨在了解通过鲁棒培训所学的表示的特性与从标准的，非运动培训获得的培训的特性不同。这对于诊断稳健网络中的众多显着陷阱至关重要，例如，良性输入的性能降解，鲁棒性的概括不良以及过度拟合的增加。我们利用一组强大的工具在三个视觉数据集中被称为表示相似性指标，以获得具有不同体系结构，培训程序和对抗性约束的稳健和非稳健DNN之间的层次比较。我们的实验突出显示了迄今为止稳健表示的属性，我们认为，这是强大网络的行为差异的基础。我们发现在强大的网络的表示中缺乏专业化以及“块结构”的消失。我们还发现在强大的训练中过度拟合会在很大程度上影响更深的层。这些以及其他发现还为更好的健壮网络的设计和培训提出了前进的方向。

Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines

Previous studies observed that finetuned models may be better base models than the vanilla pretrained model. Such a model, finetuned on some source dataset, may provide a better starting point for a new finetuning process on a desired target dataset. Here, we perform a systematic analysis of this intertraining scheme, over a wide range of English classification tasks. Surprisingly, our analysis suggests that the potential intertraining gain can be analyzed independently for the target dataset under consideration, and for a base model being considered as a starting point. This is in contrast to current perception that the alignment between the target dataset and the source dataset used to generate the base model is a major factor in determining intertraining success. We analyze different aspects that contribute to each. Furthermore, we leverage our analysis to propose a practical and efficient approach to determine if and how to select a base model in real-world settings. Last, we release an updating ranking of best models in the HuggingFace hub per architecture https://ibm.github.io/model-recycling/.

基于变压器的语言模型最近在许多自然语言任务中取得了显着的结果。但是，通常通过利用大量培训数据来实现排行榜的性能，并且很少通过将明确的语言知识编码为神经模型。这使许多人质疑语言学对现代自然语言处理的相关性。在本文中，我介绍了几个案例研究，以说明理论语言学和神经语言模型仍然相互关联。首先，语言模型通过提供一个客观的工具来测量语义距离，这对语言学家很有用，语义距离很难使用传统方法。另一方面，语言理论通过提供框架和数据源来探究我们的语言模型，以了解语言理解的特定方面，从而有助于语言建模研究。本论文贡献了三项研究，探讨了语言模型中语法 - 听觉界面的不同方面。在论文的第一部分中，我将语言模型应用于单词类灵活性的问题。我将Mbert作为语义距离测量的来源，我提供了有利于将单词类灵活性分析为方向过程的证据。在论文的第二部分中，我提出了一种方法来测量语言模型中间层的惊奇方法。我的实验表明，包含形态句法异常的句子触发了语言模型早期的惊喜，而不是语义和常识异常。最后，在论文的第三部分中，我适应了一些心理语言学研究，以表明语言模型包含了论证结构结构的知识。总而言之，我的论文在自然语言处理，语言理论和心理语言学之间建立了新的联系，以为语言模型的解释提供新的观点。

在过去几年中，Word和句嵌入式已建立为各种NLP任务的文本预处理，并显着提高了性能。不幸的是，还表明这些嵌入物从训练数据中继承了各种偏见，从而通过了社会中存在的偏差到NLP解决方案。许多论文试图在单词或句子嵌入中量化偏差，以评估脱叠方法或比较不同的嵌入模型，通常具有基于余弦的指标。然而，最近有些作品对这些指标提出了疑虑，表明即使这些指标报告低偏见，其他测试仍然显示偏差。事实上，文献中提出了各种各样的偏差指标或测试，而没有任何关于最佳解决方案的共识。然而，我们缺乏评估理论级别的偏见度量或详细阐述不同偏差度量的优缺点的作品。在这项工作中，我们将探索基于余弦的偏差指标。我们根据以前的作品和偏见度量的推导条件的思想形式化偏差定义。此外，我们彻底调查了现有的基于余弦的指标及其限制，以表明为什么这些度量可以在某些情况下报告偏差。最后，我们提出了一个新的公制，同样地解决现有度量的缺点，以及数学上证明的表现相同。

深神经网络实施了一系列逐层操作，每个操作都相对容易理解，但是总的总体计算通常很难理解。我们开发了一个简单的想法，可以解释有用表示的逐层结构：每一层的作用是重新格式化信息以减少目标输出的“距离”。我们通过利用最近的指标代表性相似性的工作来形式化“距离”的直观概念，并展示它如何导致几何概念的丰富空间。通过此框架，深度神经网络实施的层计算可以被视为高维表示空间中的路径。我们开发工具以在距离，角度和大地学方面表征这些几何形状。然后，我们提出在CIFAR-10训练的残留网络的三组问题：（1）路径的直线程度如何，以及每层对目标有何贡献？ （2）这些特性如何在培训上出现？ （3）更广泛的网络与更深的网络采取的路径有多相似？我们通过勾勒出其他方式来结论，这种代表性几何形状可用于理解和解释网络培训，或者规定改善网络体系结构以适合任务。

Topological data analysis (TDA) is a branch of computational mathematics, bridging algebraic topology and data science, that provides compact, noise-robust representations of complex structures. Deep neural networks (DNNs) learn millions of parameters associated with a series of transformations defined by the model architecture, resulting in high-dimensional, difficult-to-interpret internal representations of input data. As DNNs become more ubiquitous across multiple sectors of our society, there is increasing recognition that mathematical methods are needed to aid analysts, researchers, and practitioners in understanding and interpreting how these models' internal representations relate to the final classification. In this paper, we apply cutting edge techniques from TDA with the goal of gaining insight into the interpretability of convolutional neural networks used for image classification. We use two common TDA approaches to explore several methods for modeling hidden-layer activations as high-dimensional point clouds, and provide experimental evidence that these point clouds capture valuable structural information about the model's process. First, we demonstrate that a distance metric based on persistent homology can be used to quantify meaningful differences between layers, and we discuss these distances in the broader context of existing representational similarity metrics for neural network interpretability. Second, we show that a mapper graph can provide semantic insight into how these models organize hierarchical class knowledge at each layer. These observations demonstrate that TDA is a useful tool to help deep learning practitioners unlock the hidden structures of their models.

Pre-trained language models (PLMs) are known to improve the generalization performance of natural language understanding models by leveraging large amounts of data during the pre-training phase. However, the out-of-distribution (OOD) generalization problem remains a challenge in many NLP tasks, limiting the real-world deployment of these methods. This paper presents the first attempt at creating a unified benchmark named GLUE-X for evaluating OOD robustness in NLP models, highlighting the importance of OOD robustness and providing insights on how to measure the robustness of a model and how to improve it. The benchmark includes 13 publicly available datasets for OOD testing, and evaluations are conducted on 8 classic NLP tasks over 19 popularly used PLMs. Our findings confirm the need for improved OOD accuracy in NLP tasks, as significant performance degradation was observed in all settings compared to in-distribution (ID) accuracy.

最近观察到，转移学习解决方案可能是我们所需要的全部解决许多射门学习基准。这提出了关于何时以及如何部署元学习算法的重要问题。在本文中，我们通过首先将可计算的度量标准制定几次学习基准来阐明这些问题，以便我们假设是预测元学学习解决方案是否会成功的。我们命名为几秒钟学习基准的分集系数。使用多样性系数，我们表明MiniimAgeNet基准与计算多样性的二十四种不同的方式具有零多样性。我们继续表明，在MAML学会在转移学习的解决方案之间进行公平比较时，都具有相同的元测试精度。这表明转移学习未能超越MAML - 违反以前的工作表明。在一起，这两个事实提供了多样性是否与元学习成功相关的第一次测试，因此表明，与转移学习和MAML学习解决方案之间的高度相似性的分集系数 - 特别是在Meta-Test时间。因此，我们猜测元学位解决方案具有与分集系数为零时与转移学习相同的荟萃测试性能。

人工智能的最新趋势是将验证的模型用于语言和视觉任务，这些模型已经实现了非凡的表现，但也令人困惑。因此，以各种方式探索这些模型的能力对该领域至关重要。在本文中，我们探讨了模型的可靠性，在其中我们将可靠的模型定义为一个不仅可以实现强大的预测性能，而且在许多涉及不确定性（例如选择性预测，开放式设置识别）的决策任务上，在许多决策任务上表现出色，而且表现良好。强大的概括（例如，准确性和适当的评分规则，例如在分布数据集中和分发数据集上的对数可能性）和适应性（例如，主动学习，几乎没有射击不确定性）。我们设计了40个数据集的10种任务类型，以评估视觉和语言域上可靠性的不同方面。为了提高可靠性，我们分别开发了VIT-PLEX和T5-PLEX，分别针对视觉和语言方式扩展了大型模型。 PLEX极大地改善了跨可靠性任务的最先进，并简化了传统协议，因为它可以改善开箱即用的性能，并且不需要设计分数或为每个任务调整模型。我们演示了高达1B参数的模型尺寸的缩放效果，并预处理数据集大小最多4B示例。我们还展示了PLEX在具有挑战性的任务上的功能，包括零射门的开放式识别，主动学习和对话语言理解中的不确定性。

传输学习方法旨在使用在丰富的源域上掠过的模型来提高数据稀缺目标域中的性能。一种成本效益的策略，线性探测涉及冻结源模型并培训目标域的新分类头。此策略的表现优于更昂贵但最先进的方法 - 将源模型的所有参数微调到目标域 - 可能是因为微调允许模型从中间层利用有用的信息否则被稍后的净化层丢弃。我们探讨了这些中间层可能直接剥削的假设。我们提出了一种方法，头对脚趾探测（Head2ToE），其从源模型的所有层中选择特征，以训练目标域的分类头。在VTAB-1K的评估中，Head2Toe与平均微调获得的性能相匹配，同时减少培训和储存成本一百倍或更多，但批判性地，用于分配转移，头部2ToE优于微调。

对称性一直是探索广泛复杂系统的基本工具。在机器学习中，在模型和数据中都探索了对称性。在本文中，我们试图将模型家族架构引起的对称性与该家族的内部数据表示的对称性联系起来。我们通过计算一组基本的对称组来做到这一点，我们称它们称为模型的\ emph {Intertwiner组}。这些中的每一个都来自模型的特定非线性层，不同的非线性导致不同的对称组。这些组以模型的权重更改模型的权重，使模型所代表的基础函数保持恒定，但模型内部数据的内部表示可能会改变。我们通过一系列实验将Intertwiner组连接到模型的数据内部表示，这些实验在具有相同体系结构的模型之间探测隐藏状态之间的相似性。我们的工作表明，网络的对称性在该网络的数据表示中传播到对称性中，从而使我们更好地了解架构如何影响学习和预测过程。最后，我们推测，对于Relu网络，交织组可能会为在隐藏层而不是任意线性组合的激活基础上集中模型可解释性探索的共同实践提供理由。

Related works used indexes like CKA and variants of CCA to measure the similarity of cross-lingual representations in multilingual language models. In this paper, we argue that assumptions of CKA/CCA align poorly with one of the motivating goals of cross-lingual learning analysis, i.e., explaining zero-shot cross-lingual transfer. We highlight what valuable aspects of cross-lingual similarity these indexes fail to capture and provide a motivating case study \textit{demonstrating the problem empirically}. Then, we introduce \textit{Average Neuron-Wise Correlation (ANC)} as a straightforward alternative that is exempt from the difficulties of CKA/CCA and is good specifically in a cross-lingual context. Finally, we use ANC to construct evidence that the previously introduced ``first align, then predict'' pattern takes place not only in masked language models (MLMs) but also in multilingual models with \textit{causal language modeling} objectives (CLMs). Moreover, we show that the pattern extends to the \textit{scaled versions} of the MLMs and CLMs (up to 85x original mBERT).\footnote{Our code is publicly available at \url{https://github.com/TartuNLP/xsim}}

数据表示的比较是一个复杂的多个方面问题，尚未享受完整的解决方案。我们提出了一种用于比较两个数据表示的方法。我们介绍了表示拓扑分歧（RTD），测量在两点云之间的多尺度拓扑中的异常相同，在点之间的一对一的对应关系。数据点云被允许位于不同的环境空间中。RTD是少数基于TDA的实用方法之一，适用于真实机器学习数据集。实验表明，提议的RTD同意对数据表示相似性的直观评估，对其拓扑结构敏感。我们申请RTD在各种问题的计算机视觉和NLP域中获得神经网络表示的见解：培训动力学分析，数据分配转移，转移学习，集合学习，解剖学评估。

尽管许多研究表明，语言信息是在隐藏的单词表示中编码的，但很少有人研究了单个神经元，以表明其编码的神经元是如何和哪个神经元。其中，常见的方法是使用外部探针根据其与某些语言属性的相关性对神经元进行排名，并使用产生的相同探针评估所获得的排名。我们在这种方法中显示了两个陷阱：1。它混淆了不同的因素：探针质量和排名质量。我们将它们分开，并得出每个结论。2.它专注于编码的信息，而不是模型使用的信息。我们表明这些不一样。我们比较了两种最新的排名方法和一种简单的方法，并就这两个方面进行了评估。

理解基于变压器的模型引起了极大的关注，因为它们是机器学习最近技术进步的核心。尽管大多数可解释性方法都依赖于输入的运行模型，但最近的工作表明，零通的方法，即直接解释参数而无需前进/向后传递，对于某些变压器参数是可行的，对于两层注意力网络是可行的。在这项工作中，我们提出了一个理论分析，其中通过将其投影到嵌入式空间（即它们操作的词汇量的空间）中来解释训练有素的变压器的所有参数。我们得出一个简单的理论框架来支持我们的论点，并为其有效性提供了充足的证据。首先，经验分析表明，可以在嵌入空间中解释审计和微调模型的参数。其次，我们提出了框架的两个应用：（a）对齐共享词汇的不同模型的参数，以及（b）通过``翻译''''''''分类器构建分类器的参数``翻译'''''''分类器的参数仅鉴定的不同模型。总体而言，我们的发现为解释方法打开了大门，至少部分地从模型细节中抽象出来，仅在嵌入空间中运行。

State-of-the-art computer vision systems are trained to predict a fixed set of predetermined object categories. This restricted form of supervision limits their generality and usability since additional labeled data is needed to specify any other visual concept. Learning directly from raw text about images is a promising alternative which leverages a much broader source of supervision. We demonstrate that the simple pre-training task of predicting which caption goes with which image is an efficient and scalable way to learn SOTA image representations from scratch on a dataset of 400 million (image, text) pairs collected from the internet. After pre-training, natural language is used to reference learned visual concepts (or describe new ones) enabling zero-shot transfer of the model to downstream tasks. We study the performance of this approach by benchmarking on over 30 different existing computer vision datasets, spanning tasks such as OCR, action recognition in videos, geo-localization, and many types of fine-grained object classification. The model transfers non-trivially to most tasks and is often competitive with a fully supervised baseline without the need for any dataset specific training. For instance, we match the accuracy of the original ResNet-50 on ImageNet zero-shot without needing to use any of the 1.28 million training examples it was trained on. We release our code and pre-trained model weights at https://github.com/OpenAI/CLIP.