测试时间适应（TTA）是一个新兴范式，可解决培训和测试阶段之间的分布变化，而无需其他数据采集或标签成本；仅使用未标记的测试数据流进行连续模型适应。以前的TTA方案假设测试样本是独立的，并且分布相同（i.i.d.），即使它们在应用程序方案中通常在时间上相关（non-i.i.d。），例如自动驾驶。我们发现，在这种情况下，大多数现有的TTA方法急剧失败。由此激励，我们提出了一种新的测试时间适应方案，该方案对非I.I.D具有强大的态度。测试数据流。我们的新颖性主要是两倍：（a）纠正分布样本的归一化的实例感知批归归量表（IABN），以及（b）模拟I.I.D.的预测均衡储层采样（PBRS）。来自非i.i.d的数据流。以班级平衡的方式流式传输。我们对各种数据集的评估，包括现实世界非i.i.d。流，表明所提出的强大TTA不仅优于非i.i.d的最先进的TTA算法。设置，但也可以实现与I.I.D.下的这些算法相当的性能。假设。

Test-time adaptation is the problem of adapting a source pre-trained model using test inputs from a target domain without access to source domain data. Most of the existing approaches address the setting in which the target domain is stationary. Moreover, these approaches are prone to making erroneous predictions with unreliable uncertainty estimates when distribution shifts occur. Hence, test-time adaptation in the face of non-stationary target domain shift becomes a problem of significant interest. To address these issues, we propose a principled approach, PETAL (Probabilistic lifElong Test-time Adaptation with seLf-training prior), which looks into this problem from a probabilistic perspective using a partly data-dependent prior. A student-teacher framework, where the teacher model is an exponential moving average of the student model naturally emerges from this probabilistic perspective. In addition, the knowledge from the posterior distribution obtained for the source task acts as a regularizer. To handle catastrophic forgetting in the long term, we also propose a data-driven model parameter resetting mechanism based on the Fisher information matrix (FIM). Moreover, improvements in experimental results suggest that FIM based data-driven parameter restoration contributes to reducing the error accumulation and maintaining the knowledge of recent domain by restoring only the irrelevant parameters. In terms of predictive error rate as well as uncertainty based metrics such as Brier score and negative log-likelihood, our method achieves better results than the current state-of-the-art for online lifelong test time adaptation across various benchmarks, such as CIFAR-10C, CIFAR-100C, ImageNetC, and ImageNet3DCC datasets.

We demonstrate that self-learning techniques like entropy minimization and pseudo-labeling are simple and effective at improving performance of a deployed computer vision model under systematic domain shifts. We conduct a wide range of large-scale experiments and show consistent improvements irrespective of the model architecture, the pre-training technique or the type of distribution shift. At the same time, self-learning is simple to use in practice because it does not require knowledge or access to the original training data or scheme, is robust to hyperparameter choices, is straight-forward to implement and requires only a few adaptation epochs. This makes self-learning techniques highly attractive for any practitioner who applies machine learning algorithms in the real world. We present state-of-the-art adaptation results on CIFAR10-C (8.5% error), ImageNet-C (22.0% mCE), ImageNet-R (17.4% error) and ImageNet-A (14.8% error), theoretically study the dynamics of self-supervised adaptation methods and propose a new classification dataset (ImageNet-D) which is challenging even with adaptation.

测试时间的域变化在实践中是不可避免的。测试时间适应性通过在部署过程中调整模型来解决此问题。从理论上讲，最近的工作表明，自我训练可能是逐渐域移动的强大方法。在这项工作中，我们显示了渐进域适应与测试时间适应之间的自然联系。我们发布了一个名为Carlatta的新合成数据集，该数据集允许在测试时间期间探索渐进的域移动，并评估无监督域适应和测试时间适应的几种方法。我们提出了一种基于自我训练和样式转移的新方法GTTA。GTTA明确利用渐进域移动并在该区域设置新标准。我们进一步证明了我们的方法对连续和逐渐的CIFAR10C，CIFAR100C和Imagenet-C基准的有效性。

域适应对于将学习模型调整到新方案，例如域移位或更改数据分布，这是至关重要的。目前的方法通常需要来自移位域的大量标记或未标记的数据。这可以是在需要连续动态适应或遭受数据稀缺的领域的障碍，例如，自动驾驶在挑战天气条件下。为了解决持续适应分配班的问题，我们提出了动态无监督的适应（DUA）。我们通过持续调整批量归一化层的统计来修改模型的特征表示。我们表明，通过从移位域中仅访问一小部分未标记的数据并按顺序调整，可以实现强大的性能增益。甚至从目标领域的未标记数据的少于1％，Dua已经实现了强大的基线的竞争结果。此外，与先前的方法相比，计算开销最小。我们的方法很简单，但有效，可以应用于任何使用批量归一化作为其组件之一的架构。我们通过在各种域适应数据集和任务中评估DUA的效用，包括对象识别，数字识别和对象检测。

在测试时间适应（TTA）中，给定在某些源数据上培训的模型，目标是使其适应从不同分布的测试实例更好地预测。至关重要的是，TTA假设从目标分布到Finetune源模型，无法访问源数据或甚至从目标分布到任何其他标记/未标记的样本。在这项工作中，我们考虑TTA在更务实的设置中，我们称为SITA（单图像测试时间适应）。这里，在制作每个预测时，该模型只能访问给定的\ emph {单}测试实例，而不是实例的\ emph {批次}。通常在文献中被考虑。这是由逼真的情况激励，其中在按需时尚中需要推断，可能不会被延迟到“批量 - iFY”传入请求或者在没有范围的边缘设备（如移动电话中）发生推断批处理。 SITA的整个适应过程应在推理时间发生时非常快。为了解决这个问题，我们提出了一种新颖的AUGBN，用于仅需要转发传播的SITA设置。该方法可以为分类和分段任务的单个测试实例调整任何特征训练模型。 AUGBN估计仅使用具有标签保存的转换的一个前进通过的给定测试图像的看不见的测试分布的正常化统计。由于AUGBN不涉及任何反向传播，与其他最近的方法相比，它显着更快。据我们所知，这是仅使用单个测试图像解决此硬调整问题的第一个工作。尽管非常简单，但我们的框架能够在我们广泛的实验和消融研究中对目标实例上应用源模型来实现显着的性能增益。

在本文中，我们的目标是在测试时调整预训练的卷积神经网络对域的变化。我们在没有标签的情况下，不断地使用传入的测试批次流。现有文献主要是基于通过测试图像的对抗扰动获得的人工偏移。在此激励的情况下，我们在域转移的两个现实和挑战的来源（即背景和语义转移）上评估了艺术的状态。上下文移动与环境类型相对应，例如，在室内上下文上预先训练的模型必须适应Core-50上的户外上下文[7]。语义转移对应于捕获类型，例如，在自然图像上预先训练的模型必须适应域网上的剪贴画，草图和绘画[10]。我们在分析中包括了最近的技术，例如预测时间批归一化（BN）[8]，测试熵最小化（帐篷）[16]和持续的测试时间适应（CottA）[17]。我们的发现是三个方面的：i）测试时间适应方法的表现更好，并且与语义转移相比，在上下文转移方面忘记了更少的忘记，ii）帐篷在短期适应方面的表现优于其他方法，而Cotta则超过了其他关于长期适应的方法， iii）bn是最可靠和强大的。

Although action recognition systems can achieve top performance when evaluated on in-distribution test points, they are vulnerable to unanticipated distribution shifts in test data. However, test-time adaptation of video action recognition models against common distribution shifts has so far not been demonstrated. We propose to address this problem with an approach tailored to spatio-temporal models that is capable of adaptation on a single video sample at a step. It consists in a feature distribution alignment technique that aligns online estimates of test set statistics towards the training statistics. We further enforce prediction consistency over temporally augmented views of the same test video sample. Evaluations on three benchmark action recognition datasets show that our proposed technique is architecture-agnostic and able to significantly boost the performance on both, the state of the art convolutional architecture TANet and the Video Swin Transformer. Our proposed method demonstrates a substantial performance gain over existing test-time adaptation approaches in both evaluations of a single distribution shift and the challenging case of random distribution shifts. Code will be available at \url{https://github.com/wlin-at/ViTTA}.

许多利用移动设备中的传感器的应用以及应用机器学习以提供新颖的服务。然而，诸如不同的用户，设备，环境和超参数之类的各种因素影响了这种应用的性能，从而使域移位（即，来自训练源数据集的目标用户的分发偏移）是一个重要问题。虽然最近的域适应技术试图解决这个问题，但各种因素之间的复杂相互作用通常会限制其有效性。我们认为，准确估算未训练的域中的性能可能会显着降低性能不确定性。我们呈现Dapper（域适配性能估计器），其估计目标域中的适应性能，只有未标记的目标数据。我们的直觉是目标数据上模型的输出提供了模型在目标域中的实际性能的线索。 Dapper不需要昂贵的标签成本，也不需要在部署后涉及额外的培训。与四个基线相比，我们与四个真实世界传感数据集进行了评估，表明，估计精度平均17％平均占据了基线的表现。此外，我们的On-Device实验表明，与基线相比，Dapper达到了多达216倍的计算开销。

In this paper, we propose Test-Time Training, a general approach for improving the performance of predictive models when training and test data come from different distributions. We turn a single unlabeled test sample into a self-supervised learning problem, on which we update the model parameters before making a prediction. This also extends naturally to data in an online stream. Our simple approach leads to improvements on diverse image classification benchmarks aimed at evaluating robustness to distribution shifts.

Continual Test-Time Adaptation (CTTA) aims to adapt the source model to continually changing unlabeled target domains without access to the source data. Existing methods mainly focus on model-based adaptation in a self-training manner, such as predicting pseudo labels for new domain datasets. Since pseudo labels are noisy and unreliable, these methods suffer from catastrophic forgetting and error accumulation when dealing with dynamic data distributions. Motivated by the prompt learning in NLP, in this paper, we propose to learn an image-level visual domain prompt for target domains while having the source model parameters frozen. During testing, the changing target datasets can be adapted to the source model by reformulating the input data with the learned visual prompts. Specifically, we devise two types of prompts, i.e., domains-specific prompts and domains-agnostic prompts, to extract current domain knowledge and maintain the domain-shared knowledge in the continual adaptation. Furthermore, we design a homeostasis-based prompt adaptation strategy to suppress domain-sensitive parameters in domain-invariant prompts to learn domain-shared knowledge more effectively. This transition from the model-dependent paradigm to the model-free one enables us to bypass the catastrophic forgetting and error accumulation problems. Experiments show that our proposed method achieves significant performance gains over state-of-the-art methods on four widely-used benchmarks, including CIFAR-10C, CIFAR-100C, ImageNet-C, and VLCS datasets.

尽管进行了多年的研究，但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设，即训练过程完成后，模型参数在测试时间保持固定。在这项工作中，我们通过一种自适应方法来挑战这一前提，用于语义分割，将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先，它采用了自我监督的损失，该损失将网络中卷积层的参数定制为输入图像。其次，在批准层中，自适应近似于整个测试数据的平均值和方差，这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略，我们制定并遵循严格的评估协议，以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论：使用标准训练程序，自我适应大大优于强大的基准，并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明，自适应推断可以补充培训时间的既定模型正规化实践，以改善深度网络的概括到异域数据。

Test-time adaptation (TTA) has attracted significant attention due to its practical properties which enable the adaptation of a pre-trained model to a new domain with only target dataset during the inference stage. Prior works on TTA assume that the target dataset comes from the same distribution and thus constitutes a single homogeneous domain. In practice, however, the target domain can contain multiple homogeneous domains which are sufficiently distinctive from each other and those multiple domains might occur cyclically. Our preliminary investigation shows that domain-specific TTA outperforms vanilla TTA treating compound domain (CD) as a single one. However, domain labels are not available for CD, which makes domain-specific TTA not practicable. To this end, we propose an online clustering algorithm for finding pseudo-domain labels to obtain similar benefits as domain-specific configuration and accumulating knowledge of cyclic domains effectively. Moreover, we observe that there is a significant discrepancy in terms of prediction quality among samples, especially in the CD context. This further motivates us to boost its performance with gradient denoising by considering the image-wise similarity with the source distribution. Overall, the key contribution of our work lies in proposing a highly significant new task compound domain test-time adaptation (CD-TTA) on semantic segmentation as well as providing a strong baseline to facilitate future works to benchmark.

无监督的域适应性（UDA）旨在减少训练和测试数据之间的域间隙，并在大多数情况下以离线方式进行。但是，在部署过程中可能会连续且不可预测地发生域的变化（例如，天气变化突然变化）。在这种情况下，深度神经网络见证了准确性的急剧下降，离线适应可能不足以对比。在本文中，我们解决了在线域适应（ONDA）进行语义细分。我们设计了一条可逐步或突然转移的域转移的管道，在多雨和有雾的情况下，我们对其进行了评估。我们的实验表明，我们的框架可以有效地适应部署期间的新域，而不受灾难性遗忘以前的域的影响。

大多数机器学习算法的基本假设是培训和测试数据是从相同的底层分布中汲取的。然而，在几乎所有实际应用中违反了这种假设：由于不断变化的时间相关，非典型最终用户或其他因素，机器学习系统经常测试。在这项工作中，我们考虑域泛化的问题设置，其中训练数据被构造成域，并且可能有多个测试时间偏移，对应于新域或域分布。大多数事先方法旨在学习在所有域上执行良好的单一强大模型或不变的功能空间。相比之下，我们的目标是使用未标记的测试点学习适应域转移到域移的模型。我们的主要贡献是介绍自适应风险最小化（ARM）的框架，其中模型被直接优化，以便通过学习来转移以适应培训域来改编。与稳健性，不变性和适应性的先前方法相比，ARM方法提供了在表现域移位的多个图像分类问题上的性能增益为1-4％的测试精度。

Vision Transformer（VIT）在图像处理中变得越来越流行。具体而言，我们研究了测试时间适应（TTA）对VIT的有效性，VIT是一种已经出现的技术，可以自行纠正其在测试时间期间的预测。首先，我们在VIT-B16和VIT-L16上基准了各种测试时间适应方法。结果表明，使用适当的损耗函数时，TTA对VIT有效，并且先前的投入（明智地选择调制参数）是不需要的。基于观察结果，我们提出了一种称为类条件特征对齐（CFA）的新的测试时间适应方法，该方法将类别条件分布的差异和在线源中隐藏表示的整个分布差异最小化，在线中的整个分布差异方式。图像分类任务（CIFAR-10-C，CIFAR-100-C和Imagenet-C）和域适应性（Digits DataSet和Imagenet-Sketch）的实验表明，CFA稳定地超过了各种数据集中的现有基础。我们还通过在RESNET，MLP混合和几种VIT变体（Vit-augreg，Deit和Beit）上实验来验证CFA是模型不可知论。使用BEIT主链，CFA在Imagenet-C上达到了19.8％的TOP-1错误率，表现优于现有的测试时间适应基线44.0％。这是不需要改变训练阶段的TTA方法中的最新结果。

在本文中，我们在不依赖于任何源域表示的情况下向“无监督域适应（UDA）的任务”的任务提供了一个解决方案。以前的UDA用于语义细分的方法使用在源域和目标域中的模型的同时训练，或者它们依赖于附加网络，在适应期间将源域知识重放到模型。相比之下，我们介绍了我们的小说无监督的批量适应（UBNA）方法，它将给定的预先训练模型适应未经使用的策略域而不使用 - 超出现有模型参数 - 任何源域表示（既不是数据或者，也可以在在线设置或仅以几滴方式使用从目标域中的几个未标记的图像中应用的。具体地，我们使用指数衰减的动量因子部分地将归一化层统计数据调整到目标域，从而将统计数据与两个域混合。通过评估语义分割的标准UDA基准测试，我们认为这优于一个没有适应的模型以及仅使用目标域中的统计数据的基线方法。与标准UDA方法相比，我们在源域表示的性能和使用之间报告权衡。

本文提出了一种新颖的测试时间适应策略，该策略仅使用来自目标域的未标记的在线数据来调整在源域上预先训练的模型，以减轻由于源和目标域之间的分布变化而导致的性能降低。使用未标记的在线数据调整整个模型参数可能是有害的，这是由于无监督目标的错误信号。为了减轻此问题，我们提出了一个偏僻的权重正则化，该调整重量正规化鼓励在很大程度上更新模型参数对分布移位敏感的参数，同时在测试时间适应期间稍微更新那些对变化的不敏感的参数。这种正则化使该模型能够通过利用高学习率的好处来快速适应目标域而无需性能降低。此外，我们提出了一个基于最近的源原型来对齐源和目标特征的辅助任务，这有​​助于减少分布转移并导致进一步的性能提高。我们表明，我们的方法在各种标准基准方面展示了最先进的性能，甚至超过其监督的对手。

部署的ML模型的基本要求是从与培训不同的测试分布中汲取的数据概括。解决此问题的一个流行解决方案是，仅使用未标记的数据将预训练的模型调整为新的域。在本文中，我们关注该问题的挑战性变体，其中访问原始源数据受到限制。虽然完全测试时间适应（FTTA）和无监督的域适应性（UDA）密切相关，但由于大多数UDA方法需要访问源数据，因此UDA的进展不容易适用于TTA。因此，我们提出了一种新方法，即Cattan，它通过放松了通过新颖的深层子空间对准策略来放松访问整个源数据的需求，从而弥合了UDA和FTTA。通过为源数据存储的子空间基础设置的最小开销，Cattan在适应过程中可以在源数据和目标数据之间进行无监督的对齐。通过对多个2D和3D Vision基准测试（Imagenet-C，Office-31，OfficeHome，Domainnet，PointDa-10）和模型体系结构进行广泛的实验评估，我们在FTTA性能方面表现出显着提高。此外，即使使用固有健壮的模型，预训练的VIT表示以及目标域中的样本可用性低，我们也会对对齐目标的实用性做出许多关键发现。

当源（训练）数据和目标（测试）数据之间存在域移动时，深网很容易降级。最近的测试时间适应方法更新了通过流数据部署在新目标环境中的预训练源模型的批归归式层，以减轻这种性能降低。尽管此类方法可以在不首先收集大型目标域数据集的情况下进行调整，但它们的性能取决于流媒体条件，例如迷你批量的大小和类别分布，在实践中可能无法预测。在这项工作中，我们提出了一个框架，以适应几个域的适应性，以应对数据有效适应的实际挑战。具体而言，我们提出了在预训练的源模型中对特征归一化统计量的约束优化，该模型由目标域的小支持集监督。我们的方法易于实现，并改善每类用于分类任务的示例较小的源模型性能。对5个跨域分类和4个语义分割数据集进行了广泛的实验表明，我们的方法比测试时间适应更准确，更可靠，同时不受流媒体条件的约束。