目标图像质量评估是一个具有挑战性的任务，旨在自动测量给定图像的质量。根据参考图像的可用性，分别存在全引用和无引用IQA任务。大多数深度学习方法使用卷积神经网络提取的深度特征的回归。对于FR任务，另一种选择是对深度特征进行统计比较。对于所有这些方法，通常忽略非本地信息。此外，探索FR和NR任务之间的关系不太探索。通过最近的变压器成功在建模上下文信息中，我们提出了一个统一的IQA框架，它利用CNN骨干和变压器编码器提取特征。所提出的框架与FR和NR模式兼容，并允许联合训练方案。评估实验在三个标准IQA数据集，即LIVE，CSIQ和TID2013和KONIQ-10K上，显示我们所提出的模型可以实现最先进的FR性能。此外，在广泛的实验中实现了相当的NR性能，结果表明，联合训练方案可以利用NR性能。

本文报告了NTIRE 2022关于感知图像质量评估（IQA）的挑战，并与CVPR 2022的图像恢复和增强研讨会（NTIRE）研讨会（NTIRE）讲习班的新趋势举行。感知图像处理算法。这些算法的输出图像与传统扭曲具有完全不同的特征，并包含在此挑战中使用的PIP数据集中。这个挑战分为两条曲目，一个类似于以前的NTIRE IQA挑战的全参考IQA轨道，以及一条侧重于No-Reference IQA方法的新曲目。挑战有192和179名注册参与者的两条曲目。在最后的测试阶段，有7和8个参与的团队提交了模型和事实表。几乎所有这些都比现有的IQA方法取得了更好的结果，并且获胜方法可以证明最先进的性能。

显着对象检测是预测给定场景中人类参加区域的任务。融合深度信息已被证明在此任务中有效。该问题的主要挑战是如何从RGB模式和深度模式中汇总互补信息。但是，传统的深层模型在很大程度上依赖CNN特征提取器，并且通常会忽略远距离的依赖性。在这项工作中，我们提出了基于双Swin-Transformer的相互交互式网络。我们采用Swin-Transformer作为RGB和深度模态的特征提取器，以模拟视觉输入中的远程依赖性。在将两个特征分支融合到一个分支之前，将应用基于注意力的模块来增强每​​种模式的特征。我们设计了一个基于自我注意力的跨模式交互模块和一个封闭式的模态注意模块，以利用两种方式之间的互补信息。对于显着解码，我们创建了通过密集的连接增强的不同阶段，并保持解码的内存，而多级编码功能则被同时考虑。考虑到不准确的深度图问题，我们将早期阶段的RGB特征收集到跳过卷积模块中，以提供从RGB模式到最终显着性预测的更多指导。此外，我们添加了边缘监督以使功能学习过程正常。对四个评估指标的五个标准RGB-D SOD基准数据集进行了全面的实验，证明了所提出的DTMINET方法的优势。

无参考图像质量评估（NR-IQA）的目标是根据主观评估来估计感知图像质量，由于不存在原始参考图像，它是复杂和未解决的问题。在本文中，我们提出了一种新颖的模型来解决NR-IQA任务，利用卷积神经网络（CNNS）和变压器中的自我关注机制来解决来自输入图像的本地和非局部特征的混合方法来解决NR-IQA任务。我们通过CNN捕获图像的局部结构信息，然后避免提取的CNNS特征之间的局部偏压并获得图像的非本地表示，我们利用所提取的特征上的变压器，其中我们将它们塑造为顺序输入变压器模型。此外，为了改善主观和目标分数之间的单调性相关性，我们利用每个批处理内图像之间的相对距离信息，并强制执行它们之间的相对排名。最后但并非最不重要的是，我们观察到NR-IQA模型的性能在我们应用于输入到输入时申请等级变换（例如水平翻转）。因此，我们提出了一种利用自我保持性作为自我监督来源的方法，以改善NRIQA模型的鲁棒性。具体而言，我们为每个图像的质量评估模型的输出和其转换（水平翻转）强制实施自我一致性，以利用丰富的自我监控信息，并降低模型的不确定性。为了展示我们工作的有效性，我们在七个标准IQA数据集（合成和真实）上评估它，并显示我们的模型在各种数据集上实现最先进的结果。

在这项工作中，我们介绍了梯度暹罗网络（GSN）进行图像质量评估。所提出的方法熟练地捕获了全参考图像质量评估（IQA）任务中扭曲的图像和参考图像之间的梯度特征。我们利用中央微分卷积获得图像对中隐藏的语义特征和细节差异。此外，空间注意力指导网络专注于与图像细节相关的区域。对于网络提取的低级，中级和高级功能，我们创新设计了一种多级融合方法，以提高功能利用率的效率。除了常见的均方根错误监督外，我们还进一步考虑了批处理样本之间的相对距离，并成功地将KL差异丢失应用于图像质量评估任务。我们在几个公开可用的数据集上试验了提出的算法GSN，并证明了其出色的性能。我们的网络赢得了NTIRE 2022感知图像质量评估挑战赛1的第二名。

由于空间分辨率的巨大改进，4K内容可以为消费者提供更严肃的视觉体验。但是，由于分辨率扩大和特定的扭曲，现有的盲图质量评估（BIQA）方法不适合原始和升级的4K内容物。在本文中，我们提出了一个针对4K内容的深度学习的BIQA模型，一方面可以识别True和pseudo 4K内容，另一方面可以评估其感知视觉质量。考虑到高空间分辨率可以代表更丰富的高频信息的特征，我们首先提出了基于灰色级别的共发生矩阵（GLCM）的纹理复杂度度量，以从4K图像中选择三个代表性图像贴片，这可以减少计算复杂性，被证明对通过实验的总体质量预测非常有效。然后，我们从卷积神经网络（CNN）的中间层中提取不同种类的视觉特征，并将它们集成到质量感知的特征表示中。最后，使用两个多层感知（MLP）网络用于将质量感知功能映射到类概率和每个贴片的质量分数中。总体质量指数是通过平均贴片结果汇总获得的。提出的模型通过多任务学习方式进行了训练，我们引入了不确定性原理，以平衡分类和回归任务的损失。实验结果表明，所提出的模型的表现均优于所有4K内容质量评估数据库中的BIQA指标。

高动态范围（HDR）DEGHOSTING算法旨在生成具有现实细节的无幽灵HDR图像。受到接收场的局部性的限制，现有的基于CNN的方法通常容易产生大型运动和严重饱和的情况下产生鬼影和强度扭曲。在本文中，我们提出了一种新颖的背景感知视觉变压器（CA-VIT），用于无幽灵的高动态范围成像。 CA-VIT被设计为双分支结构，可以共同捕获全球和本地依赖性。具体而言，全球分支采用基于窗口的变压器编码器来建模远程对象运动和强度变化以解决hosting。对于本地分支，我们设计了局部上下文提取器（LCE）来捕获短范围的图像特征，并使用频道注意机制在提取的功能上选择信息丰富的本地详细信息，以补充全局分支。通过将CA-VIT作为基本组件纳入基本组件，我们进一步构建了HDR-Transformer，这是一个分层网络，以重建高质量的无幽灵HDR图像。在三个基准数据集上进行的广泛实验表明，我们的方法在定性和定量上优于最先进的方法，而计算预算大大降低。代码可从https://github.com/megvii-research/hdr-transformer获得

视觉（图像，视频）质量评估可以通过不同域中的视觉特征来建模，例如空间，频率和时间域。人类视觉系统（HVS）中的感知机制在质量感知的产生中起着至关重要的作用。本文提出了使用有效的窗口变压器体系结构进行无引用视觉质量评估的一般框架。用于多阶段通道注意的轻量级模块集成到SWIN（移位窗口）变压器中。这样的模块可以在图像质量评估（IQA）中代表适当的感知机制，以构建准确的IQA模型。同时，在空间和频域中图像质量感知的代表性特征也可以从IQA模型中得出，然后将其馈入另一个窗户的变压器体系结构进行视频质量评估（VQA）。 VQA模型有效地重复了整个本地窗口的注意力信息，以解决原始变压器的昂贵时间和记忆复杂性的问题。大规模IQA和VQA数据库的实验结果表明，所提出的质量评估模型优于大幅度的其他最先进模型。完整的源代码将在GitHub上发布。

基于深度学习的图像质量评估（IQA）模型通常会学会从单个数据集中预测图像质量，从而导致该模型过度适合特定的场景。为此，混合的数据集培训可以是增强模型概括能力的有效方法。但是，将不同的iQA数据集组合在一起是无聊的，因为它们的质量评估标准，评分范围，视图条件以及在图像质量注释期间通常不共享主题。在本文中，我们没有对注释对准注释，而是为IQA模型学习提供了一个单调的神经网络，其中包括不同的数据集。特别是，我们的模型由数据集共享的质量回归器和几个特定于数据集的质量变压器组成。质量回归器旨在获得每个数据集的感知质量，而每个质量变压器则将感知质量映射到相应的数据集注释及其单调性。实验结果验证了提出的学习策略的有效性，我们的代码可在https://github.com/fzp0424/monotoniciqa上获得。

现有的基于深度学习的全参考IQA（FR-IQA）模型通常通过明确比较特征，以确定性的方式预测图像质量，从而衡量图像严重扭曲的图像是多远，相应的功能与参考的空间相对远。图片。本文中，我们从不同的角度看这个问题，并提议从统计分布的角度对知觉空间中的质量降解进行建模。因此，根据深度特征域中的Wasserstein距离来测量质量。更具体地说，根据执行最终质量评分，测量了预训练VGG网络的每个阶段的1Dwasserstein距离。 Deep Wasserstein距离（DEEPWSD）在神经网络的功能上执行的，可以更好地解释由各种扭曲引起的质量污染，并提出了高级质量预测能力。广泛的实验和理论分析表明，在质量预测和优化方面，提出的DEEPWSD的优越性。

用户生成的内容（UGC）的盲图质量评估（BIQA）遭受范围效应，表明在整体质量范围，平均意见评分（MOS）和预测的MOS（PMO）（PMO）上有很好的相关性；关注特定范围，相关性较低。范围效应的原因是，在较大范围内和狭窄范围内的预测偏差破坏了MOS和PMO之间的均匀性。为了解决这个问题，提出了一种新的方法，从粗粒度度量到细粒度的预测。首先，我们为粗粒度度量设计了排名和梯度损失。损失保持了PMOS和MOS之间的顺序和毕业生一致性，从而在较大范围内减少了预测的偏差。其次，我们提出多级公差损失以进行细粒度的预测。损失受到减少阈值的限制，以限制较窄和较窄范围的预测偏差。最后，我们设计了一个反馈网络来进行粗到精细的评估。一方面，网络采用反馈块来处理多尺度的失真功能，另一方面，它将非本地上下文功能融合到每次迭代的输出中，以获取更多质量感知的功能表示。实验结果表明，与最先进的方法相比，提出的方法可以减轻范围效应。

Face Restoration (FR) aims to restore High-Quality (HQ) faces from Low-Quality (LQ) input images, which is a domain-specific image restoration problem in the low-level computer vision area. The early face restoration methods mainly use statistic priors and degradation models, which are difficult to meet the requirements of real-world applications in practice. In recent years, face restoration has witnessed great progress after stepping into the deep learning era. However, there are few works to study deep learning-based face restoration methods systematically. Thus, this paper comprehensively surveys recent advances in deep learning techniques for face restoration. Specifically, we first summarize different problem formulations and analyze the characteristic of the face image. Second, we discuss the challenges of face restoration. Concerning these challenges, we present a comprehensive review of existing FR methods, including prior based methods and deep learning-based methods. Then, we explore developed techniques in the task of FR covering network architectures, loss functions, and benchmark datasets. We also conduct a systematic benchmark evaluation on representative methods. Finally, we discuss future directions, including network designs, metrics, benchmark datasets, applications,etc. We also provide an open-source repository for all the discussed methods, which is available at https://github.com/TaoWangzj/Awesome-Face-Restoration.

近年来，变压器架构目睹了快速发展，优于许多计算机视觉任务中的CNN架构，如视觉变压器（VIV）用于图像分类。然而，现有的视觉变压器模型旨在提取用于高级任务的语义信息，例如分类和检测。这些方法忽略输入图像的空间分辨率的重要性，从而牺牲相邻像素的局部相关信息。在本文中，我们提出了一个贴片金字塔变换器（PPT），以有效地解决上述问题。一致地，我们首先设计一个贴片变换器，将图像转换为一系列补丁，其中对每个修补程序执行变压器编码以提取本地表示。此外，我们构建了金字塔变换器，以有效地从整个图像中提取非本地信息。在获得原始图像的一组多尺度，多维和多角度特征之后，我们设计图像重建网络，以确保可以将特征重建为原始输入。为了验证有效性，我们将建议的贴片金字塔变压器应用于图像融合任务。实验结果表明其具有卓越的性能，而最先进的融合方法，在几种评估指标上实现了最佳结果。由于PPT网络的潜在代表性容量，它可以直接应用于不同的图像融合任务，而无需重新设计或再培训网络。

在本文中，我们提出了通过特征级伪参考（PR）幻觉提出的无引用（NR）图像质量评估（IQA）方法。提出的质量评估框架基于自然图像统计行为的先前模型，并植根于以下观点，即可以很好地利用具有感知意义的特征来表征视觉质量。本文中，通过以原始参考为监督的相互学习方案学习了扭曲的图像中的PR特征，并通过三重态约束进一步确保PR特征的区分特性。给定质量推断的扭曲图像，特征水平的分离是用可逆神经层进行最终质量预测的，导致PR和相应的失真特征以进行比较。在四个流行的IQA数据库中证明了我们提出的方法的有效性，跨数据库评估的卓越性能也揭示了我们方法的高概括能力。我们的方法的实现可在https://github.com/baoliang93/fpr上公开获得。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

Astounding results from Transformer models on natural language tasks have intrigued the vision community to study their application to computer vision problems. Among their salient benefits, Transformers enable modeling long dependencies between input sequence elements and support parallel processing of sequence as compared to recurrent networks e.g., Long short-term memory (LSTM). Different from convolutional networks, Transformers require minimal inductive biases for their design and are naturally suited as set-functions. Furthermore, the straightforward design of Transformers allows processing multiple modalities (e.g., images, videos, text and speech) using similar processing blocks and demonstrates excellent scalability to very large capacity networks and huge datasets. These strengths have led to exciting progress on a number of vision tasks using Transformer networks. This survey aims to provide a comprehensive overview of the Transformer models in the computer vision discipline. We start with an introduction to fundamental concepts behind the success of Transformers i.e., self-attention, large-scale pre-training, and bidirectional feature encoding. We then cover extensive applications of transformers in vision including popular recognition tasks (e.g., image classification, object detection, action recognition, and segmentation), generative modeling, multi-modal tasks (e.g., visual-question answering, visual reasoning, and visual grounding), video processing (e.g., activity recognition, video forecasting), low-level vision (e.g., image super-resolution, image enhancement, and colorization) and 3D analysis (e.g., point cloud classification and segmentation). We compare the respective advantages and limitations of popular techniques both in terms of architectural design and their experimental value. Finally, we provide an analysis on open research directions and possible future works. We hope this effort will ignite further interest in the community to solve current challenges towards the application of transformer models in computer vision.

Video prediction is a challenging computer vision task that has a wide range of applications. In this work, we present a new family of Transformer-based models for video prediction. Firstly, an efficient local spatial-temporal separation attention mechanism is proposed to reduce the complexity of standard Transformers. Then, a full autoregressive model, a partial autoregressive model and a non-autoregressive model are developed based on the new efficient Transformer. The partial autoregressive model has a similar performance with the full autoregressive model but a faster inference speed. The non-autoregressive model not only achieves a faster inference speed but also mitigates the quality degradation problem of the autoregressive counterparts, but it requires additional parameters and loss function for learning. Given the same attention mechanism, we conducted a comprehensive study to compare the proposed three video prediction variants. Experiments show that the proposed video prediction models are competitive with more complex state-of-the-art convolutional-LSTM based models. The source code is available at https://github.com/XiYe20/VPTR.

在过去的几十年中，盲目的图像质量评估（BIQA）旨在准确地预测图像质量而无需任何原始参考信息，但一直在广泛关注。特别是，在深层神经网络的帮助下，取得了巨大进展。但是，对于夜间图像（NTI）的BIQA的研究仍然较少，通常患有复杂的真实扭曲，例如可见性降低，低对比度，添加噪声和颜色失真。这些多样化的真实降解特别挑战了有效的深神网络的设计，用于盲目NTI质量评估（NTIQE）。在本文中，我们提出了一个新颖的深层分解和双线性池网络（DDB-NET），以更好地解决此问题。 DDB-NET包含三个模块，即图像分解模块，一个特征编码模块和双线性池模块。图像分解模块的灵感来自Itinex理论，并涉及将输入NTI解耦到负责照明信息的照明层组件和负责内容信息的反射层组件。然后，编码模块的功能涉及分别植根于两个解耦组件的降解的特征表示。最后，通过将照明相关和与内容相关的降解作为两因素变化进行建模，将两个特征集组合在一起，将双线汇总在一起以形成统一的表示，以进行质量预测。在几个基准数据集上进行了广泛的实验，已对所提出的DDB-NET的优势得到了很好的验证。源代码将很快提供。

Camouflaged objects are seamlessly blended in with their surroundings, which brings a challenging detection task in computer vision. Optimizing a convolutional neural network (CNN) for camouflaged object detection (COD) tends to activate local discriminative regions while ignoring complete object extent, causing the partial activation issue which inevitably leads to missing or redundant regions of objects. In this paper, we argue that partial activation is caused by the intrinsic characteristics of CNN, where the convolution operations produce local receptive fields and experience difficulty to capture long-range feature dependency among image regions. In order to obtain feature maps that could activate full object extent, keeping the segmental results from being overwhelmed by noisy features, a novel framework termed Cross-Model Detail Querying network (DQnet) is proposed. It reasons the relations between long-range-aware representations and multi-scale local details to make the enhanced representation fully highlight the object regions and eliminate noise on non-object regions. Specifically, a vanilla ViT pretrained with self-supervised learning (SSL) is employed to model long-range dependencies among image regions. A ResNet is employed to enable learning fine-grained spatial local details in multiple scales. Then, to effectively retrieve object-related details, a Relation-Based Querying (RBQ) module is proposed to explore window-based interactions between the global representations and the multi-scale local details. Extensive experiments are conducted on the widely used COD datasets and show that our DQnet outperforms the current state-of-the-arts.

自然图像的统计规律（称为自然场景统计数据）在不引用图像质量评估中起重要作用。但是，人们普遍认为，通常是计算机生成的屏幕内容图像（SCI）不持有此类统计信息。在这里，我们首次尝试学习SCI的统计数据，基于可以有效确定SCI的质量。所提出的方法的基本机制是基于一个狂野的假设，即没有物理上获得的SCI仍然遵守某些可以以学习方式理解的统计数据。我们从经验上表明，在质量评估中可以有效利用统计偏差，并且在不同的环境中进行评估时，提出的方法优越。广泛的实验结果表明，与现有的NR-IQA模型相比，基于深度统计的SCI质量评估（DFSS-IQA）模型可提供有希望的性能，并在跨数据库设置中显示出很高的概括能力。我们的方法的实现可在https://github.com/baoliang93/dfss-iqa上公开获得。