Recently, great progress has been made in single-image super-resolution (SISR) based on deep learning technology. However, the existing methods usually require a large computational cost. Meanwhile, the activation function will cause some features of the intermediate layer to be lost. Therefore, it is a challenge to make the model lightweight while reducing the impact of intermediate feature loss on the reconstruction quality. In this paper, we propose a Feature Interaction Weighted Hybrid Network (FIWHN) to alleviate the above problem. Specifically, FIWHN consists of a series of novel Wide-residual Distillation Interaction Blocks (WDIB) as the backbone, where every third WDIBs form a Feature shuffle Weighted Group (FSWG) by mutual information mixing and fusion. In addition, to mitigate the adverse effects of intermediate feature loss on the reconstruction results, we introduced a well-designed Wide Convolutional Residual Weighting (WCRW) and Wide Identical Residual Weighting (WIRW) units in WDIB, and effectively cross-fused features of different finenesses through a Wide-residual Distillation Connection (WRDC) framework and a Self-Calibrating Fusion (SCF) unit. Finally, to complement the global features lacking in the CNN model, we introduced the Transformer into our model and explored a new way of combining the CNN and Transformer. Extensive quantitative and qualitative experiments on low-level and high-level tasks show that our proposed FIWHN can achieve a good balance between performance and efficiency, and is more conducive to downstream tasks to solve problems in low-pixel scenarios.

Quantization has become a predominant approach for model compression, enabling deployment of large models trained on GPUs onto smaller form-factor devices for inference. Quantization-aware training (QAT) optimizes model parameters with respect to the end task while simulating quantization error, leading to better performance than post-training quantization. Approximation of gradients through the non-differentiable quantization operator is typically achieved using the straight-through estimator (STE) or additive noise. However, STE-based methods suffer from instability due to biased gradients, whereas existing noise-based methods cannot reduce the resulting variance. In this work, we incorporate exponentially decaying quantization-error-aware noise together with a learnable scale of task loss gradient to approximate the effect of a quantization operator. We show this method combines gradient scale and quantization noise in a better optimized way, providing finer-grained estimation of gradients at each weight and activation layer's quantizer bin size. Our controlled noise also contains an implicit curvature term that could encourage flatter minima, which we show is indeed the case in our experiments. Experiments training ResNet architectures on the CIFAR-10, CIFAR-100 and ImageNet benchmarks show that our method obtains state-of-the-art top-1 classification accuracy for uniform (non mixed-precision) quantization, out-performing previous methods by 0.5-1.2% absolute.

The mainstream crowd counting methods regress density map and integrate it to obtain counting results. Since the density representation to one head accords to its adjacent distribution, it embeds the same category objects with variant values, while human beings counting models the invariant features namely similarity to objects. Inspired by this, we propose a rational and anthropoid crowd counting framework. To begin with, we leverage counting scalar as supervision signal, which provides global and implicit guidance to similar matters. Then, the large kernel CNN is utilized to imitate the paradigm of human beings which models invariant knowledge firstly and slides to compare similarity. Later, re-parameterization on pre-trained paralleled parameters is presented to cater to the inner-class variance on similarity comparison. Finally, the Random Scaling patches Yield (RSY) is proposed to facilitate similarity modeling on long distance dependencies. Extensive experiments on five challenging benchmarks in crowd counting show the proposed framework achieves state-of-the-art.

大规模的视觉预训练在各种下游任务中都表现出了令人印象深刻的进步。现有方法主要是通过图像和文本的全局表示形式的相似性或对图像和文本特征上的高级交叉模式关注来对跨模式对齐进行建模。但是，由于只有全局图像文本对齐信息，因此他们无法明确学习视觉区域和文本短语之间的细粒语义对齐。在本文中，我们介绍了Loupe，这是一种精细的语义一致性视觉语言预训练框架，该框架从新颖的游戏理论互动的角度学习了细粒度的语义对齐。为了有效地计算游戏理论相互作用，我们进一步提出了一种不确定性感知的神经Shapley交互学习模块。实验表明，Loupe在图像文本检索基准测试中实现了最新的。如果没有任何对象级的人类注释和微调，Loupe就可以在对象检测和视觉接地方面实现竞争性能。更重要的是，Loupe从大规模的原始图像文本对学习细粒语义的新方向。

了解人类情绪是智能机器人提供更好的人类机器人相互作用的关键能力。现有作品仅限于修剪视频级别的情感分类，无法找到与情感相对应的时间窗口。在本文中，我们介绍了一项新任务，称为视频中的时间情感本地化（TEL），该任务旨在检测人类的情感并将其相应的时间边界定位在带有校准字幕的未修剪视频中。与时间动作本地化相比，TEL提出了三个独特的挑战：1）情绪的时间动态极为多样； 2）情绪提示都嵌入了外观和复杂的情节中； 3）细粒度的时间注释是复杂且劳动密集型的。为了应对前两个挑战，我们提出了一个新颖的扩张上下文集成网络，该网络与粗细的两流体系结构。粗流通过建模多粒性时间上下文来捕获各种时间动力学。细流通过推理从粗流的多晶格时间上下文之间的依赖性来实现复杂的理解，并将它们自适应地集成到细粒度的视频段特征中。为了应对第三个挑战，我们引入了跨模式共识学习范式，该范式利用了对齐视频和字幕之间的固有语义共识，以实现弱监督的学习。我们为新的测试集提供了3,000个手动注释的时间边界，因此可以对TEL问题进行未来的研究进行定量评估。广泛的实验显示了我们方法对时间情绪定位的有效性。这项工作的存储库位于https://github.com/yyjmjc/temporal-emotion-localization-in-videos。

本文研究了基于图像的蒙版自动编码器（MAE）的简单扩展，以从音频谱图中学习自我监督的表示。在MAE中的变压器编码器编码器设计之后，我们的Audio-MAE首先编码具有较高遮罩比的音频谱图斑块，仅通过编码器层馈入非掩盖令牌。然后，解码器重新订购并解码编码的上下文，并用掩码令牌填充，以重建输入频谱图。我们发现将局部窗户注意力纳入解码器是有益的，因为音频谱图在当地时间和频带中高度相关。然后，我们在目标数据集上以较低的掩模比微调编码器。从经验上讲，音频MAE在六个音频和语音分类任务上设定了新的最先进的性能，超过了使用外部监督预训练的其他最新模型。代码和模型将在https://github.com/facebookresearch/audiomae上。

在恶劣天气下的图像修复是一项艰巨的任务。过去的大多数作品都集中在消除图像中的雨水和阴霾现象。但是，雪也是一种极为普遍的大气现象，它将严重影响高级计算机视觉任务的性能，例如对象检测和语义分割。最近，已经提出了一些用于降雪的方法，大多数方法直接将雪图像作为优化对象。但是，雪地点和形状的分布很复杂。因此，未能有效地检测雪花 /雪连胜将影响降雪并限制模型性能。为了解决这些问题，我们提出了一个雪地掩模的自适应残留网络（SMGARN）。具体而言，SMGARN由三个部分组成，即Mask-Net，Guidance-Fusion Network（GF-NET）和重建-NET。首先，我们构建了一个以自像素的注意（SA）和跨像素的注意（CA），以捕获雪花的特征并准确地定位了雪的位置，从而预测了准确的雪山。其次，预测的雪面被发送到专门设计的GF-NET中，以适应指导模型去除雪。最后，使用有效的重建网络来消除面纱效果并纠正图像以重建最终的无雪图像。广泛的实验表明，我们的SMGARN数值优于所有现有的降雪方法，并且重建的图像在视觉对比度上更清晰。所有代码都将可用。

基于内容的图像检索（CIR）旨在通过同时理解示例图像和互补文本的组成来搜索目标图像，这可能会影响各种各样的现实世界应用，例如互联网搜索和时尚检索。在这种情况下，输入图像是搜索的直观上下文和背景，而相应的语言明确请求有关如何修改查询图像的特定特征以获取预期目标图像的新特征。此任务具有挑战性，因为它需要通过合并跨粒度语义更新来学习和理解复合图像文本表示。在本文中，我们通过小说\下划线{\ textbf {b}}来解决此任务\ textbf {s}} ition（\ textbf {boss}）带有混合反事实训练框架，通过从两个先前被忽视的角度研究它，从而为CIR任务提供了新的启示：\ emph {隐式自下而上的自下而上的sisitiol语言表示}和sisiol语言表示}和\ emph {显式晶状体构造的明显细粒度对应}。一方面，我们利用了从底部本地特征到顶部全局语义的跨模式嵌入的隐式相互作用和组成，从而保留和转换视觉表示在多个连续步骤中以语言语义为条件的视觉表示，以进行有效的目标图像搜索。另一方面，我们设计了一种混合反事实培训策略，可以减少模型对类似查询的歧义。

随着深度学习的发展，单图像超分辨率（SISR）取得了重大突破。最近，已经提出了基于全局特征交互的SISR网络性能的方法。但是，需要动态地忽略对上下文的响应的神经元的功能。为了解决这个问题，我们提出了一个轻巧的交叉障碍性推理网络（CFIN），这是一个由卷积神经网络（CNN）和变压器组成的混合网络。具体而言，一种新型的交叉磁场导向变压器（CFGT）旨在通过使用调制卷积内核与局部代表性语义信息结合来自适应修改网络权重。此外，提出了基于CNN的跨尺度信息聚合模块（CIAM），以使模型更好地专注于潜在的实用信息并提高变压器阶段的效率。广泛的实验表明，我们提出的CFIN是一种轻巧有效的SISR模型，可以在计算成本和模型性能之间达到良好的平衡。

基于卷积神经网络的单图像超分辨率（SISR）近年来取得了很大进展。然而，由于计算和内存成本，难以将这些方法应用于现实世界场景。同时，如何充分利用中间特征在有限的参数和计算的约束下是一个巨大的挑战。为了减轻这些问题，我们提出了一种轻量级但有效的特征蒸馏交互加权网络（FDIWN）。具体地，FDIWN利用一系列专门设计的特征随机加权组（FSWG）作为骨干，以及几种新的相互宽残留蒸馏相互作用块（WDIB）形成FSWG。另外，将宽相同的残余加权（WIRW）单元和宽卷积残余加权（WCRW）单元引入WDIB以进行更好的特征蒸馏。此外，提出了一种宽残留的蒸馏连接（WRDC）框架和自校准融合（SCF）单元，以更灵活和有效地与不同的尺度相互作用。扩大实验表明，我们的FDIWN优于其他模型来攻击良好的模型模型性能与效率之间的平衡。代码可在https://github.com/iviplab/fdiwn获得。