The combination of transformers and masked image modeling (MIM) pre-training framework has shown great potential in various vision tasks. However, the pre-training computational budget is too heavy and withholds the MIM from becoming a practical training paradigm. This paper presents FastMIM, a simple and generic framework for expediting masked image modeling with the following two steps: (i) pre-training vision backbones with low-resolution input images; and (ii) reconstructing Histograms of Oriented Gradients (HOG) feature instead of original RGB values of the input images. In addition, we propose FastMIM-P to progressively enlarge the input resolution during pre-training stage to further enhance the transfer results of models with high capacity. We point out that: (i) a wide range of input resolutions in pre-training phase can lead to similar performances in fine-tuning phase and downstream tasks such as detection and segmentation; (ii) the shallow layers of encoder are more important during pre-training and discarding last several layers can speed up the training stage with no harm to fine-tuning performance; (iii) the decoder should match the size of selected network; and (iv) HOG is more stable than RGB values when resolution transfers;. Equipped with FastMIM, all kinds of vision backbones can be pre-trained in an efficient way. For example, we can achieve 83.8%/84.1% top-1 accuracy on ImageNet-1K with ViT-B/Swin-B as backbones. Compared to previous relevant approaches, we can achieve comparable or better top-1 accuracy while accelerate the training procedure by $\sim$5$\times$. Code can be found in https://github.com/ggjy/FastMIM.pytorch.

Automated audio captioning is a cross-modal translation task for describing the content of audio clips with natural language sentences. This task has attracted increasing attention and substantial progress has been made in recent years. Captions generated by existing models are generally faithful to the content of audio clips, however, these machine-generated captions are often deterministic (e.g., generating a fixed caption for a given audio clip), simple (e.g., using common words and simple grammar), and generic (e.g., generating the same caption for similar audio clips). When people are asked to describe the content of an audio clip, different people tend to focus on different sound events and describe an audio clip diversely from various aspects using distinct words and grammar. We believe that an audio captioning system should have the ability to generate diverse captions, either for a fixed audio clip, or across similar audio clips. To this end, we propose an adversarial training framework based on a conditional generative adversarial network (C-GAN) to improve diversity of audio captioning systems. A caption generator and two hybrid discriminators compete and are learned jointly, where the caption generator can be any standard encoder-decoder captioning model used to generate captions, and the hybrid discriminators assess the generated captions from different criteria, such as their naturalness and semantics. We conduct experiments on the Clotho dataset. The results show that our proposed model can generate captions with better diversity as compared to state-of-the-art methods.

人工智能（AI）已被广泛应用于药物发现中，其主要任务是分子财产预测。尽管分子表示学习中AI技术的繁荣，但尚未仔细检查分子性质预测的一些关键方面。在这项研究中，我们对三个代表性模型，即随机森林，莫尔伯特和格罗弗进行了系统比较，该模型分别利用了三个主要的分子表示，扩展连接的指纹，微笑的字符串和分子图。值得注意的是，莫尔伯特（Molbert）和格罗弗（Grover）以自我监督的方式在大规模的无标记分子库中进行了预定。除了常用的分子基准数据集外，我们还组装了一套与阿片类药物相关的数据集进行下游预测评估。我们首先对标签分布和结构分析进行了数据集分析；我们还检查了阿片类药物相关数据集中的活动悬崖问题。然后，我们培训了4,320个预测模型，并评估了学习表示的有用性。此外，我们通过研究统计测试，评估指标和任务设置的效果来探索模型评估。最后，我们将化学空间的概括分解为施加间和支柱内的概括，并测量了预测性能，以评估两种设置下模型的普遍性。通过采取这种喘息，我们反映了分子财产预测的基本关键方面，希望在该领域带来更好的AI技术的意识。

我们建议探索一个称为视听分割（AVS）的新问题，其中的目标是输出在图像帧时产生声音的对象的像素级映射。为了促进这项研究，我们构建了第一个视频分割基准（AVSBENCH），为声音视频中的声音对象提供像素的注释。使用此基准测试了两个设置：1）具有单个声源的半监督音频分割和2）完全监督的音频段段，并带有多个声源。为了解决AVS问题，我们提出了一种新颖的方法，该方法使用时间像素的视听相互作用模块注入音频语义作为视觉分割过程的指导。我们还设计正规化损失，以鼓励训练期间的视听映射。 AVSBench上的定量和定性实验将我们的方法与相关任务中的几种现有方法进行了比较，这表明所提出的方法有望在音频和像素视觉语义之间建立桥梁。代码可从https://github.com/opennlplab/avsbench获得。

视觉变压器在众多计算机视觉任务上表现出了巨大的成功。然而，由于计算复杂性和记忆足迹是二次的，因此其中心分量（软磁性注意力）禁止视觉变压器扩展到高分辨率图像。尽管在自然语言处理（NLP）任务中引入了线性注意以减轻类似问题，但直接将现有的线性注意力应用于视觉变压器可能不会导致令人满意的结果。我们研究了这个问题，发现与NLP任务相比，计算机视觉任务更多地关注本地信息。基于这一观察结果，我们提出了附近的关注，该关注引入了具有线性复杂性的视觉变压器的局部性偏见。具体而言，对于每个图像补丁，我们根据其相邻贴片测量的2D曼哈顿距离调整了注意力重量。在这种情况下，相邻的补丁比遥远的补丁会受到更大的关注。此外，由于我们的附近注意力要求令牌长度比特征维度大得多，以显示其效率优势，因此我们进一步提出了一个新的附近视觉变压器（VVT）结构，以减少特征维度而不脱离准确性。我们在CIFAR100，ImagEnet1k和ADE20K数据集上进行了广泛的实验，以验证我们方法的有效性。当输入分辨率增加时，与以前的基于变压器和基于卷积的网络相比，GFLOP的增长率较慢。特别是，我们的方法达到了最新的图像分类精度，其参数比以前的方法少50％。

网络架构在基于深度学习的计算机视觉系统中起关键作用。广泛使用的卷积神经网络和变压器将图像视为网格或序列结构，该网格或序列结构并非灵活以捕获不规则和复杂的对象。在本文中，我们建议将图像表示为图形结构，并引入新的视觉GNN（VIG）体系结构，以提取视觉任务的图形级特征。我们首先将图像拆分为许多被视为节点的补丁，然后通过连接最近的邻居来构造图形。根据图像的图表表示，我们构建了VIG模型以在所有节点之间转换和交换信息。 VIG由两个基本模块组成：用于汇总和更新图形信息的图形卷积的图形模块，以及带有两个线性层的FFN模块用于节点特征转换。 VIG的各向同性和金字塔体系结构均具有不同的型号。关于图像识别和对象检测任务的广泛实验证明了我们的VIG架构的优势。我们希望GNN关于一般视觉任务的开创性研究将为未来的研究提供有用的灵感和经验。 pytorch代码可在https://github.com/huawei-noah/effficity-ai-backbones上获得，Mindspore代码可在https://gitee.com/mindspore/models上获得。

由于存储器和计算资源有限，部署在移动设备上的卷积神经网络（CNNS）是困难的。我们的目标是通过利用特征图中的冗余来设计包括CPU和GPU的异构设备的高效神经网络，这很少在神经结构设计中进行了研究。对于类似CPU的设备，我们提出了一种新颖的CPU高效的Ghost（C-Ghost）模块，以生成从廉价操作的更多特征映射。基于一组内在的特征映射，我们使用廉价的成本应用一系列线性变换，以生成许多幽灵特征图，可以完全揭示内在特征的信息。所提出的C-Ghost模块可以作为即插即用组件，以升级现有的卷积神经网络。 C-Ghost瓶颈旨在堆叠C-Ghost模块，然后可以轻松建立轻量级的C-Ghostnet。我们进一步考虑GPU设备的有效网络。在建筑阶段的情况下，不涉及太多的GPU效率（例如，深度明智的卷积），我们建议利用阶段明智的特征冗余来制定GPU高效的幽灵（G-GHOST）阶段结构。舞台中的特征被分成两个部分，其中使用具有较少输出通道的原始块处理第一部分，用于生成内在特征，另一个通过利用阶段明智的冗余来生成廉价的操作。在基准测试上进行的实验证明了所提出的C-Ghost模块和G-Ghost阶段的有效性。 C-Ghostnet和G-Ghostnet分别可以分别实现CPU和GPU的准确性和延迟的最佳权衡。代码可在https://github.com/huawei-noah/cv-backbones获得。

变压器网络对计算机视觉任务取得了很大的进步。变压器 - 变压器（TNT）架构利用内部变压器和外部变压器提取本地和全局表示。在这项工作中，我们通过引入两个先进的设计：1）金字塔架构和2）卷积阀。通过建立分层表示，新的“金字塔”显着改善了原始TNT。Pyramidtnt比以前的最先进的视觉变压器（如Swin Transformer）实现更好的表演。我们希望这一新基线能够有助于视觉变压器的进一步研究和应用。代码将在https://github.com/huawei-noah/cv-backbones/tree/master/tnt_pytorch获得。

从物理层和粗粒度接收信号强度指示符（RSSI）测量的细粒度通道状态信息（CSI）互补，中间粒度的空间光束属性（例如，光束SNR）可在毫米波（ MMWAVE）在强制波束训练阶段的频带可以重新估算Wi-Fi传感应用。在本文中，我们提出了一种用于Wi-Fi的多频带Wi-Fi融合方法，该方法是在粒度的60GHz处，从Sub-6 GHz和中粒梁SNR中的细粒度CSI的特征进行分层熔化的特征匹配框架。通过以不同的粒度水平与CSI和光束SNR配对的两个特征映射来实现粒度匹配，并将所有配对特征映射到具有可读权重的融合特征映射中。为了进一步解决有限标记的培训数据问题，我们提出了一种基于AutoEncoder的多频带Wi-Fi融合网络，可以以无监督的方式预先培训。一旦预先培训了基于AutoEncoder的融合网络，我们将通过微调融合块来分离解码器并将多任务传感头附加到融合特征映射并从头开始重新培训多任务头。通过内部实验Wi-Fi传感数据集进行多频带Wi-Fi融合框架，跨越三个任务：1）姿势识别; 2）占用感应;和3）室内本地化。与四种基线方法（即，仅CSI，仅限CSIS SNR，输入融合和特征融合）进行比较演示了粒度匹配，提高了多任务传感性能。定量性能被评估为标记培训数据，潜在空间维度和微调学习率的数量的函数。

生成的对抗性网络（GANS）的成功基本上基于发电机（G）和鉴别者（D）之间的对抗训练。预计它们将达到一定的平衡，其中D不能将生成的图像与真实的图像区分开来。但是，在实践中，难以在GaN训练中实现如此平衡，而是几乎总是超过G.我们将这种现象归因于D和G之间的信息不对称。具体而言，我们观察到确定时的视觉注意力图像是真实还是假的，但G没有明确的线索，在哪个区域专注于特定合成。为了缓解D质量在GAN中竞争的问题，我们的目的是提高G的空间意识。随机采样的多级热手表被编码为G作为感应偏压的中间层。因此，G可以有目的地改善某些图像区域的合成。我们进一步建议将G的空间意识与D.通过这种方式对准G.通过这种方式，我们有效地减少了D和G之间的信息差距。广泛的结果表明，我们的方法将两位玩家游戏推动到均衡的GANS中的两个玩家游戏，导致综合性能更好。作为副产品，引入的空间意识有助于在输出合成上进行交互式编辑。演示视频和更多结果在https://genforce.github.io/eqgan/处。