Group affect refers to the subjective emotion that is evoked by an external stimulus in a group, which is an important factor that shapes group behavior and outcomes. Recognizing group affect involves identifying important individuals and salient objects among a crowd that can evoke emotions. Most of the existing methods are proposed to detect faces and objects using pre-trained detectors and summarize the results into group emotions by specific rules. However, such affective region selection mechanisms are heuristic and susceptible to imperfect faces and objects from the pre-trained detectors. Moreover, faces and objects on group-level images are often contextually relevant. There is still an open question about how important faces and objects can be interacted with. In this work, we incorporate the psychological concept called Most Important Person (MIP). It represents the most noteworthy face in the crowd and has an affective semantic meaning. We propose the Dual-branch Cross-Patch Attention Transformer (DCAT) which uses global image and MIP together as inputs. Specifically, we first learn the informative facial regions produced by the MIP and the global context separately. Then, the Cross-Patch Attention module is proposed to fuse the features of MIP and global context together to complement each other. With parameters less than 10x, the proposed DCAT outperforms state-of-the-art methods on two datasets of group valence prediction, GAF 3.0 and GroupEmoW datasets. Moreover, our proposed model can be transferred to another group affect task, group cohesion, and shows comparable results.

The recently developed vision transformer (ViT) has achieved promising results on image classification compared to convolutional neural networks. Inspired by this, in this paper, we study how to learn multi-scale feature representations in transformer models for image classification. To this end, we propose a dual-branch transformer to combine image patches (i.e., tokens in a transformer) of different sizes to produce stronger image features. Our approach processes small-patch and large-patch tokens with two separate branches of different computational complexity and these tokens are then fused purely by attention multiple times to complement each other. Furthermore, to reduce computation, we develop a simple yet effective token fusion module based on cross attention, which uses a single token for each branch as a query to exchange information with other branches. Our proposed cross-attention only requires linear time for both computational and memory complexity instead of quadratic time otherwise. Extensive experiments demonstrate that our approach performs better than or on par with several concurrent works on vision transformer, in addition to efficient CNN models. For example, on the ImageNet1K dataset, with some architectural changes, our approach outperforms the recent DeiT by a large margin of 2% with a small to moderate increase in FLOPs and model parameters. Our source codes and models are available at https://github.com/IBM/CrossViT.

Facial Expression Recognition (FER) in the wild is an extremely challenging task. Recently, some Vision Transformers (ViT) have been explored for FER, but most of them perform inferiorly compared to Convolutional Neural Networks (CNN). This is mainly because the new proposed modules are difficult to converge well from scratch due to lacking inductive bias and easy to focus on the occlusion and noisy areas. TransFER, a representative transformer-based method for FER, alleviates this with multi-branch attention dropping but brings excessive computations. On the contrary, we present two attentive pooling (AP) modules to pool noisy features directly. The AP modules include Attentive Patch Pooling (APP) and Attentive Token Pooling (ATP). They aim to guide the model to emphasize the most discriminative features while reducing the impacts of less relevant features. The proposed APP is employed to select the most informative patches on CNN features, and ATP discards unimportant tokens in ViT. Being simple to implement and without learnable parameters, the APP and ATP intuitively reduce the computational cost while boosting the performance by ONLY pursuing the most discriminative features. Qualitative results demonstrate the motivations and effectiveness of our attentive poolings. Besides, quantitative results on six in-the-wild datasets outperform other state-of-the-art methods.

Camouflaged objects are seamlessly blended in with their surroundings, which brings a challenging detection task in computer vision. Optimizing a convolutional neural network (CNN) for camouflaged object detection (COD) tends to activate local discriminative regions while ignoring complete object extent, causing the partial activation issue which inevitably leads to missing or redundant regions of objects. In this paper, we argue that partial activation is caused by the intrinsic characteristics of CNN, where the convolution operations produce local receptive fields and experience difficulty to capture long-range feature dependency among image regions. In order to obtain feature maps that could activate full object extent, keeping the segmental results from being overwhelmed by noisy features, a novel framework termed Cross-Model Detail Querying network (DQnet) is proposed. It reasons the relations between long-range-aware representations and multi-scale local details to make the enhanced representation fully highlight the object regions and eliminate noise on non-object regions. Specifically, a vanilla ViT pretrained with self-supervised learning (SSL) is employed to model long-range dependencies among image regions. A ResNet is employed to enable learning fine-grained spatial local details in multiple scales. Then, to effectively retrieve object-related details, a Relation-Based Querying (RBQ) module is proposed to explore window-based interactions between the global representations and the multi-scale local details. Extensive experiments are conducted on the widely used COD datasets and show that our DQnet outperforms the current state-of-the-arts.

卷积神经网络（CNN）已成为医疗图像分割任务的共识。但是，由于卷积操作的性质，它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了变压器来解决这个问题，但它们未能捕获低级功能。相比之下，证明本地和全球特征对于密集的预测至关重要，例如在具有挑战性的环境中细分。在本文中，我们提出了一种新型方法，该方法有效地桥接了CNN和用于医学图像分割的变压器。具体而言，我们使用开创性SWIN变压器模块和一个基于CNN的编码器设计两个多尺度特征表示。为了确保从上述两个表示获得的全局和局部特征的精细融合，我们建议在编码器编码器结构的跳过连接中提出一个双层融合（DLF）模块。在各种医学图像分割数据集上进行的广泛实验证明了Hiformer在计算复杂性以及定量和定性结果方面对其他基于CNN的，基于变压器和混合方法的有效性。我们的代码可在以下网址公开获取：https：//github.com/amirhossein-kz/hiformer

人类的情感认可是人工智能的积极研究领域，在过去几年中取得了实质性的进展。许多最近的作品主要关注面部区域以推断人类的情感，而周围的上下文信息没有有效地利用。在本文中，我们提出了一种新的深网络，有效地识别使用新的全球局部注意机制的人类情绪。我们的网络旨在独立地从两个面部和上下文区域提取特征，然后使用注意模块一起学习它们。以这种方式，面部和上下文信息都用于推断人类的情绪，从而增强分类器的歧视。密集实验表明，我们的方法超越了最近的最先进的方法，最近的情感数据集是公平的保证金。定性地，我们的全球局部注意力模块可以提取比以前的方法更有意义的注意图。我们网络的源代码和培训模型可在https://github.com/minhnhatvt/glamor-net上获得

本文介绍了我们针对六个基本表达分类的方法论情感行为分析（ABAW）竞赛2022年的曲目。从人为生成的数据中表达并概括为真实数据。由于合成数据和面部动作单元（AU）的客观性的模棱两可，我们求助于AU信息以提高性能，并做出如下贡献。首先，为了使模型适应合成场景，我们使用了预先训练的大规模面部识别数据中的知识。其次，我们提出了一个概念上的框架，称为Au-persuped卷积视觉变压器（AU-CVT），该框架通过与AU或Pseudo Au标签共同训练辅助数据集来显然改善了FER的性能。我们的AU-CVT在验证集上的F1分数为0.6863美元，准确性为$ 0.7433 $。我们工作的源代码在线公开可用：https：//github.com/msy1412/abaw4

诸如对象检测和分割等密集的计算机视觉任务需要有效的多尺度特征表示，用于检测或分类具有不同大小的对象或区域。虽然卷积神经网络（CNNS）是这种任务的主导架构，但最近引入了视觉变压器（VITS）的目标是将它们替换为骨干。类似于CNN，VITS构建一个简单的多级结构（即，细致粗略），用于使用单尺度补丁进行多尺度表示。在这项工作中，通过从现有变压器的不同角度来看，我们探索了多尺度补丁嵌入和多路径结构，构建了多路径视觉变压器（MPVIT）。 MPVIT通过使用重叠的卷积贴片嵌入，将相同尺寸〜（即，序列长度，序列长度，序列长度的序列长度）嵌入不同尺度的斑块。然后，通过多个路径独立地将不同尺度的令牌独立地馈送到变压器编码器，并且可以聚合产生的特征，使得能够在相同特征级别的精细和粗糙的特征表示。由于多样化，多尺寸特征表示，我们的MPVits从微小〜（5m）缩放到基础〜（73米）一直在想象成分，对象检测，实例分段上的最先进的视觉变压器来实现卓越的性能，和语义细分。这些广泛的结果表明，MPVIT可以作为各种视觉任务的多功能骨干网。代码将在\ url {https://git.io/mpvit}上公开可用。

大型预训练的变压器是现代语义分割基准的顶部，但具有高计算成本和冗长的培训。为了提高这种约束，我们从综合知识蒸馏的角度来研究有效的语义分割，并考虑弥合多源知识提取和特定于变压器特定的斑块嵌入之间的差距。我们提出了基于变压器的知识蒸馏（TransKD）框架，该框架通过蒸馏出大型教师变压器的特征地图和补丁嵌入来学习紧凑的学生变形金刚，绕过长期的预训练过程并将FLOPS降低> 85.0％。具体而言，我们提出了两个基本和两个优化模块：（1）交叉选择性融合（CSF）可以通过通道注意和层次变压器内的特征图蒸馏之间的知识转移； （2）嵌入对齐（PEA）在斑块过程中执行尺寸转换，以促进贴片嵌入蒸馏； （3）全局本地上下文混合器（GL-MIXER）提取了代表性嵌入的全局和局部信息； （4）嵌入助手（EA）是一种嵌入方法，可以无缝地桥接老师和学生模型，并具有老师的渠道数量。关于CityScapes，ACDC和NYUV2数据集的实验表明，TransKD的表现优于最先进的蒸馏框架，并竞争了耗时的预训练方法。代码可在https://github.com/ruipingl/transkd上找到。

细粒度的视觉分类（FGVC）旨在识别类似下属类别的对象，这对于人类的准确自动识别需求而言是挑战性和实用性的。大多数FGVC方法都集中在判别区域开采的注意力机制研究上，同时忽略了它们的相互依赖性和组成的整体对象结构，这对于模型的判别信息本地化和理解能力至关重要。为了解决上述限制，我们建议结构信息建模变压器（SIM-TRANS）将对象结构信息纳入变压器，以增强判别性表示学习，以包含外观信息和结构信息。具体而言，我们将图像编码为一系列贴片令牌，并使用两个精心设计的模块构建强大的视觉变压器框架：（i）提出了结构信息学习（SIL）模块以挖掘出在该模块中的空间上下文关系，对象范围借助变压器的自我发项权重，进一步注入导入结构信息的模型； （ii）引入了多级特征增强（MFB）模块，以利用类中多级特征和对比度学习的互补性，以增强功能鲁棒性，以获得准确的识别。提出的两个模块具有轻加权，可以插入任何变压器网络并轻松地端到端训练，这仅取决于视觉变压器本身带来的注意力重量。广泛的实验和分析表明，所提出的SIM-TRANS在细粒度的视觉分类基准上实现了最先进的性能。该代码可在https://github.com/pku-icst-mipl/sim-trans_acmmm2022上获得。

Human behavior understanding requires looking at minute details in the large context of a scene containing multiple input modalities. It is necessary as it allows the design of more human-like machines. While transformer approaches have shown great improvements, they face multiple challenges such as lack of data or background noise. To tackle these, we introduce the Forced Attention (FAt) Transformer which utilize forced attention with a modified backbone for input encoding and a use of additional inputs. In addition to improving the performance on different tasks and inputs, the modification requires less time and memory resources. We provide a model for a generalised feature extraction for tasks concerning social signals and behavior analysis. Our focus is on understanding behavior in videos where people are interacting with each other or talking into the camera which simulates the first person point of view in social interaction. FAt Transformers are applied to two downstream tasks: personality recognition and body language recognition. We achieve state-of-the-art results for Udiva v0.5, First Impressions v2 and MPII Group Interaction datasets. We further provide an extensive ablation study of the proposed architecture.

vision变压器（VIT）最近在图像分类上实现了对卷积神经网络（CNNS）的可比结果的强大能力。然而，Vanilla Vit只是直接从自然语言处理继承相同的架构，这通常不会针对视觉应用进行优化。在这篇文章的推动中，我们提出了一种采用金字塔结构的新架构，并在视觉变压器中采用新的区域到局部关注，而不是全球自我关注。更具体地，我们的模型首先从具有不同补丁大小的图像生成区域令牌和本地标记，其中每个区域令牌与基于空间位置的一组本地代币相关联。区域到当地的注意力包括两个步骤：第一，区域自我关注提取所有区域代币之间的全球信息，然后通过自我关注将局部自我关注与相关的本地代币之间的信息交换。因此，尽管局部自我关注限制了当地区域的范围，但它仍然可以接收全球信息。在四个视觉任务中进行广泛的实验，包括图像分类，对象和关键点检测，语义分割和动作识别，表明我们的方法优于或与最先进的Vit变体（包括许多并发作品）的差异。我们的源代码和模型可在https://github.com/ibm/regionvit上使用。

在这项工作中，我们探索了用于视觉接地的整洁而有效的基于变压器的框架。先前的方法通常解决了视觉接地的核心问题，即具有手动设计的机制，即多模式融合和推理。这样的启发式设计不仅复杂化，而且使模型容易过度拟合特定的数据分布。为了避免这种情况，我们首先提出了TransVG，该TransVG通过变压器建立了多模式的对应关系，并通过直接回归框坐标来定位引用区域。我们从经验上表明，复杂的融合模块可以用具有更高性能的变压器编码层的简单堆栈代替。但是，TransVG中的核心融合变压器是针对Uni-Modal编码器的独立性，因此应在有限的视觉接地数据上从头开始训练，这使得很难优化并导致次优性能。为此，我们进一步介绍了TransVG ++以进行两倍的改进。一方面，我们通过利用Vision Transformer（VIT）进行视觉功能编码来将框架升级到一个纯粹的基于变压器的框架。对于另一个人来说，我们设计了语言有条件的视觉变压器，以去除外部融合模块，并重用Uni-Modal vit进行中间层的视觉融合。我们对五个普遍数据集进行了广泛的实验，并报告一系列最先进的记录。

细粒度的图像识别是具有挑战性的，因为鉴别性线索通常是碎片化的，无论是来自单个图像还是多个图像。尽管有重要的改进，但大多数现有方法仍然专注于从单个图像中的最辨别部分，忽略其他地区的信息细节，缺乏从其他相关图像的线索考虑。在本文中，我们从新的角度分析了微粒图像识别的困难，并提出了一种具有峰值抑制模块和知识引导模块的变压器架构，其尊重单个图像中辨别特征的多样化和鉴别线索的聚合在多个图像中。具体地，峰值抑制模块首先利用线性投影来将输入图像转换为顺序令牌。然后，它基于变压器编码器产生的注意响应来阻止令牌。该模块因特征学习过程中的最辨别部分而受到惩罚，因此，提高了忽视区域的信息利用。知识引导模块将从峰值抑制模块生成的基于图像的表示与被学习的知识嵌入集进行比较，以获得知识响应系数。之后，使用响应系数作为分类分数，将知识学习形式形式化为分类问题。在训练期间更新知识嵌入和基于图像的表示，以便知识嵌入包括不同图像的鉴别线索。最后，我们将所获得的知识嵌入纳入基于形象的表示，作为全面的表示，导致性能显着提高。对六个流行数据集的广泛评估证明了所提出的方法的优势。

先前的工作提出了几种策略，以降低自我发挥机制的计算成本。这些作品中的许多作品都考虑将自我关注程序分解为区域和局部特征提取程序，这些程序都会产生较小的计算复杂性。但是，区域信息通常仅以损失的不良信息为代价，原因是由于下采样而丢失。在本文中，我们提出了一种新颖的变压器体系结构，旨在减轻成本问题，称为双视觉变压器（双击）。新的体系结构结合了一个关键的语义途径，可以更有效地将代币向量压缩到具有降低的复杂性顺序的全球语义中。然后，这种压缩的全局语义是通过另一个构造的像素途径在学习更精细的像素级详细信息中作为有用的先前信息。然后将语义途径和像素途径集成在一起并进行联合训练，从而通过这两个途径并行传播增强的自我运动信息。此后，双攻击能够降低计算复杂性，而不会损害很大的准确性。我们从经验上证明，双重射击比SOTA变压器体系结构具有较高的训练复杂性。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

很少有细粒度的学习旨在将查询图像分类为具有细粒度差异的一组支持类别之一。尽管学习不同对象通过深神网络的局部差异取得了成功，但如何在基于变压器的架构中利用查询支持的跨图像对象语义关系在几个摄像机的细粒度场景中仍未得到充分探索。在这项工作中，我们提出了一个基于变压器的双螺旋模型，即HelixFormer，以双向和对称方式实现跨图像对象语义挖掘。 HelixFormer由两个步骤组成：1）跨不同分支的关系挖掘过程（RMP），以及2）在每个分支中表示增强过程（REP）。通过设计的RMP，每个分支都可以使用来自另一个分支的信息提取细粒对象级跨图义语义关系图（CSRMS），从而确保在语义相关的本地对象区域中更好地跨图像相互作用。此外，借助CSRMS，开发的REP可以增强每个分支中发现的与语义相关的局部区域的提取特征，从而增强模型区分细粒物体的细微特征差异的能力。在五个公共细粒基准上进行的广泛实验表明，螺旋形式可以有效地增强识别细颗粒物体的跨图像对象语义关系匹配，从而在1次以下的大多数先进方法中实现更好的性能，并且5击场景。我们的代码可在以下网址找到：https：//github.com/jiakangyuan/helixformer

由于长距离依赖性建模的能力，变压器在各种自然语言处理和计算机视觉任务中表现出令人印象深刻的性能。最近的进展证明，将这种变压器与基于CNN的语义图像分割模型相结合非常有前途。然而，目前还没有很好地研究了纯变压器的方法如何实现图像分割。在这项工作中，我们探索了语义图像分割的新框架，它是基于编码器 - 解码器的完全变压器网络（FTN）。具体地，我们首先提出金字塔组变压器（PGT）作为逐步学习分层特征的编码器，同时降低标准视觉变压器（VIT）的计算复杂性。然后，我们将特征金字塔变换器（FPT）提出了来自PGT编码器的多电平进行语义图像分割的多级别的语义级别和空间级信息。令人惊讶的是，这种简单的基线可以在多个具有挑战性的语义细分和面部解析基准上实现更好的结果，包括帕斯卡背景，ADE20K，Cocostuff和Celebamask-HQ。源代码将在https://github.com/br -dl/paddlevit上发布。

与卷积神经网络（CNN）相比，视觉变压器（VIT）正在变得越来越流行和主导技术。作为计算机视觉中苛刻的技术，VIT已成功解决了各种视觉问题，同时着眼于远程关系。在本文中，我们首先介绍自我注意机制的基本概念和背景。接下来，我们提供了最新表现最好的VIT方法的全面概述，该方法在强度和弱点，计算成本以及培训和测试数据集方面描述。我们彻底比较了流行基准数据集上各种VIT算法和大多数代表性CNN方法的性能。最后，我们通过有见地的观察来探索一些局限性，并提供进一步的研究方向。项目页面以及论文集可通过https://github.com/khawar512/vit-survey获得

人类的姿势估计旨在弄清不同场景中所有人的关键。尽管结果有希望，但目前的方法仍然面临一些挑战。现有的自上而下的方法单独处理一个人，而没有不同的人与所在的场景之间的相互作用。因此，当发生严重闭塞时，人类检测的表现会降低。另一方面，现有的自下而上方法同时考虑所有人，并捕获整个图像的全局知识。但是，由于尺度变化，它们的准确性不如自上而下的方法。为了解决这些问题，我们通过整合自上而下和自下而上的管道来探索不同接受场的视觉线索并实现其互补性，提出了一种新颖的双皮线整合变压器（DPIT）。具体而言，DPIT由两个分支组成，自下而上的分支介绍了整个图像以捕获全局视觉信息，而自上而下的分支则从单人类边界框中提取本地视觉的特征表示。然后，从自下而上和自上而下的分支中提取的特征表示形式被馈入变压器编码器，以交互融合全局和本地知识。此外，我们定义了关键点查询，以探索全景和单人类姿势视觉线索，以实现两个管道的相互互补性。据我们所知，这是将自下而上和自上而下管道与变压器与人类姿势估计的变压器相结合的最早作品之一。关于可可和MPII数据集的广泛实验表明，我们的DPIT与最先进的方法相当。

近年来，人群计数研究取得了重大进展。然而，随着人群中存在具有挑战性的规模变化和复杂的场景，传统的卷积网络和最近具有固定大小的变压器架构都不能良好地处理任务。为了解决这个问题，本文提出了一个场景 - 自适应关注网络，称为Saanet。首先，我们设计了可变形的变压器骨干内的可变形关注，从而了解具有可变形采样位置和动态注意力的自适应特征表示。然后，我们提出了多级特征融合和计数专注特征增强模块，以加强全局图像上下文下的特征表示。学习的陈述可以参加前景，并适应不同的人群。我们对四个具有挑战性的人群计数基准进行广泛的实验，表明我们的方法实现了最先进的性能。特别是，我们的方法目前在NWPU-Crowd基准的公共排行榜上排名第一。我们希望我们的方法可能是一个强大的基线，以支持人群计数的未来研究。源代码将被释放到社区。