本文将良好的卷积神经网络（CNNS）与最近引入了糖尿病脚溃疡分类任务的最近引入的视觉变压器，在DFUC 2021的宏伟挑战的背景下，这项工作达到了第一位置。综合实验表明，现代CNNS仍然能够在低数据制度中表现出变压器，这可能是它们更好地利用空间相关性的能力。此外，我们经验证明最近的清晰度感知最小化（SAM）优化算法显着提高了两种模型的泛化能力。我们的结果表明，对于此任务，CNN和SAM优化过程的组合导致优于任何其他考虑方法的性能。

糖尿病足溃疡分类系统使用伤口感染（伤口内的细菌）和缺血（限制血供给）作为重要的临床指标治疗和预测伤口愈合。研究使用自动化计算机化方法在糖尿病足伤中使用自动化计算机化方法的使用和缺血的使用是有限的，这是有限的，因为存在的公开可用数据集和严重数据不平衡存在。糖尿病脚溃疡挑战2021提供了一种具有更大量数据集的参与者，其总共包括15,683只糖尿病足溃疡贴剂，用于训练5,734，用于测试，额外的3,994个未标记的贴片，以促进半监督和弱的发展 - 监督深度学习技巧。本文提供了对糖尿病足溃疡攻击2021中使用的方法的评估，并总结了从每个网络获得的结果。最佳性能的网络是前3种型号的结果的集合，宏观平均F1分数为0.6307。

To ensure proper knowledge representation of the kitchen environment, it is vital for kitchen robots to recognize the states of the food items that are being cooked. Although the domain of object detection and recognition has been extensively studied, the task of object state classification has remained relatively unexplored. The high intra-class similarity of ingredients during different states of cooking makes the task even more challenging. Researchers have proposed adopting Deep Learning based strategies in recent times, however, they are yet to achieve high performance. In this study, we utilized the self-attention mechanism of the Vision Transformer (ViT) architecture for the Cooking State Recognition task. The proposed approach encapsulates the globally salient features from images, while also exploiting the weights learned from a larger dataset. This global attention allows the model to withstand the similarities between samples of different cooking objects, while the employment of transfer learning helps to overcome the lack of inductive bias by utilizing pretrained weights. To improve recognition accuracy, several augmentation techniques have been employed as well. Evaluation of our proposed framework on the `Cooking State Recognition Challenge Dataset' has achieved an accuracy of 94.3%, which significantly outperforms the state-of-the-art.

深度学习和计算机视觉的最新进展减轻了许多瓶颈，从而使算法无标记，并且性能更好。具体而言，变形金刚提供了图像的全球视角，该图像卷积神经网络（CNN）缺乏设计。在这里，我们介绍了跨体系结构自学，这是一种新颖的自我监督学习方法，同时利用了变形金刚和CNN，同时也可以通过易于可用的云服务在计算上访问。与现有的最先进的自我监督学习方法相比，我们从经验上显示了经过CASS训练的CNN，而Transformers则使用100％标记的数据，平均获得8.5％，具有10％标记的数据，为11.5％，1.5％，1百分比在三个不同数据集中标记的数据。值得注意的是，一个被使用的数据集包括自身免疫性疾病的组织病理学幻灯片，这是医学成像中代表性不足的主题，并且数据最少。此外，我们的发现表明，就训练时间而言，CASS的效率是其他最先进方法的两倍。

监测生物多样性对于管理和保护自然资源至关重要，尤其是在全球变化时期。通过大型时间或空间尺度收集生物的图像是一种有前途的实践，可以监测和研究自然生态系统的生物多样性变化，从而提供大量数据，并且对环境的干扰最少。目前，深度学习模型用于将生物分类自动化为分类单元。但是，这些分类器中的不精确性引入了难以控制的测量噪声，并且可能会大大阻碍数据的分析和解释。在我们的研究中，我们表明，可以通过数据效率高的图像变压器（DEIT）的集合来克服这种限制，从而极大地表现了先前的艺术状态（SOTA）。我们验证了各种各样的生态成像数据集的结果，以及从浮游生物到昆虫，鸟类，狗品种，野生动物和珊瑚的研究生物。在我们测试的所有数据集中，我们都实现了新的SOTA，并且根据数据集的不同，相对于先前的SOTA的错误从18.48％到87.50％不等，并且通常可以实现非常接近完美分类的性能。 Deits的合奏表现更好的主要原因不是由于Deits的单模性能，而是由于独立模型的预测具有较小的重叠，这可以最大程度地获得结合的利润。这将DEIT定位为生物多样性监测中图像分类的最佳候选者。

通常用于诊断和研究目的的组织病理学图像中炎症细胞结构的当前研究排除了许多有关活检幻灯片的信息。在自身免疫性疾病中，关于哪种细胞类型参与组织水平的炎症以及它们如何相互作用，仍然存在重大的研究问题。尽管可以使用传统方法来部分回答这些问题，但人工智能方法进行分割和分类提供了一种更有效的方法来了解自身免疫性疾病中炎症的结构，并对新颖见解保持着巨大的希望。在本文中，我们从经验上开发了使用人类组织的皮肌炎活检来检测和鉴定炎症细胞的深度学习方法。我们的方法将分类绩效提高了26％，细分性能提高了5％。我们还提出了一种新颖的后处理自动编码器体系结构，可将细分性能额外提高3％。我们已经在https://github.com/pranavsinghps1/dedl开源了我们的方法和架构

While the Transformer architecture has become the de-facto standard for natural language processing tasks, its applications to computer vision remain limited. In vision, attention is either applied in conjunction with convolutional networks, or used to replace certain components of convolutional networks while keeping their overall structure in place. We show that this reliance on CNNs is not necessary and a pure transformer applied directly to sequences of image patches can perform very well on image classification tasks. When pre-trained on large amounts of data and transferred to multiple mid-sized or small image recognition benchmarks (ImageNet, CIFAR-100, VTAB, etc.), Vision Transformer (ViT) attains excellent results compared to state-of-the-art convolutional networks while requiring substantially fewer computational resources to train. 1

Diabetic retinopathy (DR) is a complication of diabetes, and one of the major causes of vision impairment in the global population. As the early-stage manifestation of DR is usually very mild and hard to detect, an accurate diagnosis via eye-screening is clinically important to prevent vision loss at later stages. In this work, we propose an ensemble method to automatically grade DR using ultra-wide optical coherence tomography angiography (UW-OCTA) images available from Diabetic Retinopathy Analysis Challenge (DRAC) 2022. First, we adopt the state-of-the-art classification networks, i.e., ResNet, DenseNet, EfficientNet, and VGG, and train them to grade UW-OCTA images with different splits of the available dataset. Ultimately, we obtain 25 models, of which, the top 16 models are selected and ensembled to generate the final predictions. During the training process, we also investigate the multi-task learning strategy, and add an auxiliary classification task, the Image Quality Assessment, to improve the model performance. Our final ensemble model achieved a quadratic weighted kappa (QWK) of 0.9346 and an Area Under Curve (AUC) of 0.9766 on the internal testing dataset, and the QWK of 0.839 and the AUC of 0.8978 on the DRAC challenge testing dataset.

We present in this paper a new architecture, named Convolutional vision Transformer (CvT), that improves Vision Transformer (ViT) in performance and efficiency by introducing convolutions into ViT to yield the best of both designs. This is accomplished through two primary modifications: a hierarchy of Transformers containing a new convolutional token embedding, and a convolutional Transformer block leveraging a convolutional projection. These changes introduce desirable properties of convolutional neural networks (CNNs) to the ViT architecture (i.e. shift, scale, and distortion invariance) while maintaining the merits of Transformers (i.e. dynamic attention, global context, and better generalization). We validate CvT by conducting extensive experiments, showing that this approach achieves state-of-the-art performance over other Vision Transformers and ResNets on ImageNet-1k, with fewer parameters and lower FLOPs. In addition, performance gains are maintained when pretrained on larger datasets (e.g. ImageNet-22k) and fine-tuned to downstream tasks. Pretrained on ImageNet-22k, our CvT-W24 obtains a top-1 accuracy of 87.7% on the ImageNet-1k val set. Finally, our results show that the positional encoding, a crucial component in existing Vision Transformers, can be safely removed in our model, simplifying the design for higher resolution vision tasks. Code will be released at https: //github.com/leoxiaobin/CvT.

我们提出“ AITLAS：基准竞技场” - 一个开源基准测试框架，用于评估地球观察中图像分类的最新深度学习方法（EO）。为此，我们介绍了从九种不同的最先进的体系结构得出的400多个模型的全面比较分析，并将它们与来自22个具有不同尺寸的数据集的各种多级和多标签分类任务进行比较和属性。除了完全在这些数据集上训练的模型外，我们还基于在转移学习的背景下训练的模型，利用预训练的模型变体，因为通常在实践中执行。所有提出的方法都是一般的，可以轻松地扩展到本研究中未考虑的许多其他遥感图像分类任务。为了确保可重复性并促进更好的可用性和进一步的开发，所有实验资源在内的所有实验资源，包括训练的模型，模型配置和数据集的处理详细信息（以及用于培训和评估模型的相应拆分）都在存储库上公开可用：HTTPS ：//github.com/biasvariancelabs/aitlas-arena。

视觉变压器（VIT）已被证明可以在广泛的视觉应用中获得高度竞争性的性能，例如图像分类，对象检测和语义图像分割。与卷积神经网络相比，通常发现视觉变压器的较弱的电感偏差会在较小的培训数据集上培训时，会增加对模型正则化或数据增强的依赖（简称为“ AUGREG”）。我们进行了一项系统的实证研究，以便更好地了解培训数据，AUGREG，模型大小和计算预算之间的相互作用。作为这项研究的一个结果，我们发现增加的计算和AUGREG的组合可以产生与在数量级上训练的模型相同的训练数据的模型：我们在公共Imagenet-21K数据集中培训各种尺寸的VIT模型在较大的JFT-300M数据集上匹配或超越其对手的培训。

视觉变压器（VIT）在各种计算机视觉任务中的成功促进了该无卷积网络的不断增长。 VIT在图像贴片上工作的事实使其可能与拼图拼图解决的问题有关，这是一项经典的自我监督的任务，旨在重新排序洗牌的顺序图像贴片回到其自然形式。尽管它很简单，但已证明解决拼图拼图对使用卷积神经网络（CNN）（例如自我监督的特征表示学习，领域的概括和细粒度分类）的任务有帮助。在本文中，我们探索了解决拼图拼图作为图像分类的自我监督的辅助损失，名为Jigsaw-Vit。我们展示了两种修改，可以使拼图优于标准VIT：丢弃位置嵌入和随机掩盖斑块。但是很简单，我们发现拼图vit能够改善标准VIT的概括和鲁棒性，这通常是一种权衡。在实验上，我们表明，在ImageNet上的大规模图像分类中，添加拼图拼图分支比VIT提供了更好的概括。此外，辅助任务还提高了对动物-10n，食物101N和服装的嘈杂标签的鲁棒性，也可以提高对抗性示例。我们的实施可从https://yingyichen-cyy.github.io/jigsaw-vit/获得。

Covid-19是一种攻击上呼吸道和肺部的新型病毒。它的人对人的传播性非常迅速，这在个人生活的各个方面都引起了严重的问题。尽管一些感染的人可能仍然完全无症状，但经常被目睹有轻度至重度症状。除此之外，全球成千上万的死亡案件表明，检测Covid-19是社区的紧急需求。实际上，这是在筛选医学图像（例如计算机断层扫描（CT）和X射线图像）的帮助下进行的。但是，繁琐的临床程序和大量的每日病例对医生构成了巨大挑战。基于深度学习的方法在广泛的医疗任务中表现出了巨大的潜力。结果，我们引入了一种基于变压器的方法，用于使用紧凑卷积变压器（CCT）自动从X射线图像中自动检测COVID-19。我们的广泛实验证明了该方法的疗效，精度为98％，比以前的作品表现优于先前的作品。

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

我们研究不同损失功能对医学图像病变细分的影响。尽管在处理自然图像时，跨凝结（CE）损失是最受欢迎的选择，但对于生物医学图像分割，由于其处理不平衡的情况，软骰子损失通常是首选的。另一方面，这两个功能的组合也已成功地应用于此类任务中。一个较少研究的问题是在存在分布（OOD）数据的情况下所有这些损失的概括能力。这是指在测试时间出现的样本，这些样本是从与训练图像不同的分布中得出的。在我们的情况下，我们将模型训练在始终包含病变的图像上，但是在测试时间我们也有无病变样品。我们通过全面的实验对内窥镜图像和糖尿病脚图像的溃疡分割进行了全面的实验，分析了不同损失函数对分布性能的最小化对分布性能的影响。我们的发现令人惊讶：在处理OOD数据时，CE-DICE损失组合在分割分配图像中表现出色，这使我们建议通过这种问题采用CE损失，因为它的稳健性和能够概括为OOD样品。可以在\ url {https://github.com/agaldran/lesion_losses_ood}找到与我们实验相关的代码。

视觉变压器已经证明了在各种视觉任务中胜过CNN的潜力。但是这些模型的计算和内存要求禁止在许多应用中使用它们，尤其是依赖高分辨率图像的应用程序，例如医学图像分类。更有效地训练VIT的努力过于复杂，需要进行建筑变化或复杂的培训方案。在这项工作中，我们表明可以通过随机删除输入图像贴片来有效地以高分辨率进行标准VIT模型。这种简单的方法（PatchDropout）在标准的自然图像数据集（例如ImageNet）中将拖鞋和内存减少至少50％，而这些节省仅随图像尺寸而增加。在高分辨率医疗数据集CSAW上，我们使用PatchDropout可节省5倍的计算和内存，并提高性能。对于具有固定计算或内存预算的从业人员，PatchDropout可以选择图像分辨率，超参数或模型大小以使其从模型中获得最大的性能。

注意机制对研究界提出了重大兴趣，因为他们承诺改善神经网络架构的表现。但是，在任何特定的问题中，我们仍然缺乏主要的方法来选择导致保证改进的具体机制和超参数。最近，已经提出了自我关注并广泛用于变压器 - 类似的架构中，导致某些应用中的重大突破。在这项工作中，我们专注于两种形式的注意机制：注意模块和自我关注。注意模块用于重新重量每个层输入张量的特征。不同的模块具有不同的方法，可以在完全连接或卷积层中执行此重复。研究的注意力模型是完全模块化的，在这项工作中，它们将与流行的Reset架构一起使用。自我关注，最初在自然语言处理领域提出，可以将所有项目与输入序列中的所有项目相关联。自我关注在计算机视觉中越来越受欢迎，其中有时与卷积层相结合，尽管最近的一些架构与卷曲完全消失。在这项工作中，我们研究并执行了在特定计算机视觉任务中许多不同关注机制的客观的比较，在广泛使用的皮肤癌MNIST数据集中的样本分类。结果表明，关注模块有时会改善卷积神经网络架构的性能，也是这种改进虽然明显且统计学意义，但在不同的环境中并不一致。另一方面，通过自我关注机制获得的结果表明了一致和显着的改进，即使在具有减少数量的参数的架构中，也可以实现最佳结果。

随着变压器作为语言处理的标准及其在计算机视觉方面的进步，参数大小和培训数据的数量相应地增长。许多人开始相信，因此，变形金刚不适合少量数据。这种趋势引起了人们的关注，例如：某些科学领域中数据的可用性有限，并且排除了该领域研究资源有限的人。在本文中，我们旨在通过引入紧凑型变压器来提出一种小规模学习的方法。我们首次表明，具有正确的尺寸，卷积令牌化，变压器可以避免在小数据集上过度拟合和优于最先进的CNN。我们的模型在模型大小方面具有灵活性，并且在获得竞争成果的同时，参数可能仅为0.28亿。当在CIFAR-10上训练Cifar-10，只有370万参数训练时，我们的最佳模型可以达到98％的准确性，这是与以前的基于变形金刚的模型相比，数据效率的显着提高，比其他变压器小于10倍，并且是15％的大小。在实现类似性能的同时，重新NET50。 CCT还表现优于许多基于CNN的现代方法，甚至超过一些基于NAS的方法。此外，我们在Flowers-102上获得了新的SOTA，具有99.76％的TOP-1准确性，并改善了Imagenet上现有基线（82.71％精度，具有29％的VIT参数）以及NLP任务。我们针对变压器的简单而紧凑的设计使它们更可行，可以为那些计算资源和/或处理小型数据集的人学习，同时扩展了在数据高效变压器中的现有研究工作。我们的代码和预培训模型可在https://github.com/shi-labs/compact-transformers上公开获得。

如今，视觉变压器是图像分类任务的事实上的偏好。分类任务有两种类别，即细粒度和粗粒。在细粒度的分类中，由于子类之间的相似性高度相似，因此必须发现细微的差异。当我们降低图像以节省与视觉变压器（VIT）相关的计算成本时，这种区别通常会丢失。在这项工作中，我们介绍了深入的分析，并描述了开发用于从标本室纸的细粒度分类系统的关键组成部分。我们广泛的实验分析表明，需要更好的增强技术以及现代神经网络处理更高维图像的能力。我们还介绍了一个称为“ Anciformer”的卷积变压器体系结构，该体系结构与流行的视觉变压器（Convit）不同，可以处理更高的分辨率图像，而不会爆炸记忆和计算成本。我们还介绍了一种新颖的，改进的预处理技术，称为Presizer，以更好地调整图像大小，同时保留其原始纵横比，这对于对天然植物进行分类至关重要。借助我们简单而有效的方法，我们在202X和Inatorist 2019数据集上实现了SOTA。

Recently, neural networks purely based on attention were shown to address image understanding tasks such as image classification. These highperforming vision transformers are pre-trained with hundreds of millions of images using a large infrastructure, thereby limiting their adoption.In this work, we produce competitive convolution-free transformers by training on Imagenet only. We train them on a single computer in less than 3 days. Our reference vision transformer (86M parameters) achieves top-1 accuracy of 83.1% (single-crop) on ImageNet with no external data.More importantly, we introduce a teacher-student strategy specific to transformers. It relies on a distillation token ensuring that the student learns from the teacher through attention. We show the interest of this token-based distillation, especially when using a convnet as a teacher. This leads us to report results competitive with convnets for both Imagenet (where we obtain up to 85.2% accuracy) and when transferring to other tasks. We share our code and models.