深度学习技术可以用作一种辅助技术，以帮助医生快速准确地识别Covid-19的感染。最近，视觉变压器（VIT）由于其全球接受场而显示出巨大的图像分类潜力。但是，由于缺乏CNN固有的感应偏置，基于VIT的结构会导致模型训练的特征丰富性和难度。在本文中，我们提出了一个名为Covid-19（COVT）的称为Transformer的新结构，以提高基于VIT的架构在小型Covid-19数据集上的性能。它使用CNN作为功能提取器来有效提取本地结构信息，并将平均汇总到VIT的多层感知（MLP）模块以获取全局信息。实验显示了我们方法对两个COVID-19数据集和Imagenet数据集的有效性。

自首次报道以来，2019年冠状病毒病（Covid-19）已在全球范围内传播，并成为人类面临的健康危机。放射学成像技术，例如计算机断层扫描（CT）和胸部X射线成像（CXR）是诊断CoVID-19的有效工具。但是，在CT和CXR图像中，感染区域仅占据图像的一小部分。一些整合大规模接受场的常见深度学习方法可能会导致图像细节的丢失，从而导致省略了COVID-19图像中感兴趣区域（ROI），因此不适合进一步处理。为此，我们提出了一个深空金字塔池（D-SPP）模块，以在不同的分辨率上整合上下文信息，旨在有效地在COVID-19的不同尺度下提取信息。此外，我们提出了COVID-19感染检测（CID）模块，以引起人们对病变区域的注意，并从无关信息中消除干扰。在四个CT和CXR数据集上进行的广泛实验表明，我们的方法在检测CT和CXR图像中检测COVID-19病变的准确性更高。它可以用作计算机辅助诊断工具，以帮助医生有效地诊断和筛选COVID-19。

随着Covid-19的爆发，近年来已经出现了大量相关研究。我们提出了一个基于肺CT扫描图像的自动COVID-19诊断框架，即PVT-COV19D。为了适应图像输入的不同维度，我们首先使用变压器模型对图像进行了分类，然后根据正常分布对数据集中进行采样，并将采样结果馈送到修改的PVTV2模型中以进行训练。COV19-CT-DB数据集上的大量实验证明了该方法的有效性。

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

Covid-19是一种攻击上呼吸道和肺部的新型病毒。它的人对人的传播性非常迅速，这在个人生活的各个方面都引起了严重的问题。尽管一些感染的人可能仍然完全无症状，但经常被目睹有轻度至重度症状。除此之外，全球成千上万的死亡案件表明，检测Covid-19是社区的紧急需求。实际上，这是在筛选医学图像（例如计算机断层扫描（CT）和X射线图像）的帮助下进行的。但是，繁琐的临床程序和大量的每日病例对医生构成了巨大挑战。基于深度学习的方法在广泛的医疗任务中表现出了巨大的潜力。结果，我们引入了一种基于变压器的方法，用于使用紧凑卷积变压器（CCT）自动从X射线图像中自动检测COVID-19。我们的广泛实验证明了该方法的疗效，精度为98％，比以前的作品表现优于先前的作品。

一种名为Covid-19的新发现的冠状病毒疾病主要影响人类呼吸系统。 Covid-19是一种由起源于中国武汉的病毒引起的传染病。早期诊断是医疗保健提供者的主要挑战。在较早的阶段，医疗机构令人眼花azz乱，因为没有适当的健康辅助工具或医学可以检测到COVID-19。引入了一种新的诊断工具RT-PCR（逆转录聚合酶链反应）。它从患者的鼻子或喉咙中收集拭子标本，在那里共有19个病毒。该方法有一些与准确性和测试时间有关的局限性。医学专家建议一种称为CT（计算机断层扫描）的替代方法，该方法可以快速诊断受感染的肺部区域并在早期阶段识别Covid-19。使用胸部CT图像，计算机研究人员开发了几种识别Covid-19疾病的深度学习模型。这项研究介绍了卷积神经网络（CNN）和基于VGG16的模型，用于自动化的COVID-19在胸部CT图像上识别。使用14320 CT图像的公共数据集的实验结果显示，CNN和VGG16的分类精度分别为96.34％和96.99％。

视觉变压器由于能够捕获图像中的长期依赖性的能力而成功地应用于图像识别任务。但是，变压器与现有卷积神经网络（CNN）之间的性能和计算成本仍然存在差距。在本文中，我们旨在解决此问题，并开发一个网络，该网络不仅可以超越规范变压器，而且可以超越高性能卷积模型。我们通过利用变压器来捕获长期依赖性和CNN来建模本地特征，从而提出了一个新的基于变压器的混合网络。此外，我们将其扩展为获得一个称为CMT的模型家族，比以前的基于卷积和基于变压器的模型获得了更好的准确性和效率。特别是，我们的CMT-S在ImageNet上获得了83.5％的TOP-1精度，而在拖鞋上的拖曳率分别比现有的DEIT和EficitiveNet小14倍和2倍。拟议的CMT-S还可以很好地概括CIFAR10（99.2％），CIFAR100（91.7％），花（98.7％）以及其他具有挑战性的视觉数据集，例如可可（44.3％地图），计算成本较小。

在卷积神经网络（CNN）的动力下，医学图像分类迅速发展。由于卷积内核的接受场的固定尺寸，很难捕获医学图像的全局特征。尽管基于自发的变压器可以对远程依赖性进行建模，但它具有很高的计算复杂性，并且缺乏局部电感偏见。许多研究表明，全球和本地特征对于图像分类至关重要。但是，医学图像具有许多嘈杂，分散的特征，类内的变化和类间的相似性。本文提出了三个分支分层的多尺度特征融合网络结构，称为医学图像分类为新方法。它可以融合多尺度层次结构的变压器和CNN的优势，而不会破坏各自的建模，从而提高各种医学图像的分类精度。局部和全局特征块的平行层次结构旨在有效地提取各种语义尺度的本地特征和全局表示，并灵活地在不同的尺度上建模，并与图像大小相关的线性计算复杂性。此外，自适应分层特征融合块（HFF块）旨在全面利用在不同层次级别获得的功能。 HFF块包含空间注意力，通道注意力，残留的倒置MLP和快捷方式，以在每个分支的各个规模特征之间适应融合语义信息。我们在ISIC2018数据集上提出的模型的准确性比基线高7.6％，COVID-19数据集的准确性为21.5％，Kvasir数据集的准确性为10.4％。与其他高级模型相比，HIFUSE模型表现最好。我们的代码是开源的，可从https://github.com/huoxiangzuo/hifuse获得。

2019年12月，一个名为Covid-19的新型病毒导致了迄今为止的巨大因果关系。与新的冠状病毒的战斗在西班牙语流感后令人振奋和恐怖。虽然前线医生和医学研究人员在控制高度典型病毒的传播方面取得了重大进展，但技术也证明了在战斗中的重要性。此外，许多医疗应用中已采用人工智能，以诊断许多疾病，甚至陷入困境的经验丰富的医生。因此，本调查纸探讨了提议的方法，可以提前援助医生和研究人员，廉价的疾病诊断方法。大多数发展中国家难以使用传统方式进行测试，但机器和深度学习可以采用显着的方式。另一方面，对不同类型的医学图像的访问已经激励了研究人员。结果，提出了一种庞大的技术数量。本文首先详细调了人工智能域中传统方法的背景知识。在此之后，我们会收集常用的数据集及其用例日期。此外，我们还显示了采用深入学习的机器学习的研究人员的百分比。因此，我们对这种情况进行了彻底的分析。最后，在研究挑战中，我们详细阐述了Covid-19研究中面临的问题，我们解决了我们的理解，以建立一个明亮健康的环境。

医疗图像细分是有关医学信息分析的最基本任务之一。到目前为止，已经提出了各种解决方案，包括许多深度学习的技术，例如U-NET，FC-DENSENET等。但是，由于存在固有的放大倍率，高精度医学图像分割仍然是一项高度挑战的任务。在医学图像以及与正常组织密度相似的病变中的存在。在本文中，我们提出了TFCN（用于完全卷积的齿轮的变压器），以通过引入ReslineAr-Transear-TransFormer（RL-转换器）和卷积线性注意块（CLAB）来解决该问题。 TFCN不仅能够从CT图像中利用更多的潜在信息进行特征提取，而且可以通过CLAB模块更有效地捕获和传播语义特征和更有效地滤波非语义功能。我们的实验结果表明，TFCN可以在Synapse数据集上以83.72 \％的骰子得分实现最新性能。此外，我们评估了TFCN对COVID-19公共数据集的病变区域影响的鲁棒性。 Python代码将在https://github.com/huanglizi/tfcns上公开提供。

随着变压器作为语言处理的标准及其在计算机视觉方面的进步，参数大小和培训数据的数量相应地增长。许多人开始相信，因此，变形金刚不适合少量数据。这种趋势引起了人们的关注，例如：某些科学领域中数据的可用性有限，并且排除了该领域研究资源有限的人。在本文中，我们旨在通过引入紧凑型变压器来提出一种小规模学习的方法。我们首次表明，具有正确的尺寸，卷积令牌化，变压器可以避免在小数据集上过度拟合和优于最先进的CNN。我们的模型在模型大小方面具有灵活性，并且在获得竞争成果的同时，参数可能仅为0.28亿。当在CIFAR-10上训练Cifar-10，只有370万参数训练时，我们的最佳模型可以达到98％的准确性，这是与以前的基于变形金刚的模型相比，数据效率的显着提高，比其他变压器小于10倍，并且是15％的大小。在实现类似性能的同时，重新NET50。 CCT还表现优于许多基于CNN的现代方法，甚至超过一些基于NAS的方法。此外，我们在Flowers-102上获得了新的SOTA，具有99.76％的TOP-1准确性，并改善了Imagenet上现有基线（82.71％精度，具有29％的VIT参数）以及NLP任务。我们针对变压器的简单而紧凑的设计使它们更可行，可以为那些计算资源和/或处理小型数据集的人学习，同时扩展了在数据高效变压器中的现有研究工作。我们的代码和预培训模型可在https://github.com/shi-labs/compact-transformers上公开获得。

医学图像预处理中最有争议的研究领域之一是3D CT扫描。随着Covid-19的快速扩散，CT扫描在正确，迅速诊断疾病的功能变得至关重要。它对预防感染有积极影响。通过CT-Scan图像诊断疾病有许多任务，包括Covid-19。在本文中，我们提出了一种使用堆叠深神经网络的方法，通过一系列3D CT扫描图像来检测COVID 19。在我们的方法中，我们使用两个骨架进行实验是Densenet 121和Resnet101。此方法在某些评估指标上实现了竞争性能

每年有大约4.5亿人受到肺炎的影响，导致250万人死亡。 Covid-19也影响了1.81亿人，这导致了392万人伤亡。如果早期诊断，两种疾病死亡可能会显着降低。然而，目前诊断肺炎（投诉+胸部X射线）和Covid-19（RT-PCR）的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下，可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样，诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中，我们的目标是引出，解释和评估，定性和定量，深入学习方法的主要进步，旨在检测或定位社区获得的肺炎（帽），病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查，本文的重点在于解释了深度学习模型架构，该架构已经被修改或从划痕，以便WIWTH对概括性的关注。对于每个模型，本文回答了模型所设计的方式的问题，特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析，以量化不同模型的有效性与相似的目标。一些权衡无法量化，因此它们在定性分析中明确提到，在整个纸张中完成。通过在一个地方编译和分析大量的研究细节，其中包含所有数据集，模型架构和结果，我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。

多层erceptron（MLP），作为出现的第一个神经网络结构，是一个大的击中。但是由硬件计算能力和数据集的大小限制，它一旦沉没了数十年。在此期间，我们目睹了从手动特征提取到带有局部接收领域的CNN的范式转变，以及基于自我关注机制的全球接收领域的变换。今年（2021年），随着MLP混合器的推出，MLP已重新进入敏捷，并吸引了计算机视觉界的广泛研究。与传统的MLP进行比较，它变得更深，但改变了完全扁平化以补丁平整的输入。鉴于其高性能和较少的需求对视觉特定的感应偏见，但社区无法帮助奇迹，将MLP，最简单的结构与全球接受领域，但没有关注，成为一个新的电脑视觉范式吗？为了回答这个问题，本调查旨在全面概述视觉深层MLP模型的最新发展。具体而言，我们从微妙的子模块设计到全局网络结构，我们审查了这些视觉深度MLP。我们比较了不同网络设计的接收领域，计算复杂性和其他特性，以便清楚地了解MLP的开发路径。调查表明，MLPS的分辨率灵敏度和计算密度仍未得到解决，纯MLP逐渐发展朝向CNN样。我们建议，目前的数据量和计算能力尚未准备好接受纯的MLP，并且人工视觉指导仍然很重要。最后，我们提供了开放的研究方向和可能的未来作品的分析。我们希望这项努力能够点燃社区的进一步兴趣，并鼓励目前为神经网络进行更好的视觉量身定制设计。

胰腺癌是世界上最严重恶性的癌症之一，这种癌症迅速迅速，具有很高的死亡率。快速的现场评估（玫瑰）技术通过立即分析与现场病理学家的快速染色的细胞影析学形象来创新工作流程，这使得在这种紧压的过程中能够更快的诊断。然而，由于缺乏经验丰富的病理学家，玫瑰诊断的更广泛的扩张已经受到阻碍。为了克服这个问题，我们提出了一个混合高性能深度学习模型，以实现自动化工作流程，从而释放占据病理学家的宝贵时间。通过使用我们特定的多级混合设计将变压器块引入该字段，由卷积神经网络（CNN）产生的空间特征显着增强了变压器全球建模。转向多级空间特征作为全球关注指导，这种设计将鲁棒性与CNN的感应偏差与变压器的复杂全球建模功能相结合。收集4240朵Rose图像的数据集以评估此未开发领域的方法。所提出的多级混合变压器（MSHT）在分类精度下实现95.68％，其鲜明地高于最先进的模型。面对对可解释性的需求，MSHT以更准确的关注区域表达其对应物。结果表明，MSHT可以以前所未有的图像规模精确地区分癌症样本，奠定了部署自动决策系统的基础，并在临床实践中扩大玫瑰。代码和记录可在：https://github.com/sagizty/multi-stage-ybrid-transformer。

尽管已经开发了疫苗，并且国家疫苗接种率正在稳步提高，但2019年冠状病毒病（COVID-19）仍对世界各地的医疗保健系统产生负面影响。在当前阶段，从CT图像中自动分割肺部感染区域对于诊断和治疗COVID-19至关重要。得益于深度学习技术的发展，已经提出了一些针对肺部感染细分的深度学习解决方案。但是，由于分布分布，复杂的背景干扰和界限模糊，现有模型的准确性和完整性仍然不令人满意。为此，我们在本文中提出了一个边界引导的语义学习网络（BSNET）。一方面，结合顶级语义保存和渐进式语义集成的双分支语义增强模块旨在建模不同的高级特征之间的互补关系，从而促进产生更完整的分割结果。另一方面，提出了镜像对称边界引导模块，以以镜像对称方式准确检测病变区域的边界。公开可用数据集的实验表明，我们的BSNET优于现有的最新竞争对手，并实现了44 fps的实时推理速度。

Covid-19的传播给世界带来了巨大的灾难，自动分割感染区域可以帮助医生快速诊断并减少工作量。但是，准确和完整的分割面临一些挑战，例如散射的感染区分布，复杂的背景噪声和模糊的分割边界。为此，在本文中，我们提出了一个新的网络，用于从CT图像（名为BCS-NET）的自动covid-19肺部感染分割，该网络考虑了边界，上下文和语义属性。 BCS-NET遵循编码器架构，更多的设计集中在解码器阶段，该阶段包括三个逐渐边界上下文 - 语义重建（BCSR）块。在每个BCSR块中，注意引导的全局上下文（AGGC）模块旨在通过突出显示重要的空间和边界位置并建模全局上下文依赖性来学习解码器最有价值的编码器功能。此外，语义指南（SG）单元通过在中间分辨率上汇总多规模的高级特征来生成语义指南图来完善解码器特征。广泛的实验表明，我们提出的框架在定性和定量上都优于现有竞争对手。

Accurate airway extraction from computed tomography (CT) images is a critical step for planning navigation bronchoscopy and quantitative assessment of airway-related chronic obstructive pulmonary disease (COPD). The existing methods are challenging to sufficiently segment the airway, especially the high-generation airway, with the constraint of the limited label and cannot meet the clinical use in COPD. We propose a novel two-stage 3D contextual transformer-based U-Net for airway segmentation using CT images. The method consists of two stages, performing initial and refined airway segmentation. The two-stage model shares the same subnetwork with different airway masks as input. Contextual transformer block is performed both in the encoder and decoder path of the subnetwork to finish high-quality airway segmentation effectively. In the first stage, the total airway mask and CT images are provided to the subnetwork, and the intrapulmonary airway mask and corresponding CT scans to the subnetwork in the second stage. Then the predictions of the two-stage method are merged as the final prediction. Extensive experiments were performed on in-house and multiple public datasets. Quantitative and qualitative analysis demonstrate that our proposed method extracted much more branches and lengths of the tree while accomplishing state-of-the-art airway segmentation performance. The code is available at https://github.com/zhaozsq/airway_segmentation.

2019年新型冠状病毒疾病（Covid-19）是一种致命的传染病，于2019年12月在中国武汉武汉（Wuhan）首次识别，并且一直处于流行状态。在这种情况下，在感染人群中检测到Covid-19变得越来越重要。如今，与感染人群数量相比，测试套件的数量逐渐减少。在最近的流行条件下，通过分析胸部CT（计算机断层扫描）图像诊断肺部疾病已成为COVID-19患者诊断和预言的重要工具。在这项研究中，已经提出了一种从CT图像检测COVID-19感染的转移学习策略（CNN）。在拟议的模型中，已经设计了具有转移学习模型V3的多层卷积神经网络（CNN）。与CNN类似，它使用卷积和汇总来提取功能，但是该传输学习模型包含数据集成像网的权重。因此，它可以非常有效地检测功能，从而使其在获得更好的准确性方面具有优势。

当前的COVID-19大流行是对人类直接影响肺部的严重威胁。 Covid-19的自动识别是卫生保健官员的挑战。用于诊断Covid-19的标准黄金方法是逆转录聚合酶链反应（RT-PCR），以从受影响的人那里收集拭子。收集拭子时遇到的一些限制与准确性和长期持续时间有关。胸部CT（计算机断层扫描）是另一种测试方法，可帮助医疗保健提供者迅速识别受感染的肺部区域。它被用作在早期阶段识别Covid-19的支持工具。借助深度学习，COVID-19的CT成像特征。研究人员已证明它对COVID-19 CT图像分类非常有效。在这项研究中，我们回顾了最近可以用来检测COVID-19疾病的深度学习技术。相关研究是由Web of Science，Google Scholar和PubMed等各种数据库收集的。最后，我们比较了不同深度学习模型的结果，并讨论了CT图像分析。