地球天文台是一个不断增长的研究领域，可以在短时间预测（即现在的情况下）利用AI的力量。在这项工作中，我们使用视频变压器网络应对天气预报的挑战。视觉变压器体系结构已在各种应用中进行了探索，主要限制是注意力的计算复杂性和饥饿的培训。为了解决这些问题，我们建议使用视频Swin-Transformer，再加上专用的增强计划。此外，我们在编码器侧采用逐渐的空间减少，并在解码器上进行了交叉注意。在Weather4cast2021天气预报挑战数据中测试了建议的方法，该数据需要从每小时的天气产品序列预测未来的8小时（每小时4个小时）。将数据集归一化为0-1，以促进使用不同数据集的评估指标。该模型在提供训练数据时会导致MSE得分为0.4750，在不使用培训数据的情况下转移学习过程中为0.4420。

目的：在手术规划之前，CT图像中肝血管的分割是必不可少的，并引起了医学图像分析界的广泛兴趣。由于结构复杂，对比度背景下，自动肝脏血管分割仍然特别具有挑战性。大多数相关的研究采用FCN，U-Net和V-Net变体作为骨干。然而，这些方法主要集中在捕获多尺度局部特征，这可能导致由于卷积运营商有限的地区接收领域而产生错误分类的体素。方法：我们提出了一种强大的端到端血管分割网络，通过将SWIN变压器扩展到3D并采用卷积和自我关注的有效组合，提出了一种被称为电感偏置的多头注意船网（IBIMHAV-NET）的稳健端到端血管分割网络。在实践中，我们介绍了Voxel-Wise嵌入而不是修补程序嵌入，以定位精确的肝脏血管素，并采用多尺度卷积运营商来获得局部空间信息。另一方面，我们提出了感应偏置的多头自我关注，其学习从初始化的绝对位置嵌入的归纳偏置相对位置嵌入嵌入。基于此，我们可以获得更可靠的查询和键矩阵。为了验证我们模型的泛化，我们测试具有不同结构复杂性的样本。结果：我们对3Dircadb数据集进行了实验。四种测试病例的平均骰子和敏感性为74.8％和77.5％，超过现有深度学习方法的结果和改进的图形切割方法。结论：拟议模型IBIMHAV-Net提供一种具有交错架构的自动，精确的3D肝血管分割，可更好地利用CT卷中的全局和局部空间特征。它可以进一步扩展到其他临床数据。

卷积神经网络（CNN）已成为医疗图像分割任务的共识。但是，由于卷积操作的性质，它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了变压器来解决这个问题，但它们未能捕获低级功能。相比之下，证明本地和全球特征对于密集的预测至关重要，例如在具有挑战性的环境中细分。在本文中，我们提出了一种新型方法，该方法有效地桥接了CNN和用于医学图像分割的变压器。具体而言，我们使用开创性SWIN变压器模块和一个基于CNN的编码器设计两个多尺度特征表示。为了确保从上述两个表示获得的全局和局部特征的精细融合，我们建议在编码器编码器结构的跳过连接中提出一个双层融合（DLF）模块。在各种医学图像分割数据集上进行的广泛实验证明了Hiformer在计算复杂性以及定量和定性结果方面对其他基于CNN的，基于变压器和混合方法的有效性。我们的代码可在以下网址公开获取：https：//github.com/amirhossein-kz/hiformer

多年来，卷积神经网络（CNN）已成为多种计算机视觉任务的事实上的标准。尤其是，基于开创性体系结构（例如具有跳过连接的U形模型）或具有金字塔池的Artous卷积的深度神经网络已针对广泛的医学图像分析任务量身定制。此类架构的主要优点是它们容易拘留多功能本地功能。然而，作为一般共识，CNN无法捕获由于卷积操作的固有性能的内在特性而捕获长期依赖性和空间相关性。另外，从全球信息建模中获利的变压器源于自我发项机制，最近在自然语言处理和计算机视觉方面取得了出色的表现。然而，以前的研究证明，局部和全局特征对于密集预测的深层模型至关重要，例如以不同的形状和配置对复杂的结构进行分割。为此，本文提出了TransDeeplab，这是一种新型的DeepLab样纯变压器，用于医学图像分割。具体而言，我们用移动的窗口利用层次旋转式变形器来扩展DeepLabV3并建模非常有用的空间金字塔池（ASPP）模块。对相关文献的彻底搜索结果是，我们是第一个用基于纯变压器模型对开创性DeepLab模型进行建模的人。关于各种医学图像分割任务的广泛实验证明，我们的方法在视觉变压器和基于CNN的方法的合并中表现出色或与大多数当代作品相提并论，并显着降低了模型复杂性。代码和训练有素的模型可在https://github.com/rezazad68/transdeeplab上公开获得

腮腺肿瘤约占头颈肿瘤的2％至10％。术前肿瘤定位，鉴别诊断以及随后选择适当的腮腺肿瘤治疗方法。然而，这些肿瘤的相对稀有性和高度分散的组织类型使基于术前放射线学对这种肿瘤病变的细微差异诊断造成了未满足的需求。最近，深度学习方法发展迅速，尤其是变形金刚在计算机视觉中击败了传统的卷积神经网络。为计算机视觉任务提出了许多新的基于变压器的网络。在这项研究中，收集了多中心多模束MRI图像。使用了基于变压器的SWIN-UNET。将搅拌，T1和T2模态的MRI图像合并为三通道数据以训练网络。我们实现了对腮腺和肿瘤感兴趣区域的分割。测试集上的模型DSC为88.63％，MPA为99.31％，MIOU为83.99％，HD为3.04。然后在本文中设计了一系列比较实验，以进一步验证算法的分割性能。

根据诊断各种疾病的胸部X射线图像的可观增长，以及收集广泛的数据集，使用深神经网络进行了自动诊断程序，已经占据了专家的思想。计算机视觉中的大多数可用方法都使用CNN主链来获得分类问题的高精度。然而，最近的研究表明，在NLP中成为事实上方法的变压器也可以优于许多基于CNN的模型。本文提出了一个基于SWIN变压器的多标签分类深模型，作为实现最新诊断分类的骨干。它利用了头部体系结构来利用多层感知器（也称为MLP）。我们评估了我们的模型，该模型称为“ Chest X-Ray14”，最广泛，最大的X射线数据集之一，该数据集由30,000多名14例著名胸部疾病的患者组成100,000多个额叶/背景图像。我们的模型已经用几个数量的MLP层用于头部设置，每个模型都在所有类别上都达到了竞争性的AUC分数。胸部X射线14的全面实验表明，与以前的SOTA平均AUC为0.799相比，三层头的平均AUC得分为0.810，其平均AUC得分为0.810。我们建议对现有方法进行公平基准测试的实验设置，该设置可以用作未来研究的基础。最后，我们通过确认所提出的方法参与胸部的病理相关区域，从而跟进了结果。

从传统上讲，地球系统（例如天气和气候）的预测依赖于具有复杂物理模型的数值模拟，因此在计算中既昂贵又对领域专业知识的需求既昂贵。在过去十年中时空地球观察数据的爆炸性增长中，应用深度学习（DL）的数据驱动模型表明了各种地球系统预测任务的潜力。尽管在其他领域取得了广泛的成功，但作为新兴DL架构的变压器在该领域的采用量有限。在本文中，我们提出了Earthformer，这是一种用于地球系统预测的时空变压器。 Earthformer基于一个通用，灵活和有效的时空注意块，名为Cuboid的注意力。这个想法是将数据分解为立方体，并平行应用立方体级别的自我注意力。这些立方体与全球矢量的集合进一步相关。我们对MovingMnist数据集和新提出的混沌N体MNIST数据集进行了实验，以验证Cuboid注意的有效性，并找出地球形式的最佳设计。关于降水现象和El Nino/Southern振荡（ENSO）预测的两个现实基准测试的实验表明，Earthformer实现了最新的性能。

计算机辅助医学图像分割已广泛应用于诊断和治疗，以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中，基于卷积神经网络（CNN）的方法（例如，U-Net）占主导地位，但仍遭受了不足的远程信息捕获。因此，最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体，并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而，它们促进了禁止的计算成本，尤其是在3D医学图像（例如，CT和MRI）上。在本文中，我们提出了一种称为扩张变压器的新方法，该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核，我们以扩张的方式进行全球自我关注，扩大接收领域而不增加所涉及的斑块，从而降低计算成本。基于这种扩展变压器的设计，我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明，我们的D-Ager Model从头开始培训，以低计算成本从划痕训练，优于各种竞争力的CNN或基于变压器的分段模型，而不耗时的每训练过程。

手术字幕在手术指导预测和报告生成中起重要作用。但是，大多数字幕模型仍然依赖重量计算对象检测器或特征提取器来提取区域特征。此外，检测模型需要其他边界框注释，这是昂贵的，需要熟练的注释器。这些导致推断延迟，并限制字幕模型在实时机器人手术中部署。为此，我们通过利用基于贴片的移位窗口技术来设计端到端检测器和功能无提取器字幕模型。我们建议以更快的推理速度和更少的计算，建议基于窗口的多层感知器变压器字幕模型（SWINMLP-TRANCAP）。 SwinMLP-Trancap用基于窗口的多头MLP代替了多头注意模块。这样的部署主要集中在图像理解任务上，但是很少有工作研究标题生成任务。 Swinmlp-trancap还扩展到视频版本，用于使用3D补丁和Windows的视频字幕任务。与以前的基于检测器或基于特征提取器的模型相比，我们的模型在维护两个手术数据集上的性能的同时，大大简化了体系结构设计。该代码可在https://github.com/xumengyaamy/swinmlp_trancap上公开获得。

虽然大多数当前的图像支出都进行了水平外推，但我们研究了广义图像支出问题，这些问题将视觉上下文推断出给定图像周围的全面。为此，我们开发了一个新型的基于变压器的生成对抗网络，称为U-Transformer，能够扩展具有合理结构和细节的图像边界，即使是复杂的风景图像。具体而言，我们将生成器设计为嵌入流行的Swin Transformer块的编码器到二次结构。因此，我们的新型框架可以更好地应对图像远程依赖性，这对于广义图像支出至关重要。我们另外提出了U形结构和多视图时间空间预测网络，以增强图像自我重建以及未知的零件预测。我们在实验上证明，我们提出的方法可以为针对最新图像支出方法提供广义图像支出产生可吸引人的结果。

本文提出了一种用于体积医学图像分割的变压器架构。设计用于体积分割的计算高效的变压器架构是一个具有挑战性的任务。它需要在编码本地和全局空间线索中保持复杂的平衡，并沿着体积数据的所有轴保留信息。所提出的体积变压器具有U形编码器解码器设计，其整体处理输入体素。我们的编码器具有两个连续的自我注意层，同时编码本地和全球性提示，我们的解码器具有基于新颖的并联窗口的自我和跨关注块，以通过归类傅立叶位置编码来捕获边界改进的精细细节。我们所提出的设计选择导致计算上有效的架构，其表明脑肿瘤分割（BRATS）2021的有希望的结果，以及用于肿瘤细分的医学分割牌照（胰腺和肝脏）数据集。我们进一步表明，我们的模型在数据集中传输了更好的地传输的表示，并且对数据损坏具有稳健性。 \ href {https://github.com/himashi92/vt-unet} {我们的代码实现是公开可用的}。

This paper presents a new vision Transformer, called Swin Transformer, that capably serves as a general-purpose backbone for computer vision. Challenges in adapting Transformer from language to vision arise from differences between the two domains, such as large variations in the scale of visual entities and the high resolution of pixels in images compared to words in text. To address these differences, we propose a hierarchical Transformer whose representation is computed with Shifted windows. The shifted windowing scheme brings greater efficiency by limiting self-attention computation to non-overlapping local windows while also allowing for cross-window connection. This hierarchical architecture has the flexibility to model at various scales and has linear computational complexity with respect to image size. These qualities of Swin Transformer make it compatible with a broad range of vision tasks, including image classification (87.3 top-1 accuracy on ImageNet-1K) and dense prediction tasks such as object detection (58.7 box AP and 51.1 mask AP on COCO testdev) and semantic segmentation (53.5 mIoU on ADE20K val). Its performance surpasses the previous state-of-theart by a large margin of +2.7 box AP and +2.6 mask AP on COCO, and +3.2 mIoU on ADE20K, demonstrating the potential of Transformer-based models as vision backbones. The hierarchical design and the shifted window approach also prove beneficial for all-MLP architectures. The code and models are publicly available at https://github. com/microsoft/Swin-Transformer.

能量供应和需求受到气象条件的影响。随着对可再生能源的需求增加，精确天气预报的相关性增加。能源提供者和决策者要求天气信息进行明智的选择，并根据业务目标建立最佳计划。由于最近应用于卫星图像的深度学习技术，使用遥感数据的天气预报也是主要进步的主题。本文通过基于U-Net的架构调查了荷兰沿海海洋元素的多个步骤框架预测。来自哥白尼观察计划的每小时数据在2年内跨过跨越2年的时间，用于培训模型并进行预测，包括季节性预测。我们提出了U-Net架构的变化，并使用剩余连接，并行卷积和不对称卷积进一步扩展了这一新颖模型，以便引入三种额外的架构。特别是，我们表明，配备有平行和不对称卷积的架构以及跳过连接优于其他三个讨论的模型。

随着计算机技术的开发，人工智能已经出现了各种模型。在自然语言处理（NLP）成功之后，变压器模型已应用于计算机视觉（CV）。放射科医生在当今迅速发展的医疗领域中继续面临多重挑战，例如增加工作量和增加的诊断需求。尽管以前有一些常规的肺癌检测方法，但仍需要提高其准确性，尤其是在现实的诊断情况下。本文创造性地提出了一种基于有效变压器的分割方法，并将其应用于医学图像分析。该算法通过分析肺癌数据来完成肺癌分类和细分的任务，并旨在为医务人员提供有效的技术支持。此外，我们在各个方面进行了评估并比较了结果。对于分类任务，通过定期培训和SWIN-B在两项决议中通过预训练的最高准确性可高达82.3％。对于分割任务，我们使用预训练来帮助模型提高实验的准确性。这三个模型的准确性达到95％以上。实验表明该算法可以很好地应用于肺癌分类和分割任务。

The development of deep learning models in medical image analysis is majorly limited by the lack of large-sized and well-annotated datasets. Unsupervised learning does not require labels and is more suitable for solving medical image analysis problems. However, most of the current unsupervised learning methods need to be applied to large datasets. To make unsupervised learning applicable to small datasets, we proposed Swin MAE, which is a masked autoencoder with Swin Transformer as its backbone. Even on a dataset of only a few thousand medical images and without using any pre-trained models, Swin MAE is still able to learn useful semantic features purely from images. It can equal or even slightly outperform the supervised model obtained by Swin Transformer trained on ImageNet in terms of the transfer learning results of downstream tasks. The code will be publicly available soon.

图像中的场景细分是视觉内容理解中的一个基本而又具有挑战性的问题，即学习一个模型，将每个图像像素分配给分类标签。这项学习任务的挑战之一是考虑空间和语义关系以获得描述性特征表示，因此从多个量表中学习特征图是场景细分中的一种常见实践。在本文中，我们探讨了在多尺度图像窗口中自我发挥的有效使用来学习描述性视觉特征，然后提出三种不同的策略来汇总这些特征图以解码特征表示形式以进行密集的预测。我们的设计基于最近提出的SWIN Transformer模型，该模型完全放弃了卷积操作。借助简单而有效的多尺度功能学习和聚合，我们的模型在四个公共场景细分数据集，Pascal VOC2012，Coco-STUFF 10K，ADE20K和CITYSCAPES上实现了非常有希望的性能。

视觉变压器正在成为解决计算机视觉问题的强大工具。最近的技术还证明了超出图像域之外的变压器来解决许多与视频相关的任务的功效。其中，由于其广泛的应用，人类的行动识别是从研究界受到特别关注。本文提供了对动作识别的视觉变压器技术的首次全面调查。我们朝着这个方向分析并总结了现有文献和新兴文献，同时突出了适应变形金刚以进行动作识别的流行趋势。由于其专业应用，我们将这些方法统称为``动作变压器''。我们的文献综述根据其架构，方式和预期目标为动作变压器提供了适当的分类法。在动作变压器的背景下，我们探讨了编码时空数据，降低维度降低，框架贴片和时空立方体构造以及各种表示方法的技术。我们还研究了变压器层中时空注意的优化，以处理更长的序列，通常通过减少单个注意操作中的令牌数量。此外，我们还研究了不同的网络学习策略，例如自我监督和零局学习，以及它们对基于变压器的行动识别的相关损失。这项调查还总结了在具有动作变压器重要基准的评估度量评分方面取得的进步。最后，它提供了有关该研究方向的挑战，前景和未来途径的讨论。

变压器最近展示了改进视觉跟踪算法的明显潜力。尽管如此，基于变压器的跟踪器主要使用变压器熔断并增强由卷积神经网络（CNNS）产生的功能。相比之下，在本文中，我们提出了一个完全基于注意力的变压器跟踪算法，Swin-Cranstormer Tracker（SwintRack）。 SwintRack使用变压器进行特征提取和特征融合，允许目标对象和搜索区域之间的完全交互进行跟踪。为了进一步提高性能，我们调查了全面的不同策略，用于特征融合，位置编码和培训损失。所有这些努力都使SwintRack成为一个简单但坚实的基线。在我们的彻底实验中，SwintRack在leasot上设置了一个新的记录，在4.6 \％的情况下超过4.6 \％，同时仍然以45 fps运行。此外，它达到了最先进的表演，0.483 Suc，0.832 Suc和0.694 Ao，其他具有挑战性的leasot _ {ext} $，trackingnet和got-10k。我们的实施和培训型号可在HTTPS://github.com/litinglin/swintrack获得。

随着计算机愿景中变压器架构的普及，研究焦点已转向开发计算有效的设计。基于窗口的本地关注是最近作品采用的主要技术之一。这些方法以非常小的贴片尺寸和小的嵌入尺寸开始，然后执行冲击卷积（贴片合并），以减少特征图尺寸并增加嵌入尺寸，因此，形成像设计的金字塔卷积神经网络（CNN）。在这项工作中，我们通过呈现一种新的各向同性架构，调查变压器中的本地和全球信息建模，以便采用当地窗口和特殊令牌，称为超级令牌，以自我关注。具体地，将单个超级令牌分配给每个图像窗口，该窗口捕获该窗口的丰富本地细节。然后使用这些令牌用于跨窗口通信和全局代表学习。因此，大多数学习都独立于较高层次的图像补丁$（n）$，并且仅基于超级令牌$（n / m ^ 2）$何处，从中学习额外的嵌入量窗口大小。在ImageNet-1K上的标准图像分类中，所提出的基于超代币的变压器（STT-S25）实现了83.5 \％的精度，其等同于带有大约一半参数（49M）的Swin变压器（Swin-B）和推断的两倍时间吞吐量。建议的超级令牌变压器为可视识别任务提供轻量级和有前途的骨干。

Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.