与诊断放射学相关的患者护理质量与医师工作量成正比。分割是诊断和治疗程序的基本限制前体。机器学习的进步（ML）旨在提高诊断效率，以用广义算法替代单个应用程序。在无监督的异常检测（UAD）中，基于卷积神经网络（CNN）自动编码器（AES）和变异自动编码器（VAE）被视为基于重建的异常分段的事实方法。在医学图像中寻找异常区域是使用异常分割的主要应用之一。 CNN中受限制的接收场限制了CNN对全局上下文进行建模，因此，如果异常区域涵盖了图像的一部分，则基于CNN的AES无法带来对图像的语义理解。另一方面，视觉变压器（VIT）已成为CNN的竞争替代品。它依赖于能够将图像斑块相互关联的自我发挥机制。为了重建一个连贯和更现实的图像，在这项工作中，我们研究了变形金刚在为基于重建的UAD任务构建AES的功能中。我们专注于用于大脑磁共振成像（MRI）的异常分割，并呈现五个基于变压器的模型，同时可以使分割性能可比或与最新模型（SOTA）模型相当。源代码可在github https://github.com/ahmedgh970/transformers_unsupervise_anomaly_segentation.git上获得

无监督的异常检测已成为一种流行的方法，可以检测医学图像中的病理，因为它不需要监督或标签进行训练。最常见的是，异常检测模型会生成输入映像的“正常”版本，而Pixel $ l^p $ - 两者的差异用于本地化异常。但是，大多数医学图像中存在的复杂解剖结构的不完善重建通常是由于不完善的重建而发生的。该方法还无法检测到没有与周围组织的强度差异很大的异常。我们建议使用特征映射功能解决此问题，该功能将输入强度图像转换为具有多个通道的空间，在该空间中可以沿着从原始图像提取的不同判别特征地图检测到异常。然后，我们使用结构相似性损失在该空间中训练自动编码器模型，该模型不仅考虑强度差异，而且考虑对比度和结构。我们的方法大大提高了大脑MRI的两个医学数据集的性能。代码和实验可从https://github.com/felime/feature-autoencoder获得

人脑解剖图像的专家解释是神经放射学的中心部分。已经提出了几种基于机器学习的技术来协助分析过程。但是，通常需要对ML模型进行培训以执行特定的任务，例如脑肿瘤分割或分类。相应的培训数据不仅需要费力的手动注释，而且人脑MRI中可以存在多种异常 - 甚至同时发生，这使得所有可能的异常情况都非常具有挑战性。因此，可能的解决方案是一种无监督的异常检测（UAD）系统，可以从健康受试者的未标记数据集中学习数据分布，然后应用以检测​​分布样本。然后，这种技术可用于检测异常 - 病变或异常，例如脑肿瘤，而无需明确训练该特定病理的模型。过去已经为此任务提出了几种基于变异的自动编码器（VAE）技术。即使它们在人为模拟的异常情况下表现良好，但其中许多在检测临床数据中的异常情况下表现较差。这项研究提出了“上下文编码” VAE（CEVAE）模型的紧凑版本，并结合了预处理和后处理步骤，创建了UAD管道（Strega）（Strega），该步骤对临床数据更强大，并显示其在检测到其检测方面的适用性脑MRI中的肿瘤等异常。 The proposed pipeline achieved a Dice score of 0.642$\pm$0.101 while detecting tumours in T2w images of the BraTS dataset and 0.859$\pm$0.112 while detecting artificially induced anomalies, while the best performing baseline achieved 0.522$\pm$0.135 and 0.783$\ PM分别为0.111美元。

卷积神经网络（CNN）已成为医疗图像分割任务的共识。但是，由于卷积操作的性质，它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了变压器来解决这个问题，但它们未能捕获低级功能。相比之下，证明本地和全球特征对于密集的预测至关重要，例如在具有挑战性的环境中细分。在本文中，我们提出了一种新型方法，该方法有效地桥接了CNN和用于医学图像分割的变压器。具体而言，我们使用开创性SWIN变压器模块和一个基于CNN的编码器设计两个多尺度特征表示。为了确保从上述两个表示获得的全局和局部特征的精细融合，我们建议在编码器编码器结构的跳过连接中提出一个双层融合（DLF）模块。在各种医学图像分割数据集上进行的广泛实验证明了Hiformer在计算复杂性以及定量和定性结果方面对其他基于CNN的，基于变压器和混合方法的有效性。我们的代码可在以下网址公开获取：https：//github.com/amirhossein-kz/hiformer

作为新一代神经体系结构的变形金刚在自然语言处理和计算机视觉方面表现出色。但是，现有的视觉变形金刚努力使用有限的医学数据学习，并且无法概括各种医学图像任务。为了应对这些挑战，我们将Medformer作为数据量表变压器呈现为可推广的医学图像分割。关键设计结合了理想的电感偏差，线性复杂性的层次建模以及以空间和语义全局方式以线性复杂性的关注以及多尺度特征融合。 Medformer可以在不预训练的情况下学习微小至大规模的数据。广泛的实验表明，Medformer作为一般分割主链的潜力，在三个具有多种模式（例如CT和MRI）和多样化的医学靶标（例如，健康器官，疾病，疾病组织和肿瘤）的三个公共数据集上优于CNN和视觉变压器。我们将模型和评估管道公开可用，为促进广泛的下游临床应用提供固体基线和无偏比较。

在过去的几年中，卷积神经网络（CNN），尤其是U-NET，一直是医学图像处理时代的流行技术。具体而言，开创性的U-NET及其替代方案成功地设法解决了各种各样的医学图像分割任务。但是，这些体系结构在本质上是不完美的，因为它们无法表现出长距离相互作用和空间依赖性，从而导致具有可变形状和结构的医学图像分割的严重性能下降。针对序列到序列预测的初步提议的变压器已成为替代体系结构，以精确地模拟由自我激进机制辅助的全局信息。尽管设计了可行的设计，但利用纯变压器来进行图像分割目的，可能导致限制的定位容量，导致低级功能不足。因此，一系列研究旨在设计基于变压器的U-NET的强大变体。在本文中，我们提出了Trans-Norm，这是一种新型的深层分割框架，它随同将变压器模块合并为标准U-NET的编码器和跳过连接。我们认为，跳过连接的方便设计对于准确的分割至关重要，因为它可以帮助扩展路径和收缩路径之间的功能融合。在这方面，我们从变压器模块中得出了一种空间归一化机制，以适应性地重新校准跳过连接路径。对医学图像分割的三个典型任务进行了广泛的实验，证明了透气的有效性。代码和训练有素的模型可在https://github.com/rezazad68/transnorm上公开获得。

计算机辅助医学图像分割已广泛应用于诊断和治疗，以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中，基于卷积神经网络（CNN）的方法（例如，U-Net）占主导地位，但仍遭受了不足的远程信息捕获。因此，最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体，并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而，它们促进了禁止的计算成本，尤其是在3D医学图像（例如，CT和MRI）上。在本文中，我们提出了一种称为扩张变压器的新方法，该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核，我们以扩张的方式进行全球自我关注，扩大接收领域而不增加所涉及的斑块，从而降低计算成本。基于这种扩展变压器的设计，我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明，我们的D-Ager Model从头开始培训，以低计算成本从划痕训练，优于各种竞争力的CNN或基于变压器的分段模型，而不耗时的每训练过程。

当前，借助监督学习方法，基于深度学习的视觉检查已取得了非常成功的成功。但是，在实际的工业场景中，缺陷样本的稀缺性，注释的成本以及缺乏缺陷的先验知识可能会使基于监督的方法无效。近年来，无监督的异常定位算法已在工业检查任务中广泛使用。本文旨在通过深入学习在工业图像中无视无视的异常定位中的最新成就来帮助该领域的研究人员。该调查回顾了120多个重要出版物，其中涵盖了异常定位的各个方面，主要涵盖了所审查方法的各种概念，挑战，分类法，基准数据集和定量性能比较。在审查迄今为止的成就时，本文提供了一些未来研究方向的详细预测和分析。这篇综述为对工业异常本地化感兴趣的研究人员提供了详细的技术信息，并希望将其应用于其他领域的异常本质。

Fully Convolutional Neural Networks (FCNNs) with contracting and expanding paths have shown prominence for the majority of medical image segmentation applications since the past decade. In FCNNs, the encoder plays an integral role by learning both global and local features and contextual representations which can be utilized for semantic output prediction by the decoder. Despite their success, the locality of convolutional layers in FCNNs, limits the capability of learning long-range spatial dependencies. Inspired by the recent success of transformers for Natural Language Processing (NLP) in long-range sequence learning, we reformulate the task of volumetric (3D) medical image segmentation as a sequence-to-sequence prediction problem. We introduce a novel architecture, dubbed as UNEt TRansformers (UNETR), that utilizes a transformer as the encoder to learn sequence representations of the input volume and effectively capture the global multi-scale information, while also following the successful "U-shaped" network design for the encoder and decoder. The transformer encoder is directly connected to a decoder via skip connections at different resolutions to compute the final semantic segmentation output. We have validated the performance of our method on the Multi Atlas Labeling Beyond The Cranial Vault (BTCV) dataset for multiorgan segmentation and the Medical Segmentation Decathlon (MSD) dataset for brain tumor and spleen segmentation tasks. Our benchmarks demonstrate new state-of-the-art performance on the BTCV leaderboard. Code: https://monai.io/research/unetr

变形金刚占据了自然语言处理领域，最近影响了计算机视觉区域。在医学图像分析领域中，变压器也已成功应用于全栈临床应用，包括图像合成/重建，注册，分割，检测和诊断。我们的论文旨在促进变压器在医学图像分析领域的认识和应用。具体而言，我们首先概述了内置在变压器和其他基本组件中的注意机制的核心概念。其次，我们回顾了针对医疗图像应用程序量身定制的各种变压器体系结构，并讨论其局限性。在这篇综述中，我们调查了围绕在不同学习范式中使用变压器，提高模型效率及其与其他技术的耦合的关键挑战。我们希望这篇评论可以为读者提供医学图像分析领域的读者的全面图片。

深层生成模型已成为检测数据中任意异常的有前途的工具，并分配了手动标记的必要性。最近，自回旋变压器在医学成像中取得了最先进的性能。但是，这些模型仍然具有一些内在的弱点，例如需要将图像建模为1D序列，在采样过程中误差的积累以及与变压器相关的显着推理时间。去核扩散概率模型是一类非自动回旋生成模型，最近显示出可以在计算机视觉中产生出色的样品（超过生成的对抗网络），并实现与变压器具有竞争力同时具有快速推理时间的对数可能性。扩散模型可以应用于自动编码器学到的潜在表示，使其易于扩展，并适用于高维数据（例如医学图像）的出色候选者。在这里，我们提出了一种基于扩散模型的方法，以检测和分段脑成像中的异常。通过在健康数据上训练模型，然后探索其在马尔可夫链上的扩散和反向步骤，我们可以识别潜在空间中的异常区域，因此可以确定像素空间中的异常情况。我们的扩散模型与一系列具有2D CT和MRI数据的实验相比，具有竞争性能，涉及合成和实际病理病变，推理时间大大减少，从而使它们的用法在临床上可行。

Transformer-based models, capable of learning better global dependencies, have recently demonstrated exceptional representation learning capabilities in computer vision and medical image analysis. Transformer reformats the image into separate patches and realize global communication via the self-attention mechanism. However, positional information between patches is hard to preserve in such 1D sequences, and loss of it can lead to sub-optimal performance when dealing with large amounts of heterogeneous tissues of various sizes in 3D medical image segmentation. Additionally, current methods are not robust and efficient for heavy-duty medical segmentation tasks such as predicting a large number of tissue classes or modeling globally inter-connected tissues structures. Inspired by the nested hierarchical structures in vision transformer, we proposed a novel 3D medical image segmentation method (UNesT), employing a simplified and faster-converging transformer encoder design that achieves local communication among spatially adjacent patch sequences by aggregating them hierarchically. We extensively validate our method on multiple challenging datasets, consisting anatomies of 133 structures in brain, 14 organs in abdomen, 4 hierarchical components in kidney, and inter-connected kidney tumors). We show that UNesT consistently achieves state-of-the-art performance and evaluate its generalizability and data efficiency. Particularly, the model achieves whole brain segmentation task complete ROI with 133 tissue classes in single network, outperforms prior state-of-the-art method SLANT27 ensembled with 27 network tiles, our model performance increases the mean DSC score of the publicly available Colin and CANDI dataset from 0.7264 to 0.7444 and from 0.6968 to 0.7025, respectively.

对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来，卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见，先前的模型主要集中在相邻像素形成的局部视觉提示上，但无法完全对远程上下文依赖性进行建模。在本文中，我们提出了一个新型的基于变压器的注意力指导网络，称为Transattunet，其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发，具有变压器自我注意力（TSA）和全球空间注意力（GSA）的自我意识注意（SAA）被纳入Transattunet中，以有效地学习编码器特征之间的非本地相互作用。此外，我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样，多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益，拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失，最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明，所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到：https：//github.com/yishuliu/transattunet。

与行业4.0的发展相一致，越来越多的关注被表面缺陷检测领域所吸引。提高效率并节省劳动力成本已稳步成为行业领域引起人们关注的问题，近年来，基于深度学习的算法比传统的视力检查方法更好。尽管现有的基于深度学习的算法偏向于监督学习，但这不仅需要大量标记的数据和大量的劳动力，而且还效率低下，并且有一定的局限性。相比之下，最近的研究表明，无监督的学习在解决视觉工业异常检测的高于缺点方面具有巨大的潜力。在这项调查中，我们总结了当前的挑战，并详细概述了最近提出的针对视觉工业异常检测的无监督算法，涵盖了五个类别，其创新点和框架详细描述了。同时，提供了包含表面图像样本的公开可用数据集的信息。通过比较不同类别的方法，总结了异常检测算法的优点和缺点。预计将协助研究社区和行业发展更广泛，更跨域的观点。

计算机愿景中的异常检测是识别偏离一组正常图像的图像的任务。一种常见的方法是培训深卷积的自动化器以覆盖图像的覆盖部分，并将输出与原始图像进行比较。仅通过训练自由异常样品，假设模型无法正确地重建异常区域。通过染色的异常检测，我们建议将信息从潜在的遥远地区纳入其中。特别是，我们将异常检测造成一种补丁染色问题，并建议用基于自我关注的方法丢弃卷曲来解决它。所提出的修复变压器（帧内）训练以在大序列图像贴片中训练覆盖贴片，从而将信息集成在输入图像的大区域上。从划痕训练时，与不使用额外培训数据的其他方法相比，Intra实现结果对MVTEC AD数据集的当前最先进的标准进行检测并将其超越分段。

Transformers have made remarkable progress towards modeling long-range dependencies within the medical image analysis domain. However, current transformer-based models suffer from several disadvantages: (1) existing methods fail to capture the important features of the images due to the naive tokenization scheme; (2) the models suffer from information loss because they only consider single-scale feature representations; and (3) the segmentation label maps generated by the models are not accurate enough without considering rich semantic contexts and anatomical textures. In this work, we present CASTformer, a novel type of adversarial transformers, for 2D medical image segmentation. First, we take advantage of the pyramid structure to construct multi-scale representations and handle multi-scale variations. We then design a novel class-aware transformer module to better learn the discriminative regions of objects with semantic structures. Lastly, we utilize an adversarial training strategy that boosts segmentation accuracy and correspondingly allows a transformer-based discriminator to capture high-level semantically correlated contents and low-level anatomical features. Our experiments demonstrate that CASTformer dramatically outperforms previous state-of-the-art transformer-based approaches on three benchmarks, obtaining 2.54%-5.88% absolute improvements in Dice over previous models. Further qualitative experiments provide a more detailed picture of the model's inner workings, shed light on the challenges in improved transparency, and demonstrate that transfer learning can greatly improve performance and reduce the size of medical image datasets in training, making CASTformer a strong starting point for downstream medical image analysis tasks.

无监督的异常检测和定位是至关重要的任务，因为不可能收集和标记所有可能的异常。许多研究强调了整合本地和全球信息以实现异常分割的重要性。为此，对变压器的兴趣越来越大，它允许对远程内容相互作用进行建模。但是，对于大多数图像量表而言，通过自我注意力的全球互动通常太贵了。在这项研究中，我们介绍了Haloae，这是第一个基于Halonet的局部2D版本的自动编码器。使用Haloae，我们创建了一个混合模型，该模型结合了卷积和局部2D块的自我发项层，并通过单个模型共同执行异常检测和分割。我们在MVTEC数据集上取得了竞争成果，表明结合变压器的视觉模型可以受益于自我发挥操作的本地计算，并为其他应用铺平道路。

目前无监督的异常本地化方法依赖于生成模型来学习正常图像的分布，后来用于识别从重建图像上的误差导出的潜在的异常区域。然而，几乎所有先前文献的主要限制是需要采用异常图像来设置特定类阈值以定位异常。这限制了它们在现实方案中的可用性，通常可以访问正常数据。尽管存在这一重大缺点，但只有少数工程才能通过整合在培训期间对关注地图的监督来解决了这一限制。在这项工作中，我们提出了一种新的制定，不需要访问异常来定义阈值的图像。此外，与最近的工作相反，所提出的约束以更具原则的方式配制，利用了在约束优化中的知名知识。特别是，在现有工作中的注意图上的平等限制由不等式约束取代，这允许更灵活性。此外，为了解决基于惩罚的函数的限制，我们使用流行的日志屏障方法的扩展来处理约束。对流行的Brats'19数据集的综合实验表明，该方法的方法显着优于相关文献，为无监督的病变细分建立了新的最先进结果。

即使自动编码器（AES）具有无标签的学习紧凑表示的理想特性，并且已广泛应用于分布式（OOD）检测，但它们通常仍然很熟悉，并且在检测正常的异常值中被错误地使用并被错误地使用。异常分布是强烈重叠的。通常，假定学习的歧管包含关键信息，这对于描述训练分布中的样本很重要，并且离群值的重建导致较高的残余错误。但是，最近的工作表明，AE在重建某些类型的OOD样品方面可能会更好。在这项工作中，我们挑战了这一假设，并研究了自动编码器在提出两个不同任务时实际学习的内容。首先，我们提出了两个基于FR \'Echet Inception距离（FID）的指标和受过训练的分类器的置信度得分，以评估AES是否可以学习训练分布并可靠地识别其他领域的样本。其次，我们研究了AE是否能够在更具挑战性的肺病理检测任务上合成来自具有异常区域样本的正常图像。我们发现，最新的（SOTA）AES要么无法限制潜在的多种流形并允许重建异常模式，要么无法准确地从其潜伏分布中恢复输入，从而导致模糊或失误的重建。 。我们提出了新型的可变形自动编码器（morphaeus）来学习感知的全局图像先验，并根据估计的致密变形场局部适应其形态法。我们在检测OOD和病理学方面表现出优于无监督方法的卓越性能。

In medical image analysis, automated segmentation of multi-component anatomical structures, which often have a spectrum of potential anomalies and pathologies, is a challenging task. In this work, we develop a multi-step approach using U-Net-based neural networks to initially detect anomalies (bone marrow lesions, bone cysts) in the distal femur, proximal tibia and patella from 3D magnetic resonance (MR) images of the knee in individuals with varying grades of osteoarthritis. Subsequently, the extracted data are used for downstream tasks involving semantic segmentation of individual bone and cartilage volumes as well as bone anomalies. For anomaly detection, the U-Net-based models were developed to reconstruct the bone profiles of the femur and tibia in images via inpainting so anomalous bone regions could be replaced with close to normal appearances. The reconstruction error was used to detect bone anomalies. A second anomaly-aware network, which was compared to anomaly-na\"ive segmentation networks, was used to provide a final automated segmentation of the femoral, tibial and patellar bones and cartilages from the knee MR images containing a spectrum of bone anomalies. The anomaly-aware segmentation approach provided up to 58% reduction in Hausdorff distances for bone segmentations compared to the results from the anomaly-na\"ive segmentation networks. In addition, the anomaly-aware networks were able to detect bone lesions in the MR images with greater sensitivity and specificity (area under the receiver operating characteristic curve [AUC] up to 0.896) compared to the anomaly-na\"ive segmentation networks (AUC up to 0.874).