精确分割器官 - 危险（OARS）是优化放射治疗计划的先驱。现有的基于深度学习的多尺度融合体系结构已显示出2D医疗图像分割的巨大能力。他们成功的关键是汇总全球环境并保持高分辨率表示。但是，当转化为3D分割问题时，由于其大量的计算开销和大量数据饮食，现有的多尺度融合体系结构可能表现不佳。为了解决此问题，我们提出了一个新的OAR分割框架，称为Oarfocalfusenet，该框架融合了多尺度功能，并采用焦点调制来捕获多个尺度的全局本地上下文。每个分辨率流都具有来自不同分辨率量表的特征，并且多尺度信息汇总到模型多样化的上下文范围。结果，功能表示将进一步增强。在我们的实验设置中与OAR分割以及多器官分割的全面比较表明，我们提出的Oarfocalfusenet在公开可用的OpenKBP数据集和Synapse Multi-Organ细分方面的最新最新方法优于最新的最新方法。在标准评估指标方面，提出的两种方法（3D-MSF和Oarfocalfusenet）均表现出色。我们的最佳性能方法（Oarfocalfusenet）在OpenKBP数据集上获得的骰子系数为0.7995，Hausdorff的距离为5.1435，而Synapse Multi-Organ分段数据集则获得了0.8137的骰子系数。

结肠镜检查是一种金标准程序，但依赖于高度操作员。已经努力自动化息肉的检测和分割，这是一种癌前前兆，以有效地减少错过率。广泛使用的通过编码器解码器驱动的计算机辅助息肉分段系统在精度方面具有高性能。然而，从各种中心收集的息肉分割数据集可以遵循不同的成像协议，导致数据分布的差异。因此，大多数方法遭受性能下降，并且需要对每个特定数据集进行重新训练。我们通过提出全局多尺度剩余融合网络（GMSRF-Net）来解决这个概括问题。我们所提出的网络在为所有分辨率尺度执行多尺度融合操作时保持高分辨率表示。为了进一步利用比例信息，我们在GMSRF-Net中设计交叉多尺度注意（CMSA）和多尺度特征选择（MSFS）模块。由CMSA和MSFS门控的重复融合操作展示了网络的改进的概括性。在两种不同的息肉分割数据集上进行的实验表明，我们提出的GMSRF-Net优于先前的最先进的方法，在骰子方面，在看不见的CVC-ClinicDB和Unseen KVasir-SEG上的前一流的最先进方法。系数。

视频胶囊内窥镜检查是计算机视觉和医学的热门话题。深度学习会对视频胶囊内窥镜技术的未来产生积极影响。它可以提高异常检测率，减少医生的筛查时间并有助于实际临床分析。视频胶囊内窥镜检查的CADX分类系统已显示出进一步改进的巨大希望。例如，检测癌性息肉和出血会导致快速的医疗反应并提高患者的存活率。为此，自动化的CADX系统必须具有较高的吞吐量和不错的精度。在本文中，我们提出了焦距，这是一个与轻量级卷积层集成的焦点调制网络，用于分类小肠解剖学地标和腔内发现。 FocalConvnet利用焦点调制以实现全球环境，并允许在整个正向通行证中进行全局本地空间相互作用。此外，具有固有的感应/学习偏置和提取分层特征的能力的卷积块使我们的焦点concalconvnet能够获得高吞吐量的有利结果。我们将焦点vnet与Kvasir-Capsule上的其他SOTA进行比较，Kvasir-Capsule是一个具有44,228帧的大型VCE数据集，具有13类不同的异常。我们提出的方法分别超过了其他SOTA方法论，加权F1得分，回忆和MCC}分别超过了其他SOTA方法。此外，我们报告了在实时临床环境中建立焦距的148.02图像/秒速率的最高吞吐量。建议的focalConvnet的代码可在https://github.com/noviceman-prog/focalconvnet上获得。

医学图像分割可以为临床分析提供详细信息，这对于发现的详细位置很重要的情况可能是有用的。了解疾病的位置可以在治疗和决策中发挥重要作用。基于卷积神经网络（CNN）的编码器 - 解码器技术具有自动化医学图像分割系统的性能。几种基于CNN的方法利用了诸如空间和渠道的技术来提高性能。近年来引起关注的另一种技术是残留致密块（RDB）。密集连接块中的连续卷积层能够用不同的接收领域提取各种特征，从而提高性能。然而，连续堆积的卷积运营商可能不一定生成有助于识别目标结构的功能。在本文中，我们提出了一种逐步的交替注意网络（PAANET）。我们开发逐步交替注意密度（Paad）块，其在密集块中的每个卷积层中使用来自所有尺度的特征构建指导注意力图（GAM）。 GAM允许密集块中的以下层集中在与目标区域相关的空间位置。每个备用Paad块都反转GAM以生成反向注意地图，指导后面的图层，以提取边界和边缘相关信息，精炼分割过程。我们对三种不同的生物医学图像分割数据集的实验表明，与其他最先进的方法相比，我们的Paanet达到了有利的性能。

U-Net and its extensions have achieved great success in medical image segmentation. However, due to the inherent local characteristics of ordinary convolution operations, U-Net encoder cannot effectively extract global context information. In addition, simple skip connections cannot capture salient features. In this work, we propose a fully convolutional segmentation network (CMU-Net) which incorporates hybrid convolutions and multi-scale attention gate. The ConvMixer module extracts global context information by mixing features at distant spatial locations. Moreover, the multi-scale attention gate emphasizes valuable features and achieves efficient skip connections. We evaluate the proposed method using both breast ultrasound datasets and a thyroid ultrasound image dataset; and CMU-Net achieves average Intersection over Union (IoU) values of 73.27% and 84.75%, and F1 scores of 84.81% and 91.71%. The code is available at https://github.com/FengheTan9/CMU-Net.

卷积神经网络（CNN）的深度学习体系结构在计算机视野领域取得了杰出的成功。 CNN构建的编码器架构U-Net在生物医学图像分割方面取得了重大突破，并且已在各种实用的情况下应用。但是，编码器部分中每个下采样层和简单堆积的卷积的平等设计不允许U-NET从不同深度提取足够的特征信息。医学图像的复杂性日益增加为现有方法带来了新的挑战。在本文中，我们提出了一个更深层，更紧凑的分裂注意U形网络（DCSAU-NET），该网络有效地利用了基于两个新颖框架的低级和高级语义信息：主要功能保护和紧凑的分裂注意力堵塞。我们评估了CVC-ClinicDB，2018 Data Science Bowl，ISIC-2018和SEGPC-2021数据集的建议模型。结果，DCSAU-NET在联合（MIOU）和F1-SOCRE的平均交点方面显示出比其他最先进的方法（SOTA）方法更好的性能。更重要的是，提出的模型在具有挑战性的图像上表现出了出色的细分性能。我们的工作代码以及更多技术细节，请访问https://github.com/xq141839/dcsau-net。

特征图的分辨率对于医学图像分割至关重要。大多数现有用于医疗图像分割的基于变压器的网络都是U-NET样体系结构，其中包含一个编码器，该编码器利用一系列变压器块将输入医疗图像从高分辨率表示形式转换为低分辨率特征图和解码器这逐渐从低分辨率特征图中恢复了高分辨率表示。与以前的研究不同，在本文中，我们利用高分辨率网络（HRNET）的网络设计样式，用变压器块替换卷积层，并从变压器块生成的不同分辨率特征图中连续交换信息。本文介绍的新基于变压器的网络表示为高分辨率SWIN Transformer网络（HRSTNET）。广泛的实验表明，HRSTNET可以与基于最新的变压器类似于脑肿瘤分割的U-NET样结构（BRATS）2021和Medical Sementation Decathlon的肝数据集实现可比的性能。 HRSTNET代码将在https://github.com/auroua/hrstnet上公开获得。

最新的语义分段方法采用具有编码器解码器架构的U-Net框架。 U-Net仍然具有挑战性，具有简单的跳过连接方案来模拟全局多尺度上下文：1）由于编码器和解码器级的不兼容功能集的问题，并非每个跳过连接设置都是有效的，甚至一些跳过连接对分割性能产生负面影响; 2）原始U-Net比某些数据集上没有任何跳过连接的U-Net更糟糕。根据我们的调查结果，我们提出了一个名为Uctransnet的新分段框架（在U-Net中的提议CTRANS模块），从引导机制的频道视角。具体地，CTRANS模块是U-NET SKIP连接的替代，其包括与变压器（命名CCT）和子模块通道 - 明智的跨关注进行多尺度信道交叉融合的子模块（命名为CCA）以指导熔融的多尺度通道 - 明智信息，以有效地连接到解码器功能以消除歧义。因此，由CCT和CCA组成的所提出的连接能够替换原始跳过连接以解决精确的自动医学图像分割的语义间隙。实验结果表明，我们的UCTRANSNET产生更精确的分割性能，并通过涉及变压器或U形框架的不同数据集和传统架构的语义分割来实现一致的改进。代码：https：//github.com/mcgregorwwwww/uctransnet。

Fully Convolutional Neural Networks (FCNNs) with contracting and expanding paths have shown prominence for the majority of medical image segmentation applications since the past decade. In FCNNs, the encoder plays an integral role by learning both global and local features and contextual representations which can be utilized for semantic output prediction by the decoder. Despite their success, the locality of convolutional layers in FCNNs, limits the capability of learning long-range spatial dependencies. Inspired by the recent success of transformers for Natural Language Processing (NLP) in long-range sequence learning, we reformulate the task of volumetric (3D) medical image segmentation as a sequence-to-sequence prediction problem. We introduce a novel architecture, dubbed as UNEt TRansformers (UNETR), that utilizes a transformer as the encoder to learn sequence representations of the input volume and effectively capture the global multi-scale information, while also following the successful "U-shaped" network design for the encoder and decoder. The transformer encoder is directly connected to a decoder via skip connections at different resolutions to compute the final semantic segmentation output. We have validated the performance of our method on the Multi Atlas Labeling Beyond The Cranial Vault (BTCV) dataset for multiorgan segmentation and the Medical Segmentation Decathlon (MSD) dataset for brain tumor and spleen segmentation tasks. Our benchmarks demonstrate new state-of-the-art performance on the BTCV leaderboard. Code: https://monai.io/research/unetr

Recently, many attempts have been made to construct a transformer base U-shaped architecture, and new methods have been proposed that outperformed CNN-based rivals. However, serious problems such as blockiness and cropped edges in predicted masks remain because of transformers' patch partitioning operations. In this work, we propose a new U-shaped architecture for medical image segmentation with the help of the newly introduced focal modulation mechanism. The proposed architecture has asymmetric depths for the encoder and decoder. Due to the ability of the focal module to aggregate local and global features, our model could simultaneously benefit the wide receptive field of transformers and local viewing of CNNs. This helps the proposed method balance the local and global feature usage to outperform one of the most powerful transformer-based U-shaped models called Swin-UNet. We achieved a 1.68% higher DICE score and a 0.89 better HD metric on the Synapse dataset. Also, with extremely limited data, we had a 4.25% higher DICE score on the NeoPolyp dataset. Our implementations are available at: https://github.com/givkashi/Focal-UNet

卷积神经网络（CNN）已成为医疗图像分割任务的共识。但是，由于卷积操作的性质，它们在建模长期依赖性和空间相关性时受到限制。尽管最初开发了变压器来解决这个问题，但它们未能捕获低级功能。相比之下，证明本地和全球特征对于密集的预测至关重要，例如在具有挑战性的环境中细分。在本文中，我们提出了一种新型方法，该方法有效地桥接了CNN和用于医学图像分割的变压器。具体而言，我们使用开创性SWIN变压器模块和一个基于CNN的编码器设计两个多尺度特征表示。为了确保从上述两个表示获得的全局和局部特征的精细融合，我们建议在编码器编码器结构的跳过连接中提出一个双层融合（DLF）模块。在各种医学图像分割数据集上进行的广泛实验证明了Hiformer在计算复杂性以及定量和定性结果方面对其他基于CNN的，基于变压器和混合方法的有效性。我们的代码可在以下网址公开获取：https：//github.com/amirhossein-kz/hiformer

对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来，卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见，先前的模型主要集中在相邻像素形成的局部视觉提示上，但无法完全对远程上下文依赖性进行建模。在本文中，我们提出了一个新型的基于变压器的注意力指导网络，称为Transattunet，其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发，具有变压器自我注意力（TSA）和全球空间注意力（GSA）的自我意识注意（SAA）被纳入Transattunet中，以有效地学习编码器特征之间的非本地相互作用。此外，我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样，多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益，拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失，最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明，所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到：https：//github.com/yishuliu/transattunet。

计算机辅助医学图像分割已广泛应用于诊断和治疗，以获得靶器官和组织的形状和体积的临床有用信息。在过去的几年中，基于卷积神经网络（CNN）的方法（例如，U-Net）占主导地位，但仍遭受了不足的远程信息捕获。因此，最近的工作提出了用于医学图像分割任务的计算机视觉变压器变体，并获得了有希望的表现。这种变压器通过计算配对贴片关系来模拟远程依赖性。然而，它们促进了禁止的计算成本，尤其是在3D医学图像（例如，CT和MRI）上。在本文中，我们提出了一种称为扩张变压器的新方法，该方法在本地和全球范围内交替捕获的配对贴片关系进行自我关注。灵感来自扩张卷积核，我们以扩张的方式进行全球自我关注，扩大接收领域而不增加所涉及的斑块，从而降低计算成本。基于这种扩展变压器的设计，我们构造了一个用于3D医学图像分割的U形编码器解码器分层体系结构。 Synapse和ACDC数据集的实验表明，我们的D-Ager Model从头开始培训，以低计算成本从划痕训练，优于各种竞争力的CNN或基于变压器的分段模型，而不耗时的每训练过程。

多年来，卷积神经网络（CNN）已成为多种计算机视觉任务的事实上的标准。尤其是，基于开创性体系结构（例如具有跳过连接的U形模型）或具有金字塔池的Artous卷积的深度神经网络已针对广泛的医学图像分析任务量身定制。此类架构的主要优点是它们容易拘留多功能本地功能。然而，作为一般共识，CNN无法捕获由于卷积操作的固有性能的内在特性而捕获长期依赖性和空间相关性。另外，从全球信息建模中获利的变压器源于自我发项机制，最近在自然语言处理和计算机视觉方面取得了出色的表现。然而，以前的研究证明，局部和全局特征对于密集预测的深层模型至关重要，例如以不同的形状和配置对复杂的结构进行分割。为此，本文提出了TransDeeplab，这是一种新型的DeepLab样纯变压器，用于医学图像分割。具体而言，我们用移动的窗口利用层次旋转式变形器来扩展DeepLabV3并建模非常有用的空间金字塔池（ASPP）模块。对相关文献的彻底搜索结果是，我们是第一个用基于纯变压器模型对开创性DeepLab模型进行建模的人。关于各种医学图像分割任务的广泛实验证明，我们的方法在视觉变压器和基于CNN的方法的合并中表现出色或与大多数当代作品相提并论，并显着降低了模型复杂性。代码和训练有素的模型可在https://github.com/rezazad68/transdeeplab上公开获得

在过去的几年中，卷积神经网络（CNN），尤其是U-NET，一直是医学图像处理时代的流行技术。具体而言，开创性的U-NET及其替代方案成功地设法解决了各种各样的医学图像分割任务。但是，这些体系结构在本质上是不完美的，因为它们无法表现出长距离相互作用和空间依赖性，从而导致具有可变形状和结构的医学图像分割的严重性能下降。针对序列到序列预测的初步提议的变压器已成为替代体系结构，以精确地模拟由自我激进机制辅助的全局信息。尽管设计了可行的设计，但利用纯变压器来进行图像分割目的，可能导致限制的定位容量，导致低级功能不足。因此，一系列研究旨在设计基于变压器的U-NET的强大变体。在本文中，我们提出了Trans-Norm，这是一种新型的深层分割框架，它随同将变压器模块合并为标准U-NET的编码器和跳过连接。我们认为，跳过连接的方便设计对于准确的分割至关重要，因为它可以帮助扩展路径和收缩路径之间的功能融合。在这方面，我们从变压器模块中得出了一种空间归一化机制，以适应性地重新校准跳过连接路径。对医学图像分割的三个典型任务进行了广泛的实验，证明了透气的有效性。代码和训练有素的模型可在https://github.com/rezazad68/transnorm上公开获得。

精确可靠地分割医学图像对于疾病诊断和治疗是重要的。由于各种各样的物体尺寸，形状和扫​​描方式，这是一个具有挑战性的任务。最近，许多卷积神经网络（CNN）设计用于分割任务，取得了巨大的成功。然而，很少有研究完全考虑了物体的大小，因此大多数表现出对小物体分割的分割的性能不佳。这对早期检测疾病产生重大影响。本文提出了一种上下文轴向储备注意网络（Caranet），与最近最先进的模型相比，在小对象上提高小物体的分割性能。我们在脑肿瘤（Brats 2018）和息肉（Kvasir-Seg，CVC-Colondb，CVC-ClinicDB，CVC-300和ETIS-LaribpolypdB）进行测试。我们的加麻不仅达到了顶级的骰子分割精度，而且还显示出小医疗物体的分割的明显优势。

作为新一代神经体系结构的变形金刚在自然语言处理和计算机视觉方面表现出色。但是，现有的视觉变形金刚努力使用有限的医学数据学习，并且无法概括各种医学图像任务。为了应对这些挑战，我们将Medformer作为数据量表变压器呈现为可推广的医学图像分割。关键设计结合了理想的电感偏差，线性复杂性的层次建模以及以空间和语义全局方式以线性复杂性的关注以及多尺度特征融合。 Medformer可以在不预训练的情况下学习微小至大规模的数据。广泛的实验表明，Medformer作为一般分割主链的潜力，在三个具有多种模式（例如CT和MRI）和多样化的医学靶标（例如，健康器官，疾病，疾病组织和肿瘤）的三个公共数据集上优于CNN和视觉变压器。我们将模型和评估管道公开可用，为促进广泛的下游临床应用提供固体基线和无偏比较。

Achieving accurate and automated tumor segmentation plays an important role in both clinical practice and radiomics research. Segmentation in medicine is now often performed manually by experts, which is a laborious, expensive and error-prone task. Manual annotation relies heavily on the experience and knowledge of these experts. In addition, there is much intra- and interobserver variation. Therefore, it is of great significance to develop a method that can automatically segment tumor target regions. In this paper, we propose a deep learning segmentation method based on multimodal positron emission tomography-computed tomography (PET-CT), which combines the high sensitivity of PET and the precise anatomical information of CT. We design an improved spatial attention network(ISA-Net) to increase the accuracy of PET or CT in detecting tumors, which uses multi-scale convolution operation to extract feature information and can highlight the tumor region location information and suppress the non-tumor region location information. In addition, our network uses dual-channel inputs in the coding stage and fuses them in the decoding stage, which can take advantage of the differences and complementarities between PET and CT. We validated the proposed ISA-Net method on two clinical datasets, a soft tissue sarcoma(STS) and a head and neck tumor(HECKTOR) dataset, and compared with other attention methods for tumor segmentation. The DSC score of 0.8378 on STS dataset and 0.8076 on HECKTOR dataset show that ISA-Net method achieves better segmentation performance and has better generalization. Conclusions: The method proposed in this paper is based on multi-modal medical image tumor segmentation, which can effectively utilize the difference and complementarity of different modes. The method can also be applied to other multi-modal data or single-modal data by proper adjustment.

基于CNN的方法已经实现了医学图像分割的令人印象深刻的结果，但由于卷积操作的内在局部，它们未能捕获远程依赖性。基于变压器的方法最近在愿景任务中流行，因为它们的远程依赖性和有希望的性能。但是，它缺乏建模本地背景。本文以医学图像分割为例，我们呈现了MissFormer，一种有效和强大的医学图像分割变压器。 MissFormer是具有两个吸引人设计的分层编码器 - 解码器网络：1）通过所提出的增强型变压器块重新设计前馈网络，该熵增强了远程依赖性并补充本地上下文，使得该特征更加辨别。 2）我们提出了增强的变压器上下文网桥，与以前的模拟全局信息的方法不同，所提出的上下文网桥与增强变压器块提取了由我们的层级变压器编码器产生的多尺度特征的远程依赖性和本地语境。由这两个设计驱动，MissFormer显示了捕获更多辨别性依赖性和在医学图像分割中的识别依赖性和上下文的牢固能力。多器官和心脏分割任务的实验表明了我们的错过更优越性，有效性和稳健性，训练了从划伤的痕迹甚至高于想象的最先进方法。核心设计可以推广到其他视觉分段任务。代码已在GitHub上发布：https://github.com/zhifangdeng/missformer

最近，已经开发了各种视觉变压器作为对远程依赖性建模的能力。在当前的基于变压器的主骨用于医疗图像分割的骨架中，卷积层被纯变压器替换，或者将变压器添加到最深的编码器中以学习全球环境。但是，从规模的角度来看，主要有两个挑战：（1）尺度内问题：在每个尺度中提取局部全球线索所缺乏的现有方法，这可能会影响小物体的信号传播； （2）尺度间问题：现有方法未能从多个量表中探索独特的信息，这可能会阻碍表示尺寸，形状和位置广泛的对象的表示形式学习。为了解决这些局限性，我们提出了一个新颖的骨干，即比例尺形式，具有两个吸引人的设计：（1）尺度上的尺度内变压器旨在将基于CNN的本地功能与每个尺度中的基于变压器的全球线索相结合，在行和列的全局依赖项上可以通过轻巧的双轴MSA提取。 （2）一种简单有效的空间感知尺度变压器旨在以多个尺度之间的共识区域相互作用，该区域可以突出跨尺度依赖性并解决复杂量表的变化。对不同基准测试的实验结果表明，我们的尺度形式的表现优于当前最新方法。该代码可公开可用：https：//github.com/zjugivelab/scaleformer。