结肠镜检查是一种金标准程序,但依赖于高度操作员。已经努力自动化息肉的检测和分割,这是一种癌前前兆,以有效地减少错过率。广泛使用的通过编码器解码器驱动的计算机辅助息肉分段系统在精度方面具有高性能。然而,从各种中心收集的息肉分割数据集可以遵循不同的成像协议,导致数据分布的差异。因此,大多数方法遭受性能下降,并且需要对每个特定数据集进行重新训练。我们通过提出全局多尺度剩余融合网络(GMSRF-Net)来解决这个概括问题。我们所提出的网络在为所有分辨率尺度执行多尺度融合操作时保持高分辨率表示。为了进一步利用比例信息,我们在GMSRF-Net中设计交叉多尺度注意(CMSA)和多尺度特征选择(MSFS)模块。由CMSA和MSFS门控的重复融合操作展示了网络的改进的概括性。在两种不同的息肉分割数据集上进行的实验表明,我们提出的GMSRF-Net优于先前的最先进的方法,在骰子方面,在看不见的CVC-ClinicDB和Unseen KVasir-SEG上的前一流的最先进方法。系数。
translated by 谷歌翻译
医学图像分割可以为临床分析提供详细信息,这对于发现的详细位置很重要的情况可能是有用的。了解疾病的位置可以在治疗和决策中发挥重要作用。基于卷积神经网络(CNN)的编码器 - 解码器技术具有自动化医学图像分割系统的性能。几种基于CNN的方法利用了诸如空间和渠道的技术来提高性能。近年来引起关注的另一种技术是残留致密块(RDB)。密集连接块中的连续卷积层能够用不同的接收领域提取各种特征,从而提高性能。然而,连续堆积的卷积运营商可能不一定生成有助于识别目标结构的功能。在本文中,我们提出了一种逐步的交替注意网络(PAANET)。我们开发逐步交替注意密度(Paad)块,其在密集块中的每个卷积层中使用来自所有尺度的特征构建指导注意力图(GAM)。 GAM允许密集块中的以下层集中在与目标区域相关的空间位置。每个备用Paad块都反转GAM以生成反向注意地图,指导后面的图层,以提取边界和边缘相关信息,精炼分割过程。我们对三种不同的生物医学图像分割数据集的实验表明,与其他最先进的方法相比,我们的Paanet达到了有利的性能。
translated by 谷歌翻译
精确分割器官 - 危险(OARS)是优化放射治疗计划的先驱。现有的基于深度学习的多尺度融合体系结构已显示出2D医疗图像分割的巨大能力。他们成功的关键是汇总全球环境并保持高分辨率表示。但是,当转化为3D分割问题时,由于其大量的计算开销和大量数据饮食,现有的多尺度融合体系结构可能表现不佳。为了解决此问题,我们提出了一个新的OAR分割框架,称为Oarfocalfusenet,该框架融合了多尺度功能,并采用焦点调制来捕获多个尺度的全局本地上下文。每个分辨率流都具有来自不同分辨率量表的特征,并且多尺度信息汇总到模型多样化的上下文范围。结果,功能表示将进一步增强。在我们的实验设置中与OAR分割以及多器官分割的全面比较表明,我们提出的Oarfocalfusenet在公开可用的OpenKBP数据集和Synapse Multi-Organ细分方面的最新最新方法优于最新的最新方法。在标准评估指标方面,提出的两种方法(3D-MSF和Oarfocalfusenet)均表现出色。我们的最佳性能方法(Oarfocalfusenet)在OpenKBP数据集上获得的骰子系数为0.7995,Hausdorff的距离为5.1435,而Synapse Multi-Organ分段数据集则获得了0.8137的骰子系数。
translated by 谷歌翻译
通过结肠镜检查检测和去除癌前息肉是预防全球结直肠癌的主要技术。然而,内镜医生的结直肠息肉率差异很大。众所周知,计算机辅助诊断(CAD)系统可以帮助内窥镜检测结肠息肉并最大程度地减少内镜医生之间的变化。在这项研究中,我们介绍了一种新颖的深度学习体系结构,称为{\ textbf {mkdcnet}},以自动息肉分割鲁棒性,以鲁棒性数据分布的重大变化。 MKDCNET只是一个编码器decoder神经网络,它使用预先训练的\ textIt {resnet50}作为编码器和小说\ textit {多个内核扩张卷积(MKDC)}块,可以扩展更多的观点,以了解更多强大的和异性的表示形式。对四个公开息肉数据集和细胞核数据集进行的广泛实验表明,当在从不同分布中对未见息肉数据进行测试时,在对同一数据集进行训练和测试时,所提出的MKDCNET在同一数据集进行训练和测试时,超出了最先进的方法。取得丰富的结果,我们证明了拟议的建筑的鲁棒性。从效率的角度来看,我们的算法可以在RTX 3090 GPU上以每秒($ \ of45 $)帧进行处理。 MKDCNET可能是建造临床结肠镜检查实时系统的强大基准。建议的MKDCNET的代码可在\ url {https://github.com/nikhilroxtomar/mkdcnet}上获得。
translated by 谷歌翻译
Camouflaged object detection (COD) aims to detect/segment camouflaged objects embedded in the environment, which has attracted increasing attention over the past decades. Although several COD methods have been developed, they still suffer from unsatisfactory performance due to the intrinsic similarities between the foreground objects and background surroundings. In this paper, we propose a novel Feature Aggregation and Propagation Network (FAP-Net) for camouflaged object detection. Specifically, we propose a Boundary Guidance Module (BGM) to explicitly model the boundary characteristic, which can provide boundary-enhanced features to boost the COD performance. To capture the scale variations of the camouflaged objects, we propose a Multi-scale Feature Aggregation Module (MFAM) to characterize the multi-scale information from each layer and obtain the aggregated feature representations. Furthermore, we propose a Cross-level Fusion and Propagation Module (CFPM). In the CFPM, the feature fusion part can effectively integrate the features from adjacent layers to exploit the cross-level correlations, and the feature propagation part can transmit valuable context information from the encoder to the decoder network via a gate unit. Finally, we formulate a unified and end-to-end trainable framework where cross-level features can be effectively fused and propagated for capturing rich context information. Extensive experiments on three benchmark camouflaged datasets demonstrate that our FAP-Net outperforms other state-of-the-art COD models. Moreover, our model can be extended to the polyp segmentation task, and the comparison results further validate the effectiveness of the proposed model in segmenting polyps. The source code and results will be released at https://github.com/taozh2017/FAPNet.
translated by 谷歌翻译
Colonoscopy, currently the most efficient and recognized colon polyp detection technology, is necessary for early screening and prevention of colorectal cancer. However, due to the varying size and complex morphological features of colonic polyps as well as the indistinct boundary between polyps and mucosa, accurate segmentation of polyps is still challenging. Deep learning has become popular for accurate polyp segmentation tasks with excellent results. However, due to the structure of polyps image and the varying shapes of polyps, it is easy for existing deep learning models to overfit the current dataset. As a result, the model may not process unseen colonoscopy data. To address this, we propose a new state-of-the-art model for medical image segmentation, the SSFormer, which uses a pyramid Transformer encoder to improve the generalization ability of models. Specifically, our proposed Progressive Locality Decoder can be adapted to the pyramid Transformer backbone to emphasize local features and restrict attention dispersion. The SSFormer achieves stateof-the-art performance in both learning and generalization assessment.
translated by 谷歌翻译
大多数息肉分段方法使用CNNS作为其骨干,导致在编码器和解码器之间的信息交换信息时的两个关键问题:1)考虑到不同级别特征之间的贡献的差异; 2)设计有效机制,以融合这些功能。不同于现有的基于CNN的方法,我们采用了一个变压器编码器,它学会了更强大和强大的表示。此外,考虑到息肉的图像采集影响和难以实现的性质,我们介绍了三种新模块,包括级联融合模块(CFM),伪装识别模块(CIM),A和相似性聚集模块(SAM)。其中,CFM用于从高级功能收集息肉的语义和位置信息,而CIM应用于在低级功能中伪装的息肉信息。在SAM的帮助下,我们将息肉区域的像素特征扩展到整个息肉区域的高电平语义位置信息,从而有效地融合了交叉级别特征。所提出的模型名为Polyp-PVT,有效地抑制了特征中的噪声,并显着提高了他们的表现力。在五个广泛采用的数据集上进行了广泛的实验表明,所提出的模型对各种具有挑战性的情况(例如,外观变化,小物体)比现有方法更加强大,并实现了新的最先进的性能。拟议的模型可在https://github.com/dengpingfan/polyp-pvt获得。
translated by 谷歌翻译
结肠直肠癌(CRC)是世界上最常见的致命癌症之一。果切除术可以有效地中断腺瘤的进展到腺癌,从而降低了CRC发育的风险。结肠镜检查是找到结肠息肉的主要方法。然而,由于息肉的不同尺寸和息肉和周围的粘膜之间的阴影不明确,因此精确地对分段息肉挑战。为了解决这个问题,我们设计了一个用于精确的息肉分割的边界分布引导网络(BDG-Net)。具体地,在理想边界分布图(BDM)的监督下,我们使用边界分布生成模块(BDGM)来聚合高级功能并生成BDM。然后,BDM被发送到边界分布引导解码器(BDGD)作为互补空间信息以引导息肉分割。此外,BDGD采用了多尺度特征交互策略,以提高不同尺寸的息肉的分割精度。广泛的定量和定性评估展示了我们模型的有效性,这在五个公共息肉数据集上显着优于最先进的模型,同时保持低计算复杂性。
translated by 谷歌翻译
卷积神经网络(CNN)的深度学习体系结构在计算机视野领域取得了杰出的成功。 CNN构建的编码器架构U-Net在生物医学图像分割方面取得了重大突破,并且已在各种实用的情况下应用。但是,编码器部分中每个下采样层和简单堆积的卷积的平等设计不允许U-NET从不同深度提取足够的特征信息。医学图像的复杂性日益增加为现有方法带来了新的挑战。在本文中,我们提出了一个更深层,更紧凑的分裂注意U形网络(DCSAU-NET),该网络有效地利用了基于两个新颖框架的低级和高级语义信息:主要功能保护和紧凑的分裂注意力堵塞。我们评估了CVC-ClinicDB,2018 Data Science Bowl,ISIC-2018和SEGPC-2021数据集的建议模型。结果,DCSAU-NET在联合(MIOU)和F1-SOCRE的平均交点方面显示出比其他最先进的方法(SOTA)方法更好的性能。更重要的是,提出的模型在具有挑战性的图像上表现出了出色的细分性能。我们的工作代码以及更多技术细节,请访问https://github.com/xq141839/dcsau-net。
translated by 谷歌翻译
Transformer-based models have been widely demonstrated to be successful in computer vision tasks by modelling long-range dependencies and capturing global representations. However, they are often dominated by features of large patterns leading to the loss of local details (e.g., boundaries and small objects), which are critical in medical image segmentation. To alleviate this problem, we propose a Dual-Aggregation Transformer Network called DuAT, which is characterized by two innovative designs, namely, the Global-to-Local Spatial Aggregation (GLSA) and Selective Boundary Aggregation (SBA) modules. The GLSA has the ability to aggregate and represent both global and local spatial features, which are beneficial for locating large and small objects, respectively. The SBA module is used to aggregate the boundary characteristic from low-level features and semantic information from high-level features for better preserving boundary details and locating the re-calibration objects. Extensive experiments in six benchmark datasets demonstrate that our proposed model outperforms state-of-the-art methods in the segmentation of skin lesion images, and polyps in colonoscopy images. In addition, our approach is more robust than existing methods in various challenging situations such as small object segmentation and ambiguous object boundaries.
translated by 谷歌翻译
结直肠癌(CRC)是全球癌症和与癌症有关的死亡率最常见的原因之一。及时进行结肠癌筛查是早期发现的关键。结肠镜检查是用于诊断结肠癌的主要方式。然而,息肉,腺瘤和晚期腺瘤的错率仍然很高。在癌前阶段对息肉的早期发现可以帮助减少死亡率和与结直肠癌相关的经济负担。基于深度学习的计算机辅助诊断(CADX)系统可能会帮助胃肠病学家识别可能遗漏的息肉,从而提高息肉检测率。此外,CADX系统可能被证明是一种具有成本效益的系统,可改善长期结直肠癌的预防。在这项研究中,我们提出了一种基于学习的深度架构,用于自动息肉分割,称为变压器resu-net(Transresu-net)。我们提出的架构建立在带有Resnet-50作为骨架的残留块上,并利用变压器自我发项机制以及扩张的卷积。我们对两个公开息肉分割基准数据集的实验结果表明,Transresu-net获得了高度有希望的骰子得分和实时速度。在我们的性能指标中,我们得出的结论是,Transresu-NET可能是建立实时息肉检测系统的强大基准,用于早期诊断,治疗和预防结直肠癌。拟议的transun-net的源代码可在https://github.com/nikhilroxtomar/transresunet上公开获得。
translated by 谷歌翻译
跨不同层的特征的聚合信息是密集预测模型的基本操作。尽管表现力有限,但功能级联占主导地位聚合运营的选择。在本文中,我们引入了细分特征聚合(AFA),以融合不同的网络层,具有更具表现力的非线性操作。 AFA利用空间和渠道注意,以计算层激活的加权平均值。灵感来自神经体积渲染,我们将AFA扩展到规模空间渲染(SSR),以执行多尺度预测的后期融合。 AFA适用于各种现有网络设计。我们的实验表明了对挑战性的语义细分基准,包括城市景观,BDD100K和Mapillary Vistas的一致而显着的改进,可忽略不计的计算和参数开销。特别是,AFA改善了深层聚集(DLA)模型在城市景观上的近6%Miou的性能。我们的实验分析表明,AFA学会逐步改进分割地图并改善边界细节,导致新的最先进结果对BSDS500和NYUDV2上的边界检测基准。在http://vis.xyz/pub/dla-afa上提供代码和视频资源。
translated by 谷歌翻译
文本独立作者识别是一个具有挑战性的问题,区分不同的笔迹样式来决定手写文本的作者。早期的作家识别依赖于手工制作的功能来揭示作家之间的差异。近期与卷积神经网络的出现,基于深度学习的方法已经发展。在本文中,提出了三种不同的深度学习技术 - 空间注意机制,多尺度特征融合和基于补丁的CNN,以有效地捕获每个作家手写之间的差异。我们的方法基于手写文本图像具有对作家风格更独特的特定空间区域的假设,多尺度特征在各个作家和基于补丁的功能方面传播特征特征,提供更多的一般和强大的表示有助于区分不同作家的笔迹。所提出的方法在三个公开的数据集 - CVL,Firemaker,CETUB-ZEN数据集中优于单词级和页面级写入方法的各种最先进的方法,并在IAM数据集中给出可比性的性能。
translated by 谷歌翻译
现代的高性能语义分割方法采用沉重的主链和扩张的卷积来提取相关特征。尽管使用上下文和语义信息提取功能对于分割任务至关重要,但它为实时应用程序带来了内存足迹和高计算成本。本文提出了一种新模型,以实现实时道路场景语义细分的准确性/速度之间的权衡。具体来说,我们提出了一个名为“比例吸引的条带引导特征金字塔网络”(s \ textsuperscript {2} -fpn)的轻巧模型。我们的网络由三个主要模块组成:注意金字塔融合(APF)模块,比例吸引条带注意模块(SSAM)和全局特征Upsample(GFU)模块。 APF采用了注意力机制来学习判别性多尺度特征,并有助于缩小不同级别之间的语义差距。 APF使用量表感知的关注来用垂直剥离操作编码全局上下文,并建模长期依赖性,这有助于将像素与类似的语义标签相关联。此外,APF还采用频道重新加权块(CRB)来强调频道功能。最后,S \ TextSuperScript {2} -fpn的解码器然后采用GFU,该GFU用于融合APF和编码器的功能。已经对两个具有挑战性的语义分割基准进行了广泛的实验,这表明我们的方法通过不同的模型设置实现了更好的准确性/速度权衡。提出的模型已在CityScapes Dataset上实现了76.2 \%miou/87.3fps,77.4 \%miou/67fps和77.8 \%miou/30.5fps,以及69.6 \%miou,71.0 miou,71.0 \%miou,和74.2 \%\%\%\%\%\%。 miou在Camvid数据集上。这项工作的代码将在\ url {https://github.com/mohamedac29/s2-fpn提供。
translated by 谷歌翻译
语义分割是自主车辆了解周围场景的关键技术。当代模型的吸引力表现通常以牺牲重计算和冗长的推理时间为代价,这对于自行车来说是无法忍受的。在低分辨率图像上使用轻量级架构(编码器 - 解码器或双路)或推理,最近的方法实现了非常快的场景解析,即使在单个1080TI GPU上以100多件FPS运行。然而,这些实时方法与基于扩张骨架的模型之间的性能仍有显着差距。为了解决这个问题,我们提出了一家专门为实时语义细分设计的高效底座。所提出的深层双分辨率网络(DDRNET)由两个深部分支组成,之间进行多个双边融合。此外,我们设计了一个名为Deep聚合金字塔池(DAPPM)的新上下文信息提取器,以基于低分辨率特征映射放大有效的接收字段和熔丝多尺度上下文。我们的方法在城市景观和Camvid数据集上的准确性和速度之间实现了新的最先进的权衡。特别是,在单一的2080Ti GPU上,DDRNET-23-Slim在Camvid测试组上的Citycapes试验组102 FPS上的102 FPS,74.7%Miou。通过广泛使用的测试增强,我们的方法优于最先进的模型,需要计算得多。 CODES和培训的型号在线提供。
translated by 谷歌翻译
由于不规则的形状,正常和感染组织之间的各种尺寸和无法区分的边界,仍然是一种具有挑战性的任务,可以准确地在CT图像上进行Covid-19的感染病变。在本文中,提出了一种新的分段方案,用于通过增强基于编码器 - 解码器架构的不同级别的监督信息和融合多尺度特征映射来感染Covid-19。为此,提出了深入的协作监督(共同监督)计划,以指导网络学习边缘和语义的特征。更具体地,首先设计边缘监控模块(ESM),以通过将边缘监督信息结合到初始阶段的下采样的初始阶段来突出显示低电平边界特征。同时,提出了一种辅助语义监督模块(ASSM)来加强通过将掩码监督信息集成到稍后阶段来加强高电平语义信息。然后,通过使用注意机制来扩展高级和低电平特征映射之间的语义间隙,开发了一种注意融合模块(AFM)以融合不同级别的多个规模特征图。最后,在四个各种Covid-19 CT数据集上证明了所提出的方案的有效性。结果表明,提出的三个模块都是有希望的。基于基线(RESUNT),单独使用ESM,ASSM或AFM可以分别将骰子度量增加1.12 \%,1.95 \%,1.63 \%,而在我们的数据集中,通过将三个模型结合在一起可以上升3.97 \% 。与各个数据集的现有方法相比,所提出的方法可以在某些主要指标中获得更好的分段性能,并可实现最佳的泛化和全面的性能。
translated by 谷歌翻译
皮肤镜图像中的皮肤病变检测对于通过计算机化设备对皮肤癌的准确和早期诊断至关重要。当前的皮肤病变细分方法在具有挑战性的环境中表现出较差的性能,例如不明显的病变边界,病变和周围区域之间的对比度低,或导致皮肤病变分割的异质背景。为了准确识别邻近区域的病变,我们提出了基于卷积分解的扩张尺度特征融合网络。我们的网络旨在同时提取不同尺度的功能,这些功能是系统地融合的,以更好地检测。提出的模型具有令人满意的精度和效率。进行病变分割的各种实验以及与最新模型的比较。我们提出的模型始终展示最先进的结果。
translated by 谷歌翻译
编码器 - 解码器模型已广泛用于RGBD语义分割,并且大多数通过双流网络设计。通常,共同推理RGBD的颜色和几何信息是有益的对语义分割。然而,大多数现有方法都无法全面地利用编码器和解码器中的多模式信息。在本文中,我们提出了一种用于RGBD语义细分的新型关注的双重监督解码器。在编码器中,我们设计一个简单但有效的关注的多模式融合模块,以提取和保险丝深度多级成对的互补信息。要了解更强大的深度表示和丰富的多模态信息,我们介绍了一个双分支解码器,以有效利用不同任务的相关性和互补线。在Nyudv2和Sun-RGBD数据集上的广泛实验表明,我们的方法达到了最先进的方法的卓越性能。
translated by 谷歌翻译
对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来,卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见,先前的模型主要集中在相邻像素形成的局部视觉提示上,但无法完全对远程上下文依赖性进行建模。在本文中,我们提出了一个新型的基于变压器的注意力指导网络,称为Transattunet,其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发,具有变压器自我注意力(TSA)和全球空间注意力(GSA)的自我意识注意(SAA)被纳入Transattunet中,以有效地学习编码器特征之间的非本地相互作用。此外,我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样,多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益,拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失,最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明,所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到:https://github.com/yishuliu/transattunet。
translated by 谷歌翻译
面部超分辨率方法的性能依赖于它们有效地收回面部结构和突出特征的能力。尽管卷积神经网络和基于生成的对抗网络的方法在面对幻觉任务中提供令人印象深刻的性能,但使用与低分辨率图像相关的属性来提高性能的能力是不令人满意的。在本文中,我们提出了一种属性引导的注意力发生抗体网络,该受体对抗网络采用新的属性引导的注意力(AGA)模块来识别和聚焦图像中各种面部特征的生成过程。堆叠多个AGA模块可以恢复高电平的高级面部结构。我们设计鉴别者来学习利用高分辨率图像与其相应的面部属性注释之间关系的鉴别特征。然后,我们探索基于U-Net的架构来改进现有预测并综合进一步的面部细节。跨越几个指标的广泛实验表明,我们的AGA-GaN和Aga-GaN + U-Net框架优于其他几种最先进的幻觉的方法。我们还演示了我们的方法的可行性,当每个属性描述符未知并因此建立其在真实情景中的应用程序时。
translated by 谷歌翻译