晶体中砂岩的晶粒分割从其周围基质/水泥划分薄片是计算机辅助矿物识别和砂岩分类的主要步骤。砂岩的显微图像含有许多矿物颗粒及其周围的基质/水泥。相邻谷物和基质之间的区别通常是模糊的，使晶粒分割困难。文献中存在各种解决方案来处理这些问题;然而，他们对砂岩岩画的不同模式并不强大。在本文中，我们将谷物分割制定为像素 - 明智的两类（即谷物和背景）语义分割任务。我们开发一个基于深度学习的端到端培训框架，名为Deep语义粒度分割网络（DSGSN），数据驱动方法，提供通用解决方案。根据作者的知识，这是探索深度神经网络来解决谷物分割问题的第一个工作。对微观图像的广泛实验强调我们的方法比具有更多参数的各种分段架构获得更好的分割精度。

Image segmentation is a key topic in image processing and computer vision with applications such as scene understanding, medical image analysis, robotic perception, video surveillance, augmented reality, and image compression, among many others. Various algorithms for image segmentation have been developed in the literature. Recently, due to the success of deep learning models in a wide range of vision applications, there has been a substantial amount of works aimed at developing image segmentation approaches using deep learning models. In this survey, we provide a comprehensive review of the literature at the time of this writing, covering a broad spectrum of pioneering works for semantic and instance-level segmentation, including fully convolutional pixel-labeling networks, encoder-decoder architectures, multi-scale and pyramid based approaches, recurrent networks, visual attention models, and generative models in adversarial settings. We investigate the similarity, strengths and challenges of these deep learning models, examine the most widely used datasets, report performances, and discuss promising future research directions in this area.

组织学图像中核和腺体的实例分割是用于癌症诊断，治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现，大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增，重点是特定领域的挑战，这对于技术进步和临床翻译至关重要。在这项调查中，深入分析了过去五年（2017-2022）中发表的原子核和腺体实例细分的126篇论文，进行了深入分析，讨论了当前方法的局限性和公开挑战。此外，提出了潜在的未来研究方向，并总结了最先进方法的贡献。此外，还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外，我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法，从而可以改善诊断，分级，预后和癌症的治疗计划。据我们所知，以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。

由于图像的复杂性和活细胞的时间变化，来自明亮场光显微镜图像的活细胞分割具有挑战性。最近开发的基于深度学习（DL）的方法由于其成功和有希望的结果而在医学和显微镜图像分割任务中变得流行。本文的主要目的是开发一种基于U-NET的深度学习方法，以在明亮场传输光学显微镜中分割HeLa系的活细胞。为了找到适合我们数据集的最合适的体系结构，提出了剩余的注意U-net，并将其与注意力和简单的U-NET体系结构进行了比较。注意机制突出了显着的特征，并抑制了无关图像区域中的激活。残余机制克服了消失的梯度问题。对于简单，注意力和剩余的关注U-NET，我们数据集的平均值得分分别达到0.9505、0.9524和0.9530。通过将残留和注意机制应用在一起，在平均值和骰子指标中实现了最准确的语义分割结果。应用的分水岭方法适用于这种最佳的（残留的关注）语义分割结果，使每个单元格的特定信息进行了分割。

不工会是骨科诊所面临的针对技术困难和高成本拍摄骨间毛细血管面临的挑战之一。细分容器和填充毛细血管对于理解毛细血管生长遇到的障碍至关重要。但是，现有用于血管分割的数据集主要集中在人体的大血管上，缺乏标记的毛细管图像数据集极大地限制了血管分割和毛细血管填充的方法论开发和应用。在这里，我们提出了一个名为IFCIS-155的基准数据集，由155个2D毛细管图像组成，该图像具有分割边界和由生物医学专家注释的血管填充物，以及19个大型高分辨率3D 3D毛细管图像。为了获得更好的骨间毛细血管图像，我们利用最先进的免疫荧光成像技术来突出骨间毛细血管的丰富血管形态。我们进行全面的实验，以验证数据集和基准测试深度学习模型的有效性（\ eg UNET/UNET ++和修改后的UNET/UNET ++）。我们的工作提供了一个基准数据集，用于培训毛细管图像细分的深度学习模型，并为未来的毛细管研究提供了潜在的工具。 IFCIS-155数据集和代码均可在\ url {https://github.com/ncclabsustech/ifcis-55}上公开获得。

Mitosis nuclei count is one of the important indicators for the pathological diagnosis of breast cancer. The manual annotation needs experienced pathologists, which is very time-consuming and inefficient. With the development of deep learning methods, some models with good performance have emerged, but the generalization ability should be further strengthened. In this paper, we propose a two-stage mitosis segmentation and classification method, named SCMitosis. Firstly, the segmentation performance with a high recall rate is achieved by the proposed depthwise separable convolution residual block and channel-spatial attention gate. Then, a classification network is cascaded to further improve the detection performance of mitosis nuclei. The proposed model is verified on the ICPR 2012 dataset, and the highest F-score value of 0.8687 is obtained compared with the current state-of-the-art algorithms. In addition, the model also achieves good performance on GZMH dataset, which is prepared by our group and will be firstly released with the publication of this paper. The code will be available at: https://github.com/antifen/mitosis-nuclei-segmentation.

Deep Convolutional Neural Networks have been adopted for salient object detection and achieved the state-of-the-art performance. Most of the previous works however focus on region accuracy but not on the boundary quality. In this paper, we propose a predict-refine architecture, BASNet, and a new hybrid loss for Boundary-Aware Salient object detection. Specifically, the architecture is composed of a densely supervised Encoder-Decoder network and a residual refinement module, which are respectively in charge of saliency prediction and saliency map refinement. The hybrid loss guides the network to learn the transformation between the input image and the ground truth in a three-level hierarchy -pixel-, patch-and map-level -by fusing Binary Cross Entropy (BCE), Structural SIMilarity (SSIM) and Intersectionover-Union (IoU) losses. Equipped with the hybrid loss, the proposed predict-refine architecture is able to effectively segment the salient object regions and accurately predict the fine structures with clear boundaries. Experimental results on six public datasets show that our method outperforms the state-of-the-art methods both in terms of regional and boundary evaluation measures. Our method runs at over 25 fps on a single GPU. The code is available at: https://github.com/NathanUA/BASNet.

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

人类生理学中的各种结构遵循特异性形态，通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道，视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像（MRI），计算机断层扫描（CT），光学相干断层扫描（OCT）等医学成像模式（MRI），计算机断层扫描（CT），可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要，因为对结构的分析提供了对疾病诊断，治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果，在过去的二十年中，自动化或半自动化的计算模型已成为医学成像的流行研究领域，迄今为止，许多计算模型已经开发出来。在这项调查中，我们旨在对当前公开可用的数据集，细分算法和评估指标进行全面审查。此外，讨论了当前的挑战和未来的研究方向。

We present a novel and practical deep fully convolutional neural network architecture for semantic pixel-wise segmentation termed SegNet. This core trainable segmentation engine consists of an encoder network, a corresponding decoder network followed by a pixel-wise classification layer. The architecture of the encoder network is topologically identical to the 13 convolutional layers in the VGG16 network [1]. The role of the decoder network is to map the low resolution encoder feature maps to full input resolution feature maps for pixel-wise classification. The novelty of SegNet lies is in the manner in which the decoder upsamples its lower resolution input feature map(s). Specifically, the decoder uses pooling indices computed in the max-pooling step of the corresponding encoder to perform non-linear upsampling. This eliminates the need for learning to upsample. The upsampled maps are sparse and are then convolved with trainable filters to produce dense feature maps. We compare our proposed architecture with the widely adopted FCN [2] and also with the well known DeepLab-LargeFOV [3], DeconvNet [4] architectures. This comparison reveals the memory versus accuracy trade-off involved in achieving good segmentation performance. SegNet was primarily motivated by scene understanding applications. Hence, it is designed to be efficient both in terms of memory and computational time during inference. It is also significantly smaller in the number of trainable parameters than other competing architectures and can be trained end-to-end using stochastic gradient descent. We also performed a controlled benchmark of SegNet and other architectures on both road scenes and SUN RGB-D indoor scene segmentation tasks. These quantitative assessments show that SegNet provides good performance with competitive inference time and most efficient inference memory-wise as compared to other architectures. We also provide a Caffe implementation of SegNet and a web demo at http://mi.eng.cam.ac.uk/projects/segnet/.

人行道表面数据的获取和评估在路面条件评估中起着至关重要的作用。在本文中，提出了一个称为RHA-NET的自动路面裂纹分割的有效端到端网络，以提高路面裂纹分割精度。 RHA-NET是通过将残留块（重阻）和混合注意块集成到编码器架构结构中来构建的。这些重组用于提高RHA-NET提取高级抽象特征的能力。混合注意块旨在融合低级功能和高级功能，以帮助模型专注于正确的频道和裂纹区域，从而提高RHA-NET的功能表现能力。构建并用于训练和评估所提出的模型的图像数据集，其中包含由自设计的移动机器人收集的789个路面裂纹图像。与其他最先进的网络相比，所提出的模型在全面的消融研究中验证了添加残留块和混合注意机制的功能。此外，通过引入深度可分离卷积生成的模型的轻加权版本可以更好地实现性能和更快的处理速度，而U-NET参数数量的1/30。开发的系统可以在嵌入式设备Jetson TX2（25 fps）上实时划分路面裂纹。实时实验拍摄的视频将在https://youtu.be/3xiogk0fig4上发布。

Recent progress on salient object detection is substantial, benefiting mostly from the explosive development of Convolutional Neural Networks (CNNs). Semantic segmentation and salient object detection algorithms developed lately have been mostly based on Fully Convolutional Neural Networks (FCNs). There is still a large room for improvement over the generic FCN models that do not explicitly deal with the scale-space problem. Holistically-Nested Edge Detector (HED) provides a skip-layer structure with deep supervision for edge and boundary detection, but the performance gain of HED on saliency detection is not obvious. In this paper, we propose a new salient object detection method by introducing short connections to the skip-layer structures within the HED architecture. Our framework takes full advantage of multi-level and multi-scale features extracted from FCNs, providing more advanced representations at each layer, a property that is critically needed to perform segment detection. Our method produces state-of-theart results on 5 widely tested salient object detection benchmarks, with advantages in terms of efficiency (0.08 seconds per image), effectiveness, and simplicity over the existing algorithms. Beyond that, we conduct an exhaustive analysis on the role of training data on performance. Our experimental results provide a more reasonable and powerful training set for future research and fair comparisons.

Deep learning has made a breakthrough in medical image segmentation in recent years due to its ability to extract high-level features without the need for prior knowledge. In this context, U-Net is one of the most advanced medical image segmentation models, with promising results in mammography. Despite its excellent overall performance in segmenting multimodal medical images, the traditional U-Net structure appears to be inadequate in various ways. There are certain U-Net design modifications, such as MultiResUNet, Connected-UNets, and AU-Net, that have improved overall performance in areas where the conventional U-Net architecture appears to be deficient. Following the success of UNet and its variants, we have presented two enhanced versions of the Connected-UNets architecture: ConnectedUNets+ and ConnectedUNets++. In ConnectedUNets+, we have replaced the simple skip connections of Connected-UNets architecture with residual skip connections, while in ConnectedUNets++, we have modified the encoder-decoder structure along with employing residual skip connections. We have evaluated our proposed architectures on two publicly available datasets, the Curated Breast Imaging Subset of Digital Database for Screening Mammography (CBIS-DDSM) and INbreast.

Superpixels在众多计算机视觉任务中用作强大的预处理工具。通过使用Superpixel表示，图像基元的数量可以大大降低倍数。随着近年来深度学习的兴起，少数作品试图将深受学习的特征/图饲养成现有的经典超像素技术。然而，他们都没有能够在近乎实时生产超像素，这对超像素在实践中适用性至关重要。在这项工作中，我们提出了一个基于图形的基于图形的Superpixel分割框架。在第一阶段，我们介绍了一种高效的深度亲和学习（DAL）网络，通过聚合多尺度信息来学习成对像素亲和力。在第二阶段，我们提出了一种称为分层熵速率分割（HERS）的高效超像素方法。使用来自第一阶段的学习亲和力，HERS构建了一个分层树结构，可以瞬间产生任何数量的高度自适应超像素。我们通过视觉和数值实验证明，我们的方法的有效性和效率与各种最先进的超像素方法相比。

异常检测和定位是具有多种应用的重要视觉问题。各种不同表面上异常区域的有效和通用的语义分割，在各种不同的表面上，大多数异常区域没有任何明显的模式，仍处于积极研究。在广大基础设施中检测是一种重要的基础设施的定期健康监测和故障（异常）是一种重要的安全相关任务，是基于视觉的异常分割的一个这样的应用领域。然而，由于表面故障的大变化，纹理的结构材料/背景，照明条件等，任务是非常具有挑战性的。裂缝是临界和频繁的表面缺陷，表现为极端曲折形状的薄，细长区域。它们是在深入学习的最难检测的故障之一中。在这项工作中，我们解决了自动裂缝分割问题的一个开放方面，通过模拟问题来概括和提高各种场景的分割性能。我们仔细研究和抽象涉及的子问题，并在更广泛的背景下解决它们，使我们的解决方案通用。在各种与不同基础设施监视相关的数据集上，在不同的条件下，我们的模型在没有任何铃声和口哨的情况下始终如一地优于最先进的算法。这种性能优势在我们模型的两个部署中轻松携带，针对行业提供的数据集进行测试。更进一步的是，我们也可以为两个制造质量检查场景建立我们的模型的表现，其中缺陷类型不仅仅是裂缝等价物，而且更加不同。因此，我们希望我们的模型确实是一个真正的通用缺陷分段模型。

眼底图像中血管的自动分割可以帮助分析视网膜脉管系统的状况，这对于确定各种全身性疾病（如高血压，糖尿病等）至关重要大量参数化，因此在实际应用中使用有限。本文提出了Itermiunet，这是一种新的基于轻量级卷积的细分模型，需要更少的参数，但提供了类似于现有模型的性能。该模型利用了ITERNET体系结构的出色分割功能，但通过将Miunet模型的编码器解码器结合在其中克服了严重的参数化性质。因此，新模型可减少参数，而不会与网络的深度进行任何妥协，这对于在深模型中学习抽象的层次概念是必不可少的。这种轻巧的分割模型可以加快训练和推理时间的速度，并且在数据稀缺的医疗领域可能会有所帮助，因此，大量参数化的模型往往过于拟合。在三个公开可用的数据集上评估了所提出的模型：驱动器，凝视和Chase-DB1。还进行了进一步的交叉培训和评估者之间的变异性评估。提出的模型具有很大的潜力，可以用作早期诊断许多疾病的工具。

使用（半）自动显微镜生成的大规模电子显微镜（EM）数据集已成为EM中的标准。考虑到大量数据，对所有数据的手动分析都是不可行的，因此自动分析至关重要。自动分析的主要挑战包括分析和解释生物医学图像的注释，并与实现高通量相结合。在这里，我们回顾了自动计算机技术的最新最新技术以及分析细胞EM结构的主要挑战。关于EM数据的注释，分割和可扩展性，讨论了过去五年来开发的高级计算机视觉，深度学习和软件工具。自动图像采集和分析的集成将允许用纳米分辨率对毫米范围的数据集进行高通量分析。

我们分享了我们最近的发现，以试图培训通用分割网络的各种细胞类型和成像方式。我们的方法建立在广义的U-NET体系结构上，该体系结构允许单独评估每个组件。我们修改了传统的二进制培训目标，以包括三个类以进行直接实例细分。进行了有关培训方案，培训设置，网络骨架和各个模块的详细实验。我们提出的培训方案依次从每个数据集中吸取小匹配，并且在优化步骤之前积累了梯度。我们发现，培训通用网络的关键是所有数据集上的历史监督，并且有必要以公正的方式对每个数据集进行采样。我们的实验还表明，可能存在共同的特征来定义细胞类型和成像方式的细胞边界，这可以允许应用训练有素的模型完全看不见的数据集。一些培训技巧可以进一步提高细分性能，包括交叉渗透损失功能中的班级权重，精心设计的学习率调度程序，较大的图像作物以进行上下文信息以及不平衡类别的其他损失条款。我们还发现，由于它们更可靠的统计估计和更高的语义理解，分割性能可以受益于组规范化层和缺陷的空间金字塔池模块。我们参与了在IEEE国际生物医学成像研讨会（ISBI）2021举行的第六个细胞跟踪挑战（CTC）。我们的方法被评估为在主要曲目的初始提交期间，作为最佳亚军，并在额外的竞争中获得了第三名，以准备摘要出版物。

机器学习和计算机视觉技术近年来由于其自动化，适合性和产生惊人结果的能力而迅速发展。因此，在本文中，我们调查了2014年至2022年之间发表的关键研究，展示了不同的机器学习算法研究人员用来分割肝脏，肝肿瘤和肝脉管结构的研究。我们根据感兴趣的组织（肝果，肝肿瘤或肝毒剂）对被调查的研究进行了划分，强调了同时解决多个任务的研究。此外，机器学习算法被归类为受监督或无监督的，如果属于某个方案的工作量很大，则将进一步分区。此外，对文献和包含上述组织面具的网站发现的不同数据集和挑战进行了彻底讨论，强调了组织者的原始贡献和其他研究人员的贡献。同样，在我们的评论中提到了文献中过度使用的指标，这强调了它们与手头的任务的相关性。最后，强调创新研究人员应对需要解决的差距的关键挑战和未来的方向，例如许多关于船舶分割挑战的研究的稀缺性以及为什么需要早日处理他们的缺席。