To analyze this characteristic of vulnerability, we developed an automated deep learning method for detecting microvessels in intravascular optical coherence tomography (IVOCT) images. A total of 8,403 IVOCT image frames from 85 lesions and 37 normal segments were analyzed. Manual annotation was done using a dedicated software (OCTOPUS) previously developed by our group. Data augmentation in the polar (r,{\theta}) domain was applied to raw IVOCT images to ensure that microvessels appear at all possible angles. Pre-processing methods included guidewire/shadow detection, lumen segmentation, pixel shifting, and noise reduction. DeepLab v3+ was used to segment microvessel candidates. A bounding box on each candidate was classified as either microvessel or non-microvessel using a shallow convolutional neural network. For better classification, we used data augmentation (i.e., angle rotation) on bounding boxes with a microvessel during network training. Data augmentation and pre-processing steps improved microvessel segmentation performance significantly, yielding a method with Dice of 0.71+/-0.10 and pixel-wise sensitivity/specificity of 87.7+/-6.6%/99.8+/-0.1%. The network for classifying microvessels from candidates performed exceptionally well, with sensitivity of 99.5+/-0.3%, specificity of 98.8+/-1.0%, and accuracy of 99.1+/-0.5%. The classification step eliminated the majority of residual false positives, and the Dice coefficient increased from 0.71 to 0.73. In addition, our method produced 698 image frames with microvessels present, compared to 730 from manual analysis, representing a 4.4% difference. When compared to the manual method, the automated method improved microvessel continuity, implying improved segmentation performance. The method will be useful for research purposes as well as potential future treatment planning.

Thin-cap fibroatheroma (TCFA) and plaque rupture have been recognized as the most frequent risk factor for thrombosis and acute coronary syndrome. Intravascular optical coherence tomography (IVOCT) can identify TCFA and assess cap thickness, which provides an opportunity to assess plaque vulnerability. We developed an automated method that can detect lipidous plaque and assess fibrous cap thickness in IVOCT images. This study analyzed a total of 4,360 IVOCT image frames of 77 lesions among 41 patients. To improve segmentation performance, preprocessing included lumen segmentation, pixel-shifting, and noise filtering on the raw polar (r, theta) IVOCT images. We used the DeepLab-v3 plus deep learning model to classify lipidous plaque pixels. After lipid detection, we automatically detected the outer border of the fibrous cap using a special dynamic programming algorithm and assessed the cap thickness. Our method provided excellent discriminability of lipid plaque with a sensitivity of 85.8% and A-line Dice coefficient of 0.837. By comparing lipid angle measurements between two analysts following editing of our automated software, we found good agreement by Bland-Altman analysis (difference 6.7+/-17 degree; mean 196 degree). Our method accurately detected the fibrous cap from the detected lipid plaque. Automated analysis required a significant modification for only 5.5% frames. Furthermore, our method showed a good agreement of fibrous cap thickness between two analysts with Bland-Altman analysis (4.2+/-14.6 micron; mean 175 micron), indicating little bias between users and good reproducibility of the measurement. We developed a fully automated method for fibrous cap quantification in IVOCT images, resulting in good agreement with determinations by analysts. The method has great potential to enable highly automated, repeatable, and comprehensive evaluations of TCFAs.

对骨关节炎（OA）的磁共振成像（MRI）扫描的客观评估可以解决当前OA评估的局限性。 OA客观评估是必需的骨，软骨和关节液的分割。大多数提出的分割方法都不执行实例分割，并且遭受了类不平衡问题。这项研究部署了蒙版R-CNN实例分割并改进了IT（改进的面罩R-CNN（IMASKRCNN）），以获得与OA相关组织的更准确的广义分割。该方法的训练和验证是使用骨关节炎倡议（OAI）数据集的500次MRI膝盖和有症状髋关节OA患者的97次MRI扫描进行的。掩盖R-CNN的三个修改产生了iMaskRCNN：添加第二个Roialigned块，在掩码标先中添加了额外的解码器层，并通过跳过连接将它们连接起来。使用Hausdorff距离，骰子评分和变异系数（COV）评估结果。与面膜RCNN相比，iMaskRCNN导致骨骼和软骨分割的改善，这表明股骨的骰子得分从95％增加到98％，胫骨的95％到97％，股骨软骨的71％至80％，81％和81％胫骨软骨的％至82％。对于积液检测，iMaskRCNN 72％比MaskRCNN 71％改善了骰子。 Reader1和Mask R-CNN（0.33），Reader1和ImaskRCNN（0.34），Reader2和Mask R-CNN（0.22），Reader2和iMaskRCNN（0.29）之间的积液检测的COV值（0.34），读取器2和mask r-CNN（0.22）接近COV之间，表明人类读者与蒙版R-CNN和ImaskRCNN之间的一致性很高。蒙版R-CNN和ImaskRCNN可以可靠，同时提取与OA有关的不同规模的关节组织，从而为OA的自动评估构成基础。 iMaskRCNN结果表明，修改改善了边缘周围的网络性能。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

本文提出了第二版的头部和颈部肿瘤（Hecktor）挑战的概述，作为第24届医学图像计算和计算机辅助干预（Miccai）2021的卫星活动。挑战由三个任务组成与患有头颈癌（H＆N）的患者的PET / CT图像的自动分析有关，专注于oropharynx地区。任务1是FDG-PET / CT图像中H＆N主肿瘤肿瘤体积（GTVT）的自动分割。任务2是来自同一FDG-PET / CT的进展自由生存（PFS）的自动预测。最后，任务3与任务2的任务2与参与者提供的地面真理GTVT注释相同。这些数据从六个中心收集，总共325个图像，分为224个培训和101个测试用例。通过103个注册团队和448个结果提交的重要参与，突出了对挑战的兴趣。在第一任务中获得0.7591的骰子相似度系数（DSC），分别在任务2和3中的0.7196和0.6978的一致性指数（C-Index）。在所有任务中，发现这种方法的简单性是确保泛化性能的关键。 PFS预测性能在任务2和3中的比较表明，提供GTVT轮廓对于实现最佳结果，这表明可以使用完全自动方法。这可能避免了对GTVT轮廓的需求，用于可重复和大规模的辐射瘤研究的开头途径，包括千元潜在的受试者。

人类生理学中的各种结构遵循特异性形态，通常在非常细的尺度上表达复杂性。这种结构的例子是胸前气道，视网膜血管和肝血管。可以观察到可以观察到可以观察到可以观察到可以观察到空间排列的磁共振成像（MRI），计算机断层扫描（CT），光学相干断层扫描（OCT）等医学成像模式（MRI），计算机断层扫描（CT），可以观察到空间排列的大量2D和3D图像的集合。这些结构在医学成像中的分割非常重要，因为对结构的分析提供了对疾病诊断，治疗计划和预后的见解。放射科医生手动标记广泛的数据通常是耗时且容易出错的。结果，在过去的二十年中，自动化或半自动化的计算模型已成为医学成像的流行研究领域，迄今为止，许多计算模型已经开发出来。在这项调查中，我们旨在对当前公开可用的数据集，细分算法和评估指标进行全面审查。此外，讨论了当前的挑战和未来的研究方向。

最近关于Covid-19的研究表明，CT成像提供了评估疾病进展和协助诊断的有用信息，以及帮助理解疾病。有越来越多的研究，建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割，确认或疑似Covid-19患者。在这项研究中，我们使用多中心数据集比较12个深度学习算法，包括开源和内部开发的算法。结果表明，合并不同的方法可以提高肺部分割，二元病变分割和多种子病变分割的总体测试集性能，从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常，区分不同病变类型的任务更加困难，分别具有152mL的平均绝对体积差，分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割，该分段优于人类评估者的视觉评估，表明这些方法足以用于临床实践中使用的大规模评估。

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

血管内超声和光学相干断层扫描可广泛用于表征冠状动脉狭窄，并提供关键的血管参数以优化经皮干预。同时提供血管内极化敏感的光学相干断层扫描（PS-OCT），可提供血管结构的高分辨率横截面图像，同时还揭示了胶原蛋白和平滑肌等优惠的组织成分，从而增强了斑块表征。对这些特征的自动解释有望促进对冠状动脉瘤的自然历史和意义的客观临床研究。在这里，我们提出了一种使用新的多项损耗函数进行优化的卷积神经网络模型，除了导丝和斑块阴影外，还对管腔，内部和媒体层进行了分类。我们证明，我们的多类分类模型在检测冠状动脉解剖层方面优于最先进的方法。此外，所提出的模型将两类的常见成像伪像，并检测到增厚血管壁区域内的解剖层，这些层被其他研究排除在分析之外。源代码和受过训练的模型可在https://github.com/mhaft/octseg上公开获得

Specular microscopy assessment of the human corneal endothelium (CE) in Fuchs' dystrophy is challenging due to the presence of dark image regions called guttae. This paper proposes a UNet-based segmentation approach that requires minimal post-processing and achieves reliable CE morphometric assessment and guttae identification across all degrees of Fuchs' dystrophy. We cast the segmentation problem as a regression task of the cell and gutta signed distance maps instead of a pixel-level classification task as typically done with UNets. Compared to the conventional UNet classification approach, the distance-map regression approach converges faster in clinically relevant parameters. It also produces morphometric parameters that agree with the manually-segmented ground-truth data, namely the average cell density difference of -41.9 cells/mm2 (95% confidence interval (CI) [-306.2, 222.5]) and the average difference of mean cell area of 14.8 um2 (95% CI [-41.9, 71.5]). These results suggest a promising alternative for CE assessment.

In medical image analysis, automated segmentation of multi-component anatomical structures, which often have a spectrum of potential anomalies and pathologies, is a challenging task. In this work, we develop a multi-step approach using U-Net-based neural networks to initially detect anomalies (bone marrow lesions, bone cysts) in the distal femur, proximal tibia and patella from 3D magnetic resonance (MR) images of the knee in individuals with varying grades of osteoarthritis. Subsequently, the extracted data are used for downstream tasks involving semantic segmentation of individual bone and cartilage volumes as well as bone anomalies. For anomaly detection, the U-Net-based models were developed to reconstruct the bone profiles of the femur and tibia in images via inpainting so anomalous bone regions could be replaced with close to normal appearances. The reconstruction error was used to detect bone anomalies. A second anomaly-aware network, which was compared to anomaly-na\"ive segmentation networks, was used to provide a final automated segmentation of the femoral, tibial and patellar bones and cartilages from the knee MR images containing a spectrum of bone anomalies. The anomaly-aware segmentation approach provided up to 58% reduction in Hausdorff distances for bone segmentations compared to the results from the anomaly-na\"ive segmentation networks. In addition, the anomaly-aware networks were able to detect bone lesions in the MR images with greater sensitivity and specificity (area under the receiver operating characteristic curve [AUC] up to 0.896) compared to the anomaly-na\"ive segmentation networks (AUC up to 0.874).

外围插入的中央导管（PICC）由于其长期的血管内渗透感具有低感染率，因此已被广泛用作代表性的中央静脉线（CVC）之一。但是，PICC的尖端错位频率很高，增加了刺穿，栓塞和心律不齐等并发症的风险。为了自动，精确地检测到它，使用最新的深度学习（DL）技术进行了各种尝试。但是，即使采用了这些方法，实际上仍然很难确定尖端位置，因为多个片段现象（MFP）发生在预测和提取PICC线之前预测尖端之前所需的PICC线的过程。这项研究旨在开发一种通常应用于现有模型的系统，并通过删除模型输出的MF来更准确地恢复PICC线路，从而精确地定位了检测其处置的实际尖端位置。为此，我们提出了一个基于多阶段DL的框架后处理，以后处理现有技术的PICC线提取结果。根据是否将MFCN应用于五个常规模型，将每个均方根误差（RMSE）和MFP发病率比较性能。在内部验证中，当将MFCN应用于现有单个模型时，MFP平均提高了45％。 RMSE从平均26.85mm（17.16至35.80mm）到9.72mm（9.37至10.98mm）的平均增长了63％以上。在外部验证中，当应用MFCN时，MFP的发病率平均下降32％，RMSE平均下降了65 \％。因此，通过应用提出的MFCN，我们观察到与现有模型相比，PICC尖端位置的显着/一致检测性能提高。

肺癌是最致命的癌症之一，部分诊断和治疗取决于肿瘤的准确描绘。目前是最常见的方法的人以人为本的分割，须遵守观察者间变异性，并且考虑到专家只能提供注释的事实，也是耗时的。最近展示了有前途的结果，自动和半自动肿瘤分割方法。然而，随着不同的研究人员使用各种数据集和性能指标验证了其算法，可靠地评估这些方法仍然是一个开放的挑战。通过2018年IEEE视频和图像处理（VIP）杯竞赛创建的计算机断层摄影扫描（LOTUS）基准测试的肺起源肿瘤分割的目标是提供唯一的数据集和预定义的指标，因此不同的研究人员可以开发和以统一的方式评估他们的方法。 2018年VIP杯始于42个国家的全球参与，以获得竞争数据。在注册阶段，有129名成员组成了来自10个国家的28个团队，其中9个团队将其达到最后阶段，6队成功完成了所有必要的任务。简而言之，竞争期间提出的所有算法都是基于深度学习模型与假阳性降低技术相结合。三种决赛选手开发的方法表明，有希望的肿瘤细分导致导致越来越大的努力应降低假阳性率。本次竞争稿件概述了VIP-Cup挑战，以及所提出的算法和结果。

通过磁共振成像（MRI）评估肿瘤负担对于评估胶质母细胞瘤的治疗反应至关重要。由于疾病的高异质性和复杂性，该评估的性能很复杂，并且与高变异性相关。在这项工作中，我们解决了这个问题，并提出了一条深度学习管道，用于对胶质母细胞瘤患者进行全自动的端到端分析。我们的方法同时确定了肿瘤的子区域，包括第一步的肿瘤，周围肿瘤和手术腔，然后计算出遵循神经符号学（RANO）标准的当前响应评估的体积和双相测量。此外，我们引入了严格的手动注释过程，其随后是人类专家描绘肿瘤子区域的，并捕获其分割的信心，后来在训练深度学习模型时被使用。我们广泛的实验研究的结果超过了760次术前和504例从公共数据库获得的神经胶质瘤后患者（2021 - 2020年在19个地点获得）和临床治疗试验（47和69个地点，可用于公共数据库（在19个地点获得）（47和69个地点）术前/术后患者，2009-2011）并以彻底的定量，定性和统计分析进行了备份，表明我们的管道在手动描述时间的一部分中对术前和术后MRI进行了准确的分割（最高20比人更快。二维和体积测量与专家放射科医生非常吻合，我们表明RANO测量并不总是足以量化肿瘤负担。

Brain tumor imaging has been part of the clinical routine for many years to perform non-invasive detection and grading of tumors. Tumor segmentation is a crucial step for managing primary brain tumors because it allows a volumetric analysis to have a longitudinal follow-up of tumor growth or shrinkage to monitor disease progression and therapy response. In addition, it facilitates further quantitative analysis such as radiomics. Deep learning models, in particular CNNs, have been a methodology of choice in many applications of medical image analysis including brain tumor segmentation. In this study, we investigated the main design aspects of CNN models for the specific task of MRI-based brain tumor segmentation. Two commonly used CNN architectures (i.e. DeepMedic and U-Net) were used to evaluate the impact of the essential parameters such as learning rate, batch size, loss function, and optimizer. The performance of CNN models using different configurations was assessed with the BraTS 2018 dataset to determine the most performant model. Then, the generalization ability of the model was assessed using our in-house dataset. For all experiments, U-Net achieved a higher DSC compared to the DeepMedic. However, the difference was only statistically significant for whole tumor segmentation using FLAIR sequence data and tumor core segmentation using T1w sequence data. Adam and SGD both with the initial learning rate set to 0.001 provided the highest segmentation DSC when training the CNN model using U-Net and DeepMedic architectures, respectively. No significant difference was observed when using different normalization approaches. In terms of loss functions, a weighted combination of soft Dice and cross-entropy loss with the weighting term set to 0.5 resulted in an improved segmentation performance and training stability for both DeepMedic and U-Net models.

肺癌近年来一直是最普遍的疾病之一。根据该领域的研究，每年在美国确定超过20万个案件。不受控制的繁殖和肺细胞的生长导致恶性肿瘤形成。最近，深入学习算法，特别是卷积神经网络（CNN），已成为自动诊断疾病的高级方式。本文的目的是审查不同的模型，导致诊断早期肺癌的不同准确性和敏感性，并帮助该领域的医生和研究人员。这项工作的主要目的是确定基于深度学习的肺癌存在的挑战。经过系统地编写了调查，这些调查结合了定期的映射和文献综述，从2016年到2021年审查该领域的32次会议和期刊文章。在分析和审查条款后，正在回答条款中提出的问题。由于对相关文章的完全审查和系统化，本领域，这项研究优于该领域的其他综述文章。

光学相干断层扫描（OCT）有助于眼科医生评估黄斑水肿，流体的积累以及微观分辨率的病变。视网膜流体的定量对于OCT引导的治疗管理是必需的，这取决于精确的图像分割步骤。由于对视网膜流体的手动分析是一项耗时，主观和容易出错的任务，因此对快速和健壮的自动解决方案的需求增加了。在这项研究中，提出了一种名为Retifluidnet的新型卷积神经结构，用于多级视网膜流体分割。该模型受益于层次表示使用新的自适应双重注意（SDA）模块的纹理，上下文和边缘特征的学习，多个基于自适应的Skip Connections（SASC）以及一种新颖的多尺度深度自我监督学习（DSL）方案。拟议的SDA模块中的注意机制使该模型能够自动提取不同级别的变形感知表示，并且引入的SASC路径进一步考虑了空间通道相互依存，以串联编码器和解码器单元，从而提高了表示能力。还使用包含加权版本的骰子重叠和基于边缘的连接损失的联合损失函数进行了优化的retifluidnet，其中将多尺度局部损失的几个分层阶段集成到优化过程中。该模型根据三个公开可用数据集进行验证：润饰，Optima和Duke，并与几个基线进行了比较。数据集的实验结果证明了在视网膜OCT分割中提出的模型的有效性，并揭示了建议的方法比现有的最新流体分割算法更有效，以适应各种图像扫描仪器记录的视网膜OCT扫描。

膝关节X射线上的膝盖骨关节炎（KOA）的评估是使用总膝关节置换术的中心标准。但是，该评估遭受了不精确的标准，并且读取器间的可变性非常高。对KOA严重性的算法，自动评估可以通过提高其使用的适当性来改善膝盖替代程序的总体结果。我们提出了一种基于深度学习的新型五步算法，以自动从X光片后验（PA）视图对KOA进行评级：（1）图像预处理（2）使用Yolo V3-tiny模型，图像在图像中定位膝关节， （3）使用基于卷积神经网络的分类器对骨关节炎的严重程度进行初步评估，（4）关节分割和关节空间狭窄（JSN）的计算（JSN）和（5），JSN和最初的结合评估确定最终的凯尔格伦法律（KL）得分。此外，通过显示用于进行评估的分割面具，我们的算法与典型的“黑匣子”深度学习分类器相比表现出更高的透明度。我们使用我们机构的两个公共数据集和一个数据集进行了全面的评估，并表明我们的算法达到了最先进的性能。此外，我们还从机构中的多个放射科医生那里收集了评分，并表明我们的算法在放射科医生级别进行。该软件已在https://github.com/maciejmazurowowski/osteoarthitis-classification上公开提供。

由于图像的复杂性和活细胞的时间变化，来自明亮场光显微镜图像的活细胞分割具有挑战性。最近开发的基于深度学习（DL）的方法由于其成功和有希望的结果而在医学和显微镜图像分割任务中变得流行。本文的主要目的是开发一种基于U-NET的深度学习方法，以在明亮场传输光学显微镜中分割HeLa系的活细胞。为了找到适合我们数据集的最合适的体系结构，提出了剩余的注意U-net，并将其与注意力和简单的U-NET体系结构进行了比较。注意机制突出了显着的特征，并抑制了无关图像区域中的激活。残余机制克服了消失的梯度问题。对于简单，注意力和剩余的关注U-NET，我们数据集的平均值得分分别达到0.9505、0.9524和0.9530。通过将残留和注意机制应用在一起，在平均值和骰子指标中实现了最准确的语义分割结果。应用的分水岭方法适用于这种最佳的（残留的关注）语义分割结果，使每个单元格的特定信息进行了分割。

组织学图像中核和腺体的实例分割是用于癌症诊断，治疗计划和生存分析的计算病理学工作流程中的重要一步。随着现代硬件的出现，大规模质量公共数据集的最新可用性以及社区组织的宏伟挑战已经看到了自动化方法的激增，重点是特定领域的挑战，这对于技术进步和临床翻译至关重要。在这项调查中，深入分析了过去五年（2017-2022）中发表的原子核和腺体实例细分的126篇论文，进行了深入分析，讨论了当前方法的局限性和公开挑战。此外，提出了潜在的未来研究方向，并总结了最先进方法的贡献。此外，还提供了有关公开可用数据集的概括摘要以及关于说明每种挑战的最佳性能方法的巨大挑战的详细见解。此外，我们旨在使读者现有研究的现状和指针在未来的发展方向上开发可用于临床实践的方法，从而可以改善诊断，分级，预后和癌症的治疗计划。据我们所知，以前没有工作回顾了朝向这一方向的组织学图像中的实例细分。