自动图像分析中的不确定性定量在许多应用中高度满足。通常，分类或细分中的机器学习模型仅用于提供二进制答案。但是，量化模型的不确定性可能在主动学习或机器人类互动中起关键作用。当使用基于深度学习的模型时，不确定性量化尤其困难，这是许多成像应用中最新的。当前的不确定性量化方法在高维实际问题中不能很好地扩展。可扩展的解决方案通常依赖于具有不同随机种子的相同模型的推理或训练集合过程中的经典技术，以获得后验分布。在本文中，我们表明这些方法无法近似分类概率。相反，我们提出了一个可扩展和直观的框架来校准深度学习模型的合奏，以产生近似分类概率的不确定性定量测量。在看不见的测试数据上，我们证明了与标准方法进行比较时的校准，灵敏度（三种情况中的两种）以及精度。我们进一步激发了我们在积极学习中的方法的用法，创建了伪标签，以从未标记的图像和人机合作中学习。

深度学习（DL）模型为各种医学成像基准挑战提供了最先进的性能，包括脑肿瘤细分（BRATS）挑战。然而，局灶性病理多隔室分割（例如，肿瘤和病变子区）的任务特别具有挑战性，并且潜在的错误阻碍DL模型转化为临床工作流程。量化不确定形式的DL模型预测的可靠性，可以实现最不确定的地区的临床审查，从而建立信任并铺平临床翻译。最近，已经引入了许多不确定性估计方法，用于DL医学图像分割任务。开发指标评估和比较不确定性措施的表现将有助于最终用户制定更明智的决策。在本研究中，我们探索并评估在Brats 2019-2020任务期间开发的公制，以对不确定量化量化（Qu-Brats），并旨在评估和排列脑肿瘤多隔室分割的不确定性估计。该公制（1）奖励不确定性估计，对正确断言产生高置信度，以及在不正确的断言处分配低置信水平的估计数，（2）惩罚导致更高百分比的无关正确断言百分比的不确定性措施。我们进一步基准测试由14个独立参与的Qu-Brats 2020的分割不确定性，所有这些都参与了主要的Brats细分任务。总体而言，我们的研究结果证实了不确定性估计提供了分割算法的重要性和互补价值，因此突出了医学图像分析中不确定性量化的需求。我们的评估代码在HTTPS://github.com/ragmeh11/qu-brats公开提供。

无放射治疗器官轮廓的深度学习模型是临床用途，但目前，预测轮廓的自动化质量评估（QA）有很多工具。使用贝叶斯模型及其相关的不确定性，可以自动化检测不准确预测的过程。我们使用定量测量 - 预期的校准误差（ECE）和基于定性的测量区域的精确度（R-AVU）图来调查两个贝叶斯模型进行自动轮廓众所周知，模型应该具有低欧洲欧洲经委会被认为是值得信赖的。然而，在QA语境中，模型也应该在不准确的区域中具有高不确定性，并且在准确的区域中的不确定性低。此类行为可以直接对专家用户的视觉关注潜在地不准确的地区，导致QA过程中的加速。使用R-AVU图表，我们定性地比较了不同模型的行为准确和不准确的地区。使用三种型号在Miccai2015头和颈部分割挑战和DeepMindtcia CT数据集上进行实验：丢弃骰子，辍学-CE（交叉熵）和Flipout-Ce。定量结果表明，丢弃骰子具有最高的ECE，而辍学-CE和FLIPOUT-CE具有最低的ECE。为了更好地了解辍学-CE和Flipout-CE之间的差异，我们使用R-AVU图表，显示Flipout-CE在不准确的地区具有比Dropout-Ce更好的不确定性覆盖率。定量和定性度量的这种组合探讨了一种新方法，有助于选择哪种模型可以在临床环境中作为QA工具部署。

深度学习技术在检测医学图像中的对象方面取得了成功，但仍然遭受虚假阳性预测，可能会阻碍准确的诊断。神经网络输出的估计不确定性已用于标记不正确的预测。我们研究了来自神经网络不确定性估计的功能和基于形状的特征，这些特征是根据二进制预测计算出的，从二进制预测中，通过开发基于分类的后处理步骤来减少肝病病变检测中的假阳性，以用于不同的不确定性估计方法。我们证明了两个数据集上所有不确定性估计方法的神经网络的病变检测性能（相对于F1分数）的改善，分别包括腹部MR和CT图像。我们表明，根据神经网络不确定性估计计算的功能往往不会有助于降低假阳性。我们的结果表明，诸如阶级不平衡（真实假阳性比率）和从不确定性图提取的基于形状的特征之类的因素在区分假阳性和真实阳性预测方面起着重要作用

自动分割方法是医学图像分析的重要进步。特别是机器学习技术和深度神经网络，是最先进的大多数医学图像分割任务。类别不平衡的问题在医疗数据集中构成了重大挑战，病变通常占据相对于背景的相对于较小的体积。深度学习算法培训中使用的损失函数对类别不平衡的鲁棒性不同，具有模型收敛的直接后果。分割最常用的损耗函数基于交叉熵损耗，骰子丢失或两者的组合。我们提出了统一的联络损失，是一种新的分层框架，它概括了骰子和基于跨熵的损失，用于处理类别不平衡。我们评估五个公共可用的损失功能，类不平衡的医学成像数据集：CVC-ClinicDB，船舶提取数字视网膜图像（驱动器），乳房超声波2017（Bus2017），脑肿瘤分割2020（Brats20）和肾肿瘤分割2019 （套件19）。我们将损耗功能性能与六个骰子或基于跨熵的损耗函数进行比较，横跨二进制二进制，3D二进制和3D多包子分段任务，展示我们所提出的损失函数对类不平衡具有强大，并且始终如一地优于其他丢失功能。源代码可用：https://github.com/mlyg/unified-focal-loss

目的：单个骨骼的本地化和细分是许多计划和导航应用程序中重要的预处理步骤。但是，如果手动完成，这是一项耗时和重复的任务。这不仅对于临床实践，而且对于获取培训数据都是正确的。因此，我们不仅提出了一种端到端学习的算法，该算法能够在上身CT中分割125个不同的骨骼，而且还提供了基于合奏的不确定性度量，有助于单张扫描以扩大训练数据集。方法我们使用受3D-UNET和完全监督培训启发的神经网络体系结构创建全自动的端到端学习细分。使用合奏和推理时间扩展改进结果。我们研究了合奏 - 不确定性与未标记的扫描的前瞻性用途，这是培训数据集的一部分。结果：我们的方法在16个上体CT扫描的内部数据集上进行评估，每个维度的分辨率为\ si {2} {\ milli \ meter}。考虑到我们标签集中的所有125个骨头，我们最成功的合奏中位数骰子得分系数为0.83。我们发现扫描的集合不确定性与其对扩大训练集中获得的准确性的前瞻性影响之间缺乏相关性。同时，我们表明集成不确定性与初始自动分割后需要手动校正的体素数量相关，从而最大程度地降低了最终确定新的地面真实分段所需的时间。结论：结合结合，集合不确定性低的扫描需要更少的注释时间，同时产生类似的未来DSC改进。因此，它们是扩大从CT扫描的上身不同骨分割的训练集的理想候选者。 }

现代深层神经网络在医学图像分割任务中取得了显着进展。然而，最近观察到他们倾向于产生过于自信的估计，即使在高度不确定性的情况下，导致校准差和不可靠的模型。在这项工作中，我们介绍了错误的预测（MEEP）的最大熵，分割网络的培训策略，这些网络选择性地惩罚过度自信预测，仅关注错误分类的像素。特别是，我们设计了一个正规化术语，鼓励出于错误的预测，增加了复杂场景中的网络不确定性。我们的方法对于神经结构不可知，不会提高模型复杂性，并且可以与多分割损耗功能耦合。我们在两个具有挑战性的医学图像分割任务中将拟议的策略基准：脑磁共振图像（MRI）中的白质超强度病变，心脏MRI中的心房分段。实验结果表明，具有标准分割损耗的耦合MEEP不仅可以改善模型校准，而且还导致分割质量。

骰子相似度系数（DSC）是由于其鲁棒性对类不平衡的鲁造性而广泛使用的度量和损耗函数。然而，众所周知，DSC损失差异很差，导致在生物医学和临床实践中不能有效地解释的过度自信预测。性能通常是唯一用于评估深度神经网络产生的分段的指标，并且通常忽略校准。然而，校准对于译成生物医学和临床实践是重要的，为科学家和临床医生的解释提供了重要的语境信息。在这项研究中，我们将校准差，作为基于深度学习的生物医学图像分割的新出现挑战。我们提供了一个简单而有效的DSC丢失延伸，命名为DSC ++丢失，可选择地调制与过于自信，不正确的预测相关的罚款。作为独立损失功能，DSC ++损耗达到了在五个良好验证的开源生物医学成像数据集中对传统DSC损耗的显着提高了校准。同样，当将DSC ++丢失集成到基于四个DSC的损耗函数时，我们观察到显着改善。最后，我们使用SoftMax阈值化来说明校准的输出能够剪裁精度召回偏差，这是一种适应模型预测以适应生物医学或临床任务的重要的后处理技术。 DSC ++损失克服了DSC的主要限制，为训练生物医学和临床实践中使用的深度学习分段模型提供了合适的损耗功能。

本文为半监督医学图像分割提供了一个简单而有效的两阶段框架。我们的主要洞察力是探索用标记和未标记的（即伪标记）图像的特征表示学习，以增强分段性能。在第一阶段，我们介绍了一种炼层的不确定感知方法，即Aua，以改善产生高质量伪标签的分割性能。考虑到医学图像的固有歧义，Aua自适应地规范了具有低歧义的图像的一致性。为了提高代表学习，我们提出了一种舞台适应性的对比学习方法，包括边界意识的对比损失，以规范第一阶段中标记的图像，并在第二阶段中的原型感知对比损失优化标记和伪标记的图像阶段。边界意识的对比损失仅优化分段边界周围的像素，以降低计算成本。原型感知对比损失通过为每个类构建质心来充分利用标记的图像和伪标记的图像，以减少对比较的计算成本。我们的方法在两个公共医学图像分割基准上实现了最佳结果。值得注意的是，我们的方法在结肠肿瘤分割的骰子上以5.7％的骰子依赖于只有5％标记的图像而表现出5.7％。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

事实证明，深度卷积神经网络在语义分割任务中非常有效。引入了最流行的损失功能，以提高体积分数，例如Sorensen骰子系数。根据设计，DSC可以解决类不平衡；但是，它不能识别类中的实例不平衡。结果，大型前景实例可以主导次要实例，并且仍然产生令人满意的Sorensen骰子系数。然而，错过实例将导致检测性能不佳。这代表了诸如疾病进展监测等应用中的一个关键问题。例如，必须在多发性硬化症患者的随访中定位和监视小规模病变。我们提出了一个新型的损失功能家族，绰号斑点损失，主要旨在最大化实例级检测指标，例如F1得分和灵敏度。 BLOB损失是针对语义分割问题而设计的，其中实例是类中连接的组件。我们在五个复杂的3D语义分割任务中广泛评估了基于DSC的斑点损失，这些任务具有明显的实例异质性，从纹理和形态上讲。与软骰子损失相比，我们的MS病变改善了5％，肝肿瘤改善了3％，考虑F1分数的显微镜细分任务平均提高了2％。

尽管脑肿瘤分割的准确性最近取得了进步，但结果仍然遭受低可靠性和鲁棒性的影响。不确定性估计是解决此问题的有效解决方案，因为它提供了对分割结果的信心。当前的不确定性估计方法基于分位数回归，贝叶斯神经网络，集合和蒙特卡洛辍学者受其高计算成本和不一致的限制。为了克服这些挑战，在最近的工作中开发了证据深度学习（EDL），但主要用于自然图像分类。在本文中，我们提出了一个基于区域的EDL分割框架，该框架可以生成可靠的不确定性图和可靠的分割结果。我们使用证据理论将神经网络的输出解释为从输入特征收集的证据价值。遵循主观逻辑，将证据作为差异分布进行了参数化，预测的概率被视为主观意见。为了评估我们在分割和不确定性估计的模型的性能，我们在Brats 2020数据集上进行了定量和定性实验。结果证明了所提出的方法在量化分割不确定性和稳健分割肿瘤方面的最高性能。此外，我们提出的新框架保持了低计算成本和易于实施的优势，并显示了临床应用的潜力。

在许多图像引导的临床方法中，医学图像分割是一个基本和关键的步骤。基于深度学习的细分方法的最新成功通常取决于大量标记的数据，这特别困难且昂贵，尤其是在医学成像领域中，只有专家才能提供可靠和准确的注释。半监督学习已成为一种吸引人的策略，并广泛应用于医学图像分割任务，以训练注释有限的深层模型。在本文中，我们对最近提议的半监督学习方法进行了全面综述，并总结了技术新颖性和经验结果。此外，我们分析和讨论现有方法的局限性和几个未解决的问题。我们希望这篇评论可以激发研究界探索解决这一挑战的解决方案，并进一步促进医学图像细分领域的发展。

胰腺癌是与癌症相关死亡的全球主要原因之一。尽管深度学习在计算机辅助诊断和检测方法（CAD）方法中取得了成功，但很少关注胰腺癌的检测。我们提出了一种检测胰腺肿瘤的方法，该方法在周围的解剖结构中利用临床上的特征，从而更好地旨在利用放射科医生的知识，而不是其他常规的深度学习方法。为此，我们收集了一个新的数据集，该数据集由99例胰腺导管腺癌（PDAC）和97例没有胰腺肿瘤的对照病例组成。由于胰腺癌的生长模式，肿瘤可能总是可见为低音病变，因此，专家指的是二次外部特征的可见性，这些特征可能表明肿瘤的存在。我们提出了一种基于U-NET样深的CNN的方法，该方法利用以下外部次要特征：胰管，常见的胆管和胰腺以及处理后的CT扫描。使用这些功能，该模型如果存在胰腺肿瘤。这种用于分类和本地化方法的细分实现了99％的敏感性（一个案例）和99％的特异性，这比以前的最新方法的灵敏度增加了5％。与以前的PDAC检测方法相比，该模型还以合理的精度和较短的推理时间提供位置信息。这些结果提供了显着的性能改善，并强调了在开发新型CAD方法时纳入临床专家知识的重要性。

最近关于Covid-19的研究表明，CT成像提供了评估疾病进展和协助诊断的有用信息，以及帮助理解疾病。有越来越多的研究，建议使用深度学习来使用胸部CT扫描提供快速准确地定量Covid-19。兴趣的主要任务是胸部CT扫描的肺和肺病变的自动分割，确认或疑似Covid-19患者。在这项研究中，我们使用多中心数据集比较12个深度学习算法，包括开源和内部开发的算法。结果表明，合并不同的方法可以提高肺部分割，二元病变分割和多种子病变分割的总体测试集性能，从而分别为0.982,0.724和0.469的平均骰子分别。将得到的二元病变分段为91.3ml的平均绝对体积误差。通常，区分不同病变类型的任务更加困难，分别具有152mL的平均绝对体积差，分别为整合和磨碎玻璃不透明度为0.369和0.523的平均骰子分数。所有方法都以平均体积误差进行二元病变分割，该分段优于人类评估者的视觉评估，表明这些方法足以用于临床实践中使用的大规模评估。

An increasing number of public datasets have shown a marked clinical impact on assessing anatomical structures. However, each of the datasets is small, partially labeled, and rarely investigates severe tumor subjects. Moreover, current models are limited to segmenting specific organs/tumors, which can not be extended to novel domains and classes. To tackle these limitations, we introduce embedding learned from Contrastive Language-Image Pre-training (CLIP) to segmentation models, dubbed the CLIP-Driven Universal Model. The Universal Model can better segment 25 organs and 6 types of tumors by exploiting the semantic relationship between abdominal structures. The model is developed from an assembly of 14 datasets with 3,410 CT scans and evaluated on 6,162 external CT scans from 3 datasets. We rank first on the public leaderboard of the Medical Segmentation Decathlon (MSD) and achieve the state-of-the-art results on Beyond The Cranial Vault (BTCV). Compared with dataset-specific models, the Universal Model is computationally more efficient (6x faster), generalizes better to CT scans from varying sites, and shows stronger transfer learning performance on novel tasks. The design of CLIP embedding enables the Universal Model to be easily extended to new classes without catastrophically forgetting the previously learned classes.

早期检测改善了胰腺导管腺癌（PDAC）中的预后，但挑战，因为病变通常很小，并且在对比增强的计算断层扫描扫描（CE-CT）上定义很差。深度学习可以促进PDAC诊断，但是当前模型仍然无法识别小（<2cm）病变。在这项研究中，最先进的深度学习模型用于开发用于PDAC检测的自动框架，专注于小病变。另外，研究了整合周围解剖学的影响。 CE-CT来自119个病理验证的PDAC患者的群组和123名没有PDAC患者的队列用于训练NNUNET用于自动病变检测和分割（\ TEXTIT {NNUNET \ _t}）。训练了两种额外的鼻塞，以研究解剖学积分的影响：（1）分割胰腺和肿瘤（\ yryit {nnunet \ _tp}），（2）分割胰腺，肿瘤和多周围的解剖结构（\ textit {nnunet \_多发性硬化症}）。外部可公开的测试集用于比较三个网络的性能。 \ Textit {nnunet \ _ms}实现了最佳性能，在整个测试集的接收器操作特性曲线下的区域为0.91，肿瘤的0.88 <2cm，显示最先进的深度学习可以检测到小型PDAC和解剖信息的好处。

半监督学习在医疗领域取得了重大进展，因为它减轻了收集丰富的像素的沉重负担，用于针对语义分割任务。现有的半监督方法增强了利用从有限标记数据获得的现有知识从未标记数据提取功能的能力。然而，由于标记数据的稀缺性，模型提取的特征在监督学习中受到限制，并且对未标记数据的预测质量也无法保证。两者都将妨碍一致培训。为此，我们提出了一种新颖的不确定性感知计划，以使模型自动学习地区。具体而言，我们采用Monte Carlo采样作为获得不确定性地图的估计方法，该方法可以作为损失损失的重量，以强制根据监督学习和无监督学习的特征将模型专注于有价值的区域。同时，在后退过程中，我们通过增强不同任务之间的梯度流动，联合无监督和监督损失来加速网络的融合。定量地，我们对三个挑战的医疗数据集进行了广泛的实验。实验结果表明，最先进的对应物的理想改善。

Objective: Convolutional neural networks (CNNs) have demonstrated promise in automated cardiac magnetic resonance image segmentation. However, when using CNNs in a large real-world dataset, it is important to quantify segmentation uncertainty and identify segmentations which could be problematic. In this work, we performed a systematic study of Bayesian and non-Bayesian methods for estimating uncertainty in segmentation neural networks. Methods: We evaluated Bayes by Backprop, Monte Carlo Dropout, Deep Ensembles, and Stochastic Segmentation Networks in terms of segmentation accuracy, probability calibration, uncertainty on out-of-distribution images, and segmentation quality control. Results: We observed that Deep Ensembles outperformed the other methods except for images with heavy noise and blurring distortions. We showed that Bayes by Backprop is more robust to noise distortions while Stochastic Segmentation Networks are more resistant to blurring distortions. For segmentation quality control, we showed that segmentation uncertainty is correlated with segmentation accuracy for all the methods. With the incorporation of uncertainty estimates, we were able to reduce the percentage of poor segmentation to 5% by flagging 31--48% of the most uncertain segmentations for manual review, substantially lower than random review without using neural network uncertainty (reviewing 75--78% of all images). Conclusion: This work provides a comprehensive evaluation of uncertainty estimation methods and showed that Deep Ensembles outperformed other methods in most cases. Significance: Neural network uncertainty measures can help identify potentially inaccurate segmentations and alert users for manual review.

准确的几何表示对于开发有限元模型至关重要。尽管通常只有很少的数据在准确细分精美特征，例如缝隙和薄结构方面，虽然只有很少的数据就有良好的深度学习分割方法。随后，分段的几何形状需要劳动密集型手动修改，以达到可用于模拟目的的质量。我们提出了一种使用转移学习来重复使用分段差的数据集的策略，并结合了交互式学习步骤，其中数据对数据进行微调导致解剖上精确的分割适合模拟。我们使用改良的多平台UNET，该UNET使用下髋关节分段和专用损耗函数进行预训练，以学习间隙区域和后处理，以纠正由于旋转不变性而在对称类别上的微小不准确性。我们证明了这种可靠但概念上简单的方法，采用了临床验证的髋关节扫描扫描的临床验证结果。代码和结果3D模型可在以下网址提供：\ url {https://github.com/miccai2022-155/autoseg}