神经网络在许多医学成像任务中都取得了令人印象深刻的结果，但在源自不同医疗中心或患者同类的分布数据集中通常会表现出色。评估这种缺乏概括和解决潜在问题的能力是开发旨在临床实践的神经网络的两个主要挑战。在这项研究中，我们开发了一种新方法，用于评估神经网络模型通过生成大量分配移位数据集的概括能力，可用于彻底研究其对临床实践中遇到的可变性的鲁棒性。与外部验证相比，\ textit {移位评估}可以提供有关为什么在给定数据集上神经网络失败的解释，从而为如何改善模型鲁棒性提供指导。随着评估的转变，我们证明了接受最先进方法训练的神经网络对于甚至从训练数据中的分配很小的转移而高度脆弱，并且在某些情况下会失去所有歧视能力。为了解决这一脆弱性，我们制定了一种增强策略，该策略明确旨在提高神经网络对分配转移的稳健性。 \ texttt {strongaugment}通过大规模的，异构的组织病理学数据进行评估，其中包括来自两种组织类型的五个培训数据集，274个分配切换的数据集和来自四个国家 /地区的20个外部数据集。接受\ texttt {strongaugment}培训的神经网络在所有数据集上都保持相似的性能，即使通过分配变化，使用当前最新方法训练的网络将失去所有歧视能力。我们建议使用强大的增强和转移评估来训练和评估所有用于临床实践的神经网络。

许多用于医学成像的最新神经网络概括到培训期间无奈的数据不佳。这种行为可以是由网络过度易于学习或统计主导，在忽视其他可能的信息性功能的情况下引起的。例如，来自两个不同扫描仪的图像锐度的无法区分差异可以显着降低网络的性能。旨在临床实践的所有神经网络都需要强大地对由成像设备，样品制备和患者群体的差异引起的数据的变化。为解决这些挑战，我们评估光谱解耦作为隐含偏置的效用。光谱分离促使神经网络通过简单地规则地规范网络的无正常预测分数来了解更多特征，从而没有增加计算成本。我们表明光谱解耦允许培训具有强虚假相关性的数据集上的神经网络，并增加网络对数据分布班次的鲁棒性。为了验证我们的调查结果，我们用培训网络与无光谱去耦，以检测胸部射线照片中的前列腺癌组织载玻片和Covid-19。培训的网络培训，在外部数据集上达到高达9.5％的表现更高。我们的研究结果表明，光谱解耦有助于与神经网络相关的泛化问题，并且可用于补充或更换计算昂贵的明确偏置缓解方法，例如在组织学图像中染色归一化。我们建议使用光谱解耦作为用于临床用途的任何神经网络中的隐含偏置缓解方法。

In the past years, deep learning has seen an increase of usage in the domain of histopathological applications. However, while these approaches have shown great potential, in high-risk environments deep learning models need to be able to judge their own uncertainty and be able to reject inputs when there is a significant chance of misclassification. In this work, we conduct a rigorous evaluation of the most commonly used uncertainty and robustness methods for the classification of Whole-Slide-Images under domain shift using the H\&E stained Camelyon17 breast cancer dataset. Although it is known that histopathological data can be subject to strong domain shift and label noise, to our knowledge this is the first work that compares the most common methods for uncertainty estimation under these aspects. In our experiments, we compare Stochastic Variational Inference, Monte-Carlo Dropout, Deep Ensembles, Test-Time Data Augmentation as well as combinations thereof. We observe that ensembles of methods generally lead to higher accuracies and better calibration and that Test-Time Data Augmentation can be a promising alternative when choosing an appropriate set of augmentations. Across methods, a rejection of the most uncertain tiles leads to a significant increase in classification accuracy on both in-distribution as well as out-of-distribution data. Furthermore, we conduct experiments comparing these methods under varying conditions of label noise. We observe that the border regions of the Camelyon17 dataset are subject to label noise and evaluate the robustness of the included methods against different noise levels. Lastly, we publish our code framework to facilitate further research on uncertainty estimation on histopathological data.

语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据，但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距，我们正在研究基于在开放手术环境中获得的猪的高光谱成像（HSI）数据的以下研究问题：（1）基于神经网络的HSI数据的充分表示是完全自动化的器官分割，尤其是关于数据的空间粒度（像素与Superpixels与Patches与完整图像）的空间粒度？ （2）在执行语义器官分割时，是否有利用HSI数据使用HSI数据，即RGB数据和处理的HSI数据（例如氧合等组织参数）？根据基于20猪的506个HSI图像的全面验证研究，共注释了19个类，基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据，其中优势随着输入到神经网络的输入的尺寸而增加。最大性能（应用于整个图像的HSI）产生了0.89（标准偏差（SD）0.04）的平均骰子相似度系数（DSC），其在帧间间变异性（DSC为0.89（SD 0.07）的范围内。我们得出结论，HSI可以成为全自动手术场景理解的强大的图像模型，其具有传统成像的许多优点，包括恢复额外功能组织信息的能力。

在病理样本的全坡度图像（WSI）中注释癌区域在临床诊断，生物医学研究和机器学习算法开发中起着至关重要的作用。但是，产生详尽而准确的注释是劳动密集型，具有挑战性和昂贵的。仅绘制粗略和近似注释是一项容易得多的任务，成本较小，并且可以减轻病理学家的工作量。在本文中，我们研究了在数字病理学中完善这些近似注释以获得更准确的问题的问题。以前的一些作品探索了从这些不准确的注释中获得机器学习模型，但是很少有人解决改进问题，在这些问题中，应该明确识别和纠正错误标签的区域，并且所有这些都需要大量的培训样本（通常很大） 。我们提出了一种名为标签清洁多个实例学习（LC-MIL）标签的方法，可在不需要外部培训数据的情况下对单个WSI进行粗略注释。从WSI裁剪的带有不准确标签的贴片在多个实例学习框架内共同处理，从而减轻了它们对预测模型的影响并完善分割。我们对具有乳腺癌淋巴结转移，肝癌和结直肠癌样品的异质WSI进行的实验表明，LC-MIL显着完善了粗糙的注释，即使从单个幻灯片中学习，LC-MIL也优于最先进的替代方案。此外，我们证明了拟议方法如何有效地完善和改进病理学家绘制的真实注释。所有这些结果表明，LC-MIL是一种有前途的，轻巧的工具，可提供从粗糙注释的病理组中提供细粒的注释。

人工智能（AI）辅助方法在风险领域（例如疾病诊断）受到了很多关注。与疾病类型的分类不同，将医学图像归类为良性或恶性肿瘤是一项精细的任务。但是，大多数研究仅着重于提高诊断准确性，而忽略了模型可靠性的评估，从而限制了其临床应用。对于临床实践，校准对过度参数化的模型和固有的噪声极为明显地提出了低数据表格的主要挑战。特别是，我们发现建模与数据相关的不确定性更有利于置信度校准。与测试时间增强（TTA）相比，我们通过混合数据增强策略提出了一个修改后的自举损失（BS损耗）功能，可以更好地校准预测性不确定性并捕获数据分布转换而无需额外推断时间。我们的实验表明，与标准数据增强，深度集合和MC辍学相比，混合（BSM）模型的BS损失（BSM）模型可以将预期校准误差（ECE）减半。在BSM模型下，不确定性与相似性之间的相关性高达-0.4428。此外，BSM模型能够感知室外数据的语义距离，这表明在现实世界中的临床实践中潜力很高。

肺癌是全球癌症死亡的主要原因，肺腺癌是最普遍的肺癌形式。 EGFR阳性肺腺癌已被证明对TKI治疗的反应率很高，这是肺癌分子测试的基本性质。尽管目前的指南考虑必要测试，但很大一部分患者并未常规化，导致数百万的人未接受最佳治疗肺癌。测序是EGFR突变分子测试的黄金标准，但是结果可能需要数周的时间才能回来，这在时间限制的情况下并不理想。能够快速，便宜地检测EGFR突变的替代筛查工具的开发，同时保存组织以进行测序可以帮助减少受比较治疗的患者的数量。我们提出了一种多模式方法，该方法将病理图像和临床变量整合在一起，以预测EGFR突变状态，迄今为止最大的临床队列中的AUC为84％。这样的计算模型可以以很少的额外成本进行大部分部署。它的临床应用可以减少中国接受亚最佳治疗的患者数量53.1％，在美国将高达96.6％的患者减少96.6％。

在过去几年中，无监督的学习取得了很大的进展，特别是通过对比的自我监督学习。用于基准测试自我监督学习的主导数据集已经想象，最近的方法正在接近通过完全监督培训实现的性能。然而，ImageNet DataSet在很大程度上是以对象为中心的，并且目前尚不清楚这些方法的广泛不同的数据集和任务，这些方法是非以对象为中心的，例如数字病理学。虽然自我监督的学习已经开始在这个领域探讨了令人鼓舞的结果，但有理由看起来更接近这个环境与自然图像和想象成的不同。在本文中，我们对组织病理学进行了对比学学习的深入分析，引脚指向对比物镜的表现如何不同，由于组织病理学数据的特征。我们提出了一些考虑因素，例如对比目标和超参数调整的观点。在大量的实验中，我们分析了组织分类的下游性能如何受到这些考虑因素的影响。结果指出了对比学习如何减少数字病理中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要不同的视野和超参数校准。我们的结果为实现组织病理学应用的自我监督学习的全部潜力铺平了道路。

对从FFPE组织块制备的载玻片上切割的染色组织的光学显微镜检查是组织诊断的金标准。此外，任何病理学家的诊断能力和专业知识都取决于他们在常见和稀有变体形态上的直接经验。最近，深度学习方法已被用来成功显示此类任务的高度准确性。但是，获得专家级注释的图像是一项昂贵且耗时的任务，人为合成的组织学图像可能会非常有益。在这里，我们提出了一种方法，不仅可以生成组织学图像，从而重现普通疾病的诊断形态特征，而且还提供了产生新的和罕见形态的用户能力。我们的方法涉及开发一种生成的对抗网络模型，该模型综合了由类标签约束的病理图像。我们研究了该框架合成现实的前列腺和结肠组织图像的能力，并评估了这些图像在增强机器学习方法的诊断能力以及通过一组经验丰富的解剖病理学家的可用性方面的实用性。我们的框架生成的合成数据在训练深度学习模型中进行了类似于实际数据进行诊断。病理学家无法区分真实图像和合成图像，并显示出相似的前列腺癌分级的观察者间一致性。我们扩展了从结肠活检中显着复杂图像的方法，并表明也可以再现了此类组织中的复杂微环境。最后，我们介绍了用户通过简单的语义标签标记来生成深层组织学图像的能力。

在过去的几年中，在深度学习中，在深度学习中广泛研究了域的概括问题，但对对比增强成像的关注受到了有限的关注。但是，临床中心之间的对比度成像方案存在明显差异，尤其是在对比度注入和图像采集之间，而与可用的非对抗成像的可用数据集相比，访问多中心对比度增强图像数据受到限制。这需要新的工具来概括单个中心的深度学习模型，跨越新的看不见的域和临床中心，以对比增强成像。在本文中，我们介绍了深度学习技术的详尽评估，以实现对对比度增强图像分割的看不见的临床中心的普遍性。为此，研究，优化和系统评估了几种技术，包括数据增强，域混合，转移学习和域的适应性。为了证明域泛化对对比增强成像的潜力，评估了对对比增强心脏磁共振成像（MRI）中的心室分割的方法。结果是根据位于三个国家（法国，西班牙和中国）的四家医院中获得的多中心心脏对比增强的MRI数据集获得的。他们表明，数据增强和转移学习的组合可以导致单中心模型，这些模型可以很好地推广到训练过程中未包括的新临床中心。在对比增强成像中，具有合适的概括程序的单域神经网络可以达到甚至超过多中心多供应商模型的性能，从而消除了对综合多中心数据集的需求，以训练可概括的模型。

近年来，计算机视觉社区中最受欢迎的技术之一就是深度学习技术。作为一种数据驱动的技术，深层模型需要大量准确标记的培训数据，这在许多现实世界中通常是无法访问的。数据空间解决方案是数据增强（DA），可以人为地从原始样本中生成新图像。图像增强策略可能因数据集而有所不同，因为不同的数据类型可能需要不同的增强以促进模型培训。但是，DA策略的设计主要由具有领域知识的人类专家决定，这被认为是高度主观和错误的。为了减轻此类问题，一个新颖的方向是使用自动数据增强（AUTODA）技术自动从给定数据集中学习图像增强策略。 Autoda模型的目的是找到可以最大化模型性能提高的最佳DA策略。这项调查从图像分类的角度讨论了Autoda技术出现的根本原因。我们确定标准自动赛车模型的三个关键组件：搜索空间，搜索算法和评估功能。根据他们的架构，我们提供了现有图像AUTODA方法的系统分类法。本文介绍了Autoda领域的主要作品，讨论了他们的利弊，并提出了一些潜在的方向以进行未来的改进。

针对组织病理学图像数据的临床决策支持主要侧重于强烈监督的注释，这提供了直观的解释性，但受专业表现的束缚。在这里，我们提出了一种可解释的癌症复发预测网络（Ecarenet），并表明没有强注释的端到端学习提供最先进的性能，而可以通过注意机制包括可解释性。在前列腺癌生存预测的用例上，使用14,479个图像和仅复发时间作为注释，我们在验证集中达到0.78的累积动态AUC，与专家病理学家（以及在单独测试中的AUC为0.77放）。我们的模型是良好的校准，输出生存曲线以及每位患者的风险分数和群体。利用多实例学习层的注意重量，我们表明恶性斑块对预测的影响较高，从而提供了对预测的直观解释。我们的代码可在www.github.com/imsb-uke/ecarenet上获得。

大型医学成像数据集变得越来越多。这些数据集中的一个普遍挑战是确保每个样本满足没有重要人工制品的最低质量要求。尽管已经开发出广泛的现有自动方法来识别医学成像中的缺陷和人工制品，但它们主要依赖于渴望数据的方法。特别是，缺乏可用于培训的手工艺品的足够扫描，在临床研究中设计和部署机器学习方面造成了障碍。为了解决这个问题，我们提出了一个具有四个主要组成部分的新颖框架：（1）一组受磁共振物理启发的手工艺发电机，以损坏大脑MRI扫描和增强培训数据集，（2）一组抽象和工程的功能，紧凑地表示图像，（3）一个特征选择过程，取决于人工制品的类别以提高分类性能，以及（4）一组受过训练以识别人工制品的支持向量机（SVM）分类器。我们的新颖贡献是三重的：首先，我们使用新型的基于物理的人工制品发生器来生成以受控的人工制品作为数据增强技术的合成脑MRI扫描。这将避免使用稀有人工制品的劳动密集型收集和标记过程。其次，我们提出了开发的大量抽象和工程图像特征，以识别9种不同的结构MRI伪像。最后，我们使用一个基于人工制品的功能选择块，该块，对于每类的人工制品，可以找到提供最佳分类性能的功能集。我们对具有人工生成的人工制品的大量数据扫描进行了验证实验，并且在一项多发性硬化症临床试验中，专家确定了真实的人工制品，这表明拟议管道表现优于传统方法。

最近，大型高质量的公共数据集导致了卷积神经网络的发展，这些神经网络可以在专家病理学家水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源地点如何，都可以转移到淋巴结。但是，收集和注释每种癌症类型的高量，高质量数据集都是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集，以实现紧密相关的任务。具体而言，我们将探索不同的训练和领域适应策略，包括预防灾难性遗忘，用于结肠和头颈癌症转移淋巴结中的灾难性遗忘。我们的结果表明，两项癌症转移检测任务的最新性能。此外，我们显示了从一种癌症类型到另一种癌症的反复适应以获得多任务转移检测网络的有效性。最后，我们表明，利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。

分发班次的稳健性对于部署现实世界中的机器学习模型至关重要。尽管如此必要的，但在定义导致这些变化的潜在机制以及评估跨多个不同的分发班次的稳健性的潜在机制很少。为此，我们介绍了一种框架，可实现各种分布换档的细粒度分析。我们通过评估在合成和现实世界数据集中分为五个类别的19个不同的方法来提供对当前最先进的方法的整体分析。总的来说，我们训练超过85架模型。我们的实验框架可以很容易地扩展到包括新方法，班次和数据集。我们发现，与以前的工作〜\ citep {gulrajani20}不同，该进度已经通过标准的ERM基线进行;特别是，在许多情况下，预先训练和增强（学习或启发式）提供了大的收益。但是，最好的方法在不同的数据集和班次上不一致。

Image classification with small datasets has been an active research area in the recent past. However, as research in this scope is still in its infancy, two key ingredients are missing for ensuring reliable and truthful progress: a systematic and extensive overview of the state of the art, and a common benchmark to allow for objective comparisons between published methods. This article addresses both issues. First, we systematically organize and connect past studies to consolidate a community that is currently fragmented and scattered. Second, we propose a common benchmark that allows for an objective comparison of approaches. It consists of five datasets spanning various domains (e.g., natural images, medical imagery, satellite data) and data types (RGB, grayscale, multispectral). We use this benchmark to re-evaluate the standard cross-entropy baseline and ten existing methods published between 2017 and 2021 at renowned venues. Surprisingly, we find that thorough hyper-parameter tuning on held-out validation data results in a highly competitive baseline and highlights a stunted growth of performance over the years. Indeed, only a single specialized method dating back to 2019 clearly wins our benchmark and outperforms the baseline classifier.

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

已经开发了用于预测结直肠癌（CRC）在内的临床相关生物标志物（包括微卫星不稳定性（MSI））的人工智能（AI）模型。但是，当前的深度学习网络是渴望数据的，需要大型培训数据集，这些数据集通常缺乏医疗领域。在这项研究中，基于最新的层次视觉变压器使用移位窗口（SWIN-T），我们开发了CRC中生物标志物的有效工作流程（MSI，超突击，染色体不稳定性，CPG岛甲基表型，BRAF和TP53突变）需要相对较小的数据集，但实现了最新的（SOTA）预测性能。我们的SWIN-T工作流不仅在使用TCGA-CRC-DX数据集（n = 462）的研究内交叉验证实验中大大优于已发表的模型（n = 462），而且在跨研究的外部验证中表现出极好的普遍性，并提供了SOTA AUROC使用MCO数据集进行训练（n = 1065）和相同的TCGA-CRC-DX进行测试。 Echle及其同事在同一测试数据集上使用8000个培训样本（RESNET18）实现了类似的性能（AUROC = 0.91）。 Swin-T使用小型训练数据集非常有效，并且仅使用200-500个培训样本展示出强大的预测性能。这些数据表明，Swin-T的效率可能是基于RESNET18和Shufflenet的MSI当前最新算法的效率5-10倍。此外，SWIN-T模型显示出有望作为MSI状态和BRAF突变状态的预筛查测试，可以在级联的诊断工作流程中排除和减少样品，以允许降低周转时间和节省成本。

主要的神经影像学研究推动了1.0 mm以下的3T MRI采集分辨率，以改善结构定义和形态学。然而，只有很少的时间 - 密集的自动化图像分析管道已被验证为高分辨率（雇用）设置。另一方面，有效的深度学习方法很少支持多个固定分辨率（通常1.0 mm）。此外，缺乏标准的杂交数据分辨率以及具有足够覆盖的扫描仪，年龄，疾病或遗传方差的多样化数据的有限可用性会带来额外的，未解决的挑战培训网络。将分辨率独立于基于深度学习的分割，即在一系列不同的体素大小上以其本地分辨率进行分辨率的能力，承诺克服这些挑战，但目前没有这种方法。我们现在通过向决议独立的分割任务（VINN）引入VINOSEIZED独立的神经网络（VINN）来填补这个差距，并呈现FastSurfervinn，（i）建立并实施决议独立，以获得深度学习作为同时支持0.7-1.0 mm的第一种方法分割，（ii）显着优于跨决议的最先进方法，（iii）减轻雇用数据集中存在的数据不平衡问题。总体而言，内部分辨率 - 独立性相互益处雇用和1.0 mm MRI分割。通过我们严格验证的FastSurfervinn，我们将为不同的神经视线镜分析分发一个快速工具。此外，VINN架构表示更广泛应用的有效分辨率的分段方法

数据不平衡，即来自不同课程的培训观测数量之间的歧视，仍然是影响当代机器学习的最重要挑战之一。数据预处理技术可以减少数据不平衡对传统分类算法的负面影响，可以减少操纵训练数据以人为地降低不平衡程度的方法。然而，现有的数据预处理技术，特别是粉迹及其衍生物构成最普遍的数据预处理的范式，往往易于各种数据难度因素。这部分是由于原始粉碎算法不利用有关多数类观察的信息的事实。本文的重点是利用少数群体和多数阶级的分布的信息，自然地发展新的数据重采样策略。本文总结了12个研究论文的内容，专注于所提出的二进制数据重采采样策略，它们与多级环境的翻译，以及对组织病理数据分类问题的实际应用。