在数字组织病理学分析中,污渍变化通常会降低基于深度学习的方法的概括能力。两项单独的建议,即染色标准化(SN)和染色增强(SA),已聚焦以减少概括错误,在此,前者使用模板图像减轻了不同医疗中心的污渍转移,后者则丰富了后者的污渍样式,并通过污染中心的误差。模拟更多的污渍变化。但是,它们的应用是由选择模板图像和不现实样式的构建的界定。为了解决这些问题,我们将SN和SA与新颖的Randstainna方案统一,该方案在可行的范围内限制了可变污渍样式,以训练污渍不可知论的深度学习模型。 Randstainna适用于在颜色空间集合中染色归一化,即HED,HSV,实验室。此外,我们提出了一个随机的颜色空间选择方案,以提高性能。我们通过两个诊断任务,即具有各种网络骨架的诊断任务,即组织亚型分类和核分割。拟议的Randstainna可以始终如一地提高概括能力,使我们的模型可以应对具有不可预测的污渍样式的更传入的临床数据集,因此所提出的Randstainna的性能优势可以始终如一地提高概括能力。这些代码可从https://github.com/yiqings/randstainna获得。
translated by 谷歌翻译
Computational pathology can lead to saving human lives, but models are annotation hungry and pathology images are notoriously expensive to annotate. Self-supervised learning has shown to be an effective method for utilizing unlabeled data, and its application to pathology could greatly benefit its downstream tasks. Yet, there are no principled studies that compare SSL methods and discuss how to adapt them for pathology. To address this need, we execute the largest-scale study of SSL pre-training on pathology image data, to date. Our study is conducted using 4 representative SSL methods on diverse downstream tasks. We establish that large-scale domain-aligned pre-training in pathology consistently out-performs ImageNet pre-training in standard SSL settings such as linear and fine-tuning evaluations, as well as in low-label regimes. Moreover, we propose a set of domain-specific techniques that we experimentally show leads to a performance boost. Lastly, for the first time, we apply SSL to the challenging task of nuclei instance segmentation and show large and consistent performance improvements under diverse settings.
translated by 谷歌翻译
计算机辅助诊断数字病理学正在变得普遍存在,因为它可以提供更有效和客观的医疗保健诊断。最近的进展表明,卷积神经网络(CNN)架构是一种完善的深度学习范式,可用于设计一种用于乳腺癌检测的计算机辅助诊断(CAD)系统。然而,探索了污染变异性因污染变异性和染色常规化的影响,尚未得到很好的挑战。此外,对于高吞吐量筛选可能是重要的网络模型的性能分析,这也不适用于高吞吐量筛查,也不熟悉。要解决这一挑战,我们考虑了一些当代CNN模型,用于涉及(1)的乳房组织病理学图像的二进制分类。使用基于自适应颜色解卷积(ACD)的颜色归一化算法来处理污染归一化图像的数据以处理染色变量; (2)应用基于转移学习的一些可动性更高效的CNN模型的培训,即视觉几何组网络(VGG16),MobileNet和效率网络。我们在公开的Brankhis数据集上验证了培训的CNN网络,适用于200倍和400x放大的组织病理学图像。实验分析表明,大多数情况下预染额网络在数据增强乳房组织病理学图像中产生更好的质量,而不是污染归一化的情况。此外,我们使用污染标准化图像评估了流行轻量级网络的性能和效率,并发现在测试精度和F1分数方面,高效网络优于VGG16和MOBILENET。我们观察到在测试时间方面的效率比其他网络更好; vgg net,mobilenet,在分类准确性下没有太大降低。
translated by 谷歌翻译
Though impressive success has been witnessed in computer vision, deep learning still suffers from the domain shift challenge when the target domain for testing and the source domain for training do not share an identical distribution. To address this, domain generalization approaches intend to extract domain invariant features that can lead to a more robust model. Hence, increasing the source domain diversity is a key component of domain generalization. Style augmentation takes advantage of instance-specific feature statistics containing informative style characteristics to synthetic novel domains. However, all previous works ignored the correlation between different feature channels or only limited the style augmentation through linear interpolation. In this work, we propose a novel augmentation method, called \textit{Correlated Style Uncertainty (CSU)}, to go beyond the linear interpolation of style statistic space while preserving the essential correlation information. We validate our method's effectiveness by extensive experiments on multiple cross-domain classification tasks, including widely used PACS, Office-Home, Camelyon17 datasets and the Duke-Market1501 instance retrieval task and obtained significant margin improvements over the state-of-the-art methods. The source code is available for public use.
translated by 谷歌翻译
Gigapixel Medical图像提供了大量的数据,包括形态学纹理和空间信息。由于组织学的数据量表较大,​​深度学习方法作为特征提取器起着越来越重要的作用。现有的解决方案在很大程度上依赖卷积神经网络(CNN)进行全局像素级分析,从而使潜在的局部几何结构(例如肿瘤微环境中的细胞之间的相互作用均未探索。事实证明,医学图像中的拓扑结构与肿瘤进化密切相关,可以很好地表征图。为了获得下游肿瘤学任务的更全面的表示,我们提出了一个融合框架,以增强CNN捕获的全局图像级表示,并使用图形神经网络(GNN)学习的细胞级空间信息的几何形状。融合层优化了全局图像和单元图的协作特征之间的集成。已经开发了两种融合策略:一种具有MLP的融合策略,这很简单,但通过微调而有效,而Transformer获得了融合多个网络的冠军。我们评估了从大型患者群体和胃癌策划的组织学数据集中的融合策略,以完成三个生物标志物预测任务。两种型号的表现都优于普通CNN或GNN,在各种网络骨架上达到了超过5%的AUC提高。实验结果在医学图像分析中将图像水平的形态特征与细胞空间关系相结合的必要性。代码可在https://github.com/yiqings/hegnnenhancecnn上找到。
translated by 谷歌翻译
准确且强大的视觉对象跟踪是最具挑战性和最基本的计算机视觉问题之一。它需要在图像序列中估计目标的轨迹,仅给出其初始位置和分段,或者在边界框的形式中粗略近似。判别相关滤波器(DCF)和深度暹罗网络(SNS)被出现为主导跟踪范式,这导致了重大进展。在过去十年的视觉对象跟踪快速演变之后,该调查介绍了90多个DCFS和暹罗跟踪器的系统和彻底审查,基于九个跟踪基准。首先,我们介绍了DCF和暹罗跟踪核心配方的背景理论。然后,我们在这些跟踪范式中区分和全面地审查共享以及具体的开放研究挑战。此外,我们彻底分析了DCF和暹罗跟踪器对九个基准的性能,涵盖了视觉跟踪的不同实验方面:数据集,评估度量,性能和速度比较。通过提出根据我们的分析提出尊重开放挑战的建议和建议来完成调查。
translated by 谷歌翻译
在本文中,我们考虑了语义分割中域概括的问题,该问题旨在仅使用标记的合成(源)数据来学习强大的模型。该模型有望在看不见的真实(目标)域上表现良好。我们的研究发现,图像样式的变化在很大程度上可以影响模型的性能,并且样式特征可以通过图像的频率平均值和标准偏差来很好地表示。受此启发,我们提出了一种新颖的对抗性增强(Advstyle)方法,该方法可以在训练过程中动态生成硬性化的图像,因此可以有效防止该模型过度适应源域。具体而言,AdvStyle将样式功能视为可学习的参数,并通过对抗培训对其进行更新。学习的对抗性风格功能用于构建用于健壮模型训练的对抗图像。 AdvStyle易于实现,并且可以轻松地应用于不同的模型。对两个合成到现实的语义分割基准的实验表明,Advstyle可以显着改善看不见的真实域的模型性能,并表明我们可以实现最新技术的状态。此外,可以将AdvStyle用于域通用图像分类,并在考虑的数据集上产生明显的改进。
translated by 谷歌翻译
由多种因素引起的组织学图像的染色变化不仅是病理学家的视觉诊断,而且是细胞分割算法的挑战。为了消除颜色变化,已经提出了许多染色归一化方法。但是,大多数是为苏木精和曙红染色图像而设计的,并且在免疫组织化学染色图像上表现不佳。当前的细胞分割方法系统地将染色归一化作为预处理步骤,但是尚未定量研究颜色变化带来的影响。在本文中,我们制作了五组具有不同颜色的Neun染色图像。我们应用了一种深度学习的图像录制方法来在组织学图像组之间执行色彩转移。最后,我们改变了分割集的颜色,并量化了颜色变化对细胞分割的影响。结果证明了在后续分析之前必须进行颜色归一化的必要性。
translated by 谷歌翻译
The success of deep learning is largely due to the availability of large amounts of training data that cover a wide range of examples of a particular concept or meaning. In the field of medicine, having a diverse set of training data on a particular disease can lead to the development of a model that is able to accurately predict the disease. However, despite the potential benefits, there have not been significant advances in image-based diagnosis due to a lack of high-quality annotated data. This article highlights the importance of using a data-centric approach to improve the quality of data representations, particularly in cases where the available data is limited. To address this "small-data" issue, we discuss four methods for generating and aggregating training data: data augmentation, transfer learning, federated learning, and GANs (generative adversarial networks). We also propose the use of knowledge-guided GANs to incorporate domain knowledge in the training data generation process. With the recent progress in large pre-trained language models, we believe it is possible to acquire high-quality knowledge that can be used to improve the effectiveness of knowledge-guided generative methods.
translated by 谷歌翻译
人重新识别(REID)的域概括(DG)是一个具有挑战性的问题,因为在培训过程中无法访问允许的目标域数据。大多数现有的DG REID方法都采用相同的功能来更新功能提取器和分类器参数。这种常见的实践导致模型过度拟合了源域中的现有特征样式,即使使用元学习,也会在目标域上对目标域的概括概括能力。为了解决这个问题,我们提出了一种新型的交织方式学习框架。与传统的学习策略不同,交织的学习结合了两个远期传播和每个迭代的后退传播。我们采用交错样式的功能,使用不同的前向传播来更新功能提取器和分类器,这有助于模型避免过度适应某些域样式。为了充分探索风格交织的学习的优势,我们进一步提出了一种新颖的功能风格化方法来多样化功能样式。这种方法不仅混合了多个培训样本的功能样式,还可以从批处理级别的样式发行中示例新的和有意义的功能样式。广泛的实验结果表明,我们的模型始终优于DG REID大规模基准的最先进方法,从而在计算效率方面具有明显的优势。代码可从https://github.com/wentaotan/interleaved-learning获得。
translated by 谷歌翻译
数据采集​​和注释中的困难基本上限制了3D医学成像应用的训练数据集的样本尺寸。结果,在没有足够的预训练参数的情况下,构建来自划痕的高性能3D卷积神经网络仍然是一项艰巨的任务。以前关于3D预培训的努力经常依赖于自我监督的方法,它在未标记的数据上使用预测或对比学习来构建不变的3D表示。然而,由于大规模监督信息的不可用,从这些学习框架获得语义不变和歧视性表示仍然存在问题。在本文中,我们重新审视了一种创新但简单的完全监督的3D网络预训练框架,以利用来自大型2D自然图像数据集的语义监督。通过重新设计的3D网络架构,重新设计的自然图像用于解决数据稀缺问题并开发强大的3D表示。四个基准数据集上的综合实验表明,所提出的预先接受的模型可以有效地加速收敛,同时还提高了各种3D医学成像任务,例如分类,分割和检测的准确性。此外,与从头划伤的训练相比,它可以节省高达60%的注释工作。在NIH Deeplesion数据集上,它同样地实现了最先进的检测性能,优于早期的自我监督和完全监督的预训练方法,以及从头训练进行培训的方法。为了促进3D医疗模型的进一步发展,我们的代码和预先接受的模型权重在https://github.com/urmagicsmine/cspr上公开使用。
translated by 谷歌翻译
在实际应用中,高度要求进行语义细分的域概括,在这种应用中,训练有素的模型预计在以前看不见的域中可以很好地工作。一个挑战在于缺乏数据可能涵盖可能看不见的培训领域的各种分布的数据。在本文中,我们提出了一个Web图像辅助域的概括(Wedge)方案,该方案是第一个利用Web爬行图像多样性进行概括的语义细分。为了探索和利用现实世界的数据分布,我们收集了一个网络爬行的数据集,该数据集在天气条件,站点,照明,相机样式等方面呈现出较大的多样性。我们还提出了一种注入Web样式表示的方法 - 将数据编进培训期间的源域中,这使网络能够以可靠的标签体验各种样式的图像,以进行有效的培训。此外,我们使用带有预测的伪标签的Web爬行数据集进行培训,以进一步增强网络的功能。广泛的实验表明,我们的方法显然优于现有的域泛化技术。
translated by 谷歌翻译
组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训,这需要大量的专家注释,这可能是昂贵且耗时的收集。同时,精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题,我们提出了一个精心设计的条件GaN模型,即hostogan,用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架,可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁,而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像,我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估:具有有限注释的宫颈组织病理学图像数据集,以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里,我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能(分别为6.7%和2.8%)的显着和一致性。
translated by 谷歌翻译
人们普遍认为,污渍差异引起的颜色变化是组织病理学图像分析的关键问题。现有方法采用颜色匹配,染色分离,污渍转移或它们的组合以减轻污渍变化问题。在本文中,我们提出了一种用于组织病理学图像分析的新型染色自适应自我监督学习(SASSL)方法。我们的SASSL将一个域 - 交流训练模块集成到SSL框架中,以学习独特的特征,这些功能对各种转换和污渍变化都具有鲁棒性。所提出的SASSL被视为域不变特征提取的一般方法,可以通过对特定下游任务的特征进行细微调整特征来灵活地与任意下游组织病理学图像分析模块(例如核/组织分割)结合。我们进行了有关公开可用的病理图像分析数据集的实验,包括熊猫,乳腺癌和camelyon16数据集,以实现最先进的性能。实验结果表明,所提出的方法可以鲁棒地提高模型的特征提取能力,并在下游任务中实现稳定的性能改善。
translated by 谷歌翻译
我们介绍了一种基于深度学习的方法,用于将空间变化的视觉材料属性(例如纹理地图或图像样式)传播到相同或类似材料的较大样本。为培训,我们利用在多个照明和专用数据增强策略下采取的材料的图像,使转移到新颖的照明条件和仿射变形。我们的模型依赖于监督的图像到图像转换框架,并且对转移域名不可知;我们展示了语义分割,普通地图和程式化。在图像类比方法之后,该方法仅需要训练数据包含与输入引导相同的视觉结构。我们的方法采用交互式速率,使其适用于材料编辑应用。我们在受控设置中彻底评估了我们的学习方法,提供了性能的定量测量。最后,我们证明训练单个材料上的模型足以推广到相同类型的材料,而无需大量数据集。
translated by 谷歌翻译
语义图像分割是手术中的背景知识和自治机器人的重要前提。本领域的状态专注于在微创手术期间获得的传统RGB视频数据,但基于光谱成像数据的全景语义分割并在开放手术期间获得几乎没有注意到日期。为了解决文献中的这种差距,我们正在研究基于在开放手术环境中获得的猪的高光谱成像(HSI)数据的以下研究问题:(1)基于神经网络的HSI数据的充分表示是完全自动化的器官分割,尤其是关于数据的空间粒度(像素与Superpixels与Patches与完整图像)的空间粒度? (2)在执行语义器官分割时,是否有利用HSI数据使用HSI数据,即RGB数据和处理的HSI数据(例如氧合等组织参数)?根据基于20猪的506个HSI图像的全面验证研究,共注释了19个类,基于深度的学习的分割性能 - 贯穿模态 - 与输入数据的空间上下文一致。未处理的HSI数据提供优于RGB数据或来自摄像机提供商的处理数据,其中优势随着输入到神经网络的输入的尺寸而增加。最大性能(应用于整个图像的HSI)产生了0.89(标准偏差(SD)0.04)的平均骰子相似度系数(DSC),其在帧间间变异性(DSC为0.89(SD 0.07)的范围内。我们得出结论,HSI可以成为全自动手术场景理解的强大的图像模型,其具有传统成像的许多优点,包括恢复额外功能组织信息的能力。
translated by 谷歌翻译
尽管进行了多年的研究,但跨域的概括仍然是深层网络的语义分割的关键弱点。先前的研究取决于静态模型的假设,即训练过程完成后,模型参数在测试时间保持固定。在这项工作中,我们通过一种自适应方法来挑战这一前提,用于语义分割,将推理过程调整为每个输入样本。自我适应在两个级别上运行。首先,它采用了自我监督的损失,该损失将网络中卷积层的参数定制为输入图像。其次,在批准层中,自适应近似于整个测试数据的平均值和方差,这是不可用的。它通过在训练和从单个测试样本得出的参考分布之间进行插值来实现这一目标。为了凭经验分析我们的自适应推理策略,我们制定并遵循严格的评估协议,以解决先前工作的严重局限性。我们的广泛分析得出了一个令人惊讶的结论:使用标准训练程序,自我适应大大优于强大的基准,并在多域基准测试方面设定了新的最先进的准确性。我们的研究表明,自适应推断可以补充培训时间的既定模型正规化实践,以改善深度网络的概括到异域数据。
translated by 谷歌翻译
我们向您展示一次(YOCO)进行数据增强。 Yoco将一张图像切成两片,并在每件零件中单独执行数据增强。应用YOCO改善了每个样品的增强的多样性,并鼓励神经网络从部分信息中识别对象。 Yoco享受无参数,轻松使用的属性,并免费提供几乎所有的增强功能。进行了彻底的实验以评估其有效性。我们首先证明Yoco可以无缝地应用于不同的数据增强,神经网络体系结构,并在CIFAR和Imagenet分类任务上带来性能提高,有时会超过传统的图像级增强。此外,我们显示了Yoco益处对比的预培训,以更强大的表示,可以更好地转移到多个下游任务。最后,我们研究了Yoco的许多变体,并经验分析了各个设置的性能。代码可在GitHub上找到。
translated by 谷歌翻译
语义细分对于使自动驾驶车辆自动驾驶至关重要,从而使他们能够通过将单个像素分配给已知类别来理解周围环境。但是,它可以根据用户汽车收集的明智数据运行;因此,保护​​客户的隐私成为主要问题。出于类似的原因,最近将联邦学习作为一种新的机器学习范式引入,旨在学习全球模型,同时保留隐私并利用数百万个远程设备的数据。尽管在这个主题上进行了几项努力,但尚未明确解决语义细分中联合学习在迄今为止驾驶的挑战。为了填补这一空白,我们提出了FedDrive,这是一个由三个设置和两个数据集组成的新基准,其中包含了统计异质性和域概括的现实世界挑战。我们通过深入的分析基于联合学习文献的最新算法,将它们与样式转移方法相结合以提高其概括能力。我们证明,正确处理标准化统计数据对于应对上述挑战至关重要。此外,在处理重大外观变化时,样式转移会提高性能。官方网站:https://feddrive.github.io。
translated by 谷歌翻译
组织病理学图像的出现取决于组织类型,染色和数字化过程。这些因素因来源而异,是域转移问题的潜在原因。由于这个问题,尽管深度学习模型在计算病理学中取得了巨大的成功,但在特定领域训练的模型当我们将其应用于另一个领域时,仍可能会表现出色。为了克服这一点,我们提出了一种称为PatchShuffling的新扩展,并为预训练的深度学习模型而被称为Impash的新型自我监视的对比学习框架。使用这些,我们获得了一个RESNET50编码器,该编码器可以提取对域移位抗性的图像表示。我们通过使用其他域普通化技术来比较了我们的派生表示形式,它们通过将它们用于结直肠组织图像的跨域分类。我们表明,所提出的方法优于其他传统的组织学领域适应和最先进的自我监督学习方法。代码可在以下网址获得:https://github.com/trinhvg/impash。
translated by 谷歌翻译