有监督的深度学习算法具有自动化筛查，监视和分级的医学图像的巨大潜力。但是，培训表现模型通常需要大量的标记数据，这在医疗领域几乎无法获得。自我监督的对比框架通过首先从未标记的图像中学习来放松这种依赖性。在这项工作中，我们表明使用两种对比方法进行了预处理，即SIMCLR和BYOL，就与年龄相关的黄斑变性（AMD）的临床评估有关深度学习的实用性。在实验中，使用两个大型临床数据集，其中包含7,912名患者的170,427个光学相干断层扫描（OCT）图像，我们评估了从AMD阶段和类型分类到功能性终点的七个下游任务，从七个下游任务进行预处理，从在标签较少的七个任务中，六个任务中有六个显着增加。但是，标准的对比框架具有两个已知的弱点，这些弱点不利于医疗领域的预处理。用于创建正面对比对的几种图像转换不适用于灰度医学扫描。此外，医学图像通常描绘了相同的解剖区域和疾病的严重程度，从而导致许多误导性负面对。为了解决这些问题，我们开发了一种新颖的元数据增强方法，该方法利用了丰富的固有可用患者信息集。为此，我们采用了患者身份，眼睛位置（即左或右）和时间序列数据的记录，以指示典型的不可知的对比关系。通过利用这种经常被忽视的信息，我们元数据增强的对比预处理可带来进一步的好处，并且在下游七个任务中有五个任务中的五个中的五分之一。
translated by 谷歌翻译
胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。
translated by 谷歌翻译
为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。
translated by 谷歌翻译
高质量注释的医学成像数据集的稀缺性是一个主要问题，它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式，可以使学习强大的表示无需人类注释，这可以被视为有效的解决方案，以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向，用于图像数据，并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法，因为它们适用于医学成像分析，并将其归类为预测性，生成性和对比性方法。此外，该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文，旨在阐明该领域的最新创新。最后，本文以该领域的未来研究指示结束。
translated by 谷歌翻译
自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。
translated by 谷歌翻译
收集大量人生成的健康数据（可穿戴性），但注释给机器学习模型的注释过程是不切实际的。本文讨论了使用以前应用于视觉域的自我监督损失的自我监督方法，例如以前应用于视觉域，可以应用于跨越睡眠，心脏和心脏的下游分类任务的高维健康信号。代谢条件。为此，我们适应数据增强步骤和整体架构，以满足数据（可穿戴迹线）的时间性，并通过比较其他最先进的方法（包括监督学习）和对抗的无监督来评估5个下游任务。代表学习方法。我们表明SIMCLR在大多数下游评估任务中表明了对抗性方法和完全监督的方法，并且所有自我监督方法都优于完全监督的方法。这项工作为应用于可穿戴时间级域的对比方法提供了全面的基准，显示了下游临床结果的任务不可知论见的承诺。
translated by 谷歌翻译
最近的对比学习方法在低标签制度中实现了最新的。但是，培训需要大批量和重型增强，以创建图像的多个视图。使用非对抗性方法，负面因素被隐式地纳入损失中，允许不同的图像和模态作为对。尽管医学成像中的元信息（即年龄，性别）很丰富，但注释又嘈杂，容易出现阶级失衡。在这项工作中，我们使用纵向光学相干断层扫描（OCT）数据集利用了已经存在的时间信息（来自患者的不同访问），但使用时间知情的非对抗性损失（TINC），而没有增加复杂性和对负面对的需求。此外，我们的新颖配对方案可以避免重大增强，并将时间信息隐含地纳入对。最后，这些从训练中学到的表示在预测时间信息对于下游任务至关重要的情况下更为成功。更具体地说，我们的模型优于现有模型，可以预测从中期与年龄相关的黄斑变性（AMD）到晚期湿AMD阶段的转化风险。
translated by 谷歌翻译
高注释成本是将现代深度学习架构应用于临床相关的医疗用例的大量瓶颈，这使得新颖算法的需要从未标记的数据中学习。在这项工作中，我们提出了一种自我监督的方法，可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损耗对准特征空间中的图像和几种遗传模式。我们设计我们的方法，以将每个人的多种模式集成在同一模型端到端，即使当可用的方式因个人而异）也是如此。我们的程序优于所有在所有评估的下游基准任务上表达最先进的自我监督方法。我们还适应基于梯度的可解释性算法，以更好地了解图像和遗传模式之间学习的跨模型关联。最后，我们对我们模型学到的特征进行了基因组关联研究，揭示了图像与遗传数据之间的有趣关系。
translated by 谷歌翻译
在过去几年中，无监督的学习取得了很大的进展，特别是通过对比的自我监督学习。用于基准测试自我监督学习的主导数据集已经想象，最近的方法正在接近通过完全监督培训实现的性能。然而，ImageNet DataSet在很大程度上是以对象为中心的，并且目前尚不清楚这些方法的广泛不同的数据集和任务，这些方法是非以对象为中心的，例如数字病理学。虽然自我监督的学习已经开始在这个领域探讨了令人鼓舞的结果，但有理由看起来更接近这个环境与自然图像和想象成的不同。在本文中，我们对组织病理学进行了对比学学习的深入分析，引脚指向对比物镜的表现如何不同，由于组织病理学数据的特征。我们提出了一些考虑因素，例如对比目标和超参数调整的观点。在大量的实验中，我们分析了组织分类的下游性能如何受到这些考虑因素的影响。结果指出了对比学习如何减少数字病理中的注释工作，但需要考虑特定的数据集特征。为了充分利用对比学习目标，需要不同的视野和超参数校准。我们的结果为实现组织病理学应用的自我监督学习的全部潜力铺平了道路。
translated by 谷歌翻译
监督的机器学习为各种计算机视觉问题提供了最新的解决方案。但是，对大量标记的培训数据的需求限制了这些算法在稀缺或昂贵的情况下的这些算法的功能。自我监督的学习提供了一种方法，可以通过对未标记数据的特定域进行预处理模型来降低对手动注释数据的需求。在这种方法中，标记的数据完全需要用于微调下游任务的模型。医疗图像细分是一个标签数据需要专家知识并收集大型标记数据集的领域。因此，自我监督的学习算法有望在该领域进行实质性改进。尽管如此，自我监督的学习算法很少用于预识医学图像分割网络。在本文中，我们详细阐述并分析了对下游医学图像分割的监督和自我监督预审方法的有效性，重点是收敛和数据效率。我们发现，对自然图像和目标域特异性图像进行自我监督的预测会导致最快，最稳定的下游收敛性。在我们对ACDC心脏分割数据集的实验中，与Imagenet预处理的模型相比，这种预处理的方法可实现4-5倍的微调收敛。我们还表明，这种方法需要在域特异性数据上进行少于五个时期的预处理，以在下游收敛时间进行这种改进。最后，我们发现，在低数据方案中，有监督的Imagenet预处理达到了最佳准确性，需要少于100个带注释的样品才能实现接近最小误差。
translated by 谷歌翻译
转移学习已成为减轻医疗分类任务中缺乏标记数据的标准做法。虽然FineEning使用受监督的想象佩尔预押的下游任务预磨损的功能是简单的，并且在许多作品中进行了广泛的调查，但对自我监督预测的有用性很少有研究。在本文中，我们评估了通过从三种自我监督技术（SIMCLR，SWAV和DINO）对所选医疗分类任务的三种自我监控技术（SIMCLRR，SWAV和DINO）初始化的模型的性能来评估想象成自我监督的可转换性。所选择的任务涵盖Sentinel腋窝淋巴结图像中的肿瘤检测，眼底图像中的糖尿病视网膜病变分类以及胸部X射线图像中的多种病理条件分类。我们展示了自我监督的佩戴模型产生比其监督对应物更丰富的嵌入式，这鉴于线性评估和FineTuning均有益处下游任务。例如，考虑到在织物上的数据的线性评估，我们在糖尿病视网膜病变分类任务中看到高达14.79％的提高，肿瘤分类任务中的5.4％，肺炎中的7.03％AUC检测和9.4％的AUC在胸部X射线的病理条件下检测。此外，我们将动态视觉元嵌入（DVME）引入端到端的转移学习方法，融合来自多种型号的佩尔净化的嵌入物。我们表明，与使用单个掠过的模型方法相比，DVME获得的集体表示导致所选任务的性能的显着改进，并且可以推广到预磨料模型的任何组合。
translated by 谷歌翻译
眼睛的临床诊断是对多种数据模式进行的，包括标量临床标签，矢量化生物标志物，二维底面图像和三维光学相干性层析成像（OCT）扫描。临床从业者使用所有可用的数据模式来诊断和治疗糖尿病性视网膜病（DR）或糖尿病黄斑水肿（DME）等眼部疾病。在眼科医学领域启用机器学习算法的使用需要研究治疗期内所有相关数据之间的关系和相互作用。现有的数据集受到限制，因为它们既不提供数据，也没有考虑数据模式之间的显式关系建模。在本文中，我们介绍了用于研究以上限制的视觉眼睛语义（橄榄）数据集的眼科标签。这是第一个OCT和近IIR眼底数据集，其中包括临床标签，生物标记标签，疾病标签和时间序列的患者治疗信息，来自相关临床试验。该数据集由1268个近红外图像组成，每个图像至少具有49个10月扫描和16个生物标志物，以及4个临床标签和DR或DME的疾病诊断。总共有96张眼睛的数据在至少两年的时间内平均，每只眼睛平均治疗66周和7次注射。我们在医学图像分析中为橄榄数据集进行了橄榄数据集的实用性，并为核心和新兴机器学习范式提供了基准和具体研究方向。
translated by 谷歌翻译
近年来，随着深度神经网络方法的普及，手术计算机视觉领域经历了相当大的突破。但是，用于培训的标准全面监督方法需要大量的带注释的数据，从而实现高昂的成本；特别是在临床领域。已经开始在一般计算机视觉社区中获得吸引力的自我监督学习（SSL）方法代表了对这些注释成本的潜在解决方案，从而使仅从未标记的数据中学习有用的表示形式。尽管如此，SSL方法在更复杂和有影响力的领域（例如医学和手术）中的有效性仍然有限且未开发。在这项工作中，我们通过在手术计算机视觉的背景下研究了四种最先进的SSL方法（Moco V2，Simclr，Dino，SWAV），以解决这一关键需求。我们对这些方法在cholec80数据集上的性能进行了广泛的分析，以在手术环境理解，相位识别和工具存在检测中为两个基本和流行的任务。我们检查了它们的参数化，然后在半监督设置中相对于训练数据数量的行为。如本工作所述和进行的那样，将这些方法的正确转移到手术中，可以使SSL的一般用途获得可观的性能 - 相位识别率高达7％，而在工具存在检测方面，则具有20％ - 半监督相位识别方法高达14％。该代码将在https://github.com/camma-public/selfsupsurg上提供。
translated by 谷歌翻译
临床12-铅心电图（ECG）是遇到的最广泛的生物信息之一。尽管公共ECG数据集的可用性增加，但标签稀缺仍然是该领域的中央挑战。自我监督的学习代表了缓解这个问题的有希望的方式。在这项工作中，我们提出了从临床12引导ECG数据的自我监督代表学习的第一次全面评估。为此，我们基于对ECG域的实例辨别和潜在预测来适应最先进的自我监督方法。在第一步中，我们基于最近成立，全面的临床ECG分类任务的线性评估性能来学习对比表征并评估其质量。在第二步中，与纯粹监督性能相比，我们分析了自我监督预先训练对Fineetuned ECG分类器的影响。对于最佳性能的方法，对比预测性编码的适应性，我们发现线性评估性能下降低于监督性能的0.5％。对于FineTuned模型，与监督性能，标签效率以及对生理噪声的鲁棒性相比，我们发现下游性能大约1％的下游性能。这项工作明确建立了通过自我监督的学习和众多优势来提取从心电图数据提取歧视性表现的可行性，与纯粹的监督培训相比，在下游任务上的这种代表性上进行了多种优势。作为对其在公开可用的数据集的ECG域中进行的第一次全面评估，我们希望在生物资料中快速发展的代表学习领域建立一个可重复进展的第一步。
translated by 谷歌翻译
图像回归任务，如骨矿物密度（BMD）估计和左心室喷射分数（LVEF）预测，在计算机辅助疾病评估中起重要作用。大多数深度回归方法用单一的回归损耗函数训练神经网络，如MSE或L1损耗。在本文中，我们提出了一种用于深度图像回归的第一个对比学习框架，即adacon，其包括通过新颖的自适应边缘对比损耗和回归预测分支的特征学习分支组成。我们的方法包含标签距离关系作为学习特征表示的一部分，这允许在下游回归任务中进行更好的性能。此外，它可以用作即插即用模块，以提高现有回归方法的性能。我们展示了adacon对来自X射线图像的骨矿物密度估计和来自超声心动图象的X射线图像和左心室喷射分数预测的骨矿物密度估计的有效性。 Adacon分别导致MAE在最先进的BMD估计和LVEF预测方法中相对提高3.3％和5.9％。
translated by 谷歌翻译
对比度学习已在许多应用程序中有限的许多应用中有用。缺乏注释数据在医学图像分割中尤其有问题，因为很难让临床专家手动注释大量数据，例如心脏超声图像中的心脏结构。在本文中，我们认为对比训练是否有助于超声心动图图像中左心室的分割。此外，我们研究了对比预处理对两个众所周知的分割网络UNET和DEEPLABV3的影响。我们的结果表明，对比预处理有助于改善左心室分割的性能，尤其是当带注释的数据稀缺时。我们展示了如何以自我监督的方式训练模型时，与最先进的完全监督算法获得可比的结果，然后仅对5％的数据进行微调。我们表明，我们的解决方案优于当前在大型公共数据集（Echonet-Dynemic）上达到的骰子分数为0.9211的内容。我们还将解决方案在另一个较小的数据集（CAMUS）上的性能进行比较，以证明我们提出的解决方案的普遍性。该代码可在（https://github.com/biomedia-mbzuai/contrastive-echo）上获得。
translated by 谷歌翻译
生物医学中的多模式数据遍布，例如放射学图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比，具有复杂语义的生物医学文本在视觉建模中提出了其他挑战，并且先前的工作使用了缺乏特定领域语言理解的适应性模型不足。在本文中，我们表明，有原则的文本语义建模可以大大改善自我监督的视力 - 语言处理中的对比度学习。我们发布了一种实现最先进的语言模型，从而通过改进的词汇和新颖的语言预测客观的客观利用语义和话语特征在放射学报告中获得了自然语言推断。此外，我们提出了一种自我监督的联合视觉 - 语言方法，重点是更好的文本建模。它在广泛的公开基准上建立了新的最新结果，部分是通过利用我们新的特定领域的语言模型。我们释放了一个新的数据集，该数据集具有放射科医生的局部对齐短语接地注释，以促进生物医学视觉处理中复杂语义建模的研究。广泛的评估，包括在此新数据集中，表明我们的对比学习方法在文本语义建模的帮助下，尽管仅使用了全球对准目标，但在细分任务中的表现都优于细分任务中的先验方法。
translated by 谷歌翻译
学习医学图像的视觉表示（例如X射线）是医学图像理解的核心，但由于人类注释的稀缺性，其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重，由于图像特征截然不同，这是次优的，或者是从文本报告数据与医学图像配对的基于规则的标签提取，这是不准确的，难以推广。同时，最近的几项研究表明，从自然图像中学习的对比度学习令人兴奋，但由于它们的高层间相似性，我们发现这些方法对医学图像无济于事。我们提出了Concirt，这是一种替代的无监督策略，通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域，无关，不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通，并证明它导致图像表示，在大多数设置中，它们都超过了强大的基线。值得注意的是，在所有4个分类任务中，我们的方法仅需要10 \％标记的培训数据与成像网初始化的对应物，以实现更好或可比的性能，从而证明了卓越的数据效率。
translated by 谷歌翻译
自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。
translated by 谷歌翻译
CT肝图像的基于内容的图像检索（CBIR）的深度基于学习的方法是一个积极的研究领域，但受到了一些关键局限性。首先，它们非常依赖标签的数据，这可能是具有挑战性的，而且获取成本很高。其次，它们缺乏透明度和解释性，这限制了深CBIR系统的可信度。我们通过（1）提出一个自制的学习框架来解决这些局限性，该框架将领域知识纳入培训过程中，以及（2）在CT肝图像的CBIR背景下提供首次表示学习解释性分析。结果表明，与几个指标的标准自我监督方法相比，性能的提高，并且在跨数据集的概括方面得到了改善。此外，我们在CBIR的背景下进行了首次表示学习性分析，该分析揭示了对特征提取过程的新见解。最后，我们通过盘问CBIR进行了一个案例研究，该案例证明了我们提出的框架的可用性。我们认为，我们提出的框架可以在创建可信赖的深层CBIR系统中发挥至关重要的作用，这些系统可以成功利用未标记的数据。
translated by 谷歌翻译