高注释成本是将现代深度学习架构应用于临床相关的医疗用例的大量瓶颈，这使得新颖算法的需要从未标记的数据中学习。在这项工作中，我们提出了一种自我监督的方法，可以从未标记的医学图像和遗传数据的大型数据集中学习。我们的方法使用对比损耗对准特征空间中的图像和几种遗传模式。我们设计我们的方法，以将每个人的多种模式集成在同一模型端到端，即使当可用的方式因个人而异）也是如此。我们的程序优于所有在所有评估的下游基准任务上表达最先进的自我监督方法。我们还适应基于梯度的可解释性算法，以更好地了解图像和遗传模式之间学习的跨模型关联。最后，我们对我们模型学到的特征进行了基因组关联研究，揭示了图像与遗传数据之间的有趣关系。
translated by 谷歌翻译
有监督的深度学习算法具有自动化筛查，监视和分级的医学图像的巨大潜力。但是，培训表现模型通常需要大量的标记数据，这在医疗领域几乎无法获得。自我监督的对比框架通过首先从未标记的图像中学习来放松这种依赖性。在这项工作中，我们表明使用两种对比方法进行了预处理，即SIMCLR和BYOL，就与年龄相关的黄斑变性（AMD）的临床评估有关深度学习的实用性。在实验中，使用两个大型临床数据集，其中包含7,912名患者的170,427个光学相干断层扫描（OCT）图像，我们评估了从AMD阶段和类型分类到功能性终点的七个下游任务，从七个下游任务进行预处理，从在标签较少的七个任务中，六个任务中有六个显着增加。但是，标准的对比框架具有两个已知的弱点，这些弱点不利于医疗领域的预处理。用于创建正面对比对的几种图像转换不适用于灰度医学扫描。此外，医学图像通常描绘了相同的解剖区域和疾病的严重程度，从而导致许多误导性负面对。为了解决这些问题，我们开发了一种新颖的元数据增强方法，该方法利用了丰富的固有可用患者信息集。为此，我们采用了患者身份，眼睛位置（即左或右）和时间序列数据的记录，以指示典型的不可知的对比关系。通过利用这种经常被忽视的信息，我们元数据增强的对比预处理可带来进一步的好处，并且在下游七个任务中有五个任务中的五个中的五分之一。
translated by 谷歌翻译
最近，自我监督的表示学习（SSRL）在计算机视觉，语音，自然语言处理（NLP）以及最近的其他类型的模式（包括传感器的时间序列）中引起了很多关注。自我监督学习的普及是由传统模型通常需要大量通知数据进行培训的事实所驱动的。获取带注释的数据可能是一个困难且昂贵的过程。已经引入了自我监督的方法，以通过使用从原始数据自由获得的监督信号对模型进行判别预训练来提高训练数据的效率。与现有的对SSRL的评论不同，该评论旨在以单一模式为重点介绍CV或NLP领域的方法，我们旨在为时间数据提供对多模式自我监督学习方法的首次全面审查。为此，我们1）提供现有SSRL方法的全面分类，2）通过定义SSRL框架的关键组件来引入通用管道，3）根据其目标功能，网络架构和潜在应用程序，潜在的应用程序，潜在的应用程序，比较现有模型， 4）查看每个类别和各种方式中的现有多模式技术。最后，我们提出了现有的弱点和未来的机会。我们认为，我们的工作对使用多模式和/或时间数据的域中SSRL的要求有了一个观点
translated by 谷歌翻译
自我监督学习（SSL）是一个新的范式，用于学习判别性表示没有标记的数据，并且与受监督的对手相比，已经达到了可比甚至最新的结果。对比度学习（CL）是SSL中最著名的方法之一，试图学习一般性的信息表示数据。 CL方法主要是针对仅使用单个传感器模态的计算机视觉和自然语言处理应用程序开发的。但是，大多数普遍的计算应用程序都从各种不同的传感器模式中利用数据。虽然现有的CL方法仅限于从一个或两个数据源学习，但我们提出了可可（Crockoa）（交叉模态对比度学习），这是一种自我监督的模型，该模型采用新颖的目标函数来通过计算多功能器数据来学习质量表示形式不同的数据方式，并最大程度地减少了无关实例之间的相似性。我们评估可可对八个最近引入最先进的自我监督模型的有效性，以及五个公共数据集中的两个受监督的基线。我们表明，可可与所有其他方法相比，可可的分类表现出色。同样，可可比其他可用标记数据的十分之一的基线（包括完全监督的模型）的标签高得多。
translated by 谷歌翻译
最近，致力于通过现代机器学习方法预测脑部疾病的最新神经影像学研究通常包括单一模态并依靠监督的过度参数化模型。但是，单一模态仅提供了高度复杂的大脑的有限视图。至关重要的是，临床环境中的有监督模型缺乏用于培训的准确诊断标签。粗标签不会捕获脑疾病表型的长尾谱，这导致模型的普遍性丧失，从而使它们在诊断环境中的有用程度降低。这项工作提出了一个新型的多尺度协调框架，用于从多模式神经影像数据中学习多个表示。我们提出了一般的归纳偏见分类法，以捕获多模式自学融合中的独特和联合信息。分类法构成了一个无解码器模型的家族，具有降低的计算复杂性，并捕获多模式输入的本地和全局表示之间的多尺度关系。我们使用各种阿尔茨海默氏病表型中使用功能和结构磁共振成像（MRI）数据对分类法进行了全面评估，并表明自我监督模型揭示了与疾病相关的大脑区域和多模态链接，而无需在预先访问PRE-PRE-the PRE-the PRE-the PRE-the PRE-PRECTEN NICKES NOCKER NOCKER NOCKER NOCKER NOCKER NOCE访问。训练。拟议的多模式自学学习的学习能够表现出两种模式的分类表现。伴随的丰富而灵活的无监督的深度学习框架捕获了复杂的多模式关系，并提供了符合或超过更狭窄的监督分类分析的预测性能。我们提供了详尽的定量证据，表明该框架如何显着提高我们对复杂脑部疾病中缺失的联系的搜索。
translated by 谷歌翻译
自我监督的学习（SSL）通过大量未标记的数据的先知，在各种医学成像任务上取得了出色的性能。但是，对于特定的下游任务，仍然缺乏有关如何选择合适的借口任务和实现细节的指令书。在这项工作中，我们首先回顾了医学成像分析领域中自我监督方法的最新应用。然后，我们进行了广泛的实验，以探索SSL中的四个重要问题用于医学成像，包括（1）自我监督预处理对不平衡数据集的影响，（2）网络体系结构，（3）上游任务对下游任务和下游任务和下游任务的适用性（4）SSL和常用政策用于深度学习的堆叠效果，包括数据重新采样和增强。根据实验结果，提出了潜在的指南，以在医学成像中进行自我监督预处理。最后，我们讨论未来的研究方向并提出问题，以了解新的SSL方法和范式时要注意。
translated by 谷歌翻译
胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。
translated by 谷歌翻译
高质量注释的医学成像数据集的稀缺性是一个主要问题，它与医学成像分析领域的机器学习应用相撞并阻碍了其进步。自我监督学习是一种最近的培训范式，可以使学习强大的表示无需人类注释，这可以被视为有效的解决方案，以解决带注释的医学数据的稀缺性。本文回顾了自我监督学习方法的最新研究方向，用于图像数据，并将其专注于其在医学成像分析领域的应用。本文涵盖了从计算机视野领域的最新自我监督学习方法，因为它们适用于医学成像分析，并将其归类为预测性，生成性和对比性方法。此外，该文章涵盖了40个在医学成像分析中自学学习领域的最新研究论文，旨在阐明该领域的最新创新。最后，本文以该领域的未来研究指示结束。
translated by 谷歌翻译
已经证明对比学习有效地对未标记数据的预训练图像模型有效，并且有希望的医学图像分类等任务的结果。在预训练期间使用配对文本和图像（例如放射性报告和图像）甚至进一步改善了结果。尽管如此，大多数现有方法将图像分类为下游任务，并且对于像语义分割或物体检测等本地化任务可能不是最佳的。因此，我们提出了从愿景和文本（Lovt）的局部代表学习，以实现我们最佳知识，这是针对本地化医学成像任务的第一种文本监督的预训练方法。我们的方法将实例级图像报告对比学习与图像区域和报告句子表示的局部对比学习结合起来。我们评估LOVT和常用的预培训方法，这些评估框架是由五个公共数据集的胸部X光上的18个本地化任务组成的新评估框架。虽然没有单一的最佳方法，但是，在18个研究的任务中，Lovt在11个中最佳地表现出优选的选择本地化任务的首选方法。
translated by 谷歌翻译
生物医学中的多模式数据遍布，例如放射学图像和报告。大规模解释这些数据对于改善临床护理和加速临床研究至关重要。与一般领域相比，具有复杂语义的生物医学文本在视觉建模中提出了其他挑战，并且先前的工作使用了缺乏特定领域语言理解的适应性模型不足。在本文中，我们表明，有原则的文本语义建模可以大大改善自我监督的视力 - 语言处理中的对比度学习。我们发布了一种实现最先进的语言模型，从而通过改进的词汇和新颖的语言预测客观的客观利用语义和话语特征在放射学报告中获得了自然语言推断。此外，我们提出了一种自我监督的联合视觉 - 语言方法，重点是更好的文本建模。它在广泛的公开基准上建立了新的最新结果，部分是通过利用我们新的特定领域的语言模型。我们释放了一个新的数据集，该数据集具有放射科医生的局部对齐短语接地注释，以促进生物医学视觉处理中复杂语义建模的研究。广泛的评估，包括在此新数据集中，表明我们的对比学习方法在文本语义建模的帮助下，尽管仅使用了全球对准目标，但在细分任务中的表现都优于细分任务中的先验方法。
translated by 谷歌翻译
眼睛的临床诊断是对多种数据模式进行的，包括标量临床标签，矢量化生物标志物，二维底面图像和三维光学相干性层析成像（OCT）扫描。临床从业者使用所有可用的数据模式来诊断和治疗糖尿病性视网膜病（DR）或糖尿病黄斑水肿（DME）等眼部疾病。在眼科医学领域启用机器学习算法的使用需要研究治疗期内所有相关数据之间的关系和相互作用。现有的数据集受到限制，因为它们既不提供数据，也没有考虑数据模式之间的显式关系建模。在本文中，我们介绍了用于研究以上限制的视觉眼睛语义（橄榄）数据集的眼科标签。这是第一个OCT和近IIR眼底数据集，其中包括临床标签，生物标记标签，疾病标签和时间序列的患者治疗信息，来自相关临床试验。该数据集由1268个近红外图像组成，每个图像至少具有49个10月扫描和16个生物标志物，以及4个临床标签和DR或DME的疾病诊断。总共有96张眼睛的数据在至少两年的时间内平均，每只眼睛平均治疗66周和7次注射。我们在医学图像分析中为橄榄数据集进行了橄榄数据集的实用性，并为核心和新兴机器学习范式提供了基准和具体研究方向。
translated by 谷歌翻译
学习医学图像的视觉表示（例如X射线）是医学图像理解的核心，但由于人类注释的稀缺性，其进步已经阻止了它。现有的工作通常依赖于从成像网预处理传输的微调权重，由于图像特征截然不同，这是次优的，或者是从文本报告数据与医学图像配对的基于规则的标签提取，这是不准确的，难以推广。同时，最近的几项研究表明，从自然图像中学习的对比度学习令人兴奋，但由于它们的高层间相似性，我们发现这些方法对医学图像无济于事。我们提出了Concirt，这是一种替代的无监督策略，通过利用自然存在的配对描述性文本来学习医学视觉表示。我们通过两种模式之间的双向对比度目标对医学图像进行预处理编码的新方法是域，无关，不需要其他专家输入。我们通过将预处理的权重转移到4个医学图像分类任务和2个零射击检索任务中来测试交通，并证明它导致图像表示，在大多数设置中，它们都超过了强大的基线。值得注意的是，在所有4个分类任务中，我们的方法仅需要10 \％标记的培训数据与成像网初始化的对应物，以实现更好或可比的性能，从而证明了卓越的数据效率。
translated by 谷歌翻译
自我监督的预训练似乎是在转移学习预培训的有利替代方案。通过在借口任务上综合注释，自我划分允许在对目标任务进行细微调整之前对大量伪标签进行预训练模型。在这项工作中，我们评估了诊断皮肤病变的自学意识，将三个自我监管的管道与具有挑战性的监督基线进行了比较，该管道包括五个测试数据集，其中包括分布式和分布样品的五个测试数据集。我们的结果表明，自学在改善准确性和降低结果的可变性方面都具有竞争力。自我划分证明，对于低训练数据方案（$ <1 \，500 $和$ <150 $样本）而言，它特别有用，在该方案中，其稳定结果的能力对于提供合理的结果至关重要。
translated by 谷歌翻译
生成的对抗网络（GAN）是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族，该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下，与传统的生成方法相比，GAN在捕获空间复杂，非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献，包括阿尔茨海默氏病，脑肿瘤，脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释，并进一步讨论了在神经影像学中利用gans的主要挑战，开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策，并有助于更好地理解脑部疾病的结构和功能模式，从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译
在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。
translated by 谷歌翻译
物联网中的智能汽车，智能手机和其他设备（物联网）通常具有多个传感器，会产生多模式数据。联合学习支持从不同设备收集大量多模式数据，而无需共享原始数据。转移学习方法有助于将知识从某些设备传输到其他设备。联合转移学习方法受益于联合学习和转移学习。这个新提出的联合转移学习框架旨在将数据岛与隐私保护联系起来。我们的构建基于联合学习和转移学习。与以前的联合转移学习相比，每个用户应具有相同模式的数据（所有单峰或全模式），我们的新框架更为通用，它允许使用用户数据的混合分布。核心策略是为我们的两种用户使用两种不同但固有连接的培训方法。仅对单峰数据（类型1）的用户采用监督学习，而自我监督的学习则用于使用多模式数据（类型2）的用户，以适用于每种模式的功能及其之间的连接。类型2的这种联系知识将在培训的后期阶段有助于1键入1。新框架中的培训可以分为三个步骤。在第一步中，将具有相同模式的数据的用户分组在一起。例如，仅具有声音信号的用户在第一组中，只有图像的用户在第二组中，并且具有多模式数据的用户在第三组中，依此类推。在第二步中，在小组内执行联合学习，在该小组中，根据小组的性质，使用监督的学习和自学学习。大多数转移学习发生在第三步中，从前步骤获得的网络中的相关部分是汇总的（联合）。
translated by 谷歌翻译
深度学习方法缺乏无线胶囊内窥镜检查（WCE）自动诊断的可普遍性，这阻止了任何显着优势降低到真实的临床实践。结果，使用WCE的疾病管理继续依赖医学专家的详尽手动调查。尽管有几个优势，但这解释了其有限的用途。先前的工作已经考虑使用更高质量和数量的标签作为解决缺乏概括的一种方式，但是考虑到病理多样性，这几乎是无法扩展的，更不用说标记大型数据集的标签还会支持医务人员。我们建议使用免费可用的域知识作为先验，以学习更多可靠和可推广的表示。我们通过实验表明，领域先验可以通过在标签的代理中作用来使表示形式受益，从而大大减少了标签要求，同时仍可以完全无监督而又感知的学习。我们在预处理过程中使用对比度目标以及先前的指导观点，在此观点选择激发了对病理信息的敏感性。在三个数据集上进行的广泛实验表明，我们的方法的性能要比（或与）域中的最新技术更好，在病理分类和跨数据库概括方面建立了新的基准，并扩展到不看病的病理学类别。
translated by 谷歌翻译
在这项工作中，我们使用功能磁共振成像（fMRI）专注于具有挑战性的任务，神经疾病分类。在基于人群的疾病分析中，图卷积神经网络（GCN）取得了显着的成功。但是，这些成就与丰富的标记数据密不可分，对虚假信号敏感。为了改善在标签有效的设置下的fMRI表示学习和分类，我们建议在GCN上使用新颖的，理论驱动的自我监督学习（SSL）框架，即在FMRI分析门上用于时间自我监督学习的CCA。具体而言，要求设计合适有效的SSL策略来提取fMRI的形成和鲁棒特征。为此，我们研究了FMRI动态功能连接（FC）的几种新的图表增强策略，用于SSL培训。此外，我们利用规范相关分析（CCA）在不同的时间嵌入中，并呈现理论含义。因此，这产生了一个新颖的两步GCN学习程序，该过程包括在未标记的fMRI人群图上的（i）SSL组成，并且（ii）在小标记的fMRI数据集上进行了微调，以进行分类任务。我们的方法在两个独立的fMRI数据集上进行了测试，这表明自闭症和痴呆症诊断方面表现出色。
translated by 谷歌翻译
为医学图像评估构建准确和强大的人工智能系统，不仅需要高级深度学习模型的研究和设计，还需要创建大型和策划的注释训练示例。然而，构造这种数据集通常非常昂贵 - 由于注释任务的复杂性和解释医学图像所需的高度专业知识（例如，专家放射科医师）。为了对此限制来说，我们提出了一种基于对比学习和在线特征聚类的丰富图像特征自我监督学习方法。为此目的，我们利用各种方式的大超过100,000,000个医学图像的大型训练数据集，包括放射线照相，计算机断层扫描（CT），磁共振（MR）成像和超声检查。我们建议使用这些功能来指导在各种下游任务的监督和混合自我监督/监督制度的模型培训。我们突出了这种策略对射线照相，CT和MR：1的挑战性图像评估问题的许多优点，与最先进的（例如，检测3-7％的AUC升压为3-7％胸部射线照相扫描的异常和脑CT的出血检测）; 2）与使用无预先训练（例如，83％，在培训MR扫描MR扫描中的脑转移的模型时，在训练期间训练期间的模型收敛在训练期间的培训期高达85％。 3）对各种图像增强的鲁棒性增加，例如在场中看到的数据变化的强度变化，旋转或缩放反射。
translated by 谷歌翻译
如今，人工智能（AI）已成为临床和远程医疗保健应用程序的基本组成部分，但是最佳性能的AI系统通常太复杂了，无法自我解释。可解释的AI（XAI）技术被定义为揭示系统的预测和决策背后的推理，并且在处理敏感和个人健康数据时，它们变得更加至关重要。值得注意的是，XAI并未在不同的研究领域和数据类型中引起相同的关注，尤其是在医疗保健领域。特别是，许多临床和远程健康应用程序分别基于表格和时间序列数据，而XAI并未在这些数据类型上进行分析，而计算机视觉和自然语言处理（NLP）是参考应用程序。为了提供最适合医疗领域表格和时间序列数据的XAI方法的概述，本文提供了过去5年中文献的审查，说明了生成的解释的类型以及为评估其相关性所提供的努力和质量。具体而言，我们确定临床验证，一致性评估，客观和标准化质量评估以及以人为本的质量评估作为确保最终用户有效解释的关键特征。最后，我们强调了该领域的主要研究挑战以及现有XAI方法的局限性。
translated by 谷歌翻译