三维（3D）图像（例如CT，MRI和PET）在医学成像应用中很常见，在临床诊断中很重要。语义歧义是许多医学图像标签的典型特征。这可能是由许多因素引起的，例如成像特性，病理解剖学以及二进制面具的弱表示，这给精确的3D分割带来了挑战。在2D医学图像中，使用软面膜代替图像垫形式产生的二进制掩码来表征病变可以提供丰富的语义信息，更全面地描述病变的结构特征，从而使后续诊断和分析受益。在这项工作中，我们将图像垫子介绍到3D场景中，以描述3D医学图像中的病变。 3D模态中图像垫的研究有限，并且没有与3D矩阵相关的高质量注释数据集，因此减慢了基于数据驱动的深度学习方法的发展。为了解决这个问题，我们构建了第一个3D医疗垫数据集，并通过质量控制和下游实验中的肺结节分类中令人信服地验证了数据集的有效性。然后，我们将四个选定的最新2D图像矩阵算法调整为3D场景，并进一步自定义CT图像的方法。此外，我们提出了第一个端到端的深3D垫网络，并实施了可靠的3D医疗图像垫测试基准，该基准将被发布以鼓励进一步的研究。
translated by 谷歌翻译
实际上，许多医疗数据集在疾病标签空间上定义了基本的分类学。但是，现有的医学诊断分类算法通常假定具有语义独立的标签。在这项研究中，我们旨在利用深度学习算法来利用类层次结构，以更准确，可靠的皮肤病变识别。我们提出了一个双曲线网络，以共同学习图像嵌入和类原型。事实证明，双曲线为与欧几里得几何形状更好地建模层次关系提供了一个空间。同时，我们使用从类层次结构编码的距离矩阵限制双曲线原型的分布。因此，学习的原型保留了嵌入空间中的语义类关系，我们可以通过将图像特征分配给最近的双曲线类原型来预测图像的标签。我们使用内部皮肤病变数据集，该数据集由65种皮肤疾病的大约230k皮肤镜图像组成，以验证我们的方法。广泛的实验提供了证据表明，与模型相比，我们的模型可以实现更高的准确性，而在不考虑班级关系的情况下可以实现更高的严重分类错误。
translated by 谷歌翻译
最近，已经开发了许多自动白细胞（WBC）或白细胞分类技术。但是，所有这些方法仅利用单个模态显微图像，即基于血液涂片或荧光，因此缺少从多模式图像中学习更好的潜力。在这项工作中，我们基于WBC分类任务的第一个多模式WBC数据集开发了有效的多模式体系结构。具体而言，我们提出的想法是通过两个步骤开发的 - 1）首先，我们仅在单个网络中学习模式特定的独立子网； 2）我们通过从高复杂性独立教师网络中提取知识来进一步增强独立子网的学习能力。因此，我们提出的框架可以实现高性能，同时保持多模式数据集的复杂性较低。我们的独特贡献是两倍-1）我们提出了用于WBC分类的同类多模式WBC数据集的第一个； 2）我们开发了高性能的多模式体系结构，同时也有效且复杂性低。
translated by 谷歌翻译
在许多计算机视觉任务（包括图像识别和对象检测）中，成功地使用了变压器结构成功使用的自我发挥机制。尽管激增，但使用变压器来立体声匹配问题仍然相对尚未探索。在本文中，我们全面研究了变压器在立体声匹配的问题上的使用，尤其是对于腹腔镜视频，并提出了一个新的混合型直立立体声匹配框架（Hybridstereonet），将CNN的最佳和变压器结合在统一的设计中。具体而言，我们研究了几种方法，通过分析设计的损失格局和内域/跨域准确性，将变压器引入体积立体声匹配管道。我们的分析表明，在使用CNN进行成本聚合的同时，使用变压器进行功能表示学习，将导致比其他选项更快地收敛，更高的准确性和更好的概括。我们在SceneFlow上进行的广泛实验，Scread2019和DVPN数据集证明了Hybridstereonet的出色性能。
translated by 谷歌翻译
基于对抗性学习的现有无监督的域适应方法在多个医学成像任务中取得了良好的表现。但是，这些方法仅着眼于全局分布适应，而忽略了类别级别的分布约束，这将导致次级适应性的性能。本文基于类别级别的正则化提出了一个无监督的域适应框架，该框架从三个角度正规化了类别分布。具体而言，对于域间类别的正则化，提出了一个自适应原型比对模块，以使源和目标域中同一类别的特征原型对齐。此外，对于域内类别的正则化，我们分别针对源和目标域定制了正则化技术。在源域中，提出了原型引导的判别性损失，以通过执行阶层内紧凑性和类间的分离性来学习更多的判别特征表示，并作为对传统监督损失的补充。在目标域中，提出了增强的一致性类别的正则化损失，以迫使该模型为增强/未增强目标图像提供一致的预测，这鼓励在语义上相似的区域给予相同的标签。在两个公共底面数据集上进行的广泛实验表明，所提出的方法显着优于其他最先进的比较算法。
translated by 谷歌翻译
近年来，自动化方法迅速发展了皮肤病变和分类的方法。由于此类系统在诊所中的部署越来越多，因此很重要的是，为各种分布（OOD）样品（未知的皮肤病变和状况）开发更强大的系统。但是，当前对皮肤病变分类训练的深度学习模型倾向于将这些OOD样品错误地分类为他们学习的皮肤病变类别之一。为了解决这个问题，我们提出了一种简单而战略的方法，可以改善OOD检测性能，同时维持已知皮肤病变类别的多类分类精度。要说明，这种方法建立在皮肤病变图像的长尾且细粒度检测任务的现实情况之上。通过这种方法，1）首先，我们针对中间和尾巴之间的混合，以解决长尾问题。 2）后来，我们将上述混合策略与原型学习结合在一起，以解决数据集的细粒度。本文的独特贡献是两倍，这是通过广泛的实验证明的。首先，我们提出了针对皮肤病变的OOD任务的现实问题。其次，我们提出了一种针对问题设置的长尾且细粒度方面的方法，以提高OOD性能。
translated by 谷歌翻译
最近的研究验证了心血管疾病（CVD）风险与视网膜眼底图像之间的关联。结合深度学习（DL）和便携式底面摄像机将在各种情况下实现CVD风险估计并改善医疗保健民主化。但是，仍然有重大问题要解决。首要问题最重要的是研究材料数据库与生产环境中样本之间的不同摄像头差异。大多数准备进行研究的高质量视网膜图数据库都是从高端底面摄像机中收集的，并且不同摄像机之间存在显着的域差异。为了充分探索域差异问题，我们首先收集了一个配对（FCP）的数据集，该数据集包含由高端TopCon视网膜摄像头捕获的配对底面图像和同一患者的低端Mediwork Portable fellus摄像头。然后，我们提出了一个跨外观特征对齐预训练方案和一个自发注意的摄像头适配器模块，以提高模型的鲁棒性。交叉效力特征对齐训练鼓励模型从同一患者的左右眼底图像中学习常识，并改善模型的概括。同时，设备适应模块学习了从目标域到源域的特征转换。我们对英国生物银行数据库和我们的FCP数据进行了全面的实验。实验结果表明，通过我们提出的方法，提高了CVD风险回归准确性和两个摄像头的结果一致性。该代码可在此处找到：\ url {https://github.com/linzhlalala/cvd-risk-lasike-base--on-retinal-fundus-images-images}
translated by 谷歌翻译
半监督分割在医学成像中仍然具有挑战性，因为带注释的医学数据的量通常受到限制，并且在粘合边缘或低对比度区域附近有许多模糊的像素。为了解决这些问题，我们主张首先限制有或没有强大扰动的样品的一致性，以应用足够的平滑度正则化，并进一步鼓励班级分离以利用未标记的模棱两可的像素进行模型培训。特别是，在本文中，我们通过同时探索像素级平滑度和类间的分离，为半监督医学图像分割任务提出了SS-NET。像素级平滑度迫使模型在对抗扰动下产生不变结果。同时，阶层间的分离限制各个类特征应接近其相应的高质量原型，以使每个类别的分布紧凑和单独的不同类别。我们针对公共LA和ACDC数据集的五种最新方法评估了我们的SS-NET。在两个半监督的设置下的实验结果证明了我们提出的SS-NET的优势，在两个数据集上都实现了新的最先进（SOTA）性能。该代码可在https://github.com/ycwu1997/ss-net上找到。
translated by 谷歌翻译
医学视觉问题应答（VQA）是医疗人工智能和流行的VQA挑战的组合。鉴于医学形象和在自然语言中的临床相关问题，预计医疗VQA系统将预测符号和令人信服的答案。虽然一般域VQA已被广泛研究，但医疗VQA仍然需要特定的调查和探索，因为它的任务特征是。在本调查的第一部分，我们涵盖并讨论了关于数据源，数据数量和任务功能的公开可用的医疗VQA数据集。在第二部分中，我们审查了医疗VQA任务中使用的方法。在最后，我们分析了该领域的一些有效的挑战，并讨论了未来的研究方向。
translated by 谷歌翻译
在现实世界中，医疗数据集通常表现出长尾数据分布（即，一些类占据大多数数据，而大多数类都很少有一些样本），这导致挑战的不平衡学习场景。例如，估计有超过40种不同的视网膜疾病，无论发生了多种发病率，然而，来自全球患者队列的超过30多种条件非常罕见，这导致基于深度学习的筛选典型的长尾学习问题楷模。此外，视网膜中可能存在多种疾病，这导致多标签情景并为重新采样策略带来标签共生问题。在这项工作中，我们提出了一种新颖的框架，利用了视网膜疾病的先验知识，以便在等级 - 明智的约束下培训模型的更强大的代表。然后，首先引入了一个实例 - 明智的类平衡的采样策略和混合知识蒸馏方式，以从长尾的多标签分布中学习。我们的实验培训超过一百万个样品的视网膜数据集展示了我们所提出的方法的优越性，这些方法优于所有竞争对手，并显着提高大多数疾病的识别准确性，特别是那些罕见的疾病。
translated by 谷歌翻译