在过去的十年中，使用深度学习方法从胸部X光片检测到胸部X光片是一个活跃的研究领域。大多数以前的方法试图通过识别负责对模型预测的重要贡献的空间区域来关注图像的患病器官。相比之下，专家放射科医生在确定这些区域是否异常之前首先找到突出的解剖结构。因此，将解剖学知识纳入深度学习模型可能会带来自动疾病分类的大幅改善。在此激励的情况下，我们提出了解剖学XNET，这是一种基于解剖学注意的胸腔疾病分类网络，该网络优先考虑由预识别的解剖区域引导的空间特征。我们通过利用可用的小规模器官级注释来采用半监督的学习方法，将解剖区域定位在没有器官级注释的大规模数据集中。拟议的解剖学XNET使用预先训练的Densenet-121作为骨干网络，具有两个相应的结构化模块，解剖学意识到（$^3 $）和概率加权平均池（PWAP），在凝聚力框架中引起解剖学的关注学习。我们通过实验表明，我们提出的方法通过在三个公开可用的大规模CXR数据集中获得85.78％，92.07％和84.04％的AUC得分来设置新的最先进基准测试。和模拟CXR。这不仅证明了利用解剖学分割知识来改善胸病疾病分类的功效，而且还证明了所提出的框架的普遍性。

我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。

随着深度学习方法的进步，如深度卷积神经网络，残余神经网络，对抗网络的进步。 U-Net架构最广泛利用生物医学图像分割，以解决目标区域或子区域的识别和检测的自动化。在最近的研究中，基于U-Net的方法在不同应用中显示了最先进的性能，以便在脑肿瘤，肺癌，阿尔茨海默，乳腺癌等疾病的早期诊断和治疗中发育计算机辅助诊断系统等，使用各种方式。本文通过描述U-Net框架来提出这些方法的成功，然后通过执行1）型号的U-Net变体进行综合分析，2）模特内分类，建立更好的见解相关的挑战和解决方案。此外，本文还强调了基于U-Net框架在持续的大流行病，严重急性呼吸综合征冠状病毒2（SARS-COV-2）中的贡献也称为Covid-19。最后，分析了这些U-Net变体的优点和相似性以及生物医学图像分割所涉及的挑战，以发现该领域的未来未来的研究方向。

通过研究视网膜生物结构的进展，可以识别眼病的存在和严重性是可行的。眼底检查是检查眼睛的生物结构和异常的诊断程序。诸如青光眼，糖尿病性视网膜病和白内障等眼科疾病是世界各地视觉障碍的主要原因。眼疾病智能识别（ODIR-5K）是研究人员用于多标签的多份多疾病分类的基准结构底面图像数据集。这项工作提出了一个歧视性内核卷积网络（DKCNET），该网络探讨了歧视区域的特征，而无需增加额外的计算成本。 DKCNET由注意力块组成，然后是挤压和激发（SE）块。注意块从主干网络中获取功能，并生成歧视性特征注意图。 SE块采用区分特征图并改善了通道相互依赖性。使用InceptionResnet骨干网络观察到DKCNET的更好性能，用于具有96.08 AUC，94.28 F1-SCORE和0.81 KAPPA得分的ODIR-5K底面图像的多标签分类。所提出的方法根据诊断关键字将通用目标标签拆分为眼对。基于这些标签，进行了过采样和不足采样以解决阶级失衡。为了检查拟议模型对培训数据的偏见，对ODIR数据集进行了训练的模型将在三个公开可用的基准数据集上进行测试。发现它在完全看不见的底面图像上也具有良好的性能。

Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.

Covid-19的传播给世界带来了巨大的灾难，自动分割感染区域可以帮助医生快速诊断并减少工作量。但是，准确和完整的分割面临一些挑战，例如散射的感染区分布，复杂的背景噪声和模糊的分割边界。为此，在本文中，我们提出了一个新的网络，用于从CT图像（名为BCS-NET）的自动covid-19肺部感染分割，该网络考虑了边界，上下文和语义属性。 BCS-NET遵循编码器架构，更多的设计集中在解码器阶段，该阶段包括三个逐渐边界上下文 - 语义重建（BCSR）块。在每个BCSR块中，注意引导的全局上下文（AGGC）模块旨在通过突出显示重要的空间和边界位置并建模全局上下文依赖性来学习解码器最有价值的编码器功能。此外，语义指南（SG）单元通过在中间分辨率上汇总多规模的高级特征来生成语义指南图来完善解码器特征。广泛的实验表明，我们提出的框架在定性和定量上都优于现有竞争对手。

深度学习已被广​​泛用于医学图像分割，并且录制了录制了该领域深度学习的成功的大量论文。在本文中，我们使用深层学习技术对医学图像分割的全面主题调查。本文进行了两个原创贡献。首先，与传统调查相比，直接将深度学习的文献分成医学图像分割的文学，并为每组详细介绍了文献，我们根据从粗略到精细的多级结构分类目前流行的文献。其次，本文侧重于监督和弱监督的学习方法，而不包括无监督的方法，因为它们在许多旧调查中引入而且他们目前不受欢迎。对于监督学习方法，我们分析了三个方面的文献：骨干网络的选择，网络块的设计，以及损耗功能的改进。对于虚弱的学习方法，我们根据数据增强，转移学习和交互式分割进行调查文献。与现有调查相比，本调查将文献分类为比例不同，更方便读者了解相关理由，并将引导他们基于深度学习方法思考医学图像分割的适当改进。

自首次报道以来，2019年冠状病毒病（Covid-19）已在全球范围内传播，并成为人类面临的健康危机。放射学成像技术，例如计算机断层扫描（CT）和胸部X射线成像（CXR）是诊断CoVID-19的有效工具。但是，在CT和CXR图像中，感染区域仅占据图像的一小部分。一些整合大规模接受场的常见深度学习方法可能会导致图像细节的丢失，从而导致省略了COVID-19图像中感兴趣区域（ROI），因此不适合进一步处理。为此，我们提出了一个深空金字塔池（D-SPP）模块，以在不同的分辨率上整合上下文信息，旨在有效地在COVID-19的不同尺度下提取信息。此外，我们提出了COVID-19感染检测（CID）模块，以引起人们对病变区域的注意，并从无关信息中消除干扰。在四个CT和CXR数据集上进行的广泛实验表明，我们的方法在检测CT和CXR图像中检测COVID-19病变的准确性更高。它可以用作计算机辅助诊断工具，以帮助医生有效地诊断和筛选COVID-19。

在临床实践中，放射科医生经常使用属性，例如病变的形态学和外观特征，以帮助疾病诊断。有效地建模属性以及所有涉及属性的关系可以提高医学图像诊断算法的概括能力和可验证性。在本文中，我们介绍了一种用于基于可验证属性的医学图像诊断的混合神经培养基推理算法。在我们的混合算法中，有两个平行分支，一个贝叶斯网络分支执行概率因果关系推理，图形卷积网络分支执行了使用特征表示的更通用的关系建模和推理。这两个分支之间的紧密耦合是通过跨网络注意机制及其分类结果的融合来实现的。我们已成功地将混合推理算法应用于两个具有挑战性的医学图像诊断任务。在LIDC-IDRI基准数据集上，用于CT图像中肺结核的良性恶性分类，我们的方法达到了95.36 \％的新最新精度，AUC为96.54 \％。我们的方法还可以在内部胸部X射线图像数据集上提高3.24 \％的精度，以诊断结核病。我们的消融研究表明，在非常有限的培训数据下，与纯神经网络体系结构相比，我们的混合算法的概括性能要好得多。

每年有大约4.5亿人受到肺炎的影响，导致250万人死亡。 Covid-19也影响了1.81亿人，这导致了392万人伤亡。如果早期诊断，两种疾病死亡可能会显着降低。然而，目前诊断肺炎（投诉+胸部X射线）和Covid-19（RT-PCR）的方法分别存在专家放射科医生和时间。在深度学习模型的帮助下，可以从胸部X射线或CT扫描立即检测肺炎和Covid-19。这样，诊断肺炎/ Covid-19的过程可以更有效和普遍地制作。在本文中，我们的目标是引出，解释和评估，定性和定量，深入学习方法的主要进步，旨在检测或定位社区获得的肺炎（帽），病毒肺炎和Covid-19从胸部X-的图像光线和CT扫描。作为一个系统的审查，本文的重点在于解释了深度学习模型架构，该架构已经被修改或从划痕，以便WIWTH对概括性的关注。对于每个模型，本文回答了模型所设计的方式的问题，特定模型克服的挑战以及修改模型到所需规格的折衷。还提供了本文描述的所有模型的定量分析，以量化不同模型的有效性与相似的目标。一些权衡无法量化，因此它们在定性分析中明确提到，在整个纸张中完成。通过在一个地方编译和分析大量的研究细节，其中包含所有数据集，模型架构和结果，我们的目标是为对此字段感兴趣的初学者和当前研究人员提供一站式解决方案。

在深度学习方法进行自动医学图像分析的最新成功之前，从业者使用手工制作的放射线特征来定量描述当地的医学图像斑块。但是，提取区分性放射素特征取决于准确的病理定位，这在现实世界中很难获得。尽管疾病分类和胸部X射线的定位方面取得了进步，但许多方法未能纳入临床知名的领域知识。由于这些原因，我们提出了一个放射素引导的变压器（RGT），该变压器（RGT）与\ textit {global}图像信息与\ textit {local}知识引导的放射线信息信息提供准确的心肺病理学定位和分类\ textit {无需任何界限盒{ }。 RGT由图像变压器分支，放射线变压器分支以及聚集图像和放射线信息的融合层组成。 RGT使用对图像分支的自我注意事项，提取了一个边界框来计算放射线特征，该特征由放射线分支进一步处理。然后通过交叉注意层融合学习的图像和放射线特征。因此，RGT利用了一种新型的端到端反馈回路，该回路只能使用图像水平疾病标签引导精确的病理定位。 NIH CHESTXRAR数据集的实验表明，RGT的表现优于弱监督疾病定位的先前作品（在各个相交联合阈值的平均余量为3.6 \％）和分类（在接收器操作方下平均1.1 \％\％\％\％曲线）。接受代码和训练有素的模型将在接受后发布。

对医学图像的器官或病变的准确分割对于可靠的疾病和器官形态计量学的可靠诊断至关重要。近年来，卷积编码器解码器解决方案在自动医疗图像分割领域取得了重大进展。由于卷积操作中的固有偏见，先前的模型主要集中在相邻像素形成的局部视觉提示上，但无法完全对远程上下文依赖性进行建模。在本文中，我们提出了一个新型的基于变压器的注意力指导网络，称为Transattunet，其中多层引导注意力和多尺度跳过连接旨在共同增强语义分割体系结构的性能。受到变压器的启发，具有变压器自我注意力（TSA）和全球空间注意力（GSA）的自我意识注意（SAA）被纳入Transattunet中，以有效地学习编码器特征之间的非本地相互作用。此外，我们还使用解码器块之间的其他多尺度跳过连接来汇总具有不同语义尺度的上采样功能。这样，多尺度上下文信息的表示能力就可以增强以产生判别特征。从这些互补组件中受益，拟议的Transattunet可以有效地减轻卷积层堆叠和连续采样操作引起的细节损失，最终提高医学图像的细分质量。来自不同成像方式的多个医疗图像分割数据集进行了广泛的实验表明，所提出的方法始终优于最先进的基线。我们的代码和预培训模型可在以下网址找到：https：//github.com/yishuliu/transattunet。

在胸部X射线图像中定位疾病很少仔细注释可以节省大量的人类努力。最近的作品通过创新的弱监督算法（例如多稳定学习（MIL）和类激活图（CAM））处理了这项任务，但是，这些方法通常会产生不准确或不完整的区域。原因之一是忽视了每个图像内部解剖区域的关系中隐藏的病理意义以及跨图像的关系。在本文中，我们认为，作为上下文和补偿信息的跨区域和跨图像关系对于获得更一致和更一致的区域至关重要。为了建模关系，我们提出了图形正则嵌入网络（GREN），该网络（GREN）利用图像和图像间信息来定位胸部X射线图像上的疾病。 Gren使用预先训练的U-NET来分割肺裂片，然后使用图像内图形图对肺裂片之间的内图像进行建模以比较不同的区域。同时，内部图像之间的关系是通过图像间图建模的，以比较多个图像。此过程模仿了放射科医生的训练和决策过程：比较多个区域和图像进行诊断。为了使神经网络的深层嵌入层保留结构信息（在本地化任务中很重要），我们使用哈希编码和锤击距离来计算图形，这些图形用作正规化器来促进训练。通过这种情况，我们的方法实现了NIH胸部X射线数据集的最新结果，以实现弱监督疾病的定位。我们的代码可在线访问（https://github.com/qibaolian/gren）。

深度学习技术表明它们在皮肤科医生临床检查中的优越性。然而，由于难以将临床知识掺入学习过程中，黑色素瘤诊断仍然是一个具有挑战性的任务。在本文中，我们提出了一种新颖的知识意识的深度框架，将一些临床知识纳入两个重要的黑色素瘤诊断任务的协作学习，即皮肤病变分割和黑色素瘤识别。具体地，利用病变区的形态表达的知识以及黑色素瘤鉴定的周边区域，设计了一种基于病变的汇集和形状提取（LPSE）方案，其将从皮肤病变分段获得的结构信息转移到黑色素瘤识别中。同时，为了通过黑色素瘤识别到皮肤病变细分的皮肤病原诊断知识，设计了有效的诊断引导特征融合（DGFF）策略。此外，我们提出了一种递归相互学习机制，进一步促进任务间合作，因此迭代地提高了皮肤病病变分割和黑色素瘤识别模型的联合学习能力。两种公共皮肤病原数据集的实验结果表明了黑色素瘤分析方法的有效性。

世界目前正在经历持续的传染病大流行病，该传染病是冠状病毒疾病2019（即covid-19），这是由严重的急性呼吸综合征冠状病毒2（SARS-COV-2）引起的。计算机断层扫描（CT）在评估感染的严重程度方面发挥着重要作用，并且还可用于识别这些症状和无症状的Covid-19载体。随着Covid-19患者的累积数量的激增，放射科医师越来越强调手动检查CT扫描。因此，自动化3D CT扫描识别工具的需求量高，因为手动分析对放射科医师耗时，并且它们的疲劳可能导致可能的误判。然而，由于位于不同医院的CT扫描仪的各种技术规范，CT图像的外观可能显着不同，导致许多自动图像识别方法的失败。因此，多域和多扫描仪研究的多域移位问题是不可能对可靠识别和可再现和客观诊断和预后至关重要的至关重要。在本文中，我们提出了Covid-19 CT扫描识别模型即Coronavirus信息融合和诊断网络（CIFD-NET），可以通过新的强大弱监督的学习范式有效地处理多域移位问题。与其他最先进的方法相比，我们的模型可以可靠，高效地解决CT扫描图像中不同外观的问题。

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

Automated detecting lung infections from computed tomography (CT) data plays an important role for combating COVID-19. However, there are still some challenges for developing AI system. 1) Most current COVID-19 infection segmentation methods mainly relied on 2D CT images, which lack 3D sequential constraint. 2) Existing 3D CT segmentation methods focus on single-scale representations, which do not achieve the multiple level receptive field sizes on 3D volume. 3) The emergent breaking out of COVID-19 makes it hard to annotate sufficient CT volumes for training deep model. To address these issues, we first build a multiple dimensional-attention convolutional neural network (MDA-CNN) to aggregate multi-scale information along different dimension of input feature maps and impose supervision on multiple predictions from different CNN layers. Second, we assign this MDA-CNN as a basic network into a novel dual multi-scale mean teacher network (DM${^2}$T-Net) for semi-supervised COVID-19 lung infection segmentation on CT volumes by leveraging unlabeled data and exploring the multi-scale information. Our DM${^2}$T-Net encourages multiple predictions at different CNN layers from the student and teacher networks to be consistent for computing a multi-scale consistency loss on unlabeled data, which is then added to the supervised loss on the labeled data from multiple predictions of MDA-CNN. Third, we collect two COVID-19 segmentation datasets to evaluate our method. The experimental results show that our network consistently outperforms the compared state-of-the-art methods.

尽管已经开发了疫苗，并且国家疫苗接种率正在稳步提高，但2019年冠状病毒病（COVID-19）仍对世界各地的医疗保健系统产生负面影响。在当前阶段，从CT图像中自动分割肺部感染区域对于诊断和治疗COVID-19至关重要。得益于深度学习技术的发展，已经提出了一些针对肺部感染细分的深度学习解决方案。但是，由于分布分布，复杂的背景干扰和界限模糊，现有模型的准确性和完整性仍然不令人满意。为此，我们在本文中提出了一个边界引导的语义学习网络（BSNET）。一方面，结合顶级语义保存和渐进式语义集成的双分支语义增强模块旨在建模不同的高级特征之间的互补关系，从而促进产生更完整的分割结果。另一方面，提出了镜像对称边界引导模块，以以镜像对称方式准确检测病变区域的边界。公开可用数据集的实验表明，我们的BSNET优于现有的最新竞争对手，并实现了44 fps的实时推理速度。

在过去的两年中，Covid-19-19的到来引起的动荡继续带来新的挑战。在这次COVID-19大流行期间，需要快速鉴定感染患者和计算机断层扫描（CT）图像中感染区域的特定描述。尽管已迅速建立了深层监督的学习方法，但图像级和像素级标签的稀缺性以及缺乏可解释的透明度仍然阻碍了AI的适用性。我们可以识别受感染的患者并以极端的监督描绘感染吗？半监督的学习表明，在有限的标记数据和足够的未标记数据下，表现出了有希望的表现。受到半监督学习的启发，我们提出了一种模型不可静止的校准伪标记策略，并将其应用于一致性正则化框架下，以生成可解释的识别和描述结果。我们通过有限的标记数据和足够的未标记数据或弱标记数据的组合证明了模型的有效性。广泛的实验表明，我们的模型可以有效利用有限的标记数据，并为临床常规中的决策提供可解释的分类和分割结果。该代码可从https://github.com/ayanglab/xai covid-11获得。

B扫描超声模式中图像的精确和快速分类对于诊断眼部疾病至关重要。然而，在超声波中区分各种疾病仍然挑战经验丰富的眼科医生。因此，在这项工作中开发了一个新颖的对比度截面网络（CDNET），旨在应对超声图像中眼异常的细粒度图像分类（FGIC）挑战，包括眼内肿瘤（IOT），视网膜脱离（RD），后堆肥葡萄球菌（PSS）和玻璃体出血（VH）。 CDNET的三个基本组成部分分别是弱监督的病变定位模块（WSLL），对比度多Zoom（CMZ）策略和超级性对比度分解损失（HCD-LOSS）。这些组件促进了在输入和输出方面的细粒度识别的特征分离。所提出的CDNET在我们的ZJU Ocular Ultrasound数据集（Zjuuld）上进行了验证，该数据集由5213个样品组成。此外，在两个公共且广泛使用的胸部X射线FGIC基准上验证了CDNET的概括能力。定量和定性结果证明了我们提出的CDNET的功效，该CDNET在FGIC任务中实现了最新的性能。代码可在以下网址获得：https：//github.com/zeroonegame/cdnet-for-ous-fgic。