卷积神经网络在皮肤病变图像分类中表现出皮肤科医生水平的表现，但是由于训练数据中看到的偏见而引起的预测不规则性是在可能在广泛部署之前解决的问题。在这项工作中，我们使用两种领先的偏见未学习技术从自动化的黑色素瘤分类管道中稳健地消除了偏见和虚假变化。我们表明，可以使用这些偏置去除方法合理地减轻先前研究中介绍的手术标记和统治者引入的偏见。我们还证明了与用于捕获病变图像的成像仪器有关的杂化变异的概括优势。我们的实验结果提供了证据，表明上述偏见的影响大大降低了，不同的偏见技术在不同的任务方面具有出色的作用。

卷积神经网络在黑色素瘤和其他皮肤病变的分类中表现出人类水平的表现，但是在广泛部署之前，应解决不同肤色之间的明显性能差异。在这项工作中，我们提出了一种有效但有效的算法，用于自动标记病变图像的肤色，并使用它来注释基准ISIC数据集。随后，我们使用这些自动标签作为两种领先的偏见，无法减轻肤色偏差的目标。我们的实验结果提供了证据表明，我们的肤色检测算法优于现有的解决方案，并且脱胶肤色可以改善概括，并可以减少黑色素瘤检测到更轻和较深的肤色之间的性能差异。

深度学习失败案例很丰富，尤其是在医疗区域。最近对分布式概括的研究已在控制良好的合成数据集上进行了大量发展，但它们不代表医学成像环境。我们提出了一条依赖伪像的管道的管道，以便为具有挑战性的皮肤病变分析环境提供概括评估和偏见。首先，我们将数据分为越来越高的偏见训练和测试集的水平，以更好地概括评估。然后，我们基于皮肤病变伪影创建环境，以实现域的概括方法。最后，经过强大的训练，我们执行了测试时间的偏差程序，从而减少了推理图像中的虚假特征。我们的实验表明，我们的管道改善了偏见的情况下的性能指标，并在使用解释方法时避免了伪像。尽管如此，在评估分布数据中的此类模型时，他们不喜欢临床上的功能。取而代之的是，只有在培训中呈现类似工件的测试集中的性能得到了改善，这表明模型学会忽略了已知的伪像。我们的结果引起了人们的关注，即对单个方面的偏见模型可能不足以容纳皮肤病变分析。

Skin cancer is the most common malignancy in the world. Automated skin cancer detection would significantly improve early detection rates and prevent deaths. To help with this aim, a number of datasets have been released which can be used to train Deep Learning systems - these have produced impressive results for classification. However, this only works for the classes they are trained on whilst they are incapable of identifying skin lesions from previously unseen classes, making them unconducive for clinical use. We could look to massively increase the datasets by including all possible skin lesions, though this would always leave out some classes. Instead, we evaluate Siamese Neural Networks (SNNs), which not only allows us to classify images of skin lesions, but also allow us to identify those images which are different from the trained classes - allowing us to determine that an image is not an example of our training classes. We evaluate SNNs on both dermoscopic and clinical images of skin lesions. We obtain top-1 classification accuracy levels of 74.33% and 85.61% on clinical and dermoscopic datasets, respectively. Although this is slightly lower than the state-of-the-art results, the SNN approach has the advantage that it can detect out-of-class examples. Our results highlight the potential of an SNN approach as well as pathways towards future clinical deployment.

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

深度学习模型在自动化皮肤病变诊断方面取得了巨大成功。但是，在这些模型的预测中，种族差异通常不足以说明深色皮肤类型的病变，并且诊断准确性较低，因此受到很少的关注。在本文中，我们提出了Fairdisco，这是一个带有对比度学习的解开深度学习框架，它利用一个额外的网络分支来消除敏感属性，即从表示的表现形式中的皮肤型信息和另一个对比分支来增强特征提取。我们将Fairdisco与三种公平方法进行了比较，即重新采样，重新加权和属性 - 在两个新发布的具有不同皮肤类型的皮肤病变数据集上：Fitzpatrick17k和多样的皮肤病学图像（DDI）。我们为多个类别和敏感属性任务调整了两个基于公平的指标DPM和EOM，突出了皮肤病变分类中的皮肤型偏差。广泛的实验评估证明了Fairdisco的有效性，对皮肤病变分类任务的表现更公平，更出色。

Diabetic Retinopathy (DR) is a leading cause of vision loss in the world, and early DR detection is necessary to prevent vision loss and support an appropriate treatment. In this work, we leverage interactive machine learning and introduce a joint learning framework, termed DRG-Net, to effectively learn both disease grading and multi-lesion segmentation. Our DRG-Net consists of two modules: (i) DRG-AI-System to classify DR Grading, localize lesion areas, and provide visual explanations; (ii) DRG-Expert-Interaction to receive feedback from user-expert and improve the DRG-AI-System. To deal with sparse data, we utilize transfer learning mechanisms to extract invariant feature representations by using Wasserstein distance and adversarial learning-based entropy minimization. Besides, we propose a novel attention strategy at both low- and high-level features to automatically select the most significant lesion information and provide explainable properties. In terms of human interaction, we further develop DRG-Net as a tool that enables expert users to correct the system's predictions, which may then be used to update the system as a whole. Moreover, thanks to the attention mechanism and loss functions constraint between lesion features and classification features, our approach can be robust given a certain level of noise in the feedback of users. We have benchmarked DRG-Net on the two largest DR datasets, i.e., IDRID and FGADR, and compared it to various state-of-the-art deep learning networks. In addition to outperforming other SOTA approaches, DRG-Net is effectively updated using user feedback, even in a weakly-supervised manner.

Age-related macular degeneration (AMD) is a degenerative disorder affecting the macula, a key area of the retina for visual acuity. Nowadays, it is the most frequent cause of blindness in developed countries. Although some promising treatments have been developed, their effectiveness is low in advanced stages. This emphasizes the importance of large-scale screening programs. Nevertheless, implementing such programs for AMD is usually unfeasible, since the population at risk is large and the diagnosis is challenging. All this motivates the development of automatic methods. In this sense, several works have achieved positive results for AMD diagnosis using convolutional neural networks (CNNs). However, none incorporates explainability mechanisms, which limits their use in clinical practice. In that regard, we propose an explainable deep learning approach for the diagnosis of AMD via the joint identification of its associated retinal lesions. In our proposal, a CNN is trained end-to-end for the joint task using image-level labels. The provided lesion information is of clinical interest, as it allows to assess the developmental stage of AMD. Additionally, the approach allows to explain the diagnosis from the identified lesions. This is possible thanks to the use of a CNN with a custom setting that links the lesions and the diagnosis. Furthermore, the proposed setting also allows to obtain coarse lesion segmentation maps in a weakly-supervised way, further improving the explainability. The training data for the approach can be obtained without much extra work by clinicians. The experiments conducted demonstrate that our approach can identify AMD and its associated lesions satisfactorily, while providing adequate coarse segmentation maps for most common lesions.

在过去的几年中，卷积神经网络（CNN）占据了计算机视野的领域，这要归功于它们提取功能及其在分类问题中出色的表现，例如在自动分析X射线中。不幸的是，这些神经网络被认为是黑盒算法，即不可能了解该算法如何实现最终结果。要将这些算法应用于不同领域并测试方法论的工作原理，我们需要使用可解释的AI技术。医学领域的大多数工作都集中在二进制或多类分类问题上。但是，在许多现实生活中，例如胸部X射线射线，可以同时出现不同疾病的放射学迹象。这引起了所谓的“多标签分类问题”。这些任务的缺点是类不平衡，即不同的标签没有相同数量的样本。本文的主要贡献是一种深度学习方法，用于不平衡的多标签胸部X射线数据集。它为当前未充分利用的Padchest数据集建立了基线，并基于热图建立了可解释的AI技术。该技术还包括概率和模型间匹配。我们系统的结果很有希望，尤其是考虑到使用的标签数量。此外，热图与预期区域相匹配，即它们标志着专家将用来做出决定的区域。

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

虽然基于深度学习的方法表明了皮肤病学诊断任务中的专家级表现，但它们还显示出对某些人口统计学属性，尤其是皮肤类型（例如，光对黑暗）的偏见，必须解决公平的关注。我们提出了圆圈，这是一种肤色不变的深度表示学习方法，可改善皮肤病变分类的公平性。通过利用正规化损失来鼓励具有相同诊断的图像但皮肤类型不同以具有相似的潜在表示，对圆圈进行了对图像进行分类的训练。通过广泛的评估和消融研究，我们证明了在跨越6种菲茨帕特里克皮肤类型和114种疾病的16K+图像上评估时，Circle的表现优于最先进的表现，使用分类精度，平等的机会差异（对于光与黑暗组），和归一化精度范围，这是我们提出的一种新措施，以评估多个皮肤类型组的公平性。

超过30亿人缺乏护理皮肤病。AI诊断工具可能有助于早期皮肤癌检测;然而，大多数模型尚未在不同肤色或罕见疾病的图像上进行评估。为了解决这个问题，我们策划了多样化的皮肤科（DDI）DataSet - 这是一种具有不同皮肤色调的第一个公开的，病理证实的图像。我们展示了最先进的皮肤科AI模型在DDI上表现得很糟糕，ROC-AUC与模型的原始结果相比下降29-40％。我们发现暗肤色和罕见的疾病，在DDI数据集中提供良好，导致性能下降。此外，我们表明，无需多样化培训数据，我们表明最先进的强大培训方法无法纠正这些偏差。我们的研究结果确定了需要解决的皮肤病学AI中的重要弱点和偏见，以确保可靠应用于各种患者和所有疾病。

我们展示了域不变特征学习（DIFL）可以改善深度学习结核筛查算法的域名概括性。众所周知，由于“域移位”，最深入的深度学习算法通常具有难以推广的概念数据分布。在医学成像的背景下，这可能导致意外的偏见，例如从一个患者人口到另一个患者人口的无法概括。我们分析了reset-50分类器的性能，以便用四个最受欢迎的公共数据集在地理上不同的图像来源的核化性筛选的目的。我们表明，如果没有域适应，Reset-50难以通过来自地理分布区域的图像从许多公共结核病筛查数据集之间概括成像分布。然而，随着DIFL的掺入，域外的性能大大提高了。分析标准包括对基线的准确性，灵敏度，特异性和AUC的比较，以及DIFL增强算法。我们得出结论，DIFL在应用跨各种公共数据集时保持结核筛查的易用性，同时在源域图像上保持可接受的准确性。

黑色素瘤的鉴定涉及使用临床和Dermoscopy模式获得的皮肤病变图像的综合分析。 Dermospopic图像提供了补充宏观临床图像的地下视觉结构的详细视图。黑色素瘤诊断通常基于7点视觉类别清单（7PC）。 7PC包含可以帮助分类的类别之间的内在关系，例如共享特征，相关性以及类别对诊断的贡献。手动分类是主观的，容易出现和interobserver变异性。这为改善诊断的自动化方法提供了机会。目前的最先进方法侧重于单个图像模态并忽略另一个图像，或者不完全利用两种方式的互补信息。此外，没有一种方法来利用7PC中的interCategory关系。在这项研究中，我们通过提出具有两个模块的基于图形的InterCategory和帧间性网络（GIIN）来解决这些问题。基于图形的关系模​​块（GRM）利用基间关系，多语句关系，并通过在图形网络中编码类别表示来利用Dermicoctop的视觉结构细节。嵌入学习模块（CELM）的类别捕获每个类别专门的表示并支持GRM。我们表明我们的模块在使用Dermoscopy临床图像的公共数据集中增强分类性能，并表明我们的方法在分类7PC类别和诊断时表现出最先进的。

最近的人工智能（AI）算法已在各种医学分类任务上实现了放射科医生级的性能。但是，只有少数研究涉及CXR扫描异常发现的定位，这对于向放射学家解释图像级分类至关重要。我们在本文中介绍了一个名为Vindr-CXR的可解释的深度学习系统，该系统可以将CXR扫描分类为多种胸部疾病，同时将大多数类型的关键发现本地化在图像上。 Vindr-CXR接受了51,485次CXR扫描的培训，并通过放射科医生提供的边界盒注释进行了培训。它表现出与经验丰富的放射科医生相当的表现，可以在3,000张CXR扫描的回顾性验证集上对6种常见的胸部疾病进行分类，而在接收器操作特征曲线（AUROC）下的平均面积为0.967（95％置信区间[CI]：0.958---------0.958------- 0.975）。 VINDR-CXR在独立患者队列中也得到了外部验证，并显示出其稳健性。对于具有14种类型病变的本地化任务，我们的自由响应接收器操作特征（FROC）分析表明，VINDR-CXR以每扫描确定的1.0假阳性病变的速率达到80.2％的敏感性。还进行了一项前瞻性研究，以衡量VINDR-CXR在协助六名经验丰富的放射科医生方面的临床影响。结果表明，当用作诊断工具时，提出的系统显着改善了放射科医生本身之间的一致性，平均Fleiss的Kappa的同意增加了1.5％。我们还观察到，在放射科医生咨询了Vindr-CXR的建议之后，在平均Cohen的Kappa中，它们和系统之间的一致性显着增加了3.3％。

With the rapid development of artificial intelligence (AI) in medical image processing, deep learning in color fundus photography (CFP) analysis is also evolving. Although there are some open-source, labeled datasets of CFPs in the ophthalmology community, large-scale datasets for screening only have labels of disease categories, and datasets with annotations of fundus structures are usually small in size. In addition, labeling standards are not uniform across datasets, and there is no clear information on the acquisition device. Here we release a multi-annotation, multi-quality, and multi-device color fundus image dataset for glaucoma analysis on an original challenge -- Retinal Fundus Glaucoma Challenge 2nd Edition (REFUGE2). The REFUGE2 dataset contains 2000 color fundus images with annotations of glaucoma classification, optic disc/cup segmentation, as well as fovea localization. Meanwhile, the REFUGE2 challenge sets three sub-tasks of automatic glaucoma diagnosis and fundus structure analysis and provides an online evaluation framework. Based on the characteristics of multi-device and multi-quality data, some methods with strong generalizations are provided in the challenge to make the predictions more robust. This shows that REFUGE2 brings attention to the characteristics of real-world multi-domain data, bridging the gap between scientific research and clinical application.

深度学习的显着成功引起了人们对医学成像诊断的应用的兴趣。尽管最新的深度学习模型在分类不同类型的医学数据方面已经达到了人类水平的准确性，但这些模型在临床工作流程中几乎不采用，这主要是由于缺乏解释性。深度学习模型的黑盒子性提出了制定策略来解释这些模型的决策过程的必要性，从而导致了可解释的人工智能（XAI）主题的创建。在这种情况下，我们对应用于医学成像诊断的XAI进行了详尽的调查，包括视觉，基于示例和基于概念的解释方法。此外，这项工作回顾了现有的医学成像数据集和现有的指标，以评估解释的质量。此外，我们还包括一组基于报告生成的方法的性能比较。最后，还讨论了将XAI应用于医学成像以及有关该主题的未来研究指示的主要挑战。

视网膜脉管系统的研究是筛查和诊断许多疾病的基本阶段。完整的视网膜血管分析需要将视网膜的血管分为动脉和静脉（A/V）。早期自动方法在两个顺序阶段接近这些分割和分类任务。但是，目前，这些任务是作为联合语义分割任务处理的，因为分类结果在很大程度上取决于血管分割的有效性。在这方面，我们提出了一种新的方法，用于从眼睛眼睛图像中对视网膜A/V进行分割和分类。特别是，我们提出了一种新颖的方法，该方法与以前的方法不同，并且由于新的损失，将联合任务分解为针对动脉，静脉和整个血管树的三个分割问题。这种配置允许直观地处理容器交叉口，并直接提供不同靶血管树的精确分割罩。提供的关于公共视网膜图血管树提取（RITE）数据集的消融研究表明，所提出的方法提供了令人满意的性能，尤其是在不同结构的分割中。此外，与最新技术的比较表明，我们的方法在A/V分类中获得了高度竞争的结果，同时显着改善了血管分割。提出的多段方法允许检测更多的血管，并更好地分割不同的结构，同时实现竞争性分类性能。同样，用这些术语来说，我们的方法优于各种参考作品的方法。此外，与以前的方法相比，该方法允许直接检测到容器交叉口，并在这些复杂位置保留A/V的连续性。

胸部射线照相是一种相对便宜，广泛的医疗程序，可传达用于进行诊断决策的关键信息。胸部X射线几乎总是用于诊断呼吸系统疾病，如肺炎或最近的Covid-19。在本文中，我们提出了一个自我监督的深神经网络，其在未标记的胸部X射线数据集上掠夺。学习的陈述转移到下游任务 - 呼吸系统疾病的分类。在四个公共数据集获得的结果表明，我们的方法在不需要大量标记的培训数据的情况下产生竞争力。

眼睛的临床诊断是对多种数据模式进行的，包括标量临床标签，矢量化生物标志物，二维底面图像和三维光学相干性层析成像（OCT）扫描。临床从业者使用所有可用的数据模式来诊断和治疗糖尿病性视网膜病（DR）或糖尿病黄斑水肿（DME）等眼部疾病。在眼科医学领域启用机器学习算法的使用需要研究治疗期内所有相关数据之间的关系和相互作用。现有的数据集受到限制，因为它们既不提供数据，也没有考虑数据模式之间的显式关系建模。在本文中，我们介绍了用于研究以上限制的视觉眼睛语义（橄榄）数据集的眼科标签。这是第一个OCT和近IIR眼底数据集，其中包括临床标签，生物标记标签，疾病标签和时间序列的患者治疗信息，来自相关临床试验。该数据集由1268个近红外图像组成，每个图像至少具有49个10月扫描和16个生物标志物，以及4个临床标签和DR或DME的疾病诊断。总共有96张眼睛的数据在至少两年的时间内平均，每只眼睛平均治疗66周和7次注射。我们在医学图像分析中为橄榄数据集进行了橄榄数据集的实用性，并为核心和新兴机器学习范式提供了基准和具体研究方向。