卷积神经网络在黑色素瘤和其他皮肤病变的分类中表现出人类水平的表现，但是在广泛部署之前，应解决不同肤色之间的明显性能差异。在这项工作中，我们提出了一种有效但有效的算法，用于自动标记病变图像的肤色，并使用它来注释基准ISIC数据集。随后，我们使用这些自动标签作为两种领先的偏见，无法减轻肤色偏差的目标。我们的实验结果提供了证据表明，我们的肤色检测算法优于现有的解决方案，并且脱胶肤色可以改善概括，并可以减少黑色素瘤检测到更轻和较深的肤色之间的性能差异。

卷积神经网络在皮肤病变图像分类中表现出皮肤科医生水平的表现，但是由于训练数据中看到的偏见而引起的预测不规则性是在可能在广泛部署之前解决的问题。在这项工作中，我们使用两种领先的偏见未学习技术从自动化的黑色素瘤分类管道中稳健地消除了偏见和虚假变化。我们表明，可以使用这些偏置去除方法合理地减轻先前研究中介绍的手术标记和统治者引入的偏见。我们还证明了与用于捕获病变图像的成像仪器有关的杂化变异的概括优势。我们的实验结果提供了证据，表明上述偏见的影响大大降低了，不同的偏见技术在不同的任务方面具有出色的作用。

深度学习模型在自动化皮肤病变诊断方面取得了巨大成功。但是，在这些模型的预测中，种族差异通常不足以说明深色皮肤类型的病变，并且诊断准确性较低，因此受到很少的关注。在本文中，我们提出了Fairdisco，这是一个带有对比度学习的解开深度学习框架，它利用一个额外的网络分支来消除敏感属性，即从表示的表现形式中的皮肤型信息和另一个对比分支来增强特征提取。我们将Fairdisco与三种公平方法进行了比较，即重新采样，重新加权和属性 - 在两个新发布的具有不同皮肤类型的皮肤病变数据集上：Fitzpatrick17k和多样的皮肤病学图像（DDI）。我们为多个类别和敏感属性任务调整了两个基于公平的指标DPM和EOM，突出了皮肤病变分类中的皮肤型偏差。广泛的实验评估证明了Fairdisco的有效性，对皮肤病变分类任务的表现更公平，更出色。

虽然基于深度学习的方法表明了皮肤病学诊断任务中的专家级表现，但它们还显示出对某些人口统计学属性，尤其是皮肤类型（例如，光对黑暗）的偏见，必须解决公平的关注。我们提出了圆圈，这是一种肤色不变的深度表示学习方法，可改善皮肤病变分类的公平性。通过利用正规化损失来鼓励具有相同诊断的图像但皮肤类型不同以具有相似的潜在表示，对圆圈进行了对图像进行分类的训练。通过广泛的评估和消融研究，我们证明了在跨越6种菲茨帕特里克皮肤类型和114种疾病的16K+图像上评估时，Circle的表现优于最先进的表现，使用分类精度，平等的机会差异（对于光与黑暗组），和归一化精度范围，这是我们提出的一种新措施，以评估多个皮肤类型组的公平性。

Skin cancer is the most common malignancy in the world. Automated skin cancer detection would significantly improve early detection rates and prevent deaths. To help with this aim, a number of datasets have been released which can be used to train Deep Learning systems - these have produced impressive results for classification. However, this only works for the classes they are trained on whilst they are incapable of identifying skin lesions from previously unseen classes, making them unconducive for clinical use. We could look to massively increase the datasets by including all possible skin lesions, though this would always leave out some classes. Instead, we evaluate Siamese Neural Networks (SNNs), which not only allows us to classify images of skin lesions, but also allow us to identify those images which are different from the trained classes - allowing us to determine that an image is not an example of our training classes. We evaluate SNNs on both dermoscopic and clinical images of skin lesions. We obtain top-1 classification accuracy levels of 74.33% and 85.61% on clinical and dermoscopic datasets, respectively. Although this is slightly lower than the state-of-the-art results, the SNN approach has the advantage that it can detect out-of-class examples. Our results highlight the potential of an SNN approach as well as pathways towards future clinical deployment.

超过30亿人缺乏护理皮肤病。AI诊断工具可能有助于早期皮肤癌检测;然而，大多数模型尚未在不同肤色或罕见疾病的图像上进行评估。为了解决这个问题，我们策划了多样化的皮肤科（DDI）DataSet - 这是一种具有不同皮肤色调的第一个公开的，病理证实的图像。我们展示了最先进的皮肤科AI模型在DDI上表现得很糟糕，ROC-AUC与模型的原始结果相比下降29-40％。我们发现暗肤色和罕见的疾病，在DDI数据集中提供良好，导致性能下降。此外，我们表明，无需多样化培训数据，我们表明最先进的强大培训方法无法纠正这些偏差。我们的研究结果确定了需要解决的皮肤病学AI中的重要弱点和偏见，以确保可靠应用于各种患者和所有疾病。

用皮肤镜图像进行深度学习的黑色素瘤分类最近显示出在自动早期黑色素瘤诊断中的巨大潜力。然而，受到明显的数据失衡和明显的外部伪影的限制，即头发和尺子标记，从皮肤镜图像中提取的判别特征提取非常具有挑战性。在这项研究中，我们试图分别解决这些问题，以更好地表示病变特征。具体而言，基于GAN的数据增强（GDA）策略可与拟议的隐式脱糖（IHD）策略一起生成合成黑色素瘤阳性图像。其中，与头发相关的表示通过辅助分类器网络隐式分散，并反向发送到黑色素瘤 - 特征提取主链，以提供更好的黑色素瘤特异性表示学习。此外，为了训练IHD模块，头发的噪音还标记在ISIC2020数据集上，这使其成为第一个带有类似头发伪影的注释的大型皮肤镜数据集。广泛的实验证明了所提出的框架的优势以及每个组件的有效性。改进的数据集可在https://github.com/kirtsy/dermoscopicdataset上公开可用。

在临床工作流程中成功部署AI的计算机辅助诊断（CAD）系统的一个主要障碍是它们缺乏透明决策。虽然常用可解释的AI方法提供了一些对不透明算法的洞察力，但除了高度训练的专家外，这种解释通常是复杂的，而不是易于理解的。关于皮肤病图像的皮肤病病变恶性的决定的解释需要特别清晰，因为潜在的医疗问题定义本身是模棱两可的。这项工作提出了exaid（可解释的ai用于皮肤科），是生物医学图像分析的新框架，提供了由易于理解的文本解释组成的多模态概念的解释，该概念由可视地图证明预测的视觉映射。 Exap依赖于概念激活向量，将人类概念映射到潜在空间中的任意深度学习模型学习的人，以及概念本地化地图，以突出输入空间中的概念。然后，这种相关概念的识别将用于构建由概念 - 明智地点信息补充的细粒度文本解释，以提供全面和相干的多模态解释。所有信息都在诊断界面中全面呈现，用于临床常规。教育模式为数据和模型探索提供数据集级别解释统计和工具，以帮助医学研究和教育。通过严谨的exaid定量和定性评估，即使在错误的预测情况下，我们展示了CAD辅助情景的多模态解释的效用。我们认为突然将为皮肤科医生提供一种有效的筛查工具，他们都理解和信任。此外，它将是其他生物医学成像领域的类似应用的基础。

深度学习技术表明它们在皮肤科医生临床检查中的优越性。然而，由于难以将临床知识掺入学习过程中，黑色素瘤诊断仍然是一个具有挑战性的任务。在本文中，我们提出了一种新颖的知识意识的深度框架，将一些临床知识纳入两个重要的黑色素瘤诊断任务的协作学习，即皮肤病变分割和黑色素瘤识别。具体地，利用病变区的形态表达的知识以及黑色素瘤鉴定的周边区域，设计了一种基于病变的汇集和形状提取（LPSE）方案，其将从皮肤病变分段获得的结构信息转移到黑色素瘤识别中。同时，为了通过黑色素瘤识别到皮肤病变细分的皮肤病原诊断知识，设计了有效的诊断引导特征融合（DGFF）策略。此外，我们提出了一种递归相互学习机制，进一步促进任务间合作，因此迭代地提高了皮肤病病变分割和黑色素瘤识别模型的联合学习能力。两种公共皮肤病原数据集的实验结果表明了黑色素瘤分析方法的有效性。

我们提升了一个具有多个注释的开放数据集，可以补充现有的ISIC和PH2皮肤病变分类数据集。此数据集包含非专家注释来源的Visual ABC（不对称，边框，颜色）功能：本科生，来自亚马逊MTURK的人群工人和经典图像处理算法。在本文中，我们首先分析了病变的注释与诊断标签之间的相关性，以及研究不同的注释来源之间的协议。总的来说，我们发现非专家注释与诊断标签的相关性较弱，不同的注释源之间的低协议。然后，我们将多任务学习（MTL）与额外标签一起研究，并表明非专家注释可以通过MTL改进（集成）最先进的卷积神经网络。我们希望我们的数据集可以用于进一步研究多个注释和/或MTL。 GitHub上提供所有数据和模型：https://github.com/raumannsr/enhance。

深度学习失败案例很丰富，尤其是在医疗区域。最近对分布式概括的研究已在控制良好的合成数据集上进行了大量发展，但它们不代表医学成像环境。我们提出了一条依赖伪像的管道的管道，以便为具有挑战性的皮肤病变分析环境提供概括评估和偏见。首先，我们将数据分为越来越高的偏见训练和测试集的水平，以更好地概括评估。然后，我们基于皮肤病变伪影创建环境，以实现域的概括方法。最后，经过强大的训练，我们执行了测试时间的偏差程序，从而减少了推理图像中的虚假特征。我们的实验表明，我们的管道改善了偏见的情况下的性能指标，并在使用解释方法时避免了伪像。尽管如此，在评估分布数据中的此类模型时，他们不喜欢临床上的功能。取而代之的是，只有在培训中呈现类似工件的测试集中的性能得到了改善，这表明模型学会忽略了已知的伪像。我们的结果引起了人们的关注，即对单个方面的偏见模型可能不足以容纳皮肤病变分析。

皮肤病变的准确诊断是大型皮肤图像中的关键任务。在本研究中，我们形成了一种新型的图像特征，称为混合特征，其具有比单个方法特征更强的辨别能力。本研究涉及一种新技术，在训练过程期间，我们将手工特征或特征传递到完全连接的卷积神经网络（CNN）模型中。根据我们的文献回顾，直到现在，在培训过程中将手工特征注入CNN模型中，没有研究或调查对分类绩效的影响。此外，我们还调查了分割面膜的影响及其对整体分类性能的影响。我们的模型实现了92.3％的平衡式多条准确度，比典型的单一方法为深度学习的单一方法分类器架构优于6.8％。

黑色素瘤的鉴定涉及使用临床和Dermoscopy模式获得的皮肤病变图像的综合分析。 Dermospopic图像提供了补充宏观临床图像的地下视觉结构的详细视图。黑色素瘤诊断通常基于7点视觉类别清单（7PC）。 7PC包含可以帮助分类的类别之间的内在关系，例如共享特征，相关性以及类别对诊断的贡献。手动分类是主观的，容易出现和interobserver变异性。这为改善诊断的自动化方法提供了机会。目前的最先进方法侧重于单个图像模态并忽略另一个图像，或者不完全利用两种方式的互补信息。此外，没有一种方法来利用7PC中的interCategory关系。在这项研究中，我们通过提出具有两个模块的基于图形的InterCategory和帧间性网络（GIIN）来解决这些问题。基于图形的关系模​​块（GRM）利用基间关系，多语句关系，并通过在图形网络中编码类别表示来利用Dermicoctop的视觉结构细节。嵌入学习模块（CELM）的类别捕获每个类别专门的表示并支持GRM。我们表明我们的模块在使用Dermoscopy临床图像的公共数据集中增强分类性能，并表明我们的方法在分类7PC类别和诊断时表现出最先进的。

图像质量是催化性咨询成功的关键因素。但是，患者发送的图像中有多达50％存在质量问题，从而增加了诊断和治疗的时间。为了改善当前的远程咨询流量，需要一种自动化，易于部署，可解释的方法来评估图像质量。我们介绍了ImageQX，这是一种卷积神经网络，该网络训练了图像质量评估，其学习机制可确定最常见的图像质量解释：不良框架，不良照明，模糊，低分辨率和距离问题。 ImageQX在26635张照片中接受了培训，并在9874张照片上进行了验证，每张照片都有图像质量标签和不良图像质量解释的注释，最多可提供12位董事会认证的皮肤科医生。摄影图像是在2017 - 2019年间使用移动皮肤病跟踪应用程序在全球范围内访问的。我们的方法可实现图像质量评估和图像质量差的解释的专家级别的性能。为了进行图像质量评估，ImageQX获得了0.73的宏F1得分，该得分将其置于成对评估者F1分数0.77的标准偏差之内。对于差的图像质量解释，我们的方法获得了0.37至0.70之间的F1得分，类似于评分者间成对的F1评分在0.24和0.83之间。此外，ImageQX的尺寸仅为15 MB，可以轻松地在移动设备上部署。通过与皮肤科医生相似的图像质量检测性能，将ImageQX纳入远程表现流程可以减轻皮肤病学家的图像评估负担，同时减少患者的诊断和治疗时间。我们介绍了ImageQX，这是一个可以解释的图像质量评估器，它利用域专业知识来提高虚拟环境中皮肤科护理的质量和效率。

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

现在，新的医疗数据集对公众开放，可以进行更好，更广泛的研究。尽管以最大的谨慎准备，但新数据集可能仍然是影响学习过程的虚假相关性的来源。此外，数据收集通常不够大，而且通常是不平衡的。减轻数据不平衡的一种方法是使用生成对抗网络（GAN）使用数据扩展来扩展具有高质量图像的数据集。 GAN通常在与目标数据相同的偏置数据集上进行训练，从而导致更多的偏差实例。这项工作探索了无条件和条件剂量，以比较其偏差遗传以及合成数据如何影响模型。我们提供了大量的手动数据注释，可能在著名的ISIC数据集上具有皮肤病变的偏见。此外，我们研究了对实际和合成数据训练的分类模型，并具有反事实偏置解释。我们的实验表明，GAN遗传了偏见，有时甚至会放大它们，从而导致更强的虚假相关性。手动数据注释和合成图像可公开可重复可再现科学研究。

Generalization is an important attribute of machine learning models, particularly for those that are to be deployed in a medical context, where unreliable predictions can have real world consequences. While the failure of models to generalize across datasets is typically attributed to a mismatch in the data distributions, performance gaps are often a consequence of biases in the 'ground-truth' label annotations. This is particularly important in the context of medical image segmentation of pathological structures (e.g. lesions), where the annotation process is much more subjective, and affected by a number underlying factors, including the annotation protocol, rater education/experience, and clinical aims, among others. In this paper, we show that modeling annotation biases, rather than ignoring them, poses a promising way of accounting for differences in annotation style across datasets. To this end, we propose a generalized conditioning framework to (1) learn and account for different annotation styles across multiple datasets using a single model, (2) identify similar annotation styles across different datasets in order to permit their effective aggregation, and (3) fine-tune a fully trained model to a new annotation style with just a few samples. Next, we present an image-conditioning approach to model annotation styles that correlate with specific image features, potentially enabling detection biases to be more easily identified.

近年来，自动对色素，非色素和脱发的非胸膜皮肤病变的分类引起了很多关注。但是，皮肤纹理，病变形状，脱位对比度，照明条件等的成像变化。阻碍了鲁棒的特征提取，从而影响分类精度。在本文中，我们提出了一个新的深神经网络，该网络利用输入数据进行鲁棒特征提取。具体而言，我们分析了卷积网络的行为（视野），以找到深度监督的位置，以改善特征提取。为了实现这一目标，首先，我们执行激活映射以生成对象掩码，突出显示对分类输出生成最重要的输入区域。然后，选择层的有效接收场的网络层与对象掩模中的近似对象形状相匹配，以作为我们进行深度监督的焦点。利用三个黑色素瘤检测数据集和两个白癜风检测数据集上的不同类型的卷积特征提取器和分类器，我们验证了新方法的有效性。

人们普遍认为，人类视觉系统偏向于识别形状而不是纹理。这一假设导致了越来越多的工作，旨在使深层模型的决策过程与人类视野的基本特性保持一致。人们对形状特征的依赖主要预计会改善协变量转移下这些模型的鲁棒性。在本文中，我们重新审视了形状偏置对皮肤病变图像分类的重要性。我们的分析表明，不同的皮肤病变数据集对单个图像特征表现出不同的偏见。有趣的是，尽管深层提取器倾向于学习对皮肤病变分类的纠缠特征，但仍然可以从该纠缠的表示形式中解码单个特征。这表明这些功能仍在模型的学习嵌入空间中表示，但不用于分类。此外，不同数据集的光谱分析表明，与常见的视觉识别相反，皮肤皮肤病变分类本质上依赖于超出形状偏置的复杂特征组合。自然的结果，在某些情况下，摆脱了形状偏见模型的普遍欲望甚至可以改善皮肤病变分类器。

尽管人工智能（AI）有望支持医疗保健提供者并提高医疗诊断的准确性，但数据集组成的缺乏透明度会使AI模型暴露于无意识和可避免的错误的可能性。特别是，皮肤病学条件的公共图像数据集很少包含有关肤色的信息。作为提高透明度的开始，AI研究人员已经从患者光敏性的度量到估算计算机视觉应用算法审核的肤色估算肤色（包括面部识别和皮肤病学诊断）的肤色估算肤色的度量来使用Fitzpatrick皮肤类型（FST）。为了了解图像上估计的FST注释的可变性，我们比较了来自教科书和在线皮肤病学试图的460张皮肤条件图像的多种FST注释方法。我们发现，三位经过董事会认证的皮肤科医生之间的评估者间可靠性与经过董事会认证的皮肤科医生和两种众包方法之间的评估者间可靠性相媲美。相比之下，我们发现转换为FST（ITA-FST）方法的单个类型学角度与专家注释相比，与专家的注释相关的注释相关的注释明显少于彼此相关。这些结果表明，基于ITA-FST的算法对于注释大规模图像数据集并不可靠，但是以人为本的，基于人群的协议可以可靠地将皮肤类型透明度添加到皮肤病学数据集中。此外，我们介绍了具有可调参数的动态共识协议的概念，包括专家审查，以提高人群的可见性并为未来的大型图像数据集的众包注释提供指导。