在癌症诊断和病理研究中，组织病理学图像的分类均具有巨大的价值。但是，多种原因（例如由放大因素和阶级失衡引起的变化）使其成为一项艰巨的任务，在许多情况下，从图像标签数据集中学习的常规方法在许多情况下都无法令人满意。我们观察到同一类的肿瘤通常具有共同的形态学模式。为了利用这一事实，我们提出了一种方法，该方法可以学习基于相似性的多尺度嵌入（SMSE），以实现非放大依赖性的组织病理学图像分类。特别是，利用了一对损失和三胞胎损失，以从图像对或图像三联体中学习基于相似性的嵌入。学到的嵌入提供了对图像之间相似性的准确测量，这被认为是组织病理学形态比正常图像特征更有效的表示形式。此外，为了确保生成的模型独立于放大，以不同放大因素获取的图像在学习多尺度嵌入过程中同时被馈送到网络中。除了SMSE之外，我们还消除了类不平衡的影响，而不是使用凭直觉丢弃一些简单样品的硬采矿策略，我们引入了新的增强局灶性损失，以同时惩罚硬误分类的样品，同时抑制了容易分类良好的样品。实验结果表明，与以前的方法相比，SMSE改善了乳腺癌和肝癌的组织病理图像分类任务的性能。特别是，与使用传统功能相比，SMSE在Breakhis基准测试中取得了最佳性能，其改善范围从5％到18％。

早期发现视网膜疾病是预防患者部分或永久失明的最重要手段之一。在这项研究中，提出了一种新型的多标签分类系统，用于使用从各种来源收集的眼底图像来检测多种视网膜疾病。首先，使用许多公开可用的数据集来构建一个新的多标签视网膜疾病数据集，即梅里德数据集。接下来，应用了一系列后处理步骤，以确保图像数据的质量和数据集中存在的疾病范围。在眼底多标签疾病分类中，首次通过大量实验优化的基于变压器的模型用于图像分析和决策。进行了许多实验以优化所提出的系统的配置。结果表明，在疾病检测和疾病分类方面，该方法的性能比在同一任务上的最先进作品要好7.9％和8.1％。获得的结果进一步支持了基于变压器的架构在医学成像领域的潜在应用。

深度学习（DL）技术已被广泛用于医学图像分类。大多数基于DL的分类网络通常是层次结构化的，并通过最小化网络末尾测量的单个损耗函数而进行了优化。但是，这种单一的损失设计可能会导致优化一个特定的感兴趣价值，但无法利用中间层的信息特征，这些特征可能会受益于分类性能并降低过度拟合的风险。最近，辅助卷积神经网络（AUXCNNS）已在传统分类网络之上采用，以促进中间层的培训，以提高分类性能和鲁棒性。在这项研究中，我们提出了一个基于对抗性学习的AUXCNN，以支持对医学图像分类的深神经网络的培训。我们的AUXCNN分类框架采用了两项主要创新。首先，所提出的AUXCNN体系结构包括图像发生器和图像鉴别器，用于为医学图像分类提取更多信息图像特征，这是由生成对抗网络（GAN）的概念及其在近似目标数据分布方面令人印象深刻的能力的动机。其次，混合损失函数旨在通过合并分类网络和AUXCNN的不同目标来指导模型训练，以减少过度拟合。全面的实验研究表明，提出的模型的分类表现出色。研究了与网络相关因素对分类性能的影响。

图像回归任务，如骨矿物密度（BMD）估计和左心室喷射分数（LVEF）预测，在计算机辅助疾病评估中起重要作用。大多数深度回归方法用单一的回归损耗函数训练神经网络，如MSE或L1损耗。在本文中，我们提出了一种用于深度图像回归的第一个对比学习框架，即adacon，其包括通过新颖的自适应边缘对比损耗和回归预测分支的特征学习分支组成。我们的方法包含标签距离关系作为学习特征表示的一部分，这允许在下游回归任务中进行更好的性能。此外，它可以用作即插即用模块，以提高现有回归方法的性能。我们展示了adacon对来自X射线图像的骨矿物密度估计和来自超声心动图象的X射线图像和左心室喷射分数预测的骨矿物密度估计的有效性。 Adacon分别导致MAE在最先进的BMD估计和LVEF预测方法中相对提高3.3％和5.9％。

大坝水库在实现可持续发展目标和全球气候目标方面发挥着重要作用。但是，特别是对于小型水坝水库，其地理位置缺乏一致的数据。为了解决此数据差距，一种有前途的方法是根据全球可用的遥感图像进行自动水坝水库提取。它可以被认为是水体提取的精细颗粒任务，涉及在图像中提取水区，然后将水坝储层与天然水体分开。我们提出了一种基于新型的深神经网络（DNN）管道，该管道将大坝水库提取到水体分割和大坝储层识别中。首先将水体与分割模型中的背景土地分开，然后将每个水体预测为大坝储层或分类模型中的天然水体。对于以前的一步，将跨图像的点级度量学习注入分段模型，以解决水域和土地区域之间的轮廓模棱两可。对于后一个步骤，将带有簇的三重态的先前引导的度量学习注入到分类模型中，以根据储层簇在细粒度中优化图像嵌入空间。为了促进未来的研究，我们建立了一个带有地球图像数据的基准数据集，并从西非和印度的河流盆地标记为人类标记的水库。在水体分割任务，水坝水库识别任务和关节坝储层提取任务中，对这个基准进行了广泛的实验。将我们的方法与艺术方法的方法进行比较时，已经在各自的任务中观察到了卓越的性能。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

很少有视觉识别是指从一些标记实例中识别新颖的视觉概念。通过将查询表示形式与类表征进行比较以预测查询实例的类别，许多少数射击的视觉识别方法采用了基于公制的元学习范式。但是，当前基于度量的方法通常平等地对待所有实例，因此通常会获得有偏见的类表示，考虑到并非所有实例在总结了类级表示的实例级表示时都同样重要。例如，某些实例可能包含无代表性的信息，例如过多的背景和无关概念的信息，这使结果偏差。为了解决上述问题，我们提出了一个新型的基于公制的元学习框架，称为实例自适应类别表示网络（ICRL-net），以进行几次视觉识别。具体而言，我们开发了一个自适应实例重新平衡网络，具有在生成班级表示，通过学习和分配自适应权重的不同实例中的自适应权重时，根据其在相应类的支持集中的相对意义来解决偏见的表示问题。此外，我们设计了改进的双线性实例表示，并结合了两个新型的结构损失，即，阶层内实例聚类损失和阶层间表示区分损失，以进一步调节实例重估过程并完善类表示。我们对四个通常采用的几个基准测试：Miniimagenet，Tieredimagenet，Cifar-FS和FC100数据集进行了广泛的实验。与最先进的方法相比，实验结果证明了我们的ICRL-NET的优势。

人重新识别是识别非重叠摄像机的个体的问题。尽管在重新识别问题中取得了显着进展，但由于同一人的外观变化以及其他外观相似的人，这仍然是一个具有挑战性的问题。一些先前的作品通过将正样本的特征与负面的特征分开来解决这些问题。但是，现有模型的性能在很大程度上取决于用于培训的样品的特征和统计数据。因此，我们提出了一个名为“采样独立鲁棒特征表示网络”（sirnet）的新型框架，该框架学习了从随机选择的样品中嵌入的分离特征。对精心设计的采样独立的最大差异损失引入了与集群同一人的模型样本。结果，所提出的框架可以使用学识渊博的功能产生额外的硬质量/积极因素，从而可以更好地辨别其他身份。大规模基准数据集的广泛实验结果验证了所提出的模型比以前的最新模型更有效。

机器学习和深度学习方法对医学的计算机辅助预测成为必需的，在乳房X光检查领域也具有越来越多的应用。通常，这些算法训练，针对特定任务，例如，病变的分类或乳房X乳线图的病理学状态的预测。为了获得患者的综合视图，随后整合或组合所有针对同一任务培训的模型。在这项工作中，我们提出了一种管道方法，我们首先培训一组个人，任务特定的模型，随后调查其融合，与标准模型合并策略相反。我们使用混合患者模型的深度学习模型融合模型预测和高级功能，以在患者水平上构建更强的预测因子。为此，我们提出了一种多分支深度学习模型，其跨不同任务和乳房X光检查有效地融合了功能，以获得全面的患者级预测。我们在公共乳房X线摄影数据，即DDSM及其策划版本CBIS-DDSM上培训并评估我们的全部管道，并报告AUC评分为0.962，以预测任何病变和0.791的存在，以预测患者水平对恶性病变的存在。总体而言，与标准模型合并相比，我们的融合方法将显着提高AUC得分高达0.04。此外，通过提供与放射功能相关的特定于任务的模型结果，提供了与放射性特征相关的任务特定模型结果，我们的管道旨在密切支持放射科学家的阅读工作流程。

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

基于电动机图像（MI）的脑电脑界面（BCIS）允许通过解码神经生理现象来控制几种应用，这些现象通常通过使用非侵入性技术被脑电图（EEG）记录。尽管在基于MI的BCI的进展方面很大，但脑电图有特定于受试者和各种变化随时间。这些问题指出了提高分类绩效的重大挑战，特别是在独立的方式。为了克服这些挑战，我们提出了Min2Net，这是一个新的端到端多任务学习来解决这项任务。我们将深度度量学习集成到多任务AutoEncoder中，以从脑电图中学习紧凑且识别的潜在表示，并同时执行分类。这种方法降低了预处理的复杂性，导致EEG分类的显着性能改善。实验结果以本语独立的方式表明，MIN2Net优于最先进的技术，在SMR-BCI和OpenBMI数据集中分别实现了6.72％的F1分数提高，以及2.23％。我们证明MIN2NET在潜在代表中提高了歧视信息。本研究表明使用此模型的可能性和实用性为新用户开发基于MI的BCI应用，而无需校准。

不平衡的培训数据是医学图像分类的重大挑战。在这项研究中，我们提出了一个新型的渐进式中心三重态（PCCT）框架，以减轻类不平衡问题，尤其是用于诊断稀有疾病的问题，主要是通过仔细设计三重态采样策略和三重态损失形成。具体而言，PCCT框架包括两个连续的阶段。在第一阶段，PCCT通过类平衡的三重损失训练诊断系统，从而使不同类别的分布分布粗糙。在第二阶段，PCCT框架进一步改善了诊断系统，涉及三胞胎损失，从而导致每个类别的分布更紧凑。对于级别平衡的三重态损失，在每个训练迭代中为每个班级平均采样三重态，从而减轻了不平衡的数据问题。对于涉及三胞胎的集体中心损失，每个三重态中的正和负样本被其相应的类中心取代，该中心强制执行靠近类中心的同一类的数据表示。此外，涉及的三胞胎损失涉及的中心损失将扩展到成对的排名损失和四倍体损失，这证明了所提出的框架的概括。广泛的实验支持PCCT框架有效地用于医疗图像分类，并使用不平衡的训练图像。在两个皮肤图像数据集和一个胸部X射线数据集上，建议的方法分别获得了所有类别的平均F1得分86.2、65.2和90.66，以及81.4、63.87和81.92的稀有班级，即可实现最罕见的班级。性能并超越广泛使用的类不平衡问题的方法。

乳腺癌是女性最常见的恶性肿瘤，每年负责超过50万人死亡。因此，早期和准确的诊断至关重要。人类专业知识是诊断和正确分类乳腺癌并定义适当的治疗，这取决于评价不同生物标志物如跨膜蛋白受体HER2的表达。该评估需要几个步骤，包括免疫组织化学或原位杂交等特殊技术，以评估HER2状态。通过降低诊断中的步骤和人类偏差的次数的目标，赫洛挑战是组织的，作为第16届欧洲数字病理大会的并行事件，旨在自动化仅基于苏木精和曙红染色的HER2地位的评估侵袭性乳腺癌的组织样本。评估HER2状态的方法是在全球21个团队中提出的，并通过一些提议的方法实现了潜在的观点，以推进最先进的。

乳腺癌是女性可能发生的最严重的癌症之一。通过分析组织学图像（HIS）来自动诊断乳腺癌对患者及其预后很重要。他的分类为临床医生提供了对疾病的准确了解，并使他们可以更有效地治疗患者。深度学习（DL）方法已成功地用于各种领域，尤其是医学成像，因为它们有能力自动提取功能。这项研究旨在使用他的乳腺癌对不同类型的乳腺癌进行分类。在这项研究中，我们提出了一个增强的胶囊网络，该网络使用RES2NET块和四个额外的卷积层提取多尺度特征。此外，由于使用了小的卷积内核和RES2NET块，因此所提出的方法具有较少的参数。结果，新方法的表现优于旧方法，因为它会自动学习最佳功能。测试结果表明该模型的表现优于先前的DL方法。

背景：宫颈癌严重影响了女性生殖系统的健康。光学相干断层扫描（OCT）作为宫颈疾病检测的非侵入性，高分辨率成像技术。然而，OCT图像注释是知识密集型和耗时的，这阻碍了基于深度学习的分类模型的培训过程。目的：本研究旨在基于自我监督学习，开发一种计算机辅助诊断（CADX）方法来对体内宫颈OCT图像进行分类。方法：除了由卷积神经网络（CNN）提取的高电平语义特征外，建议的CADX方法利用了通过对比纹理学习来利用未标记的宫颈OCT图像的纹理特征。我们在中国733名患者的多中心临床研究中对OCT图像数据集进行了十倍的交叉验证。结果：在用于检测高风险疾病的二元分类任务中，包括高级鳞状上皮病变和宫颈癌，我们的方法实现了0.9798加号或减去0.0157的面积曲线值，灵敏度为91.17加或对于OCT图像贴片，减去4.99％，特异性为93.96加仑或减去4.72％;此外，它在测试集上的四位医学专家中表现出两种。此外，我们的方法在使用交叉形阈值投票策略的118名中国患者中达到了91.53％的敏感性和97.37％的特异性。结论：所提出的基于对比 - 学习的CADX方法表现优于端到端的CNN模型，并基于纹理特征提供更好的可解释性，其在“见和治疗”的临床协议中具有很大的潜力。

面部变形攻击检测具有挑战性，并为面部验证系统带来了具体和严重的威胁。此类攻击的可靠检测机制已通过强大的跨数据库协议和未知的变形工具进行了测试，这仍然是一项研究挑战。本文提出了一个框架，遵循了几次射击学习方法，该方法使用三胞胎 - 硬性损坏共享基于暹罗网络的图像信息，以应对变形攻击检测并增强聚类分类过程。该网络比较了真正的或潜在的变形图像与变形和真正的面部图像的三胞胎。我们的结果表明，这个新的网络将数据点群集成，并将它们分配给类，以便在跨数据库方案中获得较低的相等错误率，仅共享来自未知数据库的小图像编号。几乎没有学习的学习有助于增强学习过程。使用FRGCV2训练并使用FERET和AMSL开放式数据库测试的跨数据库的实验结果将BPCer10使用RESNET50和5.50％的MobileNETV2从43％降低到4.91％。

Jitendra Malik once said, "Supervision is the opium of the AI researcher". Most deep learning techniques heavily rely on extreme amounts of human labels to work effectively. In today's world, the rate of data creation greatly surpasses the rate of data annotation. Full reliance on human annotations is just a temporary means to solve current closed problems in AI. In reality, only a tiny fraction of data is annotated. Annotation Efficient Learning (AEL) is a study of algorithms to train models effectively with fewer annotations. To thrive in AEL environments, we need deep learning techniques that rely less on manual annotations (e.g., image, bounding-box, and per-pixel labels), but learn useful information from unlabeled data. In this thesis, we explore five different techniques for handling AEL.

Deep Metric Learning (DML) learns a non-linear semantic embedding from input data that brings similar pairs together while keeping dissimilar data away from each other. To this end, many different methods are proposed in the last decade with promising results in various applications. The success of a DML algorithm greatly depends on its loss function. However, no loss function is perfect, and it deals only with some aspects of an optimal similarity embedding. Besides, the generalizability of the DML on unseen categories during the test stage is an important matter that is not considered by existing loss functions. To address these challenges, we propose novel approaches to combine different losses built on top of a shared deep feature extractor. The proposed ensemble of losses enforces the deep model to extract features that are consistent with all losses. Since the selected losses are diverse and each emphasizes different aspects of an optimal semantic embedding, our effective combining methods yield a considerable improvement over any individual loss and generalize well on unseen categories. Here, there is no limitation in choosing loss functions, and our methods can work with any set of existing ones. Besides, they can optimize each loss function as well as its weight in an end-to-end paradigm with no need to adjust any hyper-parameter. We evaluate our methods on some popular datasets from the machine vision domain in conventional Zero-Shot-Learning (ZSL) settings. The results are very encouraging and show that our methods outperform all baseline losses by a large margin in all datasets.

前列腺癌是男性癌症死亡的最常见原因之一。对非侵入性和准确诊断方法的需求不断增长，促进目前在临床实践中的标准前列腺癌风险评估。尽管如此，从多游幂磁共振图像中开发前列腺癌诊断中的计算机辅助癌症诊断仍然是一个挑战。在这项工作中，我们提出了一种新的深度学习方法，可以通过构建两阶段多数量多流卷积神经网络（CNN）基于架构架构的相应磁共振图像中的前列腺病变自动分类。在不实现复杂的图像预处理步骤或第三方软件的情况下，我们的框架在接收器操作特性（ROC）曲线值为0.87的接收器下实现了该区域的分类性能。结果表现出大部分提交的方法，并分享了普罗妥克斯挑战组织者报告的最高价值。我们拟议的基于CNN的框架反映了辅助前列腺癌中的医学图像解释并减少不必要的活组织检查的可能性。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。