Current medical image synthetic augmentation techniques rely on intensive use of generative adversarial networks (GANs). However, the nature of GAN architecture leads to heavy computational resources to produce synthetic images and the augmentation process requires multiple stages to complete. To address these challenges, we introduce a novel generative meta curriculum learning method that trains the task-specific model (student) end-to-end with only one additional teacher model. The teacher learns to generate curriculum to feed into the student model for data augmentation and guides the student to improve performance in a meta-learning style. In contrast to the generator and discriminator in GAN, which compete with each other, the teacher and student collaborate to improve the student's performance on the target tasks. Extensive experiments on the histopathology datasets show that leveraging our framework results in significant and consistent improvements in classification performance.

知识蒸馏在模型压缩方面取得了显着的成就。但是，大多数现有方法需要原始的培训数据，而实践中的实际数据通常是不可用的，因为隐私，安全性和传输限制。为了解决这个问题，我们提出了一种有条件的生成数据无数据知识蒸馏（CGDD）框架，用于培训有效的便携式网络，而无需任何实际数据。在此框架中，除了使用教师模型中提取的知识外，我们将预设标签作为额外的辅助信息介绍以培训发电机。然后，训练有素的发生器可以根据需要产生指定类别的有意义的培训样本。为了促进蒸馏过程，除了使用常规蒸馏损失，我们将预设标签视为地面真理标签，以便学生网络直接由合成训练样本类别监督。此外，我们强制学生网络模仿教师模型的注意图，进一步提高了其性能。为了验证我们方法的优越性，我们设计一个新的评估度量称为相对准确性，可以直接比较不同蒸馏方法的有效性。培训的便携式网络通过提出的数据无数据蒸馏方法获得了99.63％，99.07％和99.84％的CIFAR10，CIFAR100和CALTECH101的相对准确性。实验结果表明了所提出的方法的优越性。

机器学习中的知识蒸馏是将知识从名为教师的大型模型转移到一个名为“学生”的较小模型的过程。知识蒸馏是将大型网络（教师）压缩到较小网络（学生）的技术之一，该网络可以部署在手机等小型设备中。当教师和学生之间的网络规模差距增加时，学生网络的表现就会下降。为了解决这个问题，在教师模型和名为助教模型的学生模型之间采用了中间模型，这反过来弥补了教师与学生之间的差距。在这项研究中，我们已经表明，使用多个助教模型，可以进一步改进学生模型（较小的模型）。我们使用加权集合学习将这些多个助教模型组合在一起，我们使用了差异评估优化算法来生成权重值。

无数据知识蒸馏（DFKD）最近一直吸引了研究社区的越来越关注，归因于其仅使用合成数据压缩模型的能力。尽管取得了令人鼓舞的成果，但最先进的DFKD方法仍然患有数据综合的低效率，使得无数据培训过程非常耗时，因此可以对大规模任务进行不适当的。在这项工作中，我们介绍了一个被称为FastDFKD的有效方案，使我们能够将DFKD加速到数量级。在我们的方法中，我们的方法是一种重用培训数据中共享共同功能的新策略，以便综合不同的数据实例。与先前的方法独立优化一组数据，我们建议学习一个Meta合成器，该综合仪寻求常见功能作为快速数据合成的初始化。因此，FastDFKD仅在几个步骤内实现数据综合，显着提高了无数据培训的效率。在CiFAR，NYUV2和Imagenet上的实验表明，所提出的FastDFKD实现了10美元\时代$甚至100美元\倍$加速，同时保持与现有技术的表现。

知识蒸馏（KD）是压缩边缘设备深层分类模型的有效工具。但是，KD的表现受教师和学生网络之间较大容量差距的影响。最近的方法已诉诸KD的多个教师助手（TA）设置，该设置依次降低了教师模型的大小，以相对弥合这些模型之间的尺寸差距。本文提出了一种称为“知识蒸馏”课程专家选择的新技术，以有效地增强在容量差距问题下对紧凑型学生的学习。该技术建立在以下假设的基础上：学生网络应逐渐使用分层的教学课程来逐步指导，因为它可以从较低（较高的）容量教师网络中更好地学习（硬）数据样本。具体而言，我们的方法是一种基于TA的逐渐的KD技术，它每个输入图像选择单个教师，该课程是基于通过对图像进行分类的难度驱动的课程的。在这项工作中，我们凭经验验证了我们的假设，并对CIFAR-10，CIFAR-100，CINIC-10和Imagenet数据集进行了严格的实验，并在类似VGG的模型，Resnets和WideresNets架构上显示出提高的准确性。

尽管深层模型在医学图像分割中表现出了有希望的性能，但它们在很大程度上依赖大量宣布的数据，这很难访问，尤其是在临床实践中。另一方面，高准确的深层模型通常有大型模型尺寸，从而限制了它们在实际情况下的工作。在这项工作中，我们提出了一个新颖的不对称联合教师框架ACT-NET，以减轻半监督知识蒸馏的昂贵注释和计算成本的负担。我们通过共同教师网络推进教师学习的学习，以通过交替的学生和教师角色来促进从大型模型到小模型的不对称知识蒸馏，从而获得了临床就业的微小但准确的模型。为了验证我们的行动网络的有效性，我们在实验中采用了ACDC数据集进行心脏子结构分段。广泛的实验结果表明，ACT-NET的表现优于其他知识蒸馏方法，并实现无损分割性能，参数少250倍。

We present Self Meta Pseudo Labels, a novel semi-supervised learning method similar to Meta Pseudo Labels but without the teacher model. We introduce a novel way to use a single model for both generating pseudo labels and classification, allowing us to store only one model in memory instead of two. Our method attains similar performance to the Meta Pseudo Labels method while drastically reducing memory usage.

Despite excellent performance in image generation, Generative Adversarial Networks (GANs) are notorious for its requirements of enormous storage and intensive computation. As an awesome ''performance maker'', knowledge distillation is demonstrated to be particularly efficacious in exploring low-priced GANs. In this paper, we investigate the irreplaceability of teacher discriminator and present an inventive discriminator-cooperated distillation, abbreviated as DCD, towards refining better feature maps from the generator. In contrast to conventional pixel-to-pixel match methods in feature map distillation, our DCD utilizes teacher discriminator as a transformation to drive intermediate results of the student generator to be perceptually close to corresponding outputs of the teacher generator. Furthermore, in order to mitigate mode collapse in GAN compression, we construct a collaborative adversarial training paradigm where the teacher discriminator is from scratch established to co-train with student generator in company with our DCD. Our DCD shows superior results compared with existing GAN compression methods. For instance, after reducing over 40x MACs and 80x parameters of CycleGAN, we well decrease FID metric from 61.53 to 48.24 while the current SoTA method merely has 51.92. This work's source code has been made accessible at https://github.com/poopit/DCD-official.

While deep learning methods hitherto have achieved considerable success in medical image segmentation, they are still hampered by two limitations: (i) reliance on large-scale well-labeled datasets, which are difficult to curate due to the expert-driven and time-consuming nature of pixel-level annotations in clinical practices, and (ii) failure to generalize from one domain to another, especially when the target domain is a different modality with severe domain shifts. Recent unsupervised domain adaptation~(UDA) techniques leverage abundant labeled source data together with unlabeled target data to reduce the domain gap, but these methods degrade significantly with limited source annotations. In this study, we address this underexplored UDA problem, investigating a challenging but valuable realistic scenario, where the source domain not only exhibits domain shift~w.r.t. the target domain but also suffers from label scarcity. In this regard, we propose a novel and generic framework called ``Label-Efficient Unsupervised Domain Adaptation"~(LE-UDA). In LE-UDA, we construct self-ensembling consistency for knowledge transfer between both domains, as well as a self-ensembling adversarial learning module to achieve better feature alignment for UDA. To assess the effectiveness of our method, we conduct extensive experiments on two different tasks for cross-modality segmentation between MRI and CT images. Experimental results demonstrate that the proposed LE-UDA can efficiently leverage limited source labels to improve cross-domain segmentation performance, outperforming state-of-the-art UDA approaches in the literature. Code is available at: https://github.com/jacobzhaoziyuan/LE-UDA.

Most existing distillation methods ignore the flexible role of the temperature in the loss function and fix it as a hyper-parameter that can be decided by an inefficient grid search. In general, the temperature controls the discrepancy between two distributions and can faithfully determine the difficulty level of the distillation task. Keeping a constant temperature, i.e., a fixed level of task difficulty, is usually sub-optimal for a growing student during its progressive learning stages. In this paper, we propose a simple curriculum-based technique, termed Curriculum Temperature for Knowledge Distillation (CTKD), which controls the task difficulty level during the student's learning career through a dynamic and learnable temperature. Specifically, following an easy-to-hard curriculum, we gradually increase the distillation loss w.r.t. the temperature, leading to increased distillation difficulty in an adversarial manner. As an easy-to-use plug-in technique, CTKD can be seamlessly integrated into existing knowledge distillation frameworks and brings general improvements at a negligible additional computation cost. Extensive experiments on CIFAR-100, ImageNet-2012, and MS-COCO demonstrate the effectiveness of our method. Our code is available at https://github.com/zhengli97/CTKD.

CT的精确且鲁棒的肺癌分割，即使是靠近纵隔素的CT，也需要更准确地规划和提供放疗和测量治疗反应。因此，我们开发了一种新的跨模型引发蒸馏（CMEDL）方法，使用未配对的CT和MRI扫描，由此信息教师MRI网络引导学生CT网络来提取信号，以提取信号与背景之间的差异。我们的贡献消除了蒸馏方法的两个要求：（i）通过使用图像（i2i）翻译和（ii）通过使用所有网络的并行培训来使用图像的映像（i2i）翻译和（ii）前进的训练。我们的框架使用了端到端培训的未配对I2I翻译，教师和学生分段网络。使用3个分段和2个I2I网络来证明我们框架的架构灵活性。从不同组患者的377ct和82 t2w MRI培训网络，具有独立验证（n = 209肿瘤）和测试（n = 609肿瘤）数据集。网络设计，将MRI与CT信息组合的方法，在信息（MRI至CT）下蒸馏学习，弱（CT至MRI）和平等教师（MRI至MRI）和消融测试。使用骰子相似性（DSC），表面骰子（SDSC）和Hausdorff距离测量精度，并且在95 $ ^ {Th} $百分位数（HD95）。 CMEDL方法显着（P $ <0.001）比具有CT肺肿瘤的信息教师的非CMEDL方法更准确（DSC为0.77与0.73），MRI具有弱大教师（DSC为0.84 vs.0.81） MRI多器官分割，肺肿瘤，等于教师（DSC为0.90与0.88）。 CMEDL还降低了患者间肺肿瘤细分变量。

本文旨在探讨神经架构搜索（NAS）的可行性仅在不使用任何原始训练数据的情况下给出预先训练的模型。这是实质保护，偏离避免等的重要情况。为实现这一目标，我们首先通过从预先训练的深神经网络中恢复知识来综合可用数据。然后我们使用合成数据及其预测的软标签来指导神经结构搜索。我们确定NAS任务需要具有足够的语义，多样性和来自自然图像的最小域间隙的合成数据（我们在此处瞄准）。对于语义，我们提出了递归标签校准，以产生更多的信息性输出。对于多样性，我们提出了一个区域更新策略，以产生更多样化和富集的合成数据。对于最小的域间隙，我们使用输入和特征级正则化来模拟潜在空间的原始数据分布。我们将我们提出的三个流行NAS算法实例化：飞镖，Proxylessnas和Spos。令人惊讶的是，我们的结果表明，通过搜索我们的合成数据来实现的架构，实现了与从原始的架构中搜索的架构相当的准确性，首次导出了NAS可以有效完成的结论如果合成方法设计良好，则无需访问原件或称为自然数据。我们的代码将公开提供。

胃肠道（GI）癌症的患病率每年令人震惊，导致死亡率大幅上升。内窥镜检测提供了至关重要的诊断支持，但是，上胃肠道中的细微病变很难检测到，并引起大量的错过检测。在这项工作中，我们利用深度学习来开发一个框架，以改善难以检测病变的本地化并最大程度地减少遗漏的检测率。我们提出了一个端到端的学生教师学习设置，其中使用较大数据集的一个班级训练有素的教师模型的班级概率用于惩罚多级学生网络。我们的模型在两种内窥镜疾病检测（EDD2020）挑战和Kvasir-SEG数据集上，在平均平均精度（MAP）方面达到了更高的性能。此外，我们表明，使用这样的学习范式，我们的模型可以推广到看不见的测试集，从而为临床上关键的肿瘤和息肉类别提供更高的APS

除了使用硬标签的标准监督学习外，通常在许多监督学习设置中使用辅助损失来改善模型的概括。例如，知识蒸馏增加了第二个教师模仿模型训练的损失，在该培训中，教师可能是一个验证的模型，可以输出比标签更丰富的分布。同样，在标记数据有限的设置中，弱标记信息以标签函数的形式使用。此处引入辅助损失来对抗标签函数，这些功能可能是基于嘈杂的规则的真实标签近似值。我们解决了学习以原则性方式结合这些损失的问题。我们介绍AMAL，该AMAL使用元学习在验证度量上学习实例特定的权重，以实现损失的最佳混合。在许多知识蒸馏和规则降解域中进行的实验表明，Amal在这些领域中对竞争基准的增长可显着。我们通过经验分析我们的方法，并分享有关其提供性能提升的机制的见解。

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

The focus of recent meta-learning research has been on the development of learning algorithms that can quickly adapt to test time tasks with limited data and low computational cost. Few-shot learning is widely used as one of the standard benchmarks in meta-learning. In this work, we show that a simple baseline: learning a supervised or selfsupervised representation on the meta-training set, followed by training a linear classifier on top of this representation, outperforms state-of-the-art few-shot learning methods. An additional boost can be achieved through the use of selfdistillation. This demonstrates that using a good learned embedding model can be more effective than sophisticated meta-learning algorithms. We believe that our findings motivate a rethinking of few-shot image classification benchmarks and the associated role of meta-learning algorithms.

In recent years, generative adversarial networks (GANs) have been an actively studied topic and shown to successfully produce high-quality realistic images in various domains. The controllable synthesis ability of GAN generators suggests that they maintain informative, disentangled, and explainable image representations, but leveraging and transferring their representations to downstream tasks is largely unexplored. In this paper, we propose to distill knowledge from GAN generators by squeezing and spanning their representations. We squeeze the generator features into representations that are invariant to semantic-preserving transformations through a network before they are distilled into the student network. We span the distilled representation of the synthetic domain to the real domain by also using real training data to remedy the mode collapse of GANs and boost the student network performance in a real domain. Experiments justify the efficacy of our method and reveal its great significance in self-supervised representation learning. Code is available at https://github.com/yangyu12/squeeze-and-span.

糖尿病性视网膜病变（DR）是发达国家工人衰老人群中失明的主要原因之一，这是由于糖尿病的副作用降低了视网膜的血液供应。深度神经网络已被广泛用于自动化系统中，以在眼底图像上进行DR分类。但是，这些模型需要大量带注释的图像。在医疗领域，专家的注释昂贵，乏味且耗时。结果，提供了有限数量的注释图像。本文提出了一种半监督的方法，该方法利用未标记的图像和标记的图像来训练一种检测糖尿病性视网膜病的模型。提出的方法通过自我监督的学习使用无监督的预告片，然后使用一小部分标记的图像和知识蒸馏来监督微调，以提高分类任务的性能。在Eyepacs测试和Messidor-2数据集中评估了此方法，仅使用2％的Eyepacs列车标记图像，分别使用0.94和0.89 AUC。

组织病理学分析是对癌前病变诊断的本金标准。从数字图像自动组织病理学分类的目标需要监督培训，这需要大量的专家注释，这可能是昂贵且耗时的收集。同时，精确分类从全幻灯片裁剪的图像斑块对于基于标准滑动窗口的组织病理学幻灯片分类方法是必不可少的。为了减轻这些问题，我们提出了一个精心设计的条件GaN模型，即hostogan，用于在类标签上合成现实组织病理学图像补丁。我们还研究了一种新颖的合成增强框架，可选择地添加由我们提出的HADOGAN生成的新的合成图像补丁，而不是直接扩展与合成图像的训练集。通过基于其指定标签的置信度和实际标记图像的特征相似性选择合成图像，我们的框架为合成增强提供了质量保证。我们的模型在两个数据集上进行评估：具有有限注释的宫颈组织病理学图像数据集，以及具有转移性癌症的淋巴结组织病理学图像的另一个数据集。在这里，我们表明利用具有选择性增强的组织产生的图像导致对宫颈组织病理学和转移性癌症数据集分别的分类性能（分别为6.7％和2.8％）的显着和一致性。