尽管仅使用图像级标签（WSSS-IL）仅使用图像级标签（WSSS-IL）弱监督的语义分割可能有用，但其低性能和实现复杂性仍然限制了其应用。主要原因是（a）非检测和（b）假检测现象：（a）从现有的WSSS-IL方法中完善的类激活图仍然仅表示大规模对象的部分区域，以及（b） - 规模对象，过度激活使它们偏离对象边缘。我们提出了反复进行的，该反复环境通过递归迭代交替减少非和错误的检测，从而隐含地找到了最大程度地减少这两个错误的最佳连接。我们还提出了一种称为EdgePredictMix的新型数据增强方法（DA）方法，该方法通过利用相邻像素之间的概率差异信息在结合分割结果时进一步表达了对象的边缘，从而在将现有的DA方法应用于WSS时，从而弥补了缺点。我们在Pascal VOC 2012和MS Coco 2014基准（VOC Val 74.4％，可可Val 46.4％）上实现了最先进的表演。该代码可从https://github.com/ofrin/recurseed_and_edgepredictmix获得。
translated by 谷歌翻译
For more clinical applications of deep learning models for medical image segmentation, high demands on labeled data and computational resources must be addressed. This study proposes a coarse-to-fine framework with two teacher models and a student model that combines knowledge distillation and cross teaching, a consistency regularization based on pseudo-labels, for efficient semi-supervised learning. The proposed method is demonstrated on the abdominal multi-organ segmentation task in CT images under the MICCAI FLARE 2022 challenge, with mean Dice scores of 0.8429 and 0.8520 in the validation and test sets, respectively.
translated by 谷歌翻译
已知视觉问题答案（VQA）的任务受到VQA模型的问题的困扰，从而利用数据集中的偏见来做出最终预测。已经提出了许多先前基于合奏的偏数方法，其中有目的地训练了一个额外的模型以帮助训练强大的目标模型。但是，这些方法从训练数据的标签统计数据或直接从单局分支中计算出模型的偏差。相反，在这项工作中，为了更好地了解目标VQA模型的偏见，我们提出了一种生成方法来训练偏差模型\ emph {直接来自目标模型}，称为GenB。特别是，GENB采用生成网络来通过对抗目标和知识蒸馏的结合来学习偏见。然后，我们将目标模型以GENB作为偏置模型为单位，并通过广泛的实验显示了我们方法对包括VQA CP2，VQA-CP1，VQA-CP1，GQA-OOD和VQA-CE在内的各种VQA偏置数据集的影响。
translated by 谷歌翻译
现代深度学习在各个领域取得了巨大的成功。但是，它需要标记大量数据，这是昂贵且劳动密集型的。积极学习（AL）确定要标记的最有用的样本，对于最大化培训过程的效率变得越来越重要。现有的AL方法主要仅使用单个最终固定模型来获取要标记的样品。这种策略可能还不够好，因为没有考虑为给定培训数据的模型的结构不确定性来获取样品。在这项研究中，我们提出了一种基于常规随机梯度下降（SGD）优化产生的时间自我汇总的新颖获取标准。通过捕获通过SGD迭代获得的中间网络权重来获得这些自我复杂模型。我们的收购功能依赖于学生和教师模型之间的一致性度量。为学生模型提供了固定数量的时间自我安装模型，并且教师模型是通过平均学生模型来构建的。使用拟议的获取标准，我们提出了AL算法，即基于学生教师的AL（ST-Conal）。在CIFAR-10，CIFAR-100，CALTECH-256和TINY IMAGENET数据集上进行的图像分类任务进行的实验表明，所提出的ST-Conal实现的性能要比现有的获取方法要好得多。此外，广泛的实验显示了我们方法的鲁棒性和有效性。
translated by 谷歌翻译
人们对从长尾班级分布中学习的具有挑战性的视觉感知任务越来越兴趣。训练数据集中的极端类失衡使模型偏向于识别多数级数据而不是少数级数据。最近，已经提出了两个分支网络的双分支网络（DBN）框架。传统的分支和重新平衡分支用于提高长尾视觉识别的准确性。重新平衡分支使用反向采样器来生成类平衡的训练样本，以减轻由于类不平衡而减轻偏见。尽管该策略在处理偏见方面非常成功，但使用反向采样器进行培训可以降低表示形式的学习绩效。为了减轻这个问题，常规方法使用了精心设计的累积学习策略，在整个培训阶段，重新平衡分支的影响逐渐增加。在这项研究中，我们旨在开发一种简单而有效的方法，以不需要优化的累积学习而在不累积学习的情况下提高DBN的性能。我们设计了一种称为双边混合增强的简单数据增强方法，该方法将统一采样器中的一个样品与反向采样器中的另一个样品结合在一起，以产生训练样本。此外，我们介绍了阶级条件的温度缩放，从而减轻对拟议的DBN结构的多数级别的偏见。我们对广泛使用的长尾视觉识别数据集进行的实验表明，双边混合增加在改善DBN的表示性能方面非常有效，并且所提出的方法可以实现某些类别的先进绩效。
translated by 谷歌翻译
2022-06-12
归纳转移学习旨在通过利用源任务中的预训练模型来从少量培训数据中学习目标任务。大多数涉及大规模深度学习模型的策略采用预先培训的模型和进行目标任务进行初始化。但是，当使用过度参数化模型时，我们通常可以在不牺牲源任务的准确性的情况下修剪模型。这促使我们采用模型修剪来通过深度学习模型进行转移学习。在本文中，我们提出了PAC-NET，这是一种简单而有效的方法，用于基于修剪的转移学习。 PAC-NET由三个步骤组成：修剪，分配和校准（PAC）。这些步骤背后的主要思想是确定源任务的基本权重，通过更新基本权重来微调源任务，然后通过更新剩余的冗余权重来校准目标任务。在各种广泛的感应转移学习实验集中，我们表明我们的方法通过很大的边距实现了最先进的性能。
translated by 谷歌翻译
弱监督的多标签分类（WSML）任务是使用每个图像的部分观察标签学习多标签分类，由于其巨大的注释成本，它变得越来越重要。在这项工作中，我们首先将未观察到的标签视为负标签，将WSML任务投入到嘈杂的多标签分类中。从这个角度来看，我们从经验上观察到，在多标签环境中也出现了在嘈杂的多级环境中最初发现的记忆效应。也就是说，该模型首先了解清洁标签的表示，然后开始记住嘈杂的标签。基于这一发现，我们提出了WSML的新方法，该方法拒绝或纠正大型损失样品，以防止模型记住嘈杂的标签。如果没有沉重且复杂的组件，我们提出的方法在几种部分标签设置上的先前最先前的WSML方法（包括Pascal VOC 2012，Coco，MS Coco，Nuswide，Cub，Cub和OpenImimages V3数据集）都优于先前的最先前的WSML方法。各种分析还表明，我们的方法实际上效果很好，证实了在弱监督的多标签分类中正确处理大损失的问题。我们的代码可从https://github.com/snucml/largelossmatters获得。
translated by 谷歌翻译
由于服务器客户的通信和设备计算的瓶颈，大多数研究联合学习的研究都集中在小型模型上。在这项工作中，我们利用各种技术来缓解这些瓶颈，以在联合学习的跨设备中训练更大的语言模型。借助部分模型培训，量化，有效的转移学习和沟通效率优化器的系统应用，我们能够培训$ 21 $ M的参数变压器和20.2美元的参数构象异构体，这些构象异构体与类似大小相同或更好的困惑LSTM具有$ \ sim10 \ times $ $较小的客户到服务器通信成本，比文献中常见的较小的LSTMS $ 11 \％$ $ $ $。
translated by 谷歌翻译
贝叶斯神经网络在许多应用程序问题（包括不确定性量化）中成功设计和优化了强大的神经网络模型。但是，随着最近的成功，对贝叶斯神经网络的信息理论理解仍处于早期阶段。相互信息是贝叶斯神经网络中一种不确定性度量的示例，以量化认知不确定性。尽管如此，尚无分析公式来描述它，这是了解贝叶斯深度学习框架的基本信息指标之一。在本文中，我们通过利用点过程熵的概念来得出模型参数和预测输出之间相互信息的分析公式。然后，作为应用程序，我们通过证明我们的分析公式可以在实践中进一步提高主动学习的性能，从而讨论DIRICHLET分布的参数估计，并显示其在主动学习不确定性度量中的实际应用。
translated by 谷歌翻译
聚类是无监督学习中的基本原始，它引发了丰富的计算挑战性推理任务。在这项工作中，我们专注于将$ D $ -dimential高斯混合的规范任务与未知（和可能的退化）协方差集成。最近的作品（Ghosh等人。恢复在高斯聚类实例中种植的某些隐藏结构。在许多类似的推理任务上的工作开始，这些较低界限强烈建议存在群集的固有统计到计算间隙，即群集任务是\ yringit {statistically}可能但没有\ texit {多项式 - 时间}算法成功。我们考虑的聚类任务的一个特殊情况相当于在否则随机子空间中找到种植的超立体载体的问题。我们表明，也许令人惊讶的是，这种特定的聚类模型\ extent {没有展示}统计到计算间隙，即使在这种情况下继续应用上述的低度和SOS下限。为此，我们提供了一种基于Lenstra - Lenstra - Lovasz晶格基础减少方法的多项式算法，该方法实现了$ D + 1 $样本的统计上最佳的样本复杂性。该结果扩展了猜想统计到计算间隙的问题的类问题可以通过“脆弱”多项式算法“关闭”，突出显示噪声在统计到计算间隙的发作中的关键而微妙作用。
translated by 谷歌翻译