弱监督的对象本地化（WSOL）在过去几年中获得了普及，以便培训具有图像级标签的本地化模型。由于Soliminal WSOL类激活映射（CAM），该领域的重点是如何扩展注意区域更广泛地覆盖物体并更好地本地化。但是，这些策略依赖于验证超参数和模型选择的完全本地化监督，这是原则上禁止WSOL设置。在本文中，我们认为WSOL任务仅用图像级标签均不含糊，并提出了一种新的评估协议，其中全面监督仅限于仅与测试集没有重叠的小型举出的设置。我们观察到，根据我们的协议，五种最新的WSOL方法没有对CAM基线进行重大改进。此外，我们报告说，现有的WSOL方法尚未达到几次学习基准，其中验证时间的全面监督用于模型培训。根据我们的调查结果，我们讨论了WSOL的​​一些未来方向。

弱监督的对象本地化（WSOL）旨在学习仅使用图像级类别标签编码对象位置的表示形式。但是，许多物体可以在不同水平的粒度标记。它是动物，鸟还是大角的猫头鹰？我们应该使用哪些图像级标签？在本文中，我们研究了标签粒度在WSOL中的作用。为了促进这项调查，我们引入了Inatloc500，这是一个新的用于WSOL的大规模细粒基准数据集。令人惊讶的是，我们发现选择正确的训练标签粒度比选择最佳的WSOL算法提供了更大的性能。我们还表明，更改标签粒度可以显着提高数据效率。

使用深度学习模型从组织学数据中诊断癌症提出了一些挑战。这些图像中关注区域（ROI）的癌症分级和定位通常依赖于图像和像素级标签，后者需要昂贵的注释过程。深度弱监督的对象定位（WSOL）方法为深度学习模型的低成本培训提供了不同的策略。仅使用图像级注释，可以训练这些方法以对图像进行分类，并为ROI定位进行分类类激活图（CAM）。本文综述了WSOL的​​最先进的DL方法。我们提出了一种分类法，根据模型中的信息流，将这些方法分为自下而上和自上而下的方法。尽管后者的进展有限，但最近的自下而上方法目前通过深层WSOL方法推动了很多进展。早期作品的重点是设计不同的空间合并功能。但是，这些方法达到了有限的定位准确性，并揭示了一个主要限制 - 凸轮的不足激活导致了高假阴性定位。随后的工作旨在减轻此问题并恢复完整的对象。评估和比较了两个具有挑战性的组织学数据集的分类和本地化准确性，对我们的分类学方法进行了评估和比较。总体而言，结果表明定位性能差，特别是对于最初设计用于处理自然图像的通用方法。旨在解决组织学数据挑战的方法产生了良好的结果。但是，所有方法都遭受高假阳性/阴性定位的影响。在组织学中应用深WSOL方法的应用是四个关键的挑战 - 凸轮的激活下/过度激活，对阈值的敏感性和模型选择。

在弱监督的本地化设置中，监督作为图像级标签。我们建议使用图像分类器$ F $，并培训发电网络$ G $，给定输入图像，指示图像内对象位置的每个像素权重映射。通过最大限度地减少原始图像上的分类器F $ F $的输出之间的差异来培训网络$ G $培训。该方案需要一个正常化术语，确保$ G $不提供统一的重量，以及提前停止标准，以防止超过段图像。我们的结果表明，该方法在充满挑战的细粒度分类数据集中的相当余量以及通用图像识别数据集中优于现有的本地化方法。另外，在细粒度分类数据集中的弱监督分割中，所获得的权重映射也是最新的。

通过使用图像级分类掩模监督其学习过程，弱监督对象本地化（WSOL）放宽对对象本地化的密度注释的要求。然而，当前的WSOL方法遭受背景位置的过度激活，并且需要后处理以获得定位掩模。本文将这些问题归因于背景提示的不明显，并提出了背景感知分类激活映射（B-CAM），以便仅使用图像级标签同时学习对象和背景的本地化分数。在我们的B-CAM中，两个图像级功能，由潜在背景和对象位置的像素级别功能聚合，用于从对象相关的背景中净化对象功能，并表示纯背景样本的功能，分别。然后基于这两个特征，学习对象分类器和背景分类器，以确定二进制对象本地化掩码。我们的B-CAM可以基于提出的错开分类损失以端到端的方式培训，这不仅可以改善对象本地化，而且还抑制了背景激活。实验表明，我们的B-CAM在Cub-200，OpenImages和VOC2012数据集上优于一级WSOL方法。

弱监督对象本地化（WSOL）旨在仅使用图像级标签作为监控本地化对象区域。最近，通过生成前景预测映射（FPM）来实现新的范例来实现本地化任务。现有的基于FPM的方法使用跨熵（CE）来评估前景预测映射并引导发电机的学习。我们争辩使用激活值来实现更高效的学习。它基于实验观察，对于培训的网络，CE当前景掩模仅覆盖物体区域的一部分时，CE会聚到零。虽然激活值增加，直到掩码扩展到对象边界，这表明可以通过使用激活值来学习更多对象区域。在本文中，我们提出了背景激活抑制（BAS）方法。具体地，设计激活地图约束模块（AMC）以通过抑制背景激活值来促进生成器的学习。同时，通过使用前景区域指导和区域约束，BAS可以学习对象的整个区域。此外，在推理阶段，我们考虑不同类别的预测映射，以获得最终的本地化结果。广泛的实验表明，BAS通过CUB-200-2011和ILSVRC数据集的基线方法实现了显着和一致的改进。

仅使用诸如图像类标签的全局注释，弱监督学习方法允许CNN分类器共同分类图像，并产生与预测类相关的感兴趣区域。然而，在像素水平的任何引导下，这种方法可以产生不准确的区域。已知该问题与组织学图像更具挑战，而不是与天然自然的图像，因为物体不太突出，结构具有更多变化，并且前景和背景区域具有更强的相似之处。因此，用于CNNS的视觉解释的计算机视觉文献中的方法可能无法直接适用。在这项工作中，我们提出了一种基于复合损耗功能的简单而有效的方法，可利用完全消极样本的信息。我们的新损失函数包含两个补充项：第一次利用CNN分类器收集的积极证据，而第二个利用来自CNN分类器的积极证据，而第二个互联网将利用来自训练数据集的完全消极样本。特别是，我们用解码器装备预先训练的分类器，该解码器允许精制感兴趣的区域。利用相同的分类器来收集像素电平的正面和负证据，以培训解码器。这使得能够利用自然地发生在数据中的完全消极样本，而没有任何额外的监督信号，并且仅使用图像类作为监督。与几种相关方法相比，在冒号癌的公共基准GLAS和使用三种不同的骨架的CONELYON16基于乳腺癌的CAMELYON16基准测试，我们展示了我们方法引入的大量改进。我们的结果表明了使用负数和积极证据的好处，即，从分类器获得的效益以及在数据集中自然可用的那个。我们对这两种术语进行了消融研究。我们的代码公开提供。

Regional dropout strategies have been proposed to enhance the performance of convolutional neural network classifiers. They have proved to be effective for guiding the model to attend on less discriminative parts of objects (e.g. leg as opposed to head of a person), thereby letting the network generalize better and have better object localization capabilities. On the other hand, current methods for regional dropout remove informative pixels on training images by overlaying a patch of either black pixels or random noise. Such removal is not desirable because it leads to information loss and inefficiency during training. We therefore propose the CutMix augmentation strategy: patches are cut and pasted among training images where the ground truth labels are also mixed proportionally to the area of the patches. By making efficient use of training pixels and retaining the regularization effect of regional dropout, CutMix consistently outperforms the state-of-the-art augmentation strategies on CI-FAR and ImageNet classification tasks, as well as on the Im-ageNet weakly-supervised localization task. Moreover, unlike previous augmentation methods, our CutMix-trained ImageNet classifier, when used as a pretrained model, results in consistent performance gains in Pascal detection and MS-COCO image captioning benchmarks. We also show that CutMix improves the model robustness against input corruptions and its out-of-distribution detection performances. Source code and pretrained models are available at https://github.com/clovaai/CutMix-PyTorch.

分类网络已用于弱监督语义分割（WSSS）中，以通过类激活图（CAM）进行细分对象。但是，没有像素级注释，已知它们主要是（1）集中在歧视区域上，以及（2）产生弥漫性凸轮而没有定义明确的预测轮廓。在这项工作中，我们通过改善CAM学习来缓解这两个问题。首先，我们根据CAM引起的类别概率质量函数来合并重要性抽样，以产生随机图像级别的类预测。如我们的经验研究所示，这导致分割涵盖更大程度的对象。其次，我们制定了特征相似性损失项，该术语进一步改善了图像中边缘的预测轮廓的对齐。此外，我们通过测量轮廓f-评分作为对公共区域MIOU度量的补充，将新的光芒放到了WSS的问题上。我们表明，我们的方法在轮廓质量方面显着优于以前的方法，同时匹配了区域相似性的最新方法。

X-ray imaging technology has been used for decades in clinical tasks to reveal the internal condition of different organs, and in recent years, it has become more common in other areas such as industry, security, and geography. The recent development of computer vision and machine learning techniques has also made it easier to automatically process X-ray images and several machine learning-based object (anomaly) detection, classification, and segmentation methods have been recently employed in X-ray image analysis. Due to the high potential of deep learning in related image processing applications, it has been used in most of the studies. This survey reviews the recent research on using computer vision and machine learning for X-ray analysis in industrial production and security applications and covers the applications, techniques, evaluation metrics, datasets, and performance comparison of those techniques on publicly available datasets. We also highlight some drawbacks in the published research and give recommendations for future research in computer vision-based X-ray analysis.

While class activation map (CAM) generated by image classification network has been widely used for weakly supervised object localization (WSOL) and semantic segmentation (WSSS), such classifiers usually focus on discriminative object regions. In this paper, we propose Contrastive learning for Class-agnostic Activation Map (C$^2$AM) generation only using unlabeled image data, without the involvement of image-level supervision. The core idea comes from the observation that i) semantic information of foreground objects usually differs from their backgrounds; ii) foreground objects with similar appearance or background with similar color/texture have similar representations in the feature space. We form the positive and negative pairs based on the above relations and force the network to disentangle foreground and background with a class-agnostic activation map using a novel contrastive loss. As the network is guided to discriminate cross-image foreground-background, the class-agnostic activation maps learned by our approach generate more complete object regions. We successfully extracted from C$^2$AM class-agnostic object bounding boxes for object localization and background cues to refine CAM generated by classification network for semantic segmentation. Extensive experiments on CUB-200-2011, ImageNet-1K, and PASCAL VOC2012 datasets show that both WSOL and WSSS can benefit from the proposed C$^2$AM.

弱监督的语义细分（WSSS）旨在仅使用用于训练的图像级标签来产生像素类预测。为此，以前的方法采用了通用管道：它们从类激活图（CAM）生成伪口罩，并使用此类掩码来监督分割网络。但是，由于凸轮的局部属性，即它们倾向于仅专注于小的判别对象零件，因此涵盖涵盖整个物体的全部范围的全面伪面罩是一项挑战。在本文中，我们将CAM的局部性与卷积神经网络（CNNS）的质地偏见特性相关联。因此，我们建议利用形状信息来补充质地偏见的CNN特征，从而鼓励掩模预测不仅是全面的，而且还与物体边界相交。我们通过一种新颖的改进方法进一步完善了在线方式的预测，该方法同时考虑了类和颜色亲和力，以生成可靠的伪口罩以监督模型。重要的是，我们的模型是在单阶段框架内进行端到端训练的，因此在培训成本方面有效。通过对Pascal VOC 2012的广泛实验，我们验证了方法在产生精确和形状对准的分割结果方面的有效性。具体而言，我们的模型超过了现有的最新单阶段方法。此外，当在没有铃铛和哨声的简单两阶段管道中采用时，它还在多阶段方法上实现了新的最新性能。

我们考虑临床应用异常定位问题。虽然深入学习推动了最近的医学成像进展，但许多临床挑战都没有完全解决，限制了其更广泛的使用。虽然最近的方法报告了高的诊断准确性，但医生因普遍缺乏算法决策和解释性而涉及诊断决策的这些算法，这是关注这些算法。解决这个问题的一种潜在方法是进一步培训这些模型，以便除了分类它们之外，除了分类。然而，准确地进行这一临床专家需要大量的疾病定位注释，这是对大多数应用程序来实现昂贵的任务。在这项工作中，我们通过一种新的注意力弱监督算法来解决这些问题，该弱势监督算法包括分层关注挖掘框架，可以以整体方式统一激活和基于梯度的视觉关注。我们的关键算法创新包括明确序号注意约束的设计，实现了以弱监督的方式实现了原则的模型培训，同时还通过本地化线索促进了产生视觉关注驱动的模型解释。在两个大型胸部X射线数据集（NIH Chescx-Ray14和Chexpert）上，我们展示了对现有技术的显着本地化性能，同时也实现了竞争的分类性能。我们的代码可在https://github.com/oyxhust/ham上找到。

弱监督对象本地化（WSOL）是一个具有挑战性的任务，可以仅通过类别标签本地化对象。然而，分类和定位之间存在矛盾，因为准确的分类网络倾向于注意物体的歧视区域而不是整体。我们提出这种歧视是由基于CAM的方法选择的手工阈值引起的。因此，我们提出了具有视觉变压器（VIV）骨干的令牌（CAFT）的聚类和过滤器，以以另一种方式解决这个问题。 CAFT首先将图像的修补程序令牌拆分为VIT和群集输出令牌以生成对象的初始掩码。其次，CAFT将初始掩码视为伪标签，以训练骨干后骨干的浅卷积头（注意滤波器，atf）直接从令牌中提取掩码。然后，CAFT将图像分成零件，分别输出掩码并将它们合并到一个精制的掩模中。最后，新的ATF培训在精制的掩模上，并用于预测对象的框。实验验证CAFT优于上一个工作，并分别在CUB-200和Imagenet-1K上与地面真理类实现97.55 \％和69.86 \％。 CAFT提供了一种思考WSOL任务的新方法。

We propose a technique for producing 'visual explanations' for decisions from a large class of Convolutional Neural Network (CNN)-based models, making them more transparent and explainable.Our approach -Gradient-weighted Class Activation Mapping (Grad-CAM), uses the gradients of any target concept (say 'dog' in a classification network or a sequence of words in captioning network) flowing into the final convolutional layer to produce a coarse localization map highlighting the important regions in the image for predicting the concept.Unlike previous approaches, Grad-CAM is applicable to a wide variety of CNN model-families: (1) CNNs with fullyconnected layers (e.g. VGG), (2) CNNs used for structured outputs (e.g. captioning), (3) CNNs used in tasks with multimodal inputs (e.g. visual question answering) or reinforcement learning, all without architectural changes or re-training. We combine Grad-CAM with existing fine-grained visualizations to create a high-resolution class-discriminative vi-

标记数据通常昂贵且耗时，特别是对于诸如对象检测和实例分割之类的任务，这需要对图像的密集标签进行密集的标签。虽然几张拍摄对象检测是关于培训小说中的模型（看不见的）对象类具有很少的数据，但它仍然需要在许多标记的基础（见）类的课程上进行训练。另一方面，自我监督的方法旨在从未标记数据学习的学习表示，该数据转移到诸如物体检测的下游任务。结合几次射击和自我监督的物体检测是一个有前途的研究方向。在本调查中，我们审查并表征了几次射击和自我监督对象检测的最新方法。然后，我们给我们的主要外卖，并讨论未来的研究方向。https://gabrielhuang.github.io/fsod-survey/的项目页面

In object detection, the intersection over union (IoU) threshold is frequently used to define positives/negatives. The threshold used to train a detector defines its quality. While the commonly used threshold of 0.5 leads to noisy (low-quality) detections, detection performance frequently degrades for larger thresholds. This paradox of high-quality detection has two causes: 1) overfitting, due to vanishing positive samples for large thresholds, and 2) inference-time quality mismatch between detector and test hypotheses. A multi-stage object detection architecture, the Cascade R-CNN, composed of a sequence of detectors trained with increasing IoU thresholds, is proposed to address these problems. The detectors are trained sequentially, using the output of a detector as training set for the next. This resampling progressively improves hypotheses quality, guaranteeing a positive training set of equivalent size for all detectors and minimizing overfitting. The same cascade is applied at inference, to eliminate quality mismatches between hypotheses and detectors. An implementation of the Cascade R-CNN without bells or whistles achieves state-of-the-art performance on the COCO dataset, and significantly improves high-quality detection on generic and specific object detection datasets, including VOC, KITTI, CityPerson, and WiderFace. Finally, the Cascade R-CNN is generalized to instance segmentation, with nontrivial improvements over the Mask R-CNN. To facilitate future research, two implementations are made available at https://github.com/zhaoweicai/cascade-rcnn (Caffe) and https://github.com/zhaoweicai/Detectron-Cascade-RCNN (Detectron).

弱监督的对象本地化是一项具有挑战性的任务，旨在将对象定位具有粗糙注释（例如图像类别）。现有的深网方法主要基于类激活图，该图的重点是突出显示歧视性局部区域，同时忽略了整个对象。此外，基于变压器的技术不断地重点放在阻碍识别完整对象的能力的背景上。为了解决这些问题，我们提出了一种称为令牌改进变压器（TRT）的重新注意事项机制，该机制捕获了对象级语义，以很好地指导本地化。具体而言，TRT引入了一个名为令牌优先级评分模块（TPSM）的新型模块，以抑制背景噪声的效果，同时重点放在目标对象上。然后，我们将类激活图作为语义意识的输入合并，以将注意力图限制为目标对象。在两个基准测试上进行的广泛实验展示了我们提出的方法与现有方法的优势，该方法具有带有图像类别注释的现有方法。源代码可在\ url {https://github.com/su-hui-zz/reattentiontransformer}中获得。

Post-hoc analysis is a popular category in eXplainable artificial intelligence (XAI) study. In particular, methods that generate heatmaps have been used to explain the deep neural network (DNN), a black-box model. Heatmaps can be appealing due to the intuitive and visual ways to understand them but assessing their qualities might not be straightforward. Different ways to assess heatmaps' quality have their own merits and shortcomings. This paper introduces a synthetic dataset that can be generated adhoc along with the ground-truth heatmaps for more objective quantitative assessment. Each sample data is an image of a cell with easily recognized features that are distinguished from localization ground-truth mask, hence facilitating a more transparent assessment of different XAI methods. Comparison and recommendations are made, shortcomings are clarified along with suggestions for future research directions to handle the finer details of select post-hoc analysis methods. Furthermore, mabCAM is introduced as the heatmap generation method compatible with our ground-truth heatmaps. The framework is easily generalizable and uses only standard deep learning components.

基于弱监管的像素 - 明显的密集预测任务当前使用类注意映射（CAM）以产生伪掩模作为地面真理。然而，现有方法通常取决于诱人的训练模块，这可能会引入磨削计算开销和复杂的培训程序。在这项工作中，提出了语义结构知识推断（SSA）来探索隐藏在基于CNN的网络的不同阶段的语义结构信息，以在模型推断中产生高质量凸轮。具体地，首先提出语义结构建模模块（SSM）来生成类别不可知语义相关表示，其中每个项目表示一个类别对象和所有其他类别之间的亲和程度。然后，探索结构化特征表示通过点产品操作来抛光不成熟的凸轮。最后，来自不同骨架级的抛光凸轮融合为输出。所提出的方法具有没有参数的优点，不需要培训。因此，它可以应用于广泛的弱监管像素 - 明智的密集预测任务。对弱势监督对象本地化和弱监督语义分割任务的实验结果证明了该方法的效力，这使得新的最先进的结果实现了这两项任务。