最先进的（SOTA）深度学习乳房X线照片分类器接受了弱标记的图像训练，通常依赖于产生有限解释性预测的全球模型，这是他们成功地转化为临床实践的关键障碍。另一方面，基于原型的模型通过将预测与训练图像原型相关联，改善了可解释性，但是它们的准确性不如全球模型，其原型往往具有差的多样性。我们通过BraixProtopnet ++的建议解决了这两个问题，该问题通过将基于原型的模型结合起来，为全局模型增添了解释性。 BraixProtopnet ++在训练基于原型的模型以提高合奏的分类精度时，会提炼全局模型的知识。此外，我们提出了一种方法来通过保证所有原型都与不同的训练图像相关联，以增加原型多样性。对弱标记的私人和公共数据集进行的实验表明，BraixProtopnet ++的分类精度比基于SOTA Global和基于原型的模型具有更高的分类精度。使用病变定位来评估模型可解释性，我们显示BraixProtopnet ++比其他基于原型的模型和全球模型的事后解释更有效。最后，我们表明，BraixProtopnet ++学到的原型的多样性优于基于SOTA原型的方法。

医疗IM年龄分析（MIA）中的有效半监督学习（SSL）必须解决两个挑战：1）在多级（例如病变分类）和多标签（例如，多疾病诊断）问题上， 2）处理不平衡的学习（因为疾病患病率的高度）。解释SSL MIA的一个策略基于伪标签策略，但是有几个缺点。伪标签具有比一致性学习比一致性的精度，它没有针对多级和多标签问题的特定设计，并且可以通过不平衡的学习来挑战。在本文中，与通过阈值选择自信的伪标签的传统方法不同，我们提出了一种新的SSL算法，称为ANT-CURICULUM伪标签（ACPL），这引入了新颖的技术选择信息，改善培训平衡并允许模型。为多标签和多级问题工作，并通过准确的分类器组合估算伪标签（提高伪标签精度）。我们运行广泛的实验，以评估两种公共医学图像分类基准的ACPL：胸部X射线14用于胸部疾病的多标签分类和SISIC2018用于皮肤病变多级分类。我们的方法在两个数据集上胜过以前的SOTA SSL方法。

使用输入图像，功能或网络扰动的一致性学习已经显示出半监督语义分割的显着结果，但这种方法可能受到未准确的未标记训练图像的预测的严重影响。这些不准确的预测有两种后果：1）基于“严格”的跨熵（CE）损失的培训可以容易地过度造成预测错误，导致确认偏见; 2）应用于这些不准确的预测的扰动将使用可能错误的预测作为训练信号，降低一致性学习。在本文中，我们解决了具有新颖的教师（MT）模型的一致性学习方法的预测准确性问题，包括新的辅助教师，并通过更严格的信心更换MT的均方误差（MSE） - 加权交叉熵（CONF-CE）损失。该模型的准确预测使我们能够利用网络，输入数据和特征扰动的具有挑战性的组合，以改善特征扰动的一致性学习概括，其中包括新的对抗扰动。 Public基准的结果表明，我们的方法通过现场上一个SOTA方法实现了显着的改进。

最先进的（SOTA）复杂城市驾驶场景的异常分割方法探索从异常曝光或外部重建模型中了解的像素明智的分类不确定性。然而，之前将高不确定性直接对异常关联的不确定性方法有时可能导致不正确的异常预测，外部重建模型对于实时自动驾驶嵌入式系统往往是过低的。在本文中，我们提出了一种新的异常分段方法，命名为像素 - 明智的能量偏置的弃权学习（PEBAL），探讨了与学习自适应像素级异常类的模型的像素 - 方向弃权学习（AL），以及基于能量的模型（EBM），了解了Inlier像素分布。更具体地说，PEBAL基于EBM和A1的非琐碎的关节训练，其中EBM培训以输出用于异常像素的高能（来自异常曝光），并且培训AL，使得这些高能量像素接受自适应低罚款被纳入异常课程。我们广泛评估PEBAL对抗SOTA，并表明它可以实现四个基准的最佳性能。代码可在https://github.com/tianyu0207/pebal上获得。

无监督的异常检测（UAD）只需要正常（健康）训练图像是实现医学图像分析（MIA）应用的重要工具，例如疾病筛查，因为通常难以收集和注释异常（或疾病）MIA中的图像。然而，严重依赖于正常图像可能导致模型训练过度填写正常类。自我监督的预训练是对这个问题的有效解决方案。遗憾的是，从计算机视觉调整的当前自我监督方法是MIA应用的次优，因为它们不探索设计借口任务或培训过程的MIA域知识。在本文中，我们提出了一种为MIA应用设计的UAD的新的自我监督的预训练方法，通过对比学习（MSACL）命名为多级强大增强。 MSACL基于新颖的优化，以对比正常和多种合成的异常图像，每个类在欧几里德距离和余弦相似度方面强制形成紧密和密集的聚类，其中通过模拟变化数量的病变形成异常图像在正常图像中的不同尺寸和外观。在实验中，我们表明，我们的MSACL预培训使用结肠镜检查，眼底筛选和Covid-19胸部X射线数据集来提高SOTA UAD方法的准确性。

现实世界中的大规模医学图像分析（MIA）数据集面临三个挑战：1）它们包含影响训练收敛和概括的嘈杂标记的样本，2）它们通常每个类别的样本分布不平衡，3）通常包括一个多标签问题，其中样本可以进行多个诊断。当前的方法通常经过培训以解决这些问题的一部分，但是我们不知道可以同时解决这三个问题的方法。在本文中，我们提出了一个新的训练模块，称为非挥发性无偏内存（NVUM），该模型的非挥发性存储在嘈杂的多标签问题上的新正则损失的模型逻辑平均值。我们进一步公正了NVUM更新中的分类预测，以解决不平衡的学习问题。我们进行了广泛的实验，以评估本文提出的新基准测试的NVUM，在该基准上进行了训练，该训练是在嘈杂的多标签不平衡的胸部X射线（CXR）训练集上进行的，由Chest-XRay14和Chexpert组成，并且在测试上进行了测试。清洁多标签CXR数据集Openi和Padchest。我们的方法优于以前的最先进的CXR分类器和以前可以在所有评估上处理嘈杂标签的方法。我们的代码可在https://github.com/fbladl/nvum上找到。

区分观点的重要性已经证明对半监督多视图学习模型非常有用。但是，现有策略不能利用半监督信息，只区分从数据特征的角度来看视图的重要性，这通常受到低质量观点的影响，然后导致性能差。在本文中，通过建立标记数据与不同视图的重要性之间的联系，我们提出了一种自动加权策略来评估从标签视角来评估视图的重要性，以避免不重要或低质量视图的负面影响。基于此策略，我们提出了一种转导半监督自动加权多视图分类模型。可以通过标记的数据有效地确定所提出的模型的初始化，这是实用的。该模型分离为三个小规模的子问题，可以通过局部收敛保证有效地优化。分类任务的实验结果表明，与其他相关方法相比，该方法以最低计算成本实现最佳或次优的分类精度，重量变更实验表明，我们所提出的策略可以比其他相关策略更准确地区分视图重要性在具有低质量视图的多视图数据集上。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.

Few Shot Instance Segmentation (FSIS) requires models to detect and segment novel classes with limited several support examples. In this work, we explore a simple yet unified solution for FSIS as well as its incremental variants, and introduce a new framework named Reference Twice (RefT) to fully explore the relationship between support/query features based on a Transformer-like framework. Our key insights are two folds: Firstly, with the aid of support masks, we can generate dynamic class centers more appropriately to re-weight query features. Secondly, we find that support object queries have already encoded key factors after base training. In this way, the query features can be enhanced twice from two aspects, i.e., feature-level and instance-level. In particular, we firstly design a mask-based dynamic weighting module to enhance support features and then propose to link object queries for better calibration via cross-attention. After the above steps, the novel classes can be improved significantly over our strong baseline. Additionally, our new framework can be easily extended to incremental FSIS with minor modification. When benchmarking results on the COCO dataset for FSIS, gFSIS, and iFSIS settings, our method achieves a competitive performance compared to existing approaches across different shots, e.g., we boost nAP by noticeable +8.2/+9.4 over the current state-of-the-art FSIS method for 10/30-shot. We further demonstrate the superiority of our approach on Few Shot Object Detection. Code and model will be available.