具有很少带注释的样本的训练语义分割模型在各种现实世界中具有巨大的潜力。对于少数拍摄的分段任务，主要的挑战是如何准确地测量使用有限的培训数据之间的支持样本和查询样品之间的语义对应关系。为了解决这个问题，我们建议用可变形的4D变压器汇总可学习的协方差矩阵，以有效预测分割图。具体而言，在这项工作中，我们首先设计了一种新颖的艰难示例挖掘机制，以学习高斯过程的协方差内核。在对应测量中，学到的协方差内核函数比现有基于余弦相似性的方法具有很大的优势。基于学到的协方差内核，设计有效的双重变形4D变压器模块旨在适应骨料特征相似性图中的分割结果。通过组合这两种设计，提出的方法不仅可以在公共基准测试上设置新的最新性能，而且比现有方法更快地收敛。三个公共数据集的实验证明了我们方法的有效性。

现代视频摘要方法基于深度神经网络，需要大量注释数据进行培训。然而，用于视频摘要的现有数据集是小规模的，容易导致深层模型过度拟合。考虑到大规模数据集的注释是耗时的，我们提出了一种多式联运自我监督的学习框架来获取视频的语义表示，这有利于视频摘要任务。具体而言，我们探讨视频的视觉信息和文本信息之间的语义一致性，用于视频文本对的新收集的数据集上的多模式编码器的自我监控预测。此外，我们介绍了一种渐进的视频摘要方法，其中视频中的重要内容逐步定位以产生更好的摘要。最后，提出了一种客观评估框架来衡量基于视频分类的视频摘要质量。在与现有技术相比，广泛的实验证明了我们在等级相关系数，F分和所提出的客观评估中的方法的有效性和优越性。

视频摘要旨在自动生成视频的摘要（故事板或视频浏览器），这可以促进大规模视频检索和浏览。大多数现有方法对单个视频进行视频摘要，这些视频忽略了相似视频之间的相关性。然而，这种相关性也是视频理解和视频摘要的信息。为了解决此限制，我们提出了基于分层变压器（VJMHT）的视频联合建模，共综合化，这考虑了跨视频的语义依赖关系。具体而言，VJMHT由两层变压器组成：第一层从类似视频的各个拍摄提取语义表示，而第二层执行射门视频联合建模以聚合交叉视频语义信息。通过这种方式，可以明确建模并学习完整的跨视频高级模式，以便为个人视频的摘要而学习。此外，引入了基于变压器的视频表示重建，以最大化摘要和原始视频之间的高电平相似性。进行广泛的实验以验证所提出的模块的有效性以及VJMHT在F测量和基于秩的评估方面的优越性。

由于研究和应用意义，人类行动认可在近年来造成了很多关注。行动识别的大多数现有工程侧重于学习视频的有效空间特征，但忽视了前提，行动和效果之间的强烈因果关系。这种关系对动作识别的准确性来说也是至关重要的。在本文中，我们建议根据前提条件和效果模拟因果关系，以提高行动识别性能。具体地，提出了一种循环推理模型来捕获动作识别的因果关系。为此，我们向大规模动作数据集注释了前提条件和效果。实验结果表明，所提出的循环推理模型可以有效地推理前提和效果，可以提高行动识别性能。

视频人群本地化是一项至关重要但又具有挑战性的任务，旨在估算给定拥挤视频中人头的确切位置。为了模拟人类活动性的时空依赖性，我们提出了多焦点高斯邻里注意力（GNA），可以有效利用远程对应关系，同时保持输入视频的空间拓扑结构。特别是，我们的GNA还可以使用配备的多聚焦机制良好地捕获人头的尺度变化。基于多聚焦GNA，我们开发了一个名为GNANET的统一神经网络，以通过场景建模模块和上下文交叉意见模块充分聚合时空信息来准确地定位视频片段中的头部中心。此外，为了促进该领域的未来研究，我们介绍了一个名为VScrowd的大规模人群视频基准，该视频由60k+框架组成，这些框架在各种监视场景和2M+头部注释中捕获。最后，我们在包括我们的SenseCrowd在内的三个数据集上进行了广泛的实验，实验结果表明，所提出的方法能够实现视频人群本地化和计数的最新性能。

计算机辅助诊断（CAD）系统可以为皮肤病的临床诊断提供参考。卷积神经网络（CNN）不仅可以提取视觉元素，例如颜色和形状，而且还可以提取语义特征。因此，他们在皮肤镜检查图像的许多任务中取得了重大改进。皮肤镜检查的成像没有主要方向，表明数据集中有大量的皮肤病变靶旋转。然而，CNN缺乏抗旋转能力，这必然会影响CNN的特征提取能力。我们提出了一个旋转平均值（RM）网络，以从皮肤镜图像中提取旋转不变性特征。在RM中，每组旋转的特征地图对应于一组重量共享卷积输出，并使用MeanOut操作融合以获取最终特征图。通过理论推导，提出的RM网络是旋转等值的，并且在全球平均池（GAP）操作之后，可以提取旋转不变的特征。提取的旋转不变特征可以更好地代表皮肤镜图像的分类和检索任务中的原始数据。提出的RM是一般操作，它不会改变网络结构或增加任何参数，并且可以灵活地嵌入CNN的任何部分。大量实验是在皮肤镜检查图像数据集上进行的。结果表明，我们的方法优于其他抗旋转方法，并在皮肤镜检查图像分类和检索任务方面取得了重大改进，表明在皮肤镜图像领域旋转不变性的潜力。

利用预训练语言模型的抽象摘要系统在基准数据集上取得了卓越的结果。但是，此类模型已被证明更容易幻觉，这些事实对输入背景不忠。在本文中，我们提出了一种通过实体覆盖范围控制（ECC）来补救实体级外部幻觉的方法。我们首先计算实体覆盖范围的精度，并为每个培训示例提供相应的控制代码，该示例隐含地指导该模型在训练阶段识别忠实的内容。我们通过从Wikipedia提取的大但嘈杂的数据中进行中间调整进一步扩展了我们的方法，以解锁零击摘要。我们表明，根据我们对三个基准数据集XSUM，PubMed和Samsum的实验结果，根据我们在监督的微调和零射击设置中，可以在监督微调和零摄像设置中更加忠实和显着的抽象性汇总。

无监督的域自适应人重新识别（重新ID）任务是一个挑战，因为与常规域自适应任务不同，人物重新ID中的源域数据和目标域数据之间没有重叠，这导致一个重要的领域差距。最先进的无监督的RE-ID方法使用基于内存的对比损耗训练神经网络。然而，通过将每个未标记的实例视为类来执行对比学习，作为类将导致阶级冲突的问题，并且由于在存储库中更新时不同类别的实例数量的差异，更新强度是不一致的。为了解决此类问题，我们提出了对人的重新ID的原型字典学习，其能够通过一个训练阶段利用源域数据和目标域数据，同时避免类碰撞问题和群集更新强度不一致的问题原型字典学习。为了减少模型上域间隙的干扰，我们提出了一个本地增强模块，以改善模型的域适应而不增加模型参数的数量。我们在两个大型数据集上的实验证明了原型字典学习的有效性。 71.5 \％地图是在市场到Duke任务中实现的，这是与最先进的无监督域自适应RE-ID方法相比的2.3 \％的改进。它在Duke-to-Market任务中实现了83.9 \％地图，而与最先进的无监督的自适应重新ID方法相比，该任务在4.4 \％中提高了4.4％。

In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.

Dataset distillation has emerged as a prominent technique to improve data efficiency when training machine learning models. It encapsulates the knowledge from a large dataset into a smaller synthetic dataset. A model trained on this smaller distilled dataset can attain comparable performance to a model trained on the original training dataset. However, the existing dataset distillation techniques mainly aim at achieving the best trade-off between resource usage efficiency and model utility. The security risks stemming from them have not been explored. This study performs the first backdoor attack against the models trained on the data distilled by dataset distillation models in the image domain. Concretely, we inject triggers into the synthetic data during the distillation procedure rather than during the model training stage, where all previous attacks are performed. We propose two types of backdoor attacks, namely NAIVEATTACK and DOORPING. NAIVEATTACK simply adds triggers to the raw data at the initial distillation phase, while DOORPING iteratively updates the triggers during the entire distillation procedure. We conduct extensive evaluations on multiple datasets, architectures, and dataset distillation techniques. Empirical evaluation shows that NAIVEATTACK achieves decent attack success rate (ASR) scores in some cases, while DOORPING reaches higher ASR scores (close to 1.0) in all cases. Furthermore, we conduct a comprehensive ablation study to analyze the factors that may affect the attack performance. Finally, we evaluate multiple defense mechanisms against our backdoor attacks and show that our attacks can practically circumvent these defense mechanisms.