Most cross-domain unsupervised Video Anomaly Detection (VAD) works assume that at least few task-relevant target domain training data are available for adaptation from the source to the target domain. However, this requires laborious model-tuning by the end-user who may prefer to have a system that works ``out-of-the-box." To address such practical scenarios, we identify a novel target domain (inference-time) VAD task where no target domain training data are available. To this end, we propose a new `Zero-shot Cross-domain Video Anomaly Detection (zxvad)' framework that includes a future-frame prediction generative model setup. Different from prior future-frame prediction models, our model uses a novel Normalcy Classifier module to learn the features of normal event videos by learning how such features are different ``relatively" to features in pseudo-abnormal examples. A novel Untrained Convolutional Neural Network based Anomaly Synthesis module crafts these pseudo-abnormal examples by adding foreign objects in normal video frames with no extra training cost. With our novel relative normalcy feature learning strategy, zxvad generalizes and learns to distinguish between normal and abnormal frames in a new target domain without adaptation during inference. Through evaluations on common datasets, we show that zxvad outperforms the state-of-the-art (SOTA), regardless of whether task-relevant (i.e., VAD) source training data are available or not. Lastly, zxvad also beats the SOTA methods in inference-time efficiency metrics including the model size, total parameters, GPU energy consumption, and GMACs.

对图像分类器的最新基于模型的攻击压倒性地集中在单对象（即单个主体对象）图像上。与此类设置不同，我们解决了一个更实用的问题，即使用多对象（即多个主导对象）图像生成对抗性扰动，因为它们代表了大多数真实世界场景。我们的目标是设计一种攻击策略，该策略可以通过利用此类图像中固有的本地贴片差异来从此类自然场景中学习（例如，对象上的局部贴片在“人”上的局部贴片与在交通场景中的对象`自行车'之间的差异）。我们的关键想法是：为了误解对抗性的多对象图像，图像中的每个本地贴片都会使受害者分类器感到困惑。基于此，我们提出了一种新颖的生成攻击（称为局部斑块差异或LPD攻击），其中新颖的对比损失函数使用上述多对象场景特征空间的局部差异来优化扰动生成器。通过各种受害者卷积神经网络的各种实验，我们表明我们的方法在不同的白色盒子和黑色盒子设置下进行评估时，我们的方法优于基线生成攻击，具有高度可转移的扰动。

制作对抗性攻击的大多数方法都集中在具有单个主体对象的场景上（例如，来自Imagenet的图像）。另一方面，自然场景包括多个在语义上相关的主要对象。因此，探索设计攻击策略至关重要，这些攻击策略超出了在单对象场景上学习或攻击单对象受害者分类器。由于其固有的属性将扰动向未知模型的强大可传递性强，因此本文介绍了使用生成模型对多对象场景的对抗性攻击的第一种方法。为了代表输入场景中不同对象之间的关系，我们利用开源的预训练的视觉语言模型剪辑（对比语言图像 - 预训练），并动机利用语言中的编码语义来利用编码的语义空间与视觉空间一起。我们称这种攻击方法生成对抗性多对象场景攻击（GAMA）。 GAMA展示了剪辑模型作为攻击者的工具的实用性，以训练可强大的扰动发电机为多对象场景。使用联合图像文本功能来训练发电机，我们表明GAMA可以在各种攻击环境中制作有效的可转移扰动，以欺骗受害者分类器。例如，GAMA触发的错误分类比在黑框设置中的最新生成方法高出约16％，在黑框设置中，分类器体系结构和攻击者的数据分布都与受害者不同。我们的代码将很快公开提供。

现在，具有成本效益的深度和红外传感器作为常规RGB传感器的替代方案已成为现实，并且在自主导航和遥控传感等域中具有比RGB的优势。因此，建立计算机视觉和深度学习系统以进行深度和红外数据至关重要。但是，仍然缺乏针对这些模式的大型标签数据集。在这种情况下，将知识从源模式（RGB）的良好标记的大型数据集训练的神经网络转移到在目标模式（深度，红外等）上工作的神经网络具有很大价值。出于内存和隐私等原因，可能无法访问源数据，并且知识转移需要仅与源模型一起使用。我们描述了一个有效的解决方案，插座：无源的跨模式知识转移，用于将知识从一个源模式转移到不同目标模式的具有挑战性的任务，而无需访问与任务相关的源数据。该框架使用配对的任务 - IRRELELERVANT数据以及将目标特征的平均值和方差与源模型中存在的批处理统计信息匹配，从而减少了模态差距。我们通过广泛的实验表明，我们的方法明显优于无法解释模式差距的分类任务的现有无源方法。

Blackbox对抗攻击可以分为基于转移和基于查询的攻击。转移方法不需要受害模型的任何反馈，而是与基于查询的方法相比提供较低的成功率。查询攻击通常需要大量的成功查询。为了达到两种方法，最近的努力都试图将它们结合起来，但仍需要数百个查询才能获得高成功率（尤其是针对目标攻击）。在本文中，我们提出了一种通过替代集合搜索（基地）进行黑框攻击的新方法，该方法可以使用极少量的查询来生成非常成功的黑盒攻击。我们首先定义了扰动机，该机器通过在固定的替代模型上最小化加权损失函数来生成扰动的图像。为了为给定受害者模型生成攻击，我们使用扰动机产生的查询搜索损失函数中的权重。由于搜索空间的尺寸很小（与替代模型的数量相同），因此搜索需要少量查询。我们证明，与经过Imagenet训练的不同图像分类器（包括VGG-19，Densenet-121和Resnext-50）上的最新图像分类器相比，我们提出的方法的查询至少少了30倍，其查询至少少了30倍。特别是，我们的方法平均需要每张图像3个查询，以实现目标攻击的成功率超过90％，而对于非目标攻击的成功率超过99％，每个图像的1-2查询。我们的方法对Google Cloud Vision API也有效，并获得了91％的非目标攻击成功率，每张图像2.9查询。我们还表明，我们提出的方法生成的扰动是高度转移的，可以用于硬标签黑盒攻击。

图像增强方法通常假定噪声是无关的，并且将降解模型近似为零均值的加性高斯。但是，这种假设不适合生物医学成像系统，在生物医学成像系统中，基于传感器的噪声源与信号强度成正比，并且噪声更好地表示为泊松过程。在这项工作中，我们探讨了一种基于词典学习的方法，并提出了一种新颖的自我监督学习方法，用于单像denoising，其中噪声近似为泊松过程，不需要干净的地面真实数据。具体而言，我们近似于通过反复的神经网络进行图像降级的传统迭代优化算法，该神经网络可实现相对于网络的权重的稀疏性。由于稀疏表示形式基于基础图像，因此它能够抑制图像贴片中的虚假组件（噪声），从而引入隐式正则化，以通过网络结构来降级任务。在两个生物成像数据集上的实验表明，我们的方法在PSNR和SSIM方面优于最先进的方法。我们的定性结果表明，除了在标准定量指标上进行更高的性能外，我们还能够比其他比较方法恢复更多的细节。我们的代码可在https://github.com/tacalvin/poisson2sparse上公开提供。

近年来，图像分类器的BlackBox传输攻击已被广泛研究。相比之下，对对象探测器的转移攻击取得了很小的进展。对象探测器采用图像的整体视图，并检测一个对象（或缺乏）通常取决于场景中的其他对象。这使得这种探测器本质上的上下文感知和对抗的攻击比目标图像分类器更具挑战性。在本文中，我们提出了一种新的方法来为对象检测器生成上下文感知攻击。我们表明，通过使用对象及其相关位置的共同发生和尺寸作为上下文信息，我们可以成功地生成目标的错误分类攻击，该攻击比最先进的Blackbox对象探测器上实现更高的转移成功率。我们在帕斯卡VOC和MS Coco Datasets的各种对象探测器上测试我们的方法，与其他最先进的方法相比，性能提高了高达20美元的百分点。

我们研究了如何在只有几个类别（几次拍摄设置）给出的一些样本时识别来自Unseen类别（开放式分类）的样本的问题。学习良好抽象的挑战是一个非常少数样本的课程使得从看不见的类别中检测样本非常困难;因此，开放式识别在少量拍摄设置中受到最小的关注。大多数开放式少量拍摄分类方法正规化SoftMax得分以表明开放类样本的均匀概率，但我们认为这种方法通常是不准确的，特别是在细粒度。相反，我们提出了一种新颖的示例性重建的元学习策略，用于共同检测开放类样本，以及通过基于度量的分类对来自观众的样本进行分类。充当类的代表的示例可以在训练数据集中提供或在特征域中估计。我们的框架，名为重建示例的基于少量拍摄的少量开放式分类器（Refofs），在各种数据集上测试，实验结果明确突出了我们作为新技术的方法。

Transformer layers, which use an alternating pattern of multi-head attention and multi-layer perceptron (MLP) layers, provide an effective tool for a variety of machine learning problems. As the transformer layers use residual connections to avoid the problem of vanishing gradients, they can be viewed as the numerical integration of a differential equation. In this extended abstract, we build upon this connection and propose a modification of the internal architecture of a transformer layer. The proposed model places the multi-head attention sublayer and the MLP sublayer parallel to each other. Our experiments show that this simple modification improves the performance of transformer networks in multiple tasks. Moreover, for the image classification task, we show that using neural ODE solvers with a sophisticated integration scheme further improves performance.

Image segmentation is a fundamental task in computer vision. Data annotation for training supervised methods can be labor-intensive, motivating unsupervised methods. Some existing approaches extract deep features from pre-trained networks and build a graph to apply classical clustering methods (e.g., $k$-means and normalized-cuts) as a post-processing stage. These techniques reduce the high-dimensional information encoded in the features to pair-wise scalar affinities. In this work, we replace classical clustering algorithms with a lightweight Graph Neural Network (GNN) trained to achieve the same clustering objective function. However, in contrast to existing approaches, we feed the GNN not only the pair-wise affinities between local image features but also the raw features themselves. Maintaining this connection between the raw feature and the clustering goal allows to perform part semantic segmentation implicitly, without requiring additional post-processing steps. We demonstrate how classical clustering objectives can be formulated as self-supervised loss functions for training our image segmentation GNN. Additionally, we use the Correlation-Clustering (CC) objective to perform clustering without defining the number of clusters ($k$-less clustering). We apply the proposed method for object localization, segmentation, and semantic part segmentation tasks, surpassing state-of-the-art performance on multiple benchmarks.