Machine learning models have been found to learn shortcuts -- unintended decision rules that are unable to generalize -- undermining models' reliability. Previous works address this problem under the tenuous assumption that only a single shortcut exists in the training data. Real-world images are rife with multiple visual cues from background to texture. Key to advancing the reliability of vision systems is understanding whether existing methods can overcome multiple shortcuts or struggle in a Whac-A-Mole game, i.e., where mitigating one shortcut amplifies reliance on others. To address this shortcoming, we propose two benchmarks: 1) UrbanCars, a dataset with precisely controlled spurious cues, and 2) ImageNet-W, an evaluation set based on ImageNet for watermark, a shortcut we discovered affects nearly every modern vision model. Along with texture and background, ImageNet-W allows us to study multiple shortcuts emerging from training on natural images. We find computer vision models, including large foundation models -- regardless of training set, architecture, and supervision -- struggle when multiple shortcuts are present. Even methods explicitly designed to combat shortcuts struggle in a Whac-A-Mole dilemma. To tackle this challenge, we propose Last Layer Ensemble, a simple-yet-effective method to mitigate multiple shortcuts without Whac-A-Mole behavior. Our results surface multi-shortcut mitigation as an overlooked challenge critical to advancing the reliability of vision systems. The datasets and code are released: https://github.com/facebookresearch/Whac-A-Mole.git.

已经发现深层图像分类器可以从数据集中学习偏差。为了减轻偏见，大多数以前的方法都需要标签受保护的属性（例如，年龄，肤色）为全套，这有两个限制：1）当标签不可用时，它是不可行的； 2）它们无法缓解未知的偏见 - 人类没有先入为主的偏见。为了解决这些问题，我们提出了偏见的替代网络（Debian），该网络包括两个网络 - 一个发现者和一个分类器。通过以另一种方式培训，发现者试图找到分类器的多个未知偏见，而无需任何偏见注释，分类器的目的是删除发现者确定的偏见。虽然先前的作品评估了单个偏差的结果，但我们创建了多色MNIST数据集，以更好地缓解多偏差设置中的多个偏差，这不仅揭示了以前的方法中的问题，而且还展示了Debian的优势。在同时识别和减轻多种偏见时。我们进一步对现实世界数据集进行了广泛的实验，表明Debian中的发现者可以识别人类可能很难找到的未知偏见。关于辩护，Debian实现了强烈的偏见缓解绩效。

视频异常检测旨在识别视频中发生的异常事件。由于异常事件相对较少，收集平衡数据集并培训二进制分类器以解决任务是不可行的。因此，最先前的方法只使用无监督或半监督方法从正常视频中学到。显然，它们是有限的捕获和利用鉴别异常特征，这导致受损的异常检测性能。在本文中，为了解决这个问题，我们通过充分利用用于视频异常检测的正常和异常视频来提出新的学习范式。特别是，我们制定了一个新的学习任务：跨域几次射击异常检测，可以从源域中的众多视频中学习知识，以帮助解决目标域中的几次异常检测。具体而言，我们利用目标普通视频的自我监督培训来减少域间隙，并设计一个Meta Context Cenception模块，以探索几次拍摄设置中的事件的视频上下文。我们的实验表明，我们的方法显着优于DotA和UCF犯罪数据集的基线方法，新任务有助于更实用的异常检测范例。

最近，大型预磨损模型（例如，BERT，STYLEGAN，CLIP）在其域内的各种下游任务中表现出很好的知识转移和泛化能力。在这些努力的启发中，在本文中，我们提出了一个统一模型，用于开放域图像编辑，重点是开放式域图像的颜色和音调调整，同时保持原始内容和结构。我们的模型了解许多现有照片编辑软件中使用的操作空间（例如，对比度，亮度，颜色曲线）更具语义，直观，易于操作的统一编辑空间。我们的模型属于图像到图像转换框架，由图像编码器和解码器组成，并且在图像之前和图像的成对上培训以产生多模式输出。我们认为，通过将图像对反馈到学习编辑空间的潜在代码中，我们的模型可以利用各种下游编辑任务，例如语言引导图像编辑，个性化编辑，编辑式聚类，检索等。我们广泛地研究实验中编辑空间的独特属性，并在上述任务上展示了卓越的性能。

视觉问题应答（VQA）任务利用视觉图像和语言分析来回回答图像的文本问题。它是一个流行的研究课题，在过去十年中越来越多的现实应用。本文介绍了我们最近对AliceMind-MMU的研究（阿里巴巴的编码器 - 解码器来自Damo Academy - 多媒体理解的机器智能实验室），其比人类在VQA上获得相似甚至略微更好的结果。这是通过系统地改善VQA流水线来实现的，包括：（1）具有全面的视觉和文本特征表示的预培训; （2）与学习参加的有效跨模型互动; （3）一个新颖的知识挖掘框架，具有专门的专业专家模块，适用于复杂的VQA任务。处理不同类型的视觉问题，需要具有相应的专业知识在提高我们的VQA架构的表现方面发挥着重要作用，这取决于人力水平。进行了广泛的实验和分析，以证明新的研究工作的有效性。

在视觉和声音内利用时间同步和关联是朝向探测物体的强大定位的重要一步。为此，我们提出了一个节省空间内存网络，用于探测视频中的对象本地化。它可以同时通过音频和视觉方式的单模和跨模型表示来同时学习时空关注。我们在定量和定性地展示和分析了在本地化视听物体中结合时空学习的有效性。我们展示了我们的方法通过各种复杂的视听场景概括，最近最先进的方法概括。

The potential for agents, whether embodied or software, to learn by observing other agents performing procedures involving objects and actions is rich. Current research on automatic procedure learning heavily relies on action labels or video subtitles, even during the evaluation phase, which makes them infeasible in real-world scenarios. This leads to our question: can the human-consensus structure of a procedure be learned from a large set of long, unconstrained videos (e.g., instructional videos from YouTube) with only visual evidence? To answer this question, we introduce the problem of procedure segmentation-to segment a video procedure into category-independent procedure segments. Given that no large-scale dataset is available for this problem, we collect a large-scale procedure segmentation dataset with procedure segments temporally localized and described; we use cooking videos and name the dataset YouCook2. We propose a segment-level recurrent network for generating procedure segments by modeling the dependencies across segments. The generated segments can be used as pre-processing for other tasks, such as dense video captioning and event parsing. We show in our experiments that the proposed model outperforms competitive baselines in procedure segmentation.

Recently, density map regression-based methods have dominated in crowd counting owing to their excellent fitting ability on density distribution. However, further improvement tends to saturate mainly because of the confusing background noise and the large density variation. In this paper, we propose a Hierarchically Decoupled Network (HDNet) to solve the above two problems within a unified framework. Specifically, a background classification sub-task is decomposed from the density map prediction task, which is then assigned to a Density Decoupling Module (DDM) to exploit its highly discriminative ability. For the remaining foreground prediction sub-task, it is further hierarchically decomposed to several density-specific sub-tasks by the DDM, which are then solved by the regression-based experts in a Foreground Density Estimation Module (FDEM). Although the proposed strategy effectively reduces the hypothesis space so as to relieve the optimization for those task-specific experts, the high correlation of these sub-tasks are ignored. Therefore, we introduce three types of interaction strategies to unify the whole framework, which are Feature Interaction, Gradient Interaction, and Scale Interaction. Integrated with the above spirits, HDNet achieves state-of-the-art performance on several popular counting benchmarks.

对于许多在线平台（例如，视频共享网站，电子商务系统），学习动态用户的偏好已成为越来越重要的组成部分，以提出顺序建议。先前的工作已经做出了许多努力，以基于各种体系结构（例如，经常性的神经网络和自我注意机制）对用户交互序列进行建模项目项目过渡。最近出现的图形神经网络还用作有用的骨干模型，可在顺序推荐方案中捕获项目依赖性。尽管它们有效，但现有的方法却远远集中在具有单一相互作用类型的项目序列表示上，因此仅限于捕获用户和项目之间的动态异质关系结构（例如，页面视图，添加最佳选择，购买，购买）。为了应对这一挑战，我们设计了多行为超毛力增强的变压器框架（MBHT），以捕获短期和长期跨型行为依赖性。具体而言，多尺度变压器配备了低级别的自我注意力，可从细粒度和粗粒水平的共同编码行为感知的顺序模式。此外，我们将全局多行为依赖性纳入HyperGraph神经体系结构中，以自定义的方式捕获层次长期项目相关性。实验结果证明了我们MBHT在不同环境中的各种最新推荐解决方案的优势。进一步的消融研究证明了我们的模型设计和新MBHT框架的好处的有效性。我们的实施代码在以下网址发布：https：//github.com/yuh-yang/mbht-kdd22。

事实证明，多模式文档预训练的模型在各种视觉上富裕的文档理解（VRDU）任务中非常有效。尽管现有的文档预先培训模型在VRDU的标准基准上取得了出色的性能，但它们建模和利用文档上的视觉和语言之间的互动的方式阻碍了他们无法获得更好的概括能力和更高的准确性。在这项工作中，我们主要从监督信号的角度研究了VRDU视觉联合表示学习的问题。具体而言，提出了一种称为BI-VLDOC的预训练范式，其中设计了双向视觉监督策略和视觉性混合注意机制，以完全探索并利用这两种方式之间的相互作用，以学习更强的交叉交叉方式 - 具有更丰富语义的模式文档表示。 Bi-Vldoc受益于学习丰富的跨模式文档表示形式，显着提高了三个广泛使用文档的最新性能，理解基准，包括形式的理解（从85.14％到93.44％），收据信息提取（从96.01％到97.84％）和文档分类（从96.08％到97.12％）。在文档视觉质量检查中，BI-VLDOC与以前的单个模型方法相比，实现了最先进的性能。