尽管已经提出了几种方法来实现领域泛化的艰巨任务，但了解使这项任务挑战的原因很少受到关注。在这里，我们提出semanticdg（语义域概括）：具有15个具有相同几何形状，场景布局和摄像机参数与流行的3D Scannet数据集的基准标准，但具有照明，材料和视图点的控制域移动。使用此基准，我们独立研究了这些语义转变对概括的影响。视觉识别模型很容易推广到新颖的照明，但与材料和观点的分配变化斗争。受到人类视野的启发，我们假设场景上下文可以作为桥梁，以帮助模型跨越材料和观点域的转移，并提出上下文感知的视觉变压器，以及对材料和观点变化的对比损失，以解决这些域的变化。我们的方法（称为CDCNET）的表现优于现有域的概括方法，超过18％。作为关键的基准，我们还进行心理物理学实验，发现人类在照明，材料和观点上同样概括地概括了。此处介绍的基准和计算模型有助于了解与跨域的概括相关的挑战，并提供了向语义分布转移推断的初始步骤。我们在补充中包括所有数据和源代码。

对象识别和视点估计位于视觉理解的核心。最近的作品表明，卷积神经网络（CNNS）未能概括为分发（OOD）类别 - 观点组合，即。在训练期间没有看到的组合。在本文中，我们通过评估培训的CNNS来调查何时以及如何以及如何以及如何进行分类对象类别和3D观点，并识别有助于这种ood泛化的神经机制。我们表明，增加了分布式组合的数量（即数据分集），即使具有相同数量的培训数据，也会大大提高了oo ood组合的概率。我们比较学习类别和观点在单独的和共享网络架构中，并观察分销和ood组合的显着不同趋势，即。虽然共享网络有用的分配有用，但单独的网络在ood组合中显着优于共享的网络。最后，我们证明，通过专业化的神经机制，即。两种类型神经元的出现 - 神经元选择类别和不变性观点，反之亦然。

对分布（OOD）数据的概括是人类自然的能力，但对于机器而言挑战。这是因为大多数学习算法强烈依赖于i.i.d.〜对源/目标数据的假设，这在域转移导致的实践中通常会违反。域的概括（DG）旨在通过仅使用源数据进行模型学习来实现OOD的概括。在过去的十年中，DG的研究取得了长足的进步，导致了广泛的方法论，例如，基于域的一致性，元学习，数据增强或合奏学习的方法，仅举几例；还在各个应用领域进行了研究，包括计算机视觉，语音识别，自然语言处理，医学成像和强化学习。在本文中，首次提供了DG中的全面文献综述，以总结过去十年来的发展。具体而言，我们首先通过正式定义DG并将其与其他相关领域（如域适应和转移学习）联系起来来涵盖背景。然后，我们对现有方法和理论进行了彻底的审查。最后，我们通过有关未来研究方向的见解和讨论来总结这项调查。

我们介绍了Amazon Berkeley对象（ABO），这是一个新的大型数据集，旨在帮助弥合真实和虚拟3D世界之间的差距。ABO包含产品目录图像，元数据和艺术家创建的3D模型，具有复杂的几何形状和与真实的家用物体相对应的物理基础材料。我们得出了具有挑战性的基准，这些基准利用ABO的独特属性，并测量最先进的对象在三个开放问题上的最新限制，以了解实际3D对象：单视3D 3D重建，材料估计和跨域多视图对象检索。

最近有一个浪涌的方法，旨在以无监督的方式分解和分段场景，即无监督的多对象分段。执行此类任务是计算机愿景的长期目标，提供解锁对象级推理，而无需致密的注释来列车分段模型。尽管取得了重大进展，但在视觉上简单的场景上开发和培训了当前的模型，描绘了纯背景上的单色物体。然而，自然界在视觉上复杂，与多样化的纹理和复杂的照明效果等混杂方面。在这项研究中，我们展示了一个名为Clevrtex的新基准，设计为比较，评估和分析算法的下一个挑战。 CLEVRTEX采用具有不同形状，纹理和光映射材料的合成场景，采用物理基于渲染技术创建。它包括图50k示例，描绘了在背景上布置的3-10个对象，使用60材料的目录创建，以及使用25种不同材料创建的10k图像的另一测试集。我们在CLEVRTEX上基准最近近期无监督的多对象分段模型，并找到所有最先进的方法无法在纹理环境中学习良好的陈述，尽管在更简单的数据上表现令人印象深刻。我们还创建了Clevrtex DataSet的变体，控制了场景复杂性的不同方面，并探讨了各个缺点的当前方法。数据集和代码可在https://www.robots.ox.ac.uk/~vgg/research/clevrtex中获得。

增强了现实世界情景的稳健性已经被证明非常具有挑战性。一个原因是现有的鲁棒性基准是有限的，因为它们依赖于合成数据，或者它们只是将稳健性降低为数据集之间的概括，因此忽略各个滋扰因素的影响。在这项工作中，我们介绍了罗宾，是一个基准数据集，用于诊断视觉算法对现实世界中的个人滋扰的鲁棒性。罗宾在Pascal VOC 2012和Imagenet数据集中构建了10个刚性类别，并包括对象的分布示例3D姿势，形状，纹理，背景和天气状况。 Robin是丰富的注释，以实现图像分类，对象检测和3D姿势估计的基准模型。我们为许多流行的基线提供了结果，并进行了几个有趣的观察结果：1。与其他人相比，一些滋扰因素对性能有更强烈的负面影响。此外，对oodnuisance的负面影响取决于下游视觉任务。 2.利用强大数据增强的鲁棒性的目前的方法只有在现实世界的情况下只有边际效应，有时甚至会降低表现。 3.我们在鲁棒性方面，我们不会遵守卷积和变压器架构之间的任何显着差异。我们相信我们的数据集提供了丰富的试验台，以研究视觉算法的稳健性，并有助于大大推动该领域的前瞻性研究。

对于任何有价值的自治分子，知识不能仅限于制造商注入的有价值的自治药物而言，进化的能力都是基本的。例如，考虑家庭助理机器人：要求时它应该能够逐步学习新对象类别，也应该在不同的环境（房间）和姿势（手持/在地板上/上方的家具上方）中识别相同的对象，同时拒绝未知的。尽管它很重要，但这种情况才开始引起对机器人社区的兴趣，并且相关研究仍处于起步阶段，现有的实验测试床位，但没有量身定制的方法。通过这项工作，我们提出了第一种学习方法，该方法通过利用单个对比目标来立即涉及所有前面提到的挑战。我们展示了它如何学习功能空间非常适合逐步包括新类，并能够捕获在各种视觉域中概括的知识。我们的方法赋予了每个学习情节的量身定制的有效停止标准，并利用了一个自进度的阈值策略，该策略为分类器提供了可靠的拒绝选项。这两种新颖的贡献均基于对数据统计数据的观察，不需要手动调整。广泛的实验分析证实了拟议方法在建立新的最新技术方面的有效性。该代码可在https://github.com/francescocappio/contrastive_open_world上找到。

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

最近，面部生物识别是对传统认证系统的方便替代的巨大关注。因此，检测恶意尝试已经发现具有重要意义，导致面部抗欺骗〜（FAS），即面部呈现攻击检测。与手工制作的功能相反，深度特色学习和技术已经承诺急剧增加FAS系统的准确性，解决了实现这种系统的真实应用的关键挑战。因此，处理更广泛的发展以及准确的模型的新研究区越来越多地引起了研究界和行业的关注。在本文中，我们为自2017年以来对与基于深度特征的FAS方法相关的文献综合调查。在这一主题上阐明，基于各种特征和学习方法的语义分类。此外，我们以时间顺序排列，其进化进展和评估标准（数据集内集和数据集互联集合中集）覆盖了FAS的主要公共数据集。最后，我们讨论了开放的研究挑战和未来方向。

Different types of mental rotation tests have been used extensively in psychology to understand human visual reasoning and perception. Understanding what an object or visual scene would look like from another viewpoint is a challenging problem that is made even harder if it must be performed from a single image. We explore a controlled setting whereby questions are posed about the properties of a scene if that scene was observed from another viewpoint. To do this we have created a new version of the CLEVR dataset that we call CLEVR Mental Rotation Tests (CLEVR-MRT). Using CLEVR-MRT we examine standard methods, show how they fall short, then explore novel neural architectures that involve inferring volumetric representations of a scene. These volumes can be manipulated via camera-conditioned transformations to answer the question. We examine the efficacy of different model variants through rigorous ablations and demonstrate the efficacy of volumetric representations.

We introduce four new real-world distribution shift datasets consisting of changes in image style, image blurriness, geographic location, camera operation, and more. With our new datasets, we take stock of previously proposed methods for improving out-of-distribution robustness and put them to the test. We find that using larger models and artificial data augmentations can improve robustness on realworld distribution shifts, contrary to claims in prior work. We find improvements in artificial robustness benchmarks can transfer to real-world distribution shifts, contrary to claims in prior work. Motivated by our observation that data augmentations can help with real-world distribution shifts, we also introduce a new data augmentation method which advances the state-of-the-art and outperforms models pretrained with 1000× more labeled data. Overall we find that some methods consistently help with distribution shifts in texture and local image statistics, but these methods do not help with some other distribution shifts like geographic changes. Our results show that future research must study multiple distribution shifts simultaneously, as we demonstrate that no evaluated method consistently improves robustness.

语义新颖性检测旨在发现测试数据中未知类别。此任务在安全至关重要的应用中特别相关，例如自动驾驶或医疗保健，在部署时间识别未知物体并相应地向用户发出警告至关重要。尽管深度学习研究取得了令人印象深刻的进步，但现有模型仍然需要在已知类别上进行填充阶段才能识别未知类别。当隐私规则限制数据访问或严格的内存和计算约束（例如边缘计算）时，这可能是令人难以置信的。我们声称，量身定制的表示策略可能是有效，有效的语义新颖性检测的正确解决方案。除了对此任务的最新方法进行最新的方法外，我们还提出了一种基于关系推理的新表示学习范式。它着重于学习如何衡量语义相似性而不是识别已知类别。我们的实验表明，这些知识可直接传输到各种场景，并且可以用作插件模块，以将封闭设置的识别模型转换为可靠的开放式开放集。

我们介绍了几个新的数据集即想象的A / O和Imagenet-R以及合成环境和测试套件，我们称为CAOS。 Imagenet-A / O允许研究人员专注于想象成剩余的盲点。由于追踪稳健的表示，以特殊创建了ImageNet-R，因为表示不再简单地自然，而是包括艺术和其他演绎。 Caos Suite由Carla Simulator构建，允许包含异常物体，可以创建可重复的合成环境和用于测试稳健性的场景。所有数据集都是为测试鲁棒性和衡量鲁棒性的衡量进展而创建的。数据集已用于各种其他作品中，以衡量其具有鲁棒性的自身进步，并允许切向进展，这些进展不会完全关注自然准确性。鉴于这些数据集，我们创建了几种旨在推进鲁棒性研究的新方法。我们以最大Logit的形式和典型程度的形式构建简单的基线，并以深度的形式创建新的数据增强方法，从而提高上述基准。最大Logit考虑Logit值而不是SoftMax操作后的值，而微小的变化会产生明显的改进。典型程分将输出分布与类的后部分布进行比较。我们表明，除了分段任务之外，这将提高对基线的性能。猜测可能在像素级别，像素的语义信息比类级信息的语义信息不太有意义。最后，新的Deepaulment的新增强技术利用神经网络在彻底不同于先前使用的传统几何和相机的转换的图像上创建增强。

Understanding the 3D world from 2D images involves more than detection and segmentation of the objects within the scene. It also includes the interpretation of the structure and arrangement of the scene elements. Such understanding is often rooted in recognizing the physical world and its limitations, and in prior knowledge as to how similar typical scenes are arranged. In this research we pose a new challenge for neural network (or other) scene understanding algorithms - can they distinguish between plausible and implausible scenes? Plausibility can be defined both in terms of physical properties and in terms of functional and typical arrangements. Hence, we define plausibility as the probability of encountering a given scene in the real physical world. We build a dataset of synthetic images containing both plausible and implausible scenes, and test the success of various vision models in the task of recognizing and understanding plausibility.

我们建议使用实例检测（实例检测）的新方法，合成优化的布局，以预处理对象检测器具有合成图像。我们的“固体”方法由两个主要组成部分组成：（1）使用具有优化场景布置的未标记的3D模型生成合成图像；（2）在“实例检测”任务上预修对象检测器 - 给定描绘对象的查询图像，检测目标图像中完全相同对象的所有实例。我们的方法不需要任何语义标签来进行预处理，并允许使用任意，不同的3D模型。对可可的实验表明，通过优化的数据生成和适当的预处理任务，合成数据可以是预处理对象探测器的高效数据。特别是，对渲染图像进行预修会在实际图像上预处理，同时使用明显较少的计算资源，从而实现了性能竞争。代码可在https://github.com/princeton-vl/solid上找到。

Modern deep neural networks tend to be evaluated on static test sets. One shortcoming of this is the fact that these deep neural networks cannot be easily evaluated for robustness issues with respect to specific scene variations. For example, it is hard to study the robustness of these networks to variations of object scale, object pose, scene lighting and 3D occlusions. The main reason is that collecting real datasets with fine-grained naturalistic variations of sufficient scale can be extremely time-consuming and expensive. In this work, we present Counterfactual Simulation Testing, a counterfactual framework that allows us to study the robustness of neural networks with respect to some of these naturalistic variations by building realistic synthetic scenes that allow us to ask counterfactual questions to the models, ultimately providing answers to questions such as "Would your classification still be correct if the object were viewed from the top?" or "Would your classification still be correct if the object were partially occluded by another object?". Our method allows for a fair comparison of the robustness of recently released, state-of-the-art Convolutional Neural Networks and Vision Transformers, with respect to these naturalistic variations. We find evidence that ConvNext is more robust to pose and scale variations than Swin, that ConvNext generalizes better to our simulated domain and that Swin handles partial occlusion better than ConvNext. We also find that robustness for all networks improves with network scale and with data scale and variety. We release the Naturalistic Variation Object Dataset (NVD), a large simulated dataset of 272k images of everyday objects with naturalistic variations such as object pose, scale, viewpoint, lighting and occlusions. Project page: https://counterfactualsimulation.github.io

语义分割在广泛的计算机视觉应用中起着基本作用，提供了全球对图像​​的理解的关键信息。然而，最先进的模型依赖于大量的注释样本，其比在诸如图像分类的任务中获得更昂贵的昂贵的样本。由于未标记的数据替代地获得更便宜，因此无监督的域适应达到了语义分割社区的广泛成功并不令人惊讶。本调查致力于总结这一令人难以置信的快速增长的领域的五年，这包含了语义细分本身的重要性，以及将分段模型适应新环境的关键需求。我们提出了最重要的语义分割方法;我们对语义分割的域适应技术提供了全面的调查;我们揭示了多域学习，域泛化，测试时间适应或无源域适应等较新的趋势;我们通过描述在语义细分研究中最广泛使用的数据集和基准测试来结束本调查。我们希望本调查将在学术界和工业中提供具有全面参考指导的研究人员，并有助于他们培养现场的新研究方向。

现代计算机视觉已超越了互联网照片集的领域，并进入了物理世界，通过非结构化的环境引导配备摄像头的机器人和自动驾驶汽车。为了使这些体现的代理与现实世界对象相互作用，相机越来越多地用作深度传感器，重建了各种下游推理任务的环境。机器学习辅助的深度感知或深度估计会预测图像中每个像素的距离。尽管已经在深入估算中取得了令人印象深刻的进步，但仍然存在重大挑战：（1）地面真相深度标签很难大规模收集，（2）通常认为相机信息是已知的，但通常是不可靠的，并且（3）限制性摄像机假设很常见，即使在实践中使用了各种各样的相机类型和镜头。在本论文中，我们专注于放松这些假设，并描述将相机变成真正通用深度传感器的最终目标的贡献。

主流最先进的域泛化算法倾向于优先考虑跨域语义不变性的假设。同时，固有的域内风格不变性通常被低估并放在架子上。在本文中，我们揭示了利用域内风格的不变性，在提高域泛化效率方面也具有关键重要性。我们验证了网络对域功能不变并在实例之间共享的内容至关重要，以便网络锐化其理解并提高其语义判别能力。相应地，我们还提出了一种新颖的“陪审团”机制，在域之间学习有用的语义特征共性特别有效。我们的完整型号称为Steam可以被解释为新颖的概率图形模型，该图形模型需要方便的两种内存库的方便结构：语义特征银行和风格的功能库。经验结果表明，我们的拟议框架通过清晰的边缘超越了最先进的方法。

在本文中，我们介绍了全景语义细分，该分段以整体方式提供了对周围环境的全景和密集的像素的理解。由于两个关键的挑战，全景分割尚未探索：（1）全景上的图像扭曲和对象变形； （2）缺乏培训全景分段的注释。为了解决这些问题，我们提出了一个用于全景语义细分（Trans4Pass）体系结构的变压器。首先，为了增强失真意识，Trans4Pass配备了可变形的贴片嵌入（DPE）和可变形的MLP（DMLP）模块，能够在适应之前（适应之前或之后）和任何地方（浅层或深度级别的（浅层或深度））和图像变形（通过任何涉及（浅层或深层））和图像变形（通过任何地方）和图像变形设计。我们进一步介绍了升级后的Trans4Pass+模型，其中包含具有平行令牌混合的DMLPV2，以提高建模歧视性线索的灵活性和概括性。其次，我们提出了一种无监督域适应性的相互典型适应（MPA）策略。第三，除了针孔到型 - 帕诺amic（PIN2PAN）适应外，我们还创建了一个新的数据集（Synpass），其中具有9,080个全景图像，以探索360 {\ deg} Imagery中的合成对真实（Syn2real）适应方案。进行了广泛的实验，这些实验涵盖室内和室外场景，并且使用PIN2PAN和SYN2REAL方案进行了研究。 Trans4Pass+在四个域自适应的全景语义分割基准上实现最先进的性能。代码可从https://github.com/jamycheung/trans4pass获得。