预培训由自然图像组成的大规模数据库，然后进行微调，以适应手头的应用，或转移学习，是计算机愿景的流行策略。然而，KataOka等人，2020年推出了一种通过提出一种新的合成式的基于公式的方法来消除对监督深度学习中的自然图像的需求，以产生2D分形作为训练语料库。对每个类的一种合成产生的分形，它们实现了与在自然图像上预培训的模型相当的转移学习结果。在这个项目中，我们从他们的工作中获取灵感并在这个想法上建立 - 使用3D程序对象渲染。由于自然界中的图像形成过程基于其3D结构，我们预计使用3D网格渲染预先训练，以提供隐式偏置，以便在转移学习设置中更好地提供更好的泛化能力，并且对3D旋转和照明的ImRARECCE更容易基于3D数据学习。类似于以前的工作，我们的培训语料库将是完全合成的，源于简单的程序策略;我们将超越经典的数据增强，也可以在我们的环境中可控的照明和姿势，并研究他们对事先工作的背景下转移学习能力的影响。此外，我们将将2D分数维和3D程序对象网络与人类和非人类灵长类动物的大脑数据进行比较，以了解有关生物视觉的2D与3D性质的更多信息。

我们介绍了Amazon Berkeley对象（ABO），这是一个新的大型数据集，旨在帮助弥合真实和虚拟3D世界之间的差距。ABO包含产品目录图像，元数据和艺术家创建的3D模型，具有复杂的几何形状和与真实的家用物体相对应的物理基础材料。我们得出了具有挑战性的基准，这些基准利用ABO的独特属性，并测量最先进的对象在三个开放问题上的最新限制，以了解实际3D对象：单视3D 3D重建，材料估计和跨域多视图对象检索。

现代计算机视觉系统中使用的深度神经网络需要巨大的图像数据集来训练它们。这些仔细策划的数据集通常具有百万或更多的图像，跨越千分之一或更多的不同类别。创建和策划此类数据集的过程是一个巨大的承诺，要求广泛的努力和标签费用，并需要仔细导航技术和社会问题，如标签准确性，版权所有权和内容偏见。如果我们有一种方法来利用大型图像数据集的力量，但有很少或没有主要问题和目前面临的关注点？本文扩展了KataOka et的最近工作。 al。 （2020），提出基于动态生成的分形图像的改进的预训练数据集。大规模图像数据集的挑战性问题成为分形预训练的优雅点：完美的标签精度为零成本;无需存储/传输大图像档案;没有隐私/人口统计偏见/不适当内容的疑虑，因为没有人类被描绘;无限的图像供应和多样性;图像是空闲/开源。也许令人惊讶的是，避免这些困难只会在表现中征收小额罚款。利用新建的预训练任务 - 多实例预测 - 我们的实验表明，微调使用分形预先培训的网络培训的网络预先培训网络的准确性的92.7-98.1％。

A longstanding question in computer vision concerns the representation of 3D shapes for recognition: should 3D shapes be represented with descriptors operating on their native 3D formats, such as voxel grid or polygon mesh, or can they be effectively represented with view-based descriptors? We address this question in the context of learning to recognize 3D shapes from a collection of their rendered views on 2D images. We first present a standard CNN architecture trained to recognize the shapes' rendered views independently of each other, and show that a 3D shape can be recognized even from a single view at an accuracy far higher than using state-of-the-art 3D shape descriptors. Recognition rates further increase when multiple views of the shapes are provided. In addition, we present a novel CNN architecture that combines information from multiple views of a 3D shape into a single and compact shape descriptor offering even better recognition performance. The same architecture can be applied to accurately recognize human hand-drawn sketches of shapes. We conclude that a collection of 2D views can be highly informative for 3D shape recognition and is amenable to emerging CNN architectures and their derivatives.

近年来，人员检测和人类姿势估计已经取得了很大的进步，通过大规模标记的数据集帮助。但是，这些数据集没有保证或分析人类活动，姿势或情境多样性。此外，隐私，法律，安全和道德问题可能会限制收集更多人类数据的能力。一个新兴的替代方案，用于减轻这些问题的一些问题是合成数据。然而，综合数据生成器的创建令人难以置信的具有挑战性，并防止研究人员探索他们的实用性。因此，我们释放了一个以人为本的合成数据发生器PeoplesAnspeople，它包含模拟就绪3D人类资产，参数化照明和相机系统，并生成2D和3D边界框，实例和语义分段，以及Coco姿态标签。使用PeoplesAnspeople，我们使用Detectron2 KeyPoint R-CNN变体进行基准合成数据训练[1]。我们发现，使用合成数据进行预培训网络和对目标现实世界数据的微调（几次传输到Coco-Person Rain的有限子集[2]）导致了60.37 $ 60.37 $的关键点AP（ Coco Test-Dev2017）使用相同的实际数据培训的型号优于同一实际数据（35.80美元的Keypoint AP），并使用Imagenet预先培训（Keypoint AP为57.50美元）。这种自由可用的数据发生器应使其在人用于人工以人为主的计算机视野中的临界领域进行实际转移学习的新兴仿真领域。

现代视频游戏的规模和规模迅速增长，为了创造丰富而有趣的环境，需要大量内容。结果，通常使用数千个详细的3D资产来创建一个场景。由于每个资产的多边形网格可以包含数百万个多边形，因此需要绘制的多边形数量可能超过数十亿。因此，计算资源通常会限制场景中可以显示多少详细对象。为了推动此限制并优化性能，可以在可能的情况下减少资产的多边形计数。基本上，这个想法是，距捕获相机距离更远的对象，因此屏幕尺寸相对较小，其多边形计数可能会降低而不会影响感知的质量。细节级别（LOD）是指3D模型表示的复杂性水平。消除复杂性的过程通常称为减少LOD，可以使用算法或由艺术家手动自动完成。但是，如果不同的LOD显着差异，或者如果LOD降低过渡不是无缝的，则此过程可能导致视觉质量恶化。如今，这些结果的验证主要是手动要求专家在视觉上检查结果。但是，此过程是缓慢的，平凡的，因此容易出错。本文中，我们提出了一种根据深度卷积网络的使用来自动化此过程的方法。我们报告有希望的结果，并设想该方法可用于自动化LOD减少测试和验证过程。

在Imagenet或其他大规模数据数据上的预培训模型导致计算机愿景的主要进步，尽管伴随着与策划成本，隐私，使用权和道德问题相关的缺点。在本文中，我们首次研究了基于由图形模拟器生成的合成数据到来自非常不同的域的下游任务的培训模型的可转换性。在使用此类合成数据进行预培训时，我们发现不同任务的下游性能受到不同配置的不同配置（例如，照明，对象姿势，背景等），并且没有单尺寸适合 - 所有解决方案。因此，更好地将合成的预训练数据量身定制到特定的下游任务，以获得最佳性能。我们介绍Task2SIM，一个统一的模型将下游任务表示映射到最佳模拟参数，以为它们生成合成的预训练数据。 Task2SIM通过培训学习此映射，以查找一组“看到”任务上的最佳参数集。曾经训练过，它可以用于预测一个新颖的“看不见”任务的最佳仿真参数，而无需额外的培训。鉴于每级图像数量的预算，我们具有20个不同的下游任务的广泛实验，显示了Task2SIM的任务 - 自适应预训练数据导致明显更好的下游性能，而不是在看见和看不见的任务上的非自适应选择模拟参数。它甚至是竞争对手的真实图像的竞争力。

在目前的工作中，我们表明，公式驱动的监督学习（FDSL）的表现可以匹配甚至超过Imagenet-21K的表现，而无需在视觉预训练期间使用真实的图像，人类和自我选择变压器（VIT）。例如，在ImagEnet-21K上预先训练的VIT-BASE在ImagEnet-1K上进行微调时，在ImagEnet-1K和FDSL上进行微调时显示了81.8％的TOP-1精度，当在相同条件下进行预训练时（图像数量，数量，，图像数量，超参数和时期数）。公式产生的图像避免了隐私/版权问题，标记成本和错误以及真实图像遭受的偏见，因此具有巨大的预训练通用模型的潜力。为了了解合成图像的性能，我们测试了两个假设，即（i）对象轮廓是FDSL数据集中重要的，（ii）创建标签的参数数量增加会影响FDSL预训练的性能改善。为了检验以前的假设，我们构建了一个由简单对象轮廓组合组成的数据集。我们发现该数据集可以匹配分形的性能。对于后一种假设，我们发现增加训练任务的难度通常会导致更好的微调准确性。

Estimating human pose, shape, and motion from images and videos are fundamental challenges with many applications. Recent advances in 2D human pose estimation use large amounts of manually-labeled training data for learning convolutional neural networks (CNNs). Such data is time consuming to acquire and difficult to extend. Moreover, manual labeling of 3D pose, depth and motion is impractical. In this work we present SURREAL (Synthetic hUmans foR REAL tasks): a new large-scale dataset with synthetically-generated but realistic images of people rendered from 3D sequences of human motion capture data. We generate more than 6 million frames together with ground truth pose, depth maps, and segmentation masks. We show that CNNs trained on our synthetic dataset allow for accurate human depth estimation and human part segmentation in real RGB images. Our results and the new dataset open up new possibilities for advancing person analysis using cheap and large-scale synthetic data.

传统上，本征成像或内在图像分解被描述为将图像分解为两层：反射率，材料的反射率;和一个阴影，由光和几何之间的相互作用产生。近年来，深入学习技术已广泛应用，以提高这些分离的准确性。在本调查中，我们概述了那些在知名内在图像数据集和文献中使用的相关度量的结果，讨论了预测所需的内在图像分解的适用性。虽然Lambertian的假设仍然是许多方法的基础，但我们表明，对图像形成过程更复杂的物理原理组件的潜力越来越意识到，这是光学准确的材料模型和几何形状，更完整的逆轻型运输估计。考虑使用的前瞻和模型以及驾驶分解过程的学习架构和方法，我们将这些方法分类为分解的类型。考虑到最近神经，逆和可微分的渲染技术的进步，我们还提供了关于未来研究方向的见解。

尽管最近计算机愿景取得了成功，但仍有新的途径探索。在这项工作中，我们提出了一个新的数据集来调查自动阻塞对深神经网络的影响。随着TEOS（自动阻塞的效果），我们提出了一个3D阻挡世界数据集，专注于3D对象的几何形状及其对自动阻塞的全能挑战。我们设计了TEOS，以调查自动阻塞在对象分类的范围内的作用。尽管对象分类中已经出现了显着进展，但自遮挡是一个挑战。在现实世界中，3D对象的自我遮挡仍然具有深入学习方法的重大挑战。然而，人类通过部署复杂策略来处理这一点，例如，通过更改观点或操纵场景来收集必要的信息。使用TEOS，我们分别介绍了两个难度级别（L1和L2），包含36和12个对象的数据集。我们提供738个均匀采样的每个物体采样视图，它们的掩模，对象和相机位置，方向，自遮挡量以及每个物体的CAD模型。我们提出了与五个知名分类的深度神经网络的基线评估，并表明TEOS对所有人构成了重大挑战。数据集以及预先训练的型号，在HTTPS://nvision2.data.eecs.yorku.ca/eyos下公开可用于科学界。

Recently, the use of synthetic training data has been on the rise as it offers correctly labelled datasets at a lower cost. The downside of this technique is that the so-called domain gap between the real target images and synthetic training data leads to a decrease in performance. In this paper, we attempt to provide a holistic overview of how to use synthetic data for object detection. We analyse aspects of generating the data as well as techniques used to train the models. We do so by devising a number of experiments, training models on the Dataset of Industrial Metal Objects (DIMO). This dataset contains both real and synthetic images. The synthetic part has different subsets that are either exact synthetic copies of the real data or are copies with certain aspects randomised. This allows us to analyse what types of variation are good for synthetic training data and which aspects should be modelled to closely match the target data. Furthermore, we investigate what types of training techniques are beneficial towards generalisation to real data, and how to use them. Additionally, we analyse how real images can be leveraged when training on synthetic images. All these experiments are validated on real data and benchmarked to models trained on real data. The results offer a number of interesting takeaways that can serve as basic guidelines for using synthetic data for object detection. Code to reproduce results is available at https://github.com/EDM-Research/DIMO_ObjectDetection.

自我监督的学习是一个强大的范例，用于在未标记的图像上学习。基于实例匹配的大量有效的新方法依赖于数据增强来推动学习，这些方法达成了优化流行识别基准的增强方案的粗略协议。但是，有强有力的理由可疑计算机视觉中的不同任务需要对不同（IN）差异进行编码的功能，因此可能需要不同的增强策略。在本文中，我们衡量了对比方法学到的修正学知识，并确认他们确实学会了与使用的增强的不变性，进一步表明，这一不变性大大转移到与姿势和照明的相关真实变化的变化很大程度上转移。我们展示了学习的InorRARCES强烈影响下游任务性能，并确认不同的下游任务从极性相反（IN）差异中受益，导致使用标准增强策略时的性能损失。最后，我们证明，具有互补的修正条件的表现简单融合可确保对所考虑的所有不同下游任务进行广泛的可转换性。

Convolutional neural networks (CNN) have recently shown outstanding image classification performance in the largescale visual recognition challenge (ILSVRC2012). The success of CNNs is attributed to their ability to learn rich midlevel image representations as opposed to hand-designed low-level features used in other image classification methods. Learning CNNs, however, amounts to estimating millions of parameters and requires a very large number of annotated image samples. This property currently prevents application of CNNs to problems with limited training data.In this work we show how image representations learned with CNNs on large-scale annotated datasets can be efficiently transferred to other visual recognition tasks with limited amount of training data. We design a method to reuse layers trained on the ImageNet dataset to compute mid-level image representation for images in the PASCAL VOC dataset. We show that despite differences in image statistics and tasks in the two datasets, the transferred representation leads to significantly improved results for object and action classification, outperforming the current state of the art on Pascal VOC 2007 and 2012 datasets. We also show promising results for object and action localization.

We present MatSim: a synthetic dataset, a benchmark, and a method for computer vision based recognition of similarities and transitions between materials and textures, focusing on identifying any material under any conditions using one or a few examples (one-shot learning). The visual recognition of materials is essential to everything from examining food while cooking to inspecting agriculture, chemistry, and industrial products. In this work, we utilize giant repositories used by computer graphics artists to generate a new CGI dataset for material similarity. We use physics-based rendering (PBR) repositories for visual material simulation, assign these materials random 3D objects, and render images with a vast range of backgrounds and illumination conditions (HDRI). We add a gradual transition between materials to support applications with a smooth transition between states (like gradually cooked food). We also render materials inside transparent containers to support beverage and chemistry lab use cases. We then train a contrastive learning network to generate a descriptor that identifies unfamiliar materials using a single image. We also present a new benchmark for a few-shot material recognition that contains a wide range of real-world examples, including the state of a chemical reaction, rotten/fresh fruits, states of food, different types of construction materials, types of ground, and many other use cases involving material states, transitions and subclasses. We show that a network trained on the MatSim synthetic dataset outperforms state-of-the-art models like Clip on the benchmark, despite being tested on material classes that were not seen during training. The dataset, benchmark, code and trained models are available online.

我们建议使用实例检测（实例检测）的新方法，合成优化的布局，以预处理对象检测器具有合成图像。我们的“固体”方法由两个主要组成部分组成：（1）使用具有优化场景布置的未标记的3D模型生成合成图像；（2）在“实例检测”任务上预修对象检测器 - 给定描绘对象的查询图像，检测目标图像中完全相同对象的所有实例。我们的方法不需要任何语义标签来进行预处理，并允许使用任意，不同的3D模型。对可可的实验表明，通过优化的数据生成和适当的预处理任务，合成数据可以是预处理对象探测器的高效数据。特别是，对渲染图像进行预修会在实际图像上预处理，同时使用明显较少的计算资源，从而实现了性能竞争。代码可在https://github.com/princeton-vl/solid上找到。

深度神经网络在人类分析中已经普遍存在，增强了应用的性能，例如生物识别识别，动作识别以及人重新识别。但是，此类网络的性能通过可用的培训数据缩放。在人类分析中，对大规模数据集的需求构成了严重的挑战，因为数据收集乏味，廉价，昂贵，并且必须遵守数据保护法。当前的研究研究了\ textit {合成数据}的生成，作为在现场收集真实数据的有效且具有隐私性的替代方案。这项调查介绍了基本定义和方法，在生成和采用合成数据进行人类分析时必不可少。我们进行了一项调查，总结了当前的最新方法以及使用合成数据的主要好处。我们还提供了公开可用的合成数据集和生成模型的概述。最后，我们讨论了该领域的局限性以及开放研究问题。这项调查旨在为人类分析领域的研究人员和从业人员提供。

Transfer learning is a cornerstone of computer vision, yet little work has been done to evaluate the relationship between architecture and transfer. An implicit hypothesis in modern computer vision research is that models that perform better on ImageNet necessarily perform better on other vision tasks. However, this hypothesis has never been systematically tested. Here, we compare the performance of 16 classification networks on 12 image classification datasets. We find that, when networks are used as fixed feature extractors or fine-tuned, there is a strong correlation between ImageNet accuracy and transfer accuracy (r = 0.99 and 0.96, respectively). In the former setting, we find that this relationship is very sensitive to the way in which networks are trained on ImageNet; many common forms of regularization slightly improve ImageNet accuracy but yield penultimate layer features that are much worse for transfer learning. Additionally, we find that, on two small fine-grained image classification datasets, pretraining on ImageNet provides minimal benefits, indicating the learned features from Ima-geNet do not transfer well to fine-grained tasks. Together, our results show that ImageNet architectures generalize well across datasets, but ImageNet features are less general than previously suggested.

随着脑成像技术和机器学习工具的出现，很多努力都致力于构建计算模型来捕获人脑中的视觉信息的编码。最具挑战性的大脑解码任务之一是通过功能磁共振成像（FMRI）测量的脑活动的感知自然图像的精确重建。在这项工作中，我们调查了来自FMRI的自然图像重建的最新学习方法。我们在架构设计，基准数据集和评估指标方面检查这些方法，并在标准化评估指标上呈现公平的性能评估。最后，我们讨论了现有研究的优势和局限，并提出了潜在的未来方向。

本文介绍了基于仅使用合成数据训练的深卷积神经网络的人体部位分割的新框架。该方法实现了尖端的结果，而无需培训具有人体部位的真实注释数据的模型。我们的贡献包括数据生成管道，该管道利用游戏引擎来创建用于训练网络的合成数据，以及一种结合边缘响应映射和自适应直方图均衡的新型预处理模块，以指导网络来学习网络人体部位的形状确保对照明条件的变化的稳健性。为了选择最佳候选架构，我们对真正的人体四肢的手动注释图像进行详尽的测试。我们进一步将我们的方法与若干高端商业分割工具进行了对体零分割任务的几个。结果表明，我们的方法通过显着的余量优于其他模型。最后，我们展示了一个消融研究来验证我们的预处理模块。通过本文，我们释放了所提出的方法以及所获取的数据集的实现。