近年来，人员检测和人类姿势估计已经取得了很大的进步，通过大规模标记的数据集帮助。但是，这些数据集没有保证或分析人类活动，姿势或情境多样性。此外，隐私，法律，安全和道德问题可能会限制收集更多人类数据的能力。一个新兴的替代方案，用于减轻这些问题的一些问题是合成数据。然而，综合数据生成器的创建令人难以置信的具有挑战性，并防止研究人员探索他们的实用性。因此，我们释放了一个以人为本的合成数据发生器PeoplesAnspeople，它包含模拟就绪3D人类资产，参数化照明和相机系统，并生成2D和3D边界框，实例和语义分段，以及Coco姿态标签。使用PeoplesAnspeople，我们使用Detectron2 KeyPoint R-CNN变体进行基准合成数据训练[1]。我们发现，使用合成数据进行预培训网络和对目标现实世界数据的微调（几次传输到Coco-Person Rain的有限子集[2]）导致了60.37 $ 60.37 $的关键点AP（ Coco Test-Dev2017）使用相同的实际数据培训的型号优于同一实际数据（35.80美元的Keypoint AP），并使用Imagenet预先培训（Keypoint AP为57.50美元）。这种自由可用的数据发生器应使其在人用于人工以人为主的计算机视野中的临界领域进行实际转移学习的新兴仿真领域。

我们介绍了一种新的合成数据生成器PSP-HDRI $+$，该$+$被证明是ImageNet和其他大规模合成数据对应物的卓越预训练替代方案。我们证明，使用合成数据的预训练将产生一个更通用的模型，即使在分布外（OOD）集测试时，该模型的性能也比替代方案更好。此外，使用由人关键点估计指标指导的消融研究，具有现成的模型架构，我们展示了如何操纵我们的合成数据生成器以进一步提高模型性能。

我们建议使用实例检测（实例检测）的新方法，合成优化的布局，以预处理对象检测器具有合成图像。我们的“固体”方法由两个主要组成部分组成：（1）使用具有优化场景布置的未标记的3D模型生成合成图像；（2）在“实例检测”任务上预修对象检测器 - 给定描绘对象的查询图像，检测目标图像中完全相同对象的所有实例。我们的方法不需要任何语义标签来进行预处理，并允许使用任意，不同的3D模型。对可可的实验表明，通过优化的数据生成和适当的预处理任务，合成数据可以是预处理对象探测器的高效数据。特别是，对渲染图像进行预修会在实际图像上预处理，同时使用明显较少的计算资源，从而实现了性能竞争。代码可在https://github.com/princeton-vl/solid上找到。

This paper presents a new large scale multi-person tracking dataset -- \texttt{PersonPath22}, which is over an order of magnitude larger than currently available high quality multi-object tracking datasets such as MOT17, HiEve, and MOT20 datasets. The lack of large scale training and test data for this task has limited the community's ability to understand the performance of their tracking systems on a wide range of scenarios and conditions such as variations in person density, actions being performed, weather, and time of day. \texttt{PersonPath22} dataset was specifically sourced to provide a wide variety of these conditions and our annotations include rich meta-data such that the performance of a tracker can be evaluated along these different dimensions. The lack of training data has also limited the ability to perform end-to-end training of tracking systems. As such, the highest performing tracking systems all rely on strong detectors trained on external image datasets. We hope that the release of this dataset will enable new lines of research that take advantage of large scale video based training data.

具有丰富注释的高质量结构化数据是处理道路场景的智能车辆系统中的关键组件。但是，数据策展和注释需要大量投资并产生低多样性的情况。最近对合成数据的兴趣日益增长，提出了有关此类系统改进范围的问题，以及产生大量和变化的模拟数据所需的手动工作量。这项工作提出了一条合成数据生成管道，该管道利用现有数据集（如Nuscenes）来解决模拟数据集中存在的困难和域间隙。我们表明，使用现有数据集的注释和视觉提示，我们可以促进自动化的多模式数据生成，模仿具有高保真性的真实场景属性，以及以物理意义的方式使样本多样化的机制。我们通过提供定性和定量实验，并通过使用真实和合成数据来证明MIOU指标的改进，以实现CityScapes和Kitti-Step数据集的语义分割。所有相关代码和数据均在GitHub（https://github.com/shubham1810/trove_toolkit）上发布。

大量数据集和高容量模型推动了计算机视觉和自然语言理解方面的许多最新进步。这项工作提出了一个平台，可以在体现的AI中实现类似的成功案例。我们提出了Procthor，这是一个程序生成体现的AI环境的框架。 Procthor使我们能够采样多种，交互式，可自定义和性能的虚拟环境的任意大型数据集，以训练和评估在导航，互动和操纵任务中的体现代理。我们通过10,000个生成的房屋和简单的神经模型的样本来证明procthor的能力和潜力。仅在Procthor上仅使用RGB图像训练的模型，没有明确的映射，并且没有人类任务监督在6个体现的AI基准中产生最先进的结果，用于导航，重排和手臂操纵，包括目前正在运行的Habitat 2022，AI2-- Thor重新安排2022，以及机器人挑战。我们还通过对procthor进行预训练，在下游基准测试上没有进行微调，通常会击败以前的最先进的系统，从而访问下游训练数据。

Modern computer vision algorithms typically require expensive data acquisition and accurate manual labeling. In this work, we instead leverage the recent progress in computer graphics to generate fully labeled, dynamic, and photo-realistic proxy virtual worlds. We propose an efficient real-to-virtual world cloning method, and validate our approach by building and publicly releasing a new video dataset, called "Virtual KITTI" 1 , automatically labeled with accurate ground truth for object detection, tracking, scene and instance segmentation, depth, and optical flow. We provide quantitative experimental evidence suggesting that (i) modern deep learning algorithms pre-trained on real data behave similarly in real and virtual worlds, and (ii) pre-training on virtual data improves performance. As the gap between real and virtual worlds is small, virtual worlds enable measuring the impact of various weather and imaging conditions on recognition performance, all other things being equal. We show these factors may affect drastically otherwise high-performing deep models for tracking.

在非结构化环境中工作的机器人必须能够感知和解释其周围环境。机器人技术领域基于深度学习模型的主要障碍之一是缺乏针对不同工业应用的特定领域标记数据。在本文中，我们提出了一种基于域随机化的SIM2REAL传输学习方法，用于对象检测，可以自动生成任意大小和对象类型的标记的合成数据集。随后，对最先进的卷积神经网络Yolov4进行了训练，以检测不同类型的工业对象。通过提出的域随机化方法，我们可以在零射击和单次转移的情况下分别缩小现实差距，分别达到86.32％和97.38％的MAP50分数，其中包含190个真实图像。在GEFORCE RTX 2080 TI GPU上，数据生成过程的每图像少于0.5 s，培训持续约12H，这使其方便地用于工业使用。我们的解决方案符合工业需求，因为它可以通过仅使用1个真实图像进行培训来可靠地区分相似的对象类别。据我们所知，这是迄今为止满足这些约束的唯一工作。

The goal of this paper is to estimate the 6D pose and dimensions of unseen object instances in an RGB-D image. Contrary to "instance-level" 6D pose estimation tasks, our problem assumes that no exact object CAD models are available during either training or testing time. To handle different and unseen object instances in a given category, we introduce Normalized Object Coordinate Space (NOCS)-a shared canonical representation for all possible object instances within a category. Our region-based neural network is then trained to directly infer the correspondence from observed pixels to this shared object representation (NOCS) along with other object information such as class label and instance mask. These predictions can be combined with the depth map to jointly estimate the metric 6D pose and dimensions of multiple objects in a cluttered scene. To train our network, we present a new contextaware technique to generate large amounts of fully annotated mixed reality data. To further improve our model and evaluate its performance on real data, we also provide a fully annotated real-world dataset with large environment and instance variation. Extensive experiments demonstrate that the proposed method is able to robustly estimate the pose and size of unseen object instances in real environments while also achieving state-of-the-art performance on standard 6D pose estimation benchmarks.

现有的计算机视觉系统可以与人类竞争，以理解物体的可见部分，但在描绘部分被遮挡物体的无形部分时，仍然远远远远没有达到人类。图像Amodal的完成旨在使计算机具有类似人类的Amodal完成功能，以了解完整的对象，尽管该对象被部分遮住。这项调查的主要目的是对图像Amodal完成领域的研究热点，关键技术和未来趋势提供直观的理解。首先，我们对这个新兴领域的最新文献进行了全面的评论，探讨了图像Amodal完成中的三个关键任务，包括Amodal形状完成，Amodal外观完成和订单感知。然后，我们检查了与图像Amodal完成有关的流行数据集及其共同的数据收集方法和评估指标。最后，我们讨论了现实世界中的应用程序和未来的研究方向，以实现图像的完成，从而促进了读者对现有技术和即将到来的研究趋势的挑战的理解。

学习在无人驾驶汽车（UAV）捕获的图像中检测物体（例如人类）通常会遭受无人机对物体的位置造成的巨大变化。此外，现有的基于无人机的基准数据集不提供足够的数据集元数据，这对于精确的模型诊断至关重要，并且学习功能不变。在本文中，我们介绍了大天使，这是第一个基于无人机的对象检测数据集，该数据集由具有相似想象条件以及无人机位置以及对象姿势元数据捕获的真实和合成子集组成。一系列实验经过精心设计，使用最先进的对象检测器设计，以证明在模型评估过程中利用元数据的好处。此外，还提供了几种涉及模型微调过程中涉及真实和合成数据的关键见解。最后，我们讨论了有关大天使的优势，局限性和未来方向，以突出其对更广泛的机器学习社区的独特价值。

Estimating human pose, shape, and motion from images and videos are fundamental challenges with many applications. Recent advances in 2D human pose estimation use large amounts of manually-labeled training data for learning convolutional neural networks (CNNs). Such data is time consuming to acquire and difficult to extend. Moreover, manual labeling of 3D pose, depth and motion is impractical. In this work we present SURREAL (Synthetic hUmans foR REAL tasks): a new large-scale dataset with synthetically-generated but realistic images of people rendered from 3D sequences of human motion capture data. We generate more than 6 million frames together with ground truth pose, depth maps, and segmentation masks. We show that CNNs trained on our synthetic dataset allow for accurate human depth estimation and human part segmentation in real RGB images. Our results and the new dataset open up new possibilities for advancing person analysis using cheap and large-scale synthetic data.

人类姿势信息是许多下游图像处理任务中的关键组成部分，例如活动识别和运动跟踪。同样地，所示字符域的姿势估计器将在辅助内容创建任务中提供有价值的，例如参考姿势检索和自动字符动画。但是，虽然现代数据驱动技术在自然图像上具有显着提高的姿态估计性能，但是对于插图来说已经完成了很少的工作。在我们的工作中，我们通过从域特定的和任务特定的源模型有效地学习来弥合这个域名差距。此外，我们还升级和展开现有的所示姿势估计数据集，并引入两个用于分类和分段子任务的新数据集。然后，我们应用所产生的最先进的角色姿势估算器来解决姿势引导例证检索的新颖任务。所有数据，模型和代码都将公开可用。

The 1$^{\text{st}}$ Workshop on Maritime Computer Vision (MaCVi) 2023 focused on maritime computer vision for Unmanned Aerial Vehicles (UAV) and Unmanned Surface Vehicle (USV), and organized several subchallenges in this domain: (i) UAV-based Maritime Object Detection, (ii) UAV-based Maritime Object Tracking, (iii) USV-based Maritime Obstacle Segmentation and (iv) USV-based Maritime Obstacle Detection. The subchallenges were based on the SeaDronesSee and MODS benchmarks. This report summarizes the main findings of the individual subchallenges and introduces a new benchmark, called SeaDronesSee Object Detection v2, which extends the previous benchmark by including more classes and footage. We provide statistical and qualitative analyses, and assess trends in the best-performing methodologies of over 130 submissions. The methods are summarized in the appendix. The datasets, evaluation code and the leaderboard are publicly available at https://seadronessee.cs.uni-tuebingen.de/macvi.

转移学习可以在源任务上重新使用知识来帮助学习目标任务。一种简单的转移学习形式在当前的最先进的计算机视觉模型中是常见的，即预先训练ILSVRC数据集上的图像分类模型，然后在任何目标任务上进行微调。然而，先前对转移学习的系统研究已经有限，并且预计工作的情况并不完全明白。在本文中，我们对跨越不同的图像域进行了广泛的转移学习实验探索（消费者照片，自主驾驶，空中图像，水下，室内场景，合成，特写镜头）和任务类型（语义分割，物体检测，深度估计，关键点检测）。重要的是，这些都是与现代计算机视觉应用相关的复杂的结构化的输出任务类型。总共执行超过2000年的转移学习实验，包括许多来源和目标来自不同的图像域，任务类型或两者。我们系统地分析了这些实验，了解图像域，任务类型和数据集大小对传输学习性能的影响。我们的研究导致了几个见解和具体建议：（1）对于大多数任务，存在一个显着优于ILSVRC'12预培训的来源; （2）图像领域是实现阳性转移的最重要因素; （3）源数据集应该\ \ emph {include}目标数据集的图像域以获得最佳结果; （4）与此同时，当源任务的图像域比目标的图像域时，我们只观察小的负面影响; （5）跨任务类型的转移可能是有益的，但其成功严重依赖于源和目标任务类型。

在这项工作中，我们通过利用3D Suite Blender生产具有6D姿势的合成RGBD图像数据集来提出数据生成管道。提出的管道可以有效地生成大量的照片现实的RGBD图像，以了解感兴趣的对象。此外，引入了域随机化技术的集合来弥合真实数据和合成数据之间的差距。此外，我们通过整合对象检测器Yolo-V4微型和6D姿势估计算法PVN3D来开发实时的两阶段6D姿势估计方法，用于时间敏感的机器人应用。借助提出的数据生成管道，我们的姿势估计方法可以仅使用没有任何预训练模型的合成数据从头开始训练。在LineMod数据集评估时，与最先进的方法相比，所得网络显示出竞争性能。我们还证明了在机器人实验中提出的方法，在不同的照明条件下从混乱的背景中抓住家用物体。

6D object pose estimation problem has been extensively studied in the field of Computer Vision and Robotics. It has wide range of applications such as robot manipulation, augmented reality, and 3D scene understanding. With the advent of Deep Learning, many breakthroughs have been made; however, approaches continue to struggle when they encounter unseen instances, new categories, or real-world challenges such as cluttered backgrounds and occlusions. In this study, we will explore the available methods based on input modality, problem formulation, and whether it is a category-level or instance-level approach. As a part of our discussion, we will focus on how 6D object pose estimation can be used for understanding 3D scenes.

Recently, the use of synthetic training data has been on the rise as it offers correctly labelled datasets at a lower cost. The downside of this technique is that the so-called domain gap between the real target images and synthetic training data leads to a decrease in performance. In this paper, we attempt to provide a holistic overview of how to use synthetic data for object detection. We analyse aspects of generating the data as well as techniques used to train the models. We do so by devising a number of experiments, training models on the Dataset of Industrial Metal Objects (DIMO). This dataset contains both real and synthetic images. The synthetic part has different subsets that are either exact synthetic copies of the real data or are copies with certain aspects randomised. This allows us to analyse what types of variation are good for synthetic training data and which aspects should be modelled to closely match the target data. Furthermore, we investigate what types of training techniques are beneficial towards generalisation to real data, and how to use them. Additionally, we analyse how real images can be leveraged when training on synthetic images. All these experiments are validated on real data and benchmarked to models trained on real data. The results offer a number of interesting takeaways that can serve as basic guidelines for using synthetic data for object detection. Code to reproduce results is available at https://github.com/EDM-Research/DIMO_ObjectDetection.

用于3D人类传感的最新技术的进展目前受到3D地面真理的缺乏视觉数据集的限制，包括多个人，运动，在现实世界环境中运行，具有复杂的照明或遮挡，并且可能观察到移动相机。复杂的场景理解需要估计人类的姿势和形状以及手势，朝着最终将有用的度量和行为信号与自由视点相结合的表示来估计的表示。为了维持进步，我们建立了一个大型的照片 - 现实数据集，人类空间（HSPACE），用于复杂的合成室内和室外环境中的动画人。我们将百种不同的年龄，性别，比例和种族相结合，以及数百个动作和场景，以及身体形状的参数变化（总共1,600种不同的人类），以产生初始数据集超过100万帧。人类的动画是通过拟合表达的人体模型，以单身扫描人们来获得，其次是新的重新定位和定位程序，支持穿着人的人类的现实动画，身体比例的统计变化，以及联合一致的场景放置多个移动的人。资产在规模上自动生成，并与现有的实时渲染和游戏引擎兼容。具有评估服务器的数据集将可用于研究。我们的大规模分析了合成数据的影响，与实际数据和弱监管有关，强调了持续质量改进和限制了这种实际设置，与模型容量增加的实际设定的相当大的潜力。

Segmenting humans in 3D indoor scenes has become increasingly important with the rise of human-centered robotics and AR/VR applications. In this direction, we explore the tasks of 3D human semantic-, instance- and multi-human body-part segmentation. Few works have attempted to directly segment humans in point clouds (or depth maps), which is largely due to the lack of training data on humans interacting with 3D scenes. We address this challenge and propose a framework for synthesizing virtual humans in realistic 3D scenes. Synthetic point cloud data is attractive since the domain gap between real and synthetic depth is small compared to images. Our analysis of different training schemes using a combination of synthetic and realistic data shows that synthetic data for pre-training improves performance in a wide variety of segmentation tasks and models. We further propose the first end-to-end model for 3D multi-human body-part segmentation, called Human3D, that performs all the above segmentation tasks in a unified manner. Remarkably, Human3D even outperforms previous task-specific state-of-the-art methods. Finally, we manually annotate humans in test scenes from EgoBody to compare the proposed training schemes and segmentation models.