尽管基于深度学习的单眼行人检测方法取得了长足的进步，但它们仍然容易受到沉重的阻塞。使用多视图信息融合是一个潜在的解决方案，但由于缺乏注释的培训样本，因此应用程序有限，因此可以增加过度拟合的风险。为了解决这个问题，提出了一种数据增强方法，以随机生成3D圆柱体阻塞的地面平面，该缸的平均规模是行人的平均大小，并预测了多种视图，以减轻训练过度拟合的影响。此外，每个视图的特征映射都通过使用同符，将每个视图的特征图投影到不同高度的多个平行平面，这使CNN可以充分利用每个行人高度上的特征来推断地面上的行人位置。与最先进的基于深度学习的方法相比，提出的3Drom方法具有大大提高的性能。

改进的多视图聚合是多视图行人检测不可或缺的一部分，该检测旨在从通过一组校准摄像机捕获的图像中获得鸟类视图的行人占用图。受到深度神经网络的关注模块成功的启发，我们首先提出了一个同构型注意模块（HAM），该模块通过利用新颖的通道门和空间门来提高现有端到端多视图检测方法的性能。此外，我们提出了Booster-Shot，这是一种端到端的卷积方法，用于纳入我们所提出的HAM以及先前方法的元素，例如视图增强或堆叠的固有变换。在Wildtrack和Multiviewx上，Moda的助推器射击分别达到92.9％和94.2％，在Wildtrack上的表现优于最先进的1.4％，在Multiviewx上，胜过0.5％多视图行人检测中使用的指标。

多视图检测（MVD）对于拥挤环境中的遮挡推理非常有效。虽然最近使用深度学习的作品在该领域取得了重大进展，但它们已经忽略了泛化方面，这使得它们\ emph {现实世界部署不切实际。我们工作的关键新颖性是\ emph {形式化}三种临界形式的普遍化和\ emph {建议实验来评估它们}：泛化与i）不同数量的相机，ii）变化的相机位置，最后，iii）到新场景。我们发现现有的最先进的模型通过对单个场景和相机配置过度提供了较差的概括。为了解决问题：（a）我们提出了一种新颖的通用MVD（GMVD）数据集，同时使用变化的日间，相机配置，不同数量的相机以及（B）来吸收多样化的场景，以及（B）我们讨论了对MVD带来概括的属性并提出一个鞍座模型融合它们。我们在WildTrack，MultiviewX和GMVD数据集上执行一套全面的实验，以激励评估MVD方法的概括能力，并证明所提出的方法的功效。可以在\ url {https：github.com/jeetv/gmvd}中找到代码和建议的数据集

Multiview检测使用多个校准摄像机，并具有重叠的视野来定位遮挡的行人。在该领域，现有方法通常采用``人类建模 - 聚合''策略。为了找到强大的行人表示，有些人直观地使用检测到的2D边界框的位置，而另一些则使用投影到地面上的整个框架功能。但是，前者不考虑人类的外表，并导致许多歧义，而后者由于缺乏人类躯干和头部的准确高度而遭受投影错误。在本文中，我们提出了一种基于人类点云建模的新行人代表方案。具体而言，使用射线跟踪进行整体人类深度估计，我们将行人建模为直立的，薄的纸板点云。然后，我们通过多个视图汇总了行人纸板的点云以进行最终决定。与现有表示形式相比，提出的方法明确利用人类的外观并通过相对准确的高度估计大大减少投影误差。在两个标准评估基准上，提出的方法取得了非常具竞争力的结果。

多视图检测包含多个相机视图，以减轻拥挤的场景中的闭塞，最先进的方法采用单独的转换来将多视图功能投影到地面平面。然而，我们发现这些2D变换不考虑物体的高度，并且这种疏忽沿着相同对象的垂直方向的忽略特征可能不会投影到相同的接地平面上，导致不纯的接地平面特征。为了解决这个问题，我们提出了VFA，Voxized 3D特征聚合，用于多视图检测中的功能转换和聚合。具体而言，我们将3D空间体制出来，将体素投影到每个相机视图上，并将2D功能与这些投影的体素相关联。这允许我们沿相同的垂直线识别然后聚合2D特征，在很大程度上减轻投影失真。此外，由于不同种类的物体（人与牛）在地面上具有不同的形状，因此我们引入了定向的高斯编码以匹配这种形状，从而提高准确性和效率。我们对多视图2D检测和多视图3D检测问题进行实验。结果四个数据集（包括新引入的Multiviewc数据集）表明，与最先进的方法相比，我们的系统与最有竞争力。 ％我们的代码和数据将是开放的.code和multiviewc在https://github.com/robert-mar/vfa发布。

Pedestrian detection in the wild remains a challenging problem especially when the scene contains significant occlusion and/or low resolution of the pedestrians to be detected. Existing methods are unable to adapt to these difficult cases while maintaining acceptable performance. In this paper we propose a novel feature learning model, referred to as CircleNet, to achieve feature adaptation by mimicking the process humans looking at low resolution and occluded objects: focusing on it again, at a finer scale, if the object can not be identified clearly for the first time. CircleNet is implemented as a set of feature pyramids and uses weight sharing path augmentation for better feature fusion. It targets at reciprocating feature adaptation and iterative object detection using multiple top-down and bottom-up pathways. To take full advantage of the feature adaptation capability in CircleNet, we design an instance decomposition training strategy to focus on detecting pedestrian instances of various resolutions and different occlusion levels in each cycle. Specifically, CircleNet implements feature ensemble with the idea of hard negative boosting in an end-to-end manner. Experiments on two pedestrian detection datasets, Caltech and CityPersons, show that CircleNet improves the performance of occluded and low-resolution pedestrians with significant margins while maintaining good performance on normal instances.

尽管基于体素的方法已经获得了来自多摄像头的多人3D姿势估计的有希望的结果，但它们具有沉重的计算负担，尤其是对于大型场景。我们提出了更快的素素，以通过将特征体积重新投影到三个二维坐标平面并分别估算x，y，z坐标来解决挑战。为此，我们首先通过分别基于投影到XY平面和Z轴的体积功能来估算2D框及其高度，首先通过一个3D边界框来定位每个人。然后，对于每个人，我们分别估算三个坐标平面的部分关节坐标，然后将其融合以获得最终的3D姿势。该方法不含昂贵的3D-CNN，并将其素的速度提高了十倍，同时作为最先进的方法的竞争精度，证明了其在实时应用中的潜力。

Estimating 6D poses of objects from images is an important problem in various applications such as robot manipulation and virtual reality. While direct regression of images to object poses has limited accuracy, matching rendered images of an object against the input image can produce accurate results. In this work, we propose a novel deep neural network for 6D pose matching named DeepIM. Given an initial pose estimation, our network is able to iteratively refine the pose by matching the rendered image against the observed image. The network is trained to predict a relative pose transformation using a disentangled representation of 3D location and 3D orientation and an iterative training process. Experiments on two commonly used benchmarks for 6D pose estimation demonstrate that DeepIM achieves large improvements over stateof-the-art methods. We furthermore show that DeepIM is able to match previously unseen objects.

近年来，自主驾驶LIDAR数据的3D对象检测一直在迈出卓越的进展。在最先进的方法中，已经证明了将点云进行编码为鸟瞰图（BEV）是有效且有效的。与透视图不同，BEV在物体之间保留丰富的空间和距离信息;虽然在BEV中相同类型的更远物体不会较小，但它们包含稀疏点云特征。这一事实使用共享卷积神经网络削弱了BEV特征提取。为了解决这一挑战，我们提出了范围感知注意网络（RAANET），提取更强大的BEV功能并产生卓越的3D对象检测。范围感知的注意力（RAA）卷曲显着改善了近距离的特征提取。此外，我们提出了一种新的辅助损耗，用于密度估计，以进一步增强覆盖物体的Raanet的检测精度。值得注意的是，我们提出的RAA卷积轻量级，并兼容，以集成到用于BEV检测的任何CNN架构中。 Nuscenes DataSet上的广泛实验表明，我们的提出方法优于基于LIDAR的3D对象检测的最先进的方法，具有16 Hz的实时推断速度，为LITE版本为22 Hz。该代码在匿名GitHub存储库HTTPS://github.com/Anonymous0522 / ange上公开提供。

物体检测通常需要在现代深度学习方法中基于传统或锚盒的滑动窗口分类器。但是，这些方法中的任何一个都需要框中的繁琐配置。在本文中，我们提供了一种新的透视图，其中检测对象被激励为高电平语义特征检测任务。与边缘，角落，斑点和其他特征探测器一样，所提出的探测器扫描到全部图像的特征点，卷积自然适合该特征点。但是，与这些传统的低级功能不同，所提出的探测器用于更高级别的抽象，即我们正在寻找有物体的中心点，而现代深层模型已经能够具有如此高级别的语义抽象。除了Blob检测之外，我们还预测了中心点的尺度，这也是直接的卷积。因此，在本文中，通过卷积简化了行人和面部检测作为直接的中心和规模预测任务。这样，所提出的方法享有一个无盒设置。虽然结构简单，但它对几个具有挑战性的基准呈现竞争准确性，包括行人检测和面部检测。此外，执行交叉数据集评估，证明所提出的方法的卓越泛化能力。可以访问代码和模型（https://github.com/liuwei16/csp和https://github.com/hasanirtiza/pedestron）。

Crowd counting plays an important role in risk perception and early warning, traffic control and scene statistical analysis. The challenges of crowd counting in highly dense and complex scenes lie in the mutual occlusion of the human body parts, the large variation of the body scales and the complexity of imaging conditions. Deep learning based head detection is a promising method for crowd counting. However the highly concerned object detection networks cannot be well applied to this field for two main reasons. First, most of the existing head detection datasets are only annotated with the center points instead of bounding boxes which is mandatory for the canonical detectors. Second, the sample imbalance has not been overcome yet in highly dense and complex scenes because the existing loss functions calculate the positive loss at a single key point or in the entire target area with the same weight. To address these problems, We propose a novel loss function, called Mask Focal Loss, to unify the loss functions based on heatmap ground truth (GT) and binary feature map GT. Mask Focal Loss redefines the weight of the loss contributions according to the situ value of the heatmap with a Gaussian kernel. For better evaluation and comparison, a new synthetic dataset GTA\_Head is made public, including 35 sequences, 5096 images and 1732043 head labels with bounding boxes. Experimental results show the overwhelming performance and demonstrate that our proposed Mask Focal Loss is applicable to all of the canonical detectors and to various datasets with different GT. This provides a strong basis for surpassing the crowd counting methods based on density estimation.

两阶段探测器在物体检测和行人检测中是最新的。但是，当前的两个阶段探测器效率低下，因为它们在多个步骤中进行边界回归，即在区域提案网络和边界框头中进行回归。此外，基于锚的区域提案网络在计算上的训练价格很高。我们提出了F2DNET，这是一种新型的两阶段检测体系结构，通过使用我们的焦点检测网络和边界框以我们的快速抑制头替换区域建议网络，从而消除了当前两阶段检测器的冗余。我们在顶级行人检测数据集上进行基准F2DNET，将其与现有的最新检测器进行彻底比较，并进行交叉数据集评估，以测试我们模型对未见数据的普遍性。我们的F2DNET在城市人员，加州理工学院行人和欧元城市人数据集中分别获得8.7 \％，2.2 \％和6.1 \％MR-2，分别在单个数据集上进行培训并达到20.4 \％\％\％和26.2 \％MR-2。使用渐进式微调时，加州理工学院行人和城市人员数据集的重型闭塞设置。此外，与当前的最新时间相比，F2DNET的推理时间明显较小。代码和训练有素的模型将在https://github.com/abdulhannankhan/f2dnet上找到。

与周围摄像机的3D对象检测是自动驾驶的有希望的方向。在本文中，我们提出了Simmod，这是用于解决问题的多相对象检测的简单基线。为了合并多视图信息，并基于以前对单眼3D对象检测的努力，该框架建立在样本的对象建议基础上，并旨在以两阶段的方式工作。首先，我们提取多尺度特征，并在每个单眼图像上生成透视对象建议。其次，多视图提案进行了汇总，然后在DETR3D式中使用多视图和多尺度视觉特征进行迭代完善。精制的提案被端到端解码为检测结果。为了进一步提高性能，我们将辅助分支与提案生成并列以增强特征学习。此外，我们设计了目标过滤和教师强迫的方法，以促进两阶段训练的一致性。我们对Nuscenes的3D对象检测基准进行了广泛的实验，以证明Simmod的有效性并实现新的最新性能。代码将在https://github.com/zhangyp15/simmod上找到。

Pedestrian detection in the wild remains a challenging problem especially for scenes containing serious occlusion. In this paper, we propose a novel feature learning method in the deep learning framework, referred to as Feature Calibration Network (FC-Net), to adaptively detect pedestrians under various occlusions. FC-Net is based on the observation that the visible parts of pedestrians are selective and decisive for detection, and is implemented as a self-paced feature learning framework with a self-activation (SA) module and a feature calibration (FC) module. In a new self-activated manner, FC-Net learns features which highlight the visible parts and suppress the occluded parts of pedestrians. The SA module estimates pedestrian activation maps by reusing classifier weights, without any additional parameter involved, therefore resulting in an extremely parsimony model to reinforce the semantics of features, while the FC module calibrates the convolutional features for adaptive pedestrian representation in both pixel-wise and region-based ways. Experiments on CityPersons and Caltech datasets demonstrate that FC-Net improves detection performance on occluded pedestrians up to 10% while maintaining excellent performance on non-occluded instances.

Figure 1: Results obtained from our single image, monocular 3D object detection network MonoDIS on a KITTI3D test image with corresponding birds-eye view, showing its ability to estimate size and orientation of objects at different scales.

In this paper, we introduce Random Erasing, a new data augmentation method for training the convolutional neural network (CNN). In training, Random Erasing randomly selects a rectangle region in an image and erases its pixels with random values. In this process, training images with various levels of occlusion are generated, which reduces the risk of over-fitting and makes the model robust to occlusion. Random Erasing is parameter learning free, easy to implement, and can be integrated with most of the CNN-based recognition models. Albeit simple, Random Erasing is complementary to commonly used data augmentation techniques such as random cropping and flipping, and yields consistent improvement over strong baselines in image classification, object detection and person reidentification. Code is available at: https://github. com/zhunzhong07/Random-Erasing.

行人检测是自主驱动系统中最关键的模块。虽然相机通常用于此目的，但其质量严重降低了低光夜间驾驶场景。另一方面，热摄像机图像的质量在类似条件下保持不受影响。本文采用RGB和热图像提出了一种用于行人检测的端到端多峰融合模型。其新颖的时空深度网络架构能够有效利用多模式输入。它由两个不同的可变形ResNext-50编码器组成，用于来自两个方式的特征提取。这两个编码特征的融合发生在由几个图形关注网络和特征融合单元组成的多模式特征嵌入模块（MUFEM）内部。随后将MUFEM的最后一个特征融合单元的输出传递给两个CRF的空间细化。通过在四个不同方向横穿四个RNN的帮助下，通过应用渠道明智的关注和提取上下文信息来实现特征的进一步提高。最后，单级解码器使用这些特征映射来生成每个行人和分数图的边界框。我们在三个公开可用的多模式行人检测基准数据集，即Kaist，CVC-14和Utokyo上进行了广泛的框架实验。每个每个结果都改善了各种最先进的性能。在https://youtu.be/fdjdsifuucs，可以看到一个简短的视频以及其定性结果的概述。我们的源代码将在发布论文时发布。

单眼3D对象检测旨在将3D边界框本地化在输入单个2D图像中。这是一个非常具有挑战性的问题并且仍然是开放的，特别是当没有额外的信息时（例如，深度，激光雷达和/或多帧）可以利用训练和/或推理。本文提出了一种对单眼3D对象检测的简单而有效的配方，而无需利用任何额外信息。它介绍了从训练中学习单眼背景的单片方法，以帮助单目3D对象检测。关键的想法是，通过图像中的对象的注释3D边界框，在训练中有一个丰富的良好的投影2D监控信号，例如投影的角键点及其相关联的偏移向量相对于中心在2D边界框中，应该被开发为培训中的辅助任务。拟议的单一的单一的机动在衡量标准理论中的克拉默 - Wold定理在高水平下。在实施中，它利用非常简单的端到端设计来证明学习辅助单眼环境的有效性，它由三个组成组成：基于深度神经网络（DNN）的特征骨干，一些回归头部分支用于学习用于3D边界框预测的基本参数，以及用于学习辅助上下文的许多回归头分支。在训练之后，丢弃辅助上下文回归分支以获得更好的推理效率。在实验中，拟议的单一组在基蒂基准（汽车，Pedestrain和骑自行车的人）中测试。它超越了汽车类别上排行榜中的所有现有技术，并在准确性方面获得了行人和骑自行车者的可比性。由于简单的设计，所提出的单控制方法在比较中获得了38.7 FP的最快推断速度

基于摄像头的3D对象探测器由于其更广泛的部署而欢迎其比LIDAR传感器较低。我们首先重新访问先前的立体声检测器DSGN，以表示代表3D几何和语义的立体音量构建方式。我们抛光立体声建模，并提出高级版本DSGN ++，旨在在三个主要方面增强整个2d到3D管道的有效信息流。首先，为了有效地将2D信息提高到立体声音量，我们提出了深度扫地（DPS），以允许较密集的连接并提取深度引导的特征。其次，为了掌握不同间距的功能，我们提出了一个新颖的立体声音量 - 双视立体声卷（DSV），该卷（DSV）集成了前视图和顶部视图功能，并重建了相机frustum中的子素深度。第三，随着前景区域在3D空间中的占主导地位，我们提出了一种多模式数据编辑策略-Stereo-lidar拷贝性 - 可确保跨模式对齐并提高数据效率。没有铃铛和哨子，在流行的Kitti基准测试中的各种模式设置中进行了广泛的实验表明，我们的方法始终优于所有类别的基于相机的3D检测器。代码可从https://github.com/chenyilun95/dsgn2获得。

室内视频中的头部检测是许多真实应用的重要组成部分。虽然深层模型在一般物体检测中取得了显着进展，但它们在复杂的室内场景中不足以满足。室内监控视频通常包括杂乱的背景对象，其中头部有小尺度和不同的姿势。在本文中，我们提出了运动感知伪暹罗网络（MPSN），一种端到端的方法，利用头部运动信息来引导深层模型来提取室内场景中的有效头特征。通过将相邻帧的像素明显差异作为辅助输入，MPSN有效地增强了人头运动信息并消除了背景中的无关物体。与现有方法相比，它在两个室内视频数据集中实现了卓越的性能。我们的实验表明，MPSN成功地抑制了静态背景对象，并突出了移动实例，尤其是室内视频中的人类头部。我们还比较不同的方法来捕获头部运动，这表明MPSN的简单性和灵活性。最后，为了验证MPSN的稳健性，我们对鲁棒模型选择的小扰动的数学解决方案进行对抗性实验。代码可在https://github.com/pl-share/mpsn获得。