Domain adaptation for Cross-LiDAR 3D detection is challenging due to the large gap on the raw data representation with disparate point densities and point arrangements. By exploring domain-invariant 3D geometric characteristics and motion patterns, we present an unsupervised domain adaptation method that overcomes above difficulties. First, we propose the Spatial Geometry Alignment module to extract similar 3D shape geometric features of the same object class to align two domains, while eliminating the effect of distinct point distributions. Second, we present Temporal Motion Alignment module to utilize motion features in sequential frames of data to match two domains. Prototypes generated from two modules are incorporated into the pseudo-label reweighting procedure and contribute to our effective self-training framework for the target domain. Extensive experiments show that our method achieves state-of-the-art performance on cross-device datasets, especially for the datasets with large gaps captured by mechanical scanning LiDARs and solid-state LiDARs in various scenes. Project homepage is at https://github.com/4DVLab/CL3D.git
translated by 谷歌翻译
预测公路参与者的未来运动对于自动驾驶至关重要，但由于令人震惊的运动不确定性，因此极具挑战性。最近，大多数运动预测方法求助于基于目标的策略，即预测运动轨迹的终点，作为回归整个轨迹的条件，以便可以减少解决方案的搜索空间。但是，准确的目标坐标很难预测和评估。此外，目的地的点表示限制了丰富的道路环境的利用，从而导致预测不准确。目标区域，即可能的目的地区域，而不是目标坐标，可以通过涉及更多的容忍度和指导来提供更软的限制，以搜索潜在的轨迹。考虑到这一点，我们提出了一个新的基于目标区域的框架，名为“目标区域网络”（GANET）进行运动预测，该框架对目标区域进行了建模，而不是确切的目标坐标作为轨迹预测的先决条件，更加可靠，更准确地执行。具体而言，我们建议一个goicrop（目标的目标区域）操作员有效地提取目标区域中的语义巷特征，并在目标区域和模型演员的未来互动中提取语义巷，这对未来的轨迹估计很大。 Ganet在所有公共文献（直到论文提交）中排名第一个，将其源代码排在第一位。
translated by 谷歌翻译
以视觉为中心的BEV感知由于其固有的优点，最近受到行业和学术界的关注，包括展示世界自然代表和融合友好。随着深度学习的快速发展，已经提出了许多方法来解决以视觉为中心的BEV感知。但是，最近没有针对这个小说和不断发展的研究领域的调查。为了刺激其未来的研究，本文对以视觉为中心的BEV感知及其扩展进行了全面调查。它收集并组织了最近的知识，并对常用算法进行了系统的综述和摘要。它还为几项BEV感知任务提供了深入的分析和比较结果，从而促进了未来作品的比较并激发了未来的研究方向。此外，还讨论了经验实现细节并证明有利于相关算法的开发。
translated by 谷歌翻译
在此技术报告中，我们提出了我们的解决方案，称为MV-FCOS3D ++，适用于Waymo Open DataSet Challenge的仅摄像头3D检测轨道2022.仅使用birde-eye-view或3D检测多视图摄像头3D检测几何表示可以利用相邻视图之间重叠区域的立体声提示，而无需手工制作的后处理即可直接执行3D检测。但是，它缺乏对2D骨架的直接语义监督，可以通过预处理简单的单眼探测器来补充。我们的解决方案是此范式之后用于4D检测的多视图框架。它是基于简单的单眼检测器FCOS3D ++构建的，仅通过Waymo的对象注释进行了预定，并将多视图功能转换为3D网格空间以检测其上的3D对象。设计了单帧理解和时间立体声匹配的双路径颈部，以结合多帧信息。我们的方法最终通过单个模型实现了49.75％的MAPL，并在WOD挑战中赢得了第二名，而在训练过程中没有任何基于激光雷达的深度监督。该代码将在https://github.com/tai-wang/depth-from-motion上发布。
translated by 谷歌翻译
最近，立体声匹配基准的记录由端到端视差网络不断破碎。但是，这些深层模型的域适应能力非常有限。解决此类问题，我们提出了一种名为ADASTEREO的新型域自适应方法，该方法旨在对准深度立体声匹配网络的多级表示。与以前的方法相比，我们的ADASTEREO实现了更标准，完整有效的域适应管道。首先，我们提出了一种用于输入图像级对准的非对抗渐进颜色传输算法。其次，我们设计一个有效的无参数成本归一化层，用于内部特征级别对齐。最后，提出了一种高效的辅助任务，自我监督的遮挡感知重建以缩小输出空间中的间隙。我们进行密集的消融研究和分解比较，以验证每个提出的模块的有效性。没有额外推断开销，只有略微增加训练复杂性，我们的Adastereo模型在多个基准上实现了最先进的跨领域性能，包括Kitti，Middrbury，Eth3D和驾驶员，甚至优于一些状态 - 与目标域的地面真相Fineetuned的差异网络。此外，基于两个额外的评估指标，从更多的观点进一步揭示了我们域 - 自适应立体声匹配管道的优越性。最后，我们证明我们的方法对各种域适配设置具有强大，并且可以轻松地集成到快速适应应用方案和现实世界部署中。
translated by 谷歌翻译
3D对象检测是各种实际应用所需的重要功能，例如驾驶员辅助系统。单眼3D检测作为基于图像的方法的代表性的常规设置，提供比依赖Lidars的传统设置更经济的解决方案，但仍然产生不令人满意的结果。本文首先提出了对这个问题的系统研究。我们观察到，目前的单目3D检测可以简化为实例深度估计问题：不准确的实例深度阻止所有其他3D属性预测改善整体检测性能。此外，最近的方法直接估计基于孤立的实例或像素的深度，同时忽略不同对象的几何关系。为此，我们在跨预测对象构建几何关系图，并使用该图来促进深度估计。随着每个实例的初步深度估计通常在这种不均匀的环境中通常不准确，我们纳入了概率表示以捕获不确定性。它提供了一个重要的指标，以确定自信的预测并进一步引导深度传播。尽管基本思想的简单性，但我们的方法，PGD对基蒂和NUSCENES基准的显着改进，尽管在所有单眼视觉的方法中实现了第1个，同时仍保持实时效率。代码和模型将在https://github.com/open-mmlab/mmdetection3d发布。
translated by 谷歌翻译
哈希（Hashing）将项目数据投入二进制代码已显示出由于其储存量低和高查询速度而显示出跨模式检索的非凡人才。尽管在某些情况下取得了经验成功，但现有的跨模式散列方法通常不存在带有大量标记信息的数据时跨模式差距跨模式差距。为了避免以分裂和纠纷策略的激励，我们提出了深层的歧管散列（DMH），这是一种新颖的方法，是将半分配的无监督的交叉模式检索分为三个子问题，并建立一个简单而又简单而又又有一个简单的方法每个子问题的效率模型。具体而言，第一个模型是通过基于多种学习的半生数据补充的半生数据来构建的，用于获得模态不变的特征，而第二个模型和第三个模型旨在分别学习哈希码和哈希功能。在三个基准上进行的广泛实验表明，与最先进的完全配对和半成本无监督的跨模式散列方法相比，我们的DMH的优势。
translated by 谷歌翻译
零射击跨模式检索（ZS-CMR）处理了来自看不见类别的异源数据之间的检索问题。通常，为了确保概括，使用自然语言处理（NLP）模型的预定义类嵌入方式用于构建公共空间。在本文中，我们考虑了一种完全不同的方法来从信息理论的角度考虑构造（或学习）通用锤击空间的完全不同的方法，而不是使用额外的NLP模型来定义公共空间。我们将模型称为信息理论哈希（ITH），该图案由两个级联模块组成：一个自适应信息聚合（AIA）模块；和语义保存编码（SPE）模块。具体而言，我们的AIA模块从相关信息的原理（PRI）中汲取灵感来构建一个共同空间，该空间可适应地汇总了不同数据模式的固有语义，并滤除了多余或无关紧要的信息。另一方面，我们的SPE模块通过保留固有语义与元素的Kullback-Leibler（KL）差异的相似性，进一步生成了不同模态的哈希代码。还施加了总相关性项，以减少哈希码不同维度之间的冗余。在三个基准数据集上进行了足够的实验，证明了ZS-CMR中提出的ITH的优势。源代码在补充材料中可用。
translated by 谷歌翻译
聚类尝试将数据实例分为几个独特的组，而属于共同分区的数据之间的相似性可以保留。此外，在许多Realworld应用中经常发生不完整数据，并对模式分析产生不良影响。结果，开发了数据插补和处理的特定解决方案是为了进行数据的缺失值，而知识开发的独立阶段被吸收以了解信息理解。在这项工作中，提出了一种新颖的方法，用于群集的不完整数据（称为可浸出的成分聚类）。所提出的方法不是现有方法，而是处理贝叶斯对齐的数据插补，并收集理论中的丢失模式。由于方程式的简单数字计算，在保持计算效率的同时，提出的方法可以学习优化分区。几个人工不完整数据集的实验表明，与其他最先进的算法相比，所提出的方法能够呈现出色的性能。
translated by 谷歌翻译
零射击学习（ZSL）通过将语义知识转移到看不见者的语义知识来解决新的类识别问题。通过单独使用单向关注，现有的基于关注的模型在单个图像中努力学习劣势区域特征，这忽略了视觉特征的可转换性和辨别属性定位。在本文中，我们提出了一个跨属性引导的变换器网络，称为Transzero ++，以改进可视化功能，并学习精确的属性本地化，用于ZSL中的语义增强的可视嵌入表示。 Transzero ++由Attribute $ \ LightArrow $ Visual Transformer子网（AVT）和Visual $ \ LightArrow $属性变压器子网（增值税）组成。具体而言，AVT首先采用功能增强编码器来缓解交叉数据集问题，并通过减少区域特征之间的缠绕的相对几何关系来提高视觉特征的可转换性。然后，使用属性$ \ lightArrow $可视解码器来本地化与基于属性的可视特征表示的给定图像中的每个属性最相关的图像区域。类似地，VAT使用类似的功能增强编码器来改进视觉功能，这些功能进一步应用于Visual $ \ lightarrow $属性解码器，以学习基于Visual-基的属性功能。通过进一步引入语义协作损失，两个属性引导的变压器通过语义协作学习互相教导学习语义增强的视觉嵌入。广泛的实验表明，Transzero ++在三个挑战ZSL基准上实现了新的最先进的结果。该代码可用于：\ url {https://github.com/shiming-chen/transzero_pp}。
translated by 谷歌翻译