配对点云之间的低空区域使被捕获的特征非常自信,导致尖端模型以质量较差的云登记。除了传统的智慧之外,我们还提出了一个有趣的问题:是否有可能在两个低重叠点云之间利用中间却又错位的图像来增强尖端注册模型的性能?为了回答它,我们提出了一个被称为Imlovenet的低重叠点云对的未对准图像支持的注册网络。 Imlovenet首先学习跨不同模态的三重深特征,然后将这些特征导出到两个阶段分类器中,以逐步获得两个点云之间的高信心重叠区域。因此,软对应关系在预测的重叠区域中得到了很好的确定,从而导致了准确的刚性转换。 Imlovenet易于实现,但有效,因为1)未对准的图像为两个低重叠点云提供了更清晰的重叠信息,以更好地定位重叠零件; 2)它包含某些几何知识,以提取更好的深度特征; 3)它不需要成像设备的外部参数,相对于3D点云的参考框架。对各种基准的广泛定性和定量评估证明了我们的iMlovenet比最新方法的有效性和优越性。
translated by 谷歌翻译
3D点云的卷积经过广泛研究,但在几何深度学习中却远非完美。卷积的传统智慧在3D点之间表现出特征对应关系,这是对差的独特特征学习的内在限制。在本文中,我们提出了自适应图卷积(AGCONV),以供点云分析的广泛应用。 AGCONV根据其动态学习的功能生成自适应核。与使用固定/各向同性核的解决方案相比,AGCONV提高了点云卷积的灵活性,有效,精确地捕获了不同语义部位的点之间的不同关系。与流行的注意力体重方案不同,AGCONV实现了卷积操作内部的适应性,而不是简单地将不同的权重分配给相邻点。广泛的评估清楚地表明,我们的方法优于各种基准数据集中的点云分类和分割的最新方法。同时,AGCONV可以灵活地采用更多的点云分析方法来提高其性能。为了验证其灵活性和有效性,我们探索了基于AGCONV的完成,DeNoing,Upsmpling,注册和圆圈提取的范式,它们与竞争对手相当甚至优越。我们的代码可在https://github.com/hrzhou2/adaptconv-master上找到。
translated by 谷歌翻译
变压器架构已成为广泛的自然语言处理〜(NLP)模型的基本要素。随着大型NLP模型的趋势,增加的内存和计算成本阻碍了其在资源有限设备上的有效部署。因此,变压器量化吸引了广泛的研究兴趣。最近的工作认识到结构化的离群值是量化性能的关键瓶颈。但是,他们提出的方法增加了开销的计算,仍然将异常值留在那里。为了从根本上解决这个问题,本文深入研究了异常值的固有诱因和重要性。我们发现$ \ boldsymbol \ gamma $ in LaiserNorm(ln)充当异常值的有罪放大器,而异常值的重要性差异很大,其中一些代币提供的一些异常值覆盖了大面积,但可以牢固地夹住一个大面积,但可以将其夹住,而没有负面影响。 。在这些发现的激励下,我们提出了一个异常抑制框架,其中包括两个组成部分:伽玛迁移和象征性的剪辑。伽马迁移将异常放大器迁移到等效转换中的后续模块,从而导致更量化的模型而没有任何额外的负担。令牌的剪辑利用了令牌范围的较大差异,并设计了代币的粗到精细管道,以有效的方式获得了具有最小的最终量化损失的剪辑范围。该框架有效地抑制了异常值,可以在插件模式下使用。广泛的实验证明,我们的框架超过了现有作品,并且首次将6位训练后的BERT量化量化推向完整精确度(FP)级别。我们的代码可在https://github.com/wimh966/outlier_suppression上找到。
translated by 谷歌翻译
游戏理论运动计划者是控制多个高度交互式机器人系统的有效解决方案。大多数现有的游戏理论规划师不切实际地假设所有代理都可以使用先验的目标功能知识。为了解决这个问题,我们提出了一个容忍度的退缩水平游戏理论运动计划者,该计划者利用了与意图假设的可能性相互交流。具体而言,机器人传达其目标函数以结合意图。离散的贝叶斯过滤器旨在根据观察到的轨迹与传达意图的轨迹之间的差异来实时推断目标。在仿真中,我们考虑了三种安全至关重要的自主驾驶场景,即超车,车道交叉和交叉点,以证明我们计划者在存在通信网络中存在错误的传输情况下利用替代意图假设来产生安全轨迹的能力。
translated by 谷歌翻译
利用多模式融合,尤其是在摄像头和激光雷达之间,对于为自动驾驶汽车构建准确且健壮的3D对象检测系统已经至关重要。直到最近,点装饰方法(在该点云中都用相机功能增强,一直是该领域的主要方法。但是,这些方法无法利用来自相机的较高分辨率图像。还提出了最近将摄像头功能投射到鸟类视图(BEV)融合空间的作品,但是它们需要预计数百万像素,其中大多数仅包含背景信息。在这项工作中,我们提出了一种新颖的方法中心功能融合(CFF),其中我们利用相机和激光雷达中心的基于中心的检测网络来识别相关对象位置。然后,我们使用基于中心的检测来识别与对象位置相关的像素功能的位置,这是图像中总数的一小部分。然后将它们投射并融合在BEV框架中。在Nuscenes数据集上,我们的表现优于仅限激光雷达基线的4.9%地图,同时比其他融合方法融合了100倍。
translated by 谷歌翻译
背景:基于其可变的历史视觉记录,对青少年的球形等效物进行定量预测。方法:从2019年10月到2022年3月,我们检查了来自中国成都成都6-20岁的37,586名青少年的双眼未校正视力,轴向长度,角膜曲率和轴向75,172眼。 80 \%样品由训练集和剩余的20 \%组成测试集。时间感知的长期短期记忆被用来定量预测青少年在两年半内的球形当量。结果:球形当量的测试集的平均绝对预测误差为0.273-0.257,如果我们考虑不同的历史记录和不同的预测持续时间,则从0.189-0.160到0.596-0.473。结论:时间感知时间长的短期记忆被应用于不规则采样时间序列中的时间特征,这更符合实际数据的特征,因此具有更高的适用性,并有助于较早地识别近视的进展。总体误差0.273远小于临床上可接受预测的标准,例如0.75。
translated by 谷歌翻译
很少有射击分类需要深层神经网络才能仅从有限的培训图像中学习广义表示,这在低数据制度中很有挑战,但很重要。最近,基于剪辑的方法显示出有希望的很少的射击性能受益于对比的语言图像预训练。基于这一点,我们质疑大规模的预训练是否可以减轻少数数据的缺陷,并通过预测的知识帮助代表性学习。在本文中,我们提出了Como,这是对预培训模型的合作,该模型结合了来自各种培训范式的各种先验知识,以获得更好的几次学习。我们的科莫包括:剪辑的语言对比知识,迪诺的视力对抗性知识以及达尔 - E的语言基础知识。具体而言,科莫在两个方面工作:很少的数据扩展和多样化的知识合奏。首先,我们通过零摄影dall-e生成合成图像,以丰富少量训练数据,而无需任何人力。另一方面,我们引入了一个可学习的多知识适配器(MK-apapter),以适应剪辑和恐龙的预测。通过这种合作,COMO可以完全释放不同的预训练方法的潜力,并将其统一以进行几次分类。我们在11个数据集上进行了广泛的实验,以证明我们方法的优势和概括能力。
translated by 谷歌翻译
激光镜头和相机是两个用于自动驾驶中3D感知的互补传感器。激光点云具有准确的空间和几何信息,而RGB图像为上下文推理提供了纹理和颜色数据。为了共同利用激光雷达和相机,现有的融合方法倾向于基于校准,即一对一的映射,将每个3D点与一个投影图像像素对齐。但是,这些方法的性能高度依赖于校准质量,这对传感器的时间和空间同步敏感。因此,我们提出了一个动态的交叉注意(DCA)模块,具有新型的一对一的交叉模式映射,该模块从初始投影对邻域的最初投影中学习了多个偏移,从而发展了对校准误差的耐受性。此外,提出了A \ textIt {动态查询增强}来感知与模型无关的校准,从而进一步增强了DCA对初始未对准的耐受性。名为“动态跨注意网络”(DCAN)的整个融合体系结构利用了多级图像特征,并适应了点云的多个表示,这使DCA可以用作插件融合模块。对Nuscenes和Kitti的广泛实验证明了DCA的有效性。拟议的DCAN在Nuscenes检测挑战上优于最先进的方法。
translated by 谷歌翻译
持续学习(CL)依次学习像人类这样的新任务,其目标是实现更好的稳定性(S,记住过去的任务)和可塑性(P,适应新任务)。由于过去的培训数据不可用,因此探索培训示例中S和P的影响差异很有价值,这可能会改善对更好的SP的学习模式。受影响函数的启发(如果),我们首先研究了示例通过添加扰动来示例体重和计算影响推导的影响。为了避免在神经网络中Hessian逆的存储和计算负担,我们提出了一种简单而有效的METASP算法,以模拟IF计算中的两个关键步骤,并获得S-和P-Aware示例的影响。此外,我们建议通过解决双目标优化问题来融合两种示例影响,并获得对SP Pareto最优性的融合影响。融合影响可用于控制模型的更新并优化排练的存储。经验结果表明,我们的算法在任务和类别基准CL数据集上都显着优于最先进的方法。
translated by 谷歌翻译
尽管强化学习可以为复杂的任务取得令人印象深刻的结果,但学习的政策通常容易在下游任务中失败,甚至较小的模型不匹配或意外的扰动。最近的工作表明,具有不同行为特征的政策人群可以推广到具有各种差异的下游环境。但是,由于受过训练的政策的不受限制行为,这种政策在部署过程中的部署期间可能会导致灾难性损害。此外,培训不同的策略而不对行为进行调节的策略可能导致不足的政策,以推断出具有动态变化的广泛测试条件。在这项工作中,我们旨在根据行为模式的正规化培训各种政策。我们通过观察环境中的反向动态来激励我们的范式,并提出了通过调节行为进行调节的多样性(DIR)培训各种政策,以发现受益的概括的所需模式。对不同环境的各种变化的大量经验结果表明,我们的方法比其他多样性驱动的对应物取得了改进。
translated by 谷歌翻译