Recently, unsupervised domain adaptation in satellite pose estimation has gained increasing attention, aiming at alleviating the annotation cost for training deep models. To this end, we propose a self-training framework based on the domain-agnostic geometrical constraints. Specifically, we train a neural network to predict the 2D keypoints of a satellite and then use PnP to estimate the pose. The poses of target samples are regarded as latent variables to formulate the task as a minimization problem. Furthermore, we leverage fine-grained segmentation to tackle the information loss issue caused by abstracting the satellite as sparse keypoints. Finally, we iteratively solve the minimization problem in two steps: pseudo-label generation and network training. Experimental results show that our method adapts well to the target domain. Moreover, our method won the 1st place on the sunlamp task of the second international Satellite Pose Estimation Competition.
translated by 谷歌翻译
空间红外的小型船舶检测旨在将小型船只与轨道轨道捕获的图像分开。由于图像覆盖面积极大（例如，数千平方公里），这些图像中的候选目标比空中基于天线和陆基成像设备观察到的目标要小得多，二聚体，更可变。现有的简短成像基于距离的红外数据集和目标检测方法不能很好地用于空间监视任务。为了解决这些问题，我们开发了一个空间红外的小型船舶检测数据集（即Nudt-Sirst-Sea），该数据集具有48个空间基红外图像和17598像素级的小型船上注释。每个图像覆盖约10000平方公里的面积，带有10000x10000像素。考虑到这些充满挑战的场景，考虑到这些微小的船只的极端特征（例如，小，昏暗，可变的），我们在本文中提出了多层Transunet（MTU-NET）。具体而言，我们设计了视觉变压器（VIT）卷积神经网络（CNN）混合编码器来提取多层次特征。首先将局部特征图用几个卷积层提取，然后馈入多级特征提取模块（MVTM）以捕获长距离依赖性。我们进一步提出了一种拷贝性衡量量 - 帕斯特（CRRP）数据增强方法，以加速训练阶段，从而有效地减轻了目标和背景之间样本不平衡问题的问题。此外，我们设计了一个焦点损失，以实现目标定位和形状描述。 NUDT-SIRST-SEA数据集的实验结果表明，就检测概率，错误警报率和联合交集的交集而言，我们的MTU-NET优于传统和现有的基于深度学习的SIRST方法。
translated by 谷歌翻译
近年来，在光场（LF）图像超分辨率（SR）中，深度神经网络（DNN）的巨大进展。但是，现有的基于DNN的LF图像SR方法是在单个固定降解（例如，双学的下采样）上开发的，因此不能应用于具有不同降解的超级溶解实际LF图像。在本文中，我们提出了第一种处理具有多个降解的LF图像SR的方法。在我们的方法中，开发了一个实用的LF降解模型，以近似于真实LF图像的降解过程。然后，降解自适应网络（LF-DANET）旨在将降解之前纳入SR过程。通过对具有多种合成降解的LF图像进行训练，我们的方法可以学会适应不同的降解，同时结合了空间和角度信息。对合成降解和现实世界LFS的广泛实验证明了我们方法的有效性。与现有的最新单一和LF图像SR方法相比，我们的方法在广泛的降解范围内实现了出色的SR性能，并且可以更好地推广到真实的LF图像。代码和模型可在https://github.com/yingqianwang/lf-danet上找到。
translated by 谷歌翻译
光场（LF）摄像机记录了光线的强度和方向，并将3D场景编码为4D LF图像。最近，为各种LF图像处理任务提出了许多卷积神经网络（CNN）。但是，CNN有效地处理LF图像是一项挑战，因为空间和角度信息与不同的差异高度缠绕。在本文中，我们提出了一种通用机制，以将这些耦合信息解开以进行LF图像处理。具体而言，我们首先设计了一类特定领域的卷积，以将LFS与不同的维度解开，然后通过设计特定于任务的模块来利用这些分离的功能。我们的解开机制可以在事先之前很好地纳入LF结构，并有效处理4D LF数据。基于提出的机制，我们开发了三个网络（即distgssr，distgasr和Distgdisp），用于空间超分辨率，角度超分辨率和差异估计。实验结果表明，我们的网络在所有这三个任务上都实现了最先进的性能，这表明了我们解散机制的有效性，效率和一般性。项目页面：https：//yingqianwang.github.io/distglf/。
translated by 谷歌翻译
从非结构化的3D点云学习密集点语义，虽然是一个逼真的问题，但在文献中探讨了逼真的问题。虽然现有的弱监督方法可以仅具有小数点的点级注释来有效地学习语义，但我们发现香草边界箱级注释也是大规模3D点云的语义分割信息。在本文中，我们介绍了一个神经结构，称为Box2Seg，以了解3D点云的点级语义，具有边界盒级监控。我们方法的关键是通过探索每个边界框内和外部的几何和拓扑结构来生成准确的伪标签。具体地，利用基于注意的自我训练（AST）技术和点类激活映射（PCAM）来估计伪标签。通过伪标签进行进一步培训并精制网络。在两个大型基准测试中的实验，包括S3DIS和Scannet，证明了该方法的竞争性能。特别是，所提出的网络可以培训，甚至是均匀的空缺边界箱级注释和子环级标签。
translated by 谷歌翻译
弱监督学习可以帮助本地特征方法来克服以密集标记的对应关系获取大规模数据集的障碍。然而，由于弱监管无法区分检测和描述步骤造成的损失，因此直接在联合描述 - 然后检测管道内进行弱监督的学习，其性能受到限制。在本文中，我们提出了一种针对弱监督当地特征学习量身定制的解耦描述的管道。在我们的管道内，检测步骤与描述步骤分离并推迟直到学习判别和鲁棒描述符。此外，我们介绍了一条线到窗口搜索策略，以明确地使用相机姿势信息以获得更好的描述符学习。广泛的实验表明，我们的方法，即POSFEAT（相机姿势监督特征），以前完全和弱监督的方法优异，在各种下游任务上实现了最先进的性能。
translated by 谷歌翻译
卫星摄像机可以为大型区域提供连续观察，这对于许多遥感应用很重要。然而，由于对象的外观信息不足和缺乏高质量数据集，在卫星视频中实现移动对象检测和跟踪仍然具有挑战性。在本文中，我们首先构建一个具有丰富注释的大型卫星视频数据集，用于移动对象检测和跟踪的任务。该数据集由Jilin-1卫星星座收集，并由47个高质量视频组成，对象检测有1,646,038兴趣的情况和用于对象跟踪的3,711个轨迹。然后，我们引入运动建模基线，以提高检测速率并基于累积多帧差异和鲁棒矩阵完成来减少误报。最后，我们建立了第一个用于在卫星视频中移动对象检测和跟踪的公共基准，并广泛地评估在我们数据集上几种代表方法的性能。还提供了综合实验分析和富有魅力的结论。数据集可在https://github.com/qingyonghu/viso提供。
translated by 谷歌翻译
单帧红外小目标（SIRST）检测旨在将小目标与混乱背景区分开。随着深度学习的发展，基于CNN的方法由于其强大的建模能力而在通用对象检测中产生了有希望的结果。但是，现有的基于CNN的方法不能直接应用于红外小目标，因为其网络中的汇总层可能导致深层中的目标损失。为了解决这个问题，我们在本文中提出了一个密集的嵌套注意网络（DNANET）。具体而言，我们设计了一个密集的嵌套交互模块（DNIM），以实现高级和低级特征之间的渐进互动。随着DNIM中的重复相互作用，可以保持深层中的红外小目标。基于DNIM，我们进一步提出了一个级联的通道和空间注意模块（CSAM），以适应增强多级特征。借助我们的DNANET，可以通过重复的融合和增强来充分整合和充分利用小型目标的上下文信息。此外，我们开发了一个红外的小目标数据集（即nudt-sirst），并提出了一组评估指标来进行全面的绩效评估。对公众和我们自我开发的数据集进行的实验证明了我们方法的有效性。与其他最先进的方法相比，我们的方法在检测概率（PD），假警报率（FA）和联合交集（IOU）方面取得了更好的性能。
translated by 谷歌翻译
图表神经网络（GNNS）最近在人工智能（AI）领域的普及，这是由于它们作为输入数据相对非结构化数据类型的独特能力。尽管GNN架构的一些元素在概念上类似于传统神经网络（以及神经网络变体）的操作中，但是其他元件代表了传统深度学习技术的偏离。本教程通过整理和呈现有关GNN最常见和性能变种的动机，概念，数学和应用的细节，将GNN的权力和新颖性暴露给AI从业者。重要的是，我们简明扼要地向实际示例提出了本教程，从而为GNN的主题提供了实用和可访问的教程。
translated by 谷歌翻译
Point cloud learning has lately attracted increasing attention due to its wide applications in many areas, such as computer vision, autonomous driving, and robotics. As a dominating technique in AI, deep learning has been successfully used to solve various 2D vision problems. However, deep learning on point clouds is still in its infancy due to the unique challenges faced by the processing of point clouds with deep neural networks. Recently, deep learning on point clouds has become even thriving, with numerous methods being proposed to address different problems in this area. To stimulate future research, this paper presents a comprehensive review of recent progress in deep learning methods for point clouds. It covers three major tasks, including 3D shape classification, 3D object detection and tracking, and 3D point cloud segmentation. It also presents comparative results on several publicly available datasets, together with insightful observations and inspiring future research directions.
translated by 谷歌翻译