Performing 3D dense captioning and visual grounding requires a common and shared understanding of the underlying multimodal relationships. However, despite some previous attempts on connecting these two related tasks with highly task-specific neural modules, it remains understudied how to explicitly depict their shared nature to learn them simultaneously. In this work, we propose UniT3D, a simple yet effective fully unified transformer-based architecture for jointly solving 3D visual grounding and dense captioning. UniT3D enables learning a strong multimodal representation across the two tasks through a supervised joint pre-training scheme with bidirectional and seq-to-seq objectives. With a generic architecture design, UniT3D allows expanding the pre-training scope to more various training sources such as the synthesized data from 2D prior knowledge to benefit 3D vision-language tasks. Extensive experiments and analysis demonstrate that UniT3D obtains significant gains for 3D dense captioning and visual grounding.

我们介绍了一个新颖的联合学习框架FedD3，该框架减少了整体沟通量，并开放了联合学习的概念，从而在网络受限的环境中进行了更多的应用程序场景。它通过利用本地数据集蒸馏而不是传统的学习方法（i）大大减少沟通量，并（ii）将转移限制为一击通信，而不是迭代的多路交流来实现这一目标。 FedD3允许连接的客户独立提炼本地数据集，然后汇总那些去中心化的蒸馏数据集（通常以几个无法识别的图像，通常小于模型小于模型），而不是像其他联合学习方法共享模型更新，而是允许连接的客户独立提炼本地数据集。在整个网络上仅一次形成最终模型。我们的实验结果表明，FedD3在所需的沟通量方面显着优于其他联合学习框架，同时，根据使用情况或目标数据集，它为能够在准确性和沟通成本之间的权衡平衡。例如，要在具有10个客户的非IID CIFAR-10数据集上训练Alexnet模型，FedD3可以通过相似的通信量增加准确性超过71％，或者节省98％的通信量，同时达到相同的准确性与其他联合学习方法相比。

最近关于3D密集标题和视觉接地的研究取得了令人印象深刻的结果。尽管这两个方面都有发展，但可用的3D视觉语言数据的有限量导致3D视觉接地和3D密度标题方法的过度问题。此外，尚未完全研究如何辨别地描述复杂3D环境中的对象。为了解决这些挑战，我们呈现D3Net，即最终的神经扬声器 - 侦听器架构，可以检测，描述和辨别。我们的D3Net以自我批评方式统一3D密集的标题和视觉接地。D3Net的这种自我关键性质还引入了对象标题生成过程中的可怜性，并且可以通过部分注释的描述启用对Scannet数据的半监督培训。我们的方法在扫描带数据集的两个任务中优于SOTA方法，超越了SOTA 3D密度标题方法，通过显着的余量（23.56％的填充剂@ 0.5iou改进）。

Although weakly-supervised techniques can reduce the labeling effort, it is unclear whether a saliency model trained with weakly-supervised data (e.g., point annotation) can achieve the equivalent performance of its fully-supervised version. This paper attempts to answer this unexplored question by proving a hypothesis: there is a point-labeled dataset where saliency models trained on it can achieve equivalent performance when trained on the densely annotated dataset. To prove this conjecture, we proposed a novel yet effective adversarial trajectory-ensemble active learning (ATAL). Our contributions are three-fold: 1) Our proposed adversarial attack triggering uncertainty can conquer the overconfidence of existing active learning methods and accurately locate these uncertain pixels. {2)} Our proposed trajectory-ensemble uncertainty estimation method maintains the advantages of the ensemble networks while significantly reducing the computational cost. {3)} Our proposed relationship-aware diversity sampling algorithm can conquer oversampling while boosting performance. Experimental results show that our ATAL can find such a point-labeled dataset, where a saliency model trained on it obtained $97\%$ -- $99\%$ performance of its fully-supervised version with only ten annotated points per image.

Various depth estimation models are now widely used on many mobile and IoT devices for image segmentation, bokeh effect rendering, object tracking and many other mobile tasks. Thus, it is very crucial to have efficient and accurate depth estimation models that can run fast on low-power mobile chipsets. In this Mobile AI challenge, the target was to develop deep learning-based single image depth estimation solutions that can show a real-time performance on IoT platforms and smartphones. For this, the participants used a large-scale RGB-to-depth dataset that was collected with the ZED stereo camera capable to generated depth maps for objects located at up to 50 meters. The runtime of all models was evaluated on the Raspberry Pi 4 platform, where the developed solutions were able to generate VGA resolution depth maps at up to 27 FPS while achieving high fidelity results. All models developed in the challenge are also compatible with any Android or Linux-based mobile devices, their detailed description is provided in this paper.

In RGB-D based 6D pose estimation, direct regression approaches can directly predict the 3D rotation and translation from RGB-D data, allowing for quick deployment and efficient inference. However, directly regressing the absolute translation of the pose suffers from diverse object translation distribution between the training and testing datasets, which is usually caused by the diversity of pose distribution of objects in 3D physical space. To this end, we generalize the pin-hole camera projection model to a residual-based projection model and propose the projective residual regression (Res6D) mechanism. Given a reference point for each object in an RGB-D image, Res6D not only reduces the distribution gap and shrinks the regression target to a small range by regressing the residual between the target and the reference point, but also aligns its output residual and its input to follow the projection equation between the 2D plane and 3D space. By plugging Res6D into the latest direct regression methods, we achieve state-of-the-art overall results on datasets including Occlusion LineMOD (ADD(S): 79.7%), LineMOD (ADD(S): 99.5%), and YCB-Video datasets (AUC of ADD(S): 95.4%).

基于视频的人重新识别（REID）旨在识别多个非重叠摄像机的给定的行人视频序列。为了汇总视频样本的时间和空间特征，引入了图神经网络（GNN）。但是，现有的基于图的模型（例如STGCN）在节点功能上执行\ textIt {mean}/\ textit {max boming}以获取图表表示，该图表忽略了图形拓扑和节点的重要性。在本文中，我们建议图形池网络（GPNET）学习视频检索的多粒度图表示，其中实现了\ textit {Graph boming layer}，以简化图形。我们首先构建了一个多粒图，其节点特征表示由骨架学到的图像嵌入，并且在颞和欧几里得邻域节点之间建立了边缘。然后，我们实现多个图形卷积层以在图上执行邻域聚集。为了下图，我们提出了一个多头全注意图池（MHFAPOOL）层，该图集合了现有节点群集和节点选择池的优势。具体而言，MHFAPOOL将全部注意矩阵的主要特征向量作为聚合系数涉及每个汇总节点中的全局图信息。广泛的实验表明，我们的GPNET在四个广泛使用的数据集（即火星，dukemtmc-veneoreid，ilids-vid and Prid-2011）上实现了竞争结果。

现有的基于视频的人重新识别（REID）的方法主要通过功能提取器和功能聚合器来了解给定行人的外观特征。但是，当不同的行人外观相似时，外观模型将失败。考虑到不同的行人具有不同的步行姿势和身体比例，我们建议学习视频检索的外观功能之外的歧视性姿势功能。具体而言，我们实现了一个两分支的体系结构，以单独学习外观功能和姿势功能，然后将它们串联在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测到每个框架中的行人姿势，并使用姿势序列构建时间图。然后，我们利用复发图卷积网络（RGCN）来学习时间姿势图的节点嵌入，该姿势图设计了一种全局信息传播机制，以同时实现框内节点的邻域聚集，并在框架间图之间传递消息。最后，我们提出了一种由节点注意和时间注意的双重意见方法，以从节点嵌入中获得时间图表示，其中采用自我注意机制来了解每个节点和每个帧的重要性。我们在三个基于视频的REID数据集（即火星，Dukemtmc和Ilids-Vid）上验证了所提出的方法，其实验结果表明，学习的姿势功能可以有效地改善现有外观模型的性能。

基于模型的步态识别方法通常采用行人步行姿势来识别人类。但是，由于摄像头视图的改变，现有方法并未明确解决人类姿势的较大阶层差异。在本文中，我们建议通过通过低UPPER生成的对抗网络（Lugan）学习全级转换矩阵来为每个单视姿势样本生成多视图姿势序列。通过摄像机成像的先验，我们得出的是，跨视图之间的空间坐标满足了全级矩阵的线性转换，因此，本文采用了对抗性训练来从源姿势学习转换矩阵，并获得目标视图以获得目标。目标姿势序列。为此，我们实现了由图形卷积（GCN）层组成的发电机，完全连接（FC）层和两支分支卷积（CNN）层：GCN层和FC层编码源姿势序列和目标视图，然后是CNN分支最后，分别学习一个三角形基质和上三角基质，最后它们被乘以制定全级转换矩阵。出于对抗训练的目的，我们进一步设计了一个条件鉴别因子，该条件区分姿势序列是真实的还是产生的。为了启用高级相关性学习，我们提出了一个名为Multi尺度超图卷积（HGC）的插件播放模块，以替换基线中的空间图卷积层，该层可以同时模拟联合级别的部分，部分部分 - 水平和身体水平的相关性。在两个大型步态识别数据集（即CASIA-B和OUMVLP置位）上进行的广泛实验表明，我们的方法的表现优于基线模型，并以一个较大的边距基于基于姿势的方法。

ICECUBE是一种用于检测1 GEV和1 PEV之间大气和天体中微子的光学传感器的立方公斤阵列，该阵列已部署1.45 km至2.45 km的南极的冰盖表面以下1.45 km至2.45 km。来自ICE探测器的事件的分类和重建在ICeCube数据分析中起着核心作用。重建和分类事件是一个挑战，这是由于探测器的几何形状，不均匀的散射和冰中光的吸收，并且低于100 GEV的光，每个事件产生的信号光子数量相对较少。为了应对这一挑战，可以将ICECUBE事件表示为点云图形，并将图形神经网络（GNN）作为分类和重建方法。 GNN能够将中微子事件与宇宙射线背景区分开，对不同的中微子事件类型进行分类，并重建沉积的能量，方向和相互作用顶点。基于仿真，我们提供了1-100 GEV能量范围的比较与当前ICECUBE分析中使用的当前最新最大似然技术，包括已知系统不确定性的影响。对于中微子事件分类，与当前的IceCube方法相比，GNN以固定的假阳性速率（FPR）提高了信号效率的18％。另外，GNN在固定信号效率下将FPR的降低超过8（低于半百分比）。对于能源，方向和相互作用顶点的重建，与当前最大似然技术相比，分辨率平均提高了13％-20％。当在GPU上运行时，GNN能够以几乎是2.7 kHz的中位数ICECUBE触发速率的速率处理ICECUBE事件，这打开了在在线搜索瞬态事件中使用低能量中微子的可能性。