The weakly supervised instance segmentation is a challenging task. The existing methods typically use bounding boxes as supervision and optimize the network with a regularization loss term such as pairwise color affinity loss for instance segmentation. Through systematic analysis, we found that the commonly used pairwise affinity loss has two limitations: (1) it works with color affinity but leads to inferior performance with other modalities such as depth gradient, (2)the original affinity loss does not prevent trivial predictions as intended but actually accelerates this process due to the affinity loss term being symmetric. To overcome these two limitations, in this paper, we propose a novel asymmetric affinity loss which provides the penalty against the trivial prediction and generalizes well with affinity loss from different modalities. With the proposed asymmetric affinity loss, our method outperforms the state-of-the-art methods on the Cityscapes dataset and outperforms our baseline method by 3.5% in mask AP.

Recent advances on text-to-image generation have witnessed the rise of diffusion models which act as powerful generative models. Nevertheless, it is not trivial to exploit such latent variable models to capture the dependency among discrete words and meanwhile pursue complex visual-language alignment in image captioning. In this paper, we break the deeply rooted conventions in learning Transformer-based encoder-decoder, and propose a new diffusion model based paradigm tailored for image captioning, namely Semantic-Conditional Diffusion Networks (SCD-Net). Technically, for each input image, we first search the semantically relevant sentences via cross-modal retrieval model to convey the comprehensive semantic information. The rich semantics are further regarded as semantic prior to trigger the learning of Diffusion Transformer, which produces the output sentence in a diffusion process. In SCD-Net, multiple Diffusion Transformer structures are stacked to progressively strengthen the output sentence with better visional-language alignment and linguistical coherence in a cascaded manner. Furthermore, to stabilize the diffusion process, a new self-critical sequence training strategy is designed to guide the learning of SCD-Net with the knowledge of a standard autoregressive Transformer model. Extensive experiments on COCO dataset demonstrate the promising potential of using diffusion models in the challenging image captioning task. Source code is available at \url{https://github.com/YehLi/xmodaler/tree/master/configs/image_caption/scdnet}.

多尺度视觉变压器（VIT）已成为计算机视觉任务的强大骨干，而变压器量表中的自发计算则四处w.r.r.t.输入补丁编号。因此，现有的解决方案通常采用下采样操作（例如，平均合并）对密钥/值进行大幅降低计算成本。在这项工作中，我们认为，这种过度侵略性的下采样设计并不是可逆的，不可避免地会导致信息删除，尤其是对于物体中的高频组件（例如，纹理细节）。在小波理论的驱动下，我们构建了一种新的小波视觉变压器（\ textbf {Wave-vit}），该变压器以统一的方式通过小波变换和自我发挥学习来制定可逆的下采样。该提案可以通过对钥匙/价值观进行无损的下采样，从而实现自我发挥的学习，从而促进了追求更好的效率-VS-VS-Crifacy权衡。此外，逆小波变换被利用以通过扩大的接收场来汇总局部环境来增强自我注意力输出。我们通过广泛的实验比多个视觉任务（例如，图像识别，对象检测和实例分割）来验证波动的优势。它的性能超过了具有可比的拖鞋的最先进的VIT骨干。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

先前的工作提出了几种策略，以降低自我发挥机制的计算成本。这些作品中的许多作品都考虑将自我关注程序分解为区域和局部特征提取程序，这些程序都会产生较小的计算复杂性。但是，区域信息通常仅以损失的不良信息为代价，原因是由于下采样而丢失。在本文中，我们提出了一种新颖的变压器体系结构，旨在减轻成本问题，称为双视觉变压器（双击）。新的体系结构结合了一个关键的语义途径，可以更有效地将代币向量压缩到具有降低的复杂性顺序的全球语义中。然后，这种压缩的全局语义是通过另一个构造的像素途径在学习更精细的像素级详细信息中作为有用的先前信息。然后将语义途径和像素途径集成在一起并进行联合训练，从而通过这两个途径并行传播增强的自我运动信息。此后，双攻击能够降低计算复杂性，而不会损害很大的准确性。我们从经验上证明，双重射击比SOTA变压器体系结构具有较高的训练复杂性。源代码可在\ url {https://github.com/yehli/imagenetmodel}中获得。

在图像中理解丰富的语义并按语言顺序订购它们对于构成视觉上且语言上连贯的描述以进行图像字幕至关重要。现代技术通常利用了预训练的对象探测器/分类器，以在图像中挖掘语义，同时留下了固有的语言序列，语义序列不足。在本文中，我们提出了一个新的型变压器式结构的食谱，即理解和订购语义网络（COS-NET），它在新颖地将丰富的语义理解和可学习的语义订购过程统一到单个体系结构中。从技术上讲，我们最初利用跨模式检索模型来搜索每个图像的相关句子，并且搜索句子中的所有单词都被视为主要语义提示。接下来，设计了一种新颖的语义理解者，​​以滤除原始语义线索中无关的语义单词，同时推断出图像中视觉上基于的缺失相关语义单词。之后，我们将所有经过筛选和丰富的语义单词喂入语义排名，该语义排名学会学会以语言顺序分配所有语义单词。这样的有序语义单词序列与图像的视觉令牌进一步集成在一起，以触发句子的生成。经验证据表明，COS-NET清楚地超过了可可的最新方法，并在Karpathy测试拆分方面达到了最佳的苹果酒评分141.1％。源代码可在\ url {https://github.com/yehli/xmodaler/tree/master/master/configs/image_caption/cosnet}获得。

本文对我们的系统进行了概述和比较分析，该系统专为Sapien Maniskill Challenge挑战2021中的以下两个轨道而设计：无相互作用轨迹：从预采用的演示轨迹中学习政策的无相互作用轨迹目标。我们研究了这两个基于模仿学习的方法，即使用经典监督学习技术模仿观察到的行为，以及基于线之后的基于强化学习的方法。此外，通过基于变压器的网络利用对象和机器人臂的几何结构和纹理结构，以促进模仿学习。无限制轨道：在此轨道中，我们设计了一种基于启发式规则的方法（HRM）来通过将任务分解为一系列子任务来触发高质量对象操作。对于每个子任务，采用简单的基于规则的控制策略来预测可以应用于机器人臂的动作。为了简化系统的实现，所有源代码和预训练的模型均可在\ url {https://github.com/caiqi/silver-bullet-3d/}上获得。

估计物体的距离是自动驾驶的一项安全至关重要的任务。专注于短距离对象，现有方法和数据集忽略了同样重要的远程对象。在本文中，我们引入了一项具有挑战性且探索不足的任务，我们将其称为长距离距离估计，以及两个数据集，以验证为此任务开发的新方法。然后，我们提出了第一个框架，即通过使用场景中已知距离的引用来准确估算远程对象的距离。从人类感知中汲取灵感，R4D通过将目标对象连接到所有引用来构建图形。图中的边缘编码一对目标和参考对象之间的相对距离信息。然后使用注意模块权衡参考对象的重要性，并将它们组合到一个目标对象距离预测中。与现有基准相比，这两个数据集的实验通过显示出显着改善，证明了R4D的有效性和鲁棒性。我们正在寻求制作提出的数据集，Waymo OpenDataSet-远程标签，可在Waymo.com/open/download上公开可用。

由于其在自主驾驶中的应用，因此基于单眼图像的3D感知已成为一个活跃的研究领域。与基于激光雷达的技术相比，单眼3D感知（包括检测和跟踪）的方法通常会产生较低的性能。通过系统的分析，我们确定了每个对象深度估计精度是界限性能的主要因素。在这种观察过程中，我们提出了一种多级融合方法，该方法将不同的表示（RGB和伪LIDAR）和跨多个对象（Tracklets）的时间信息结合在一起，以增强对目标深度估计。我们提出的融合方法实现了Waymo打开数据集，KITTI检测数据集和Kitti MOT数据集的每个对象深度估计的最新性能。我们进一步证明，通过简单地用融合增强的深度替换估计的深度，我们可以在单眼3D感知任务（包括检测和跟踪）方面取得重大改进。

人类的行为通常是组合结构或图案，即受试者，物体，以及两者之间的时空相互作用。因此，发现这种结构是一种有价值的方式，可以推理互动的动态并识别动作。在本文中，我们介绍了一个新的子图设计，以表示和编码视频中每个动作的辨别模式。具体而言，我们呈现多尺度的子图学习（MOTE）框架，该框架，该框架新颖地构建空间时间图并将图形集群相对于节点的数量在每个比例上的紧凑型子图中。从技术上讲，Mudle在每个视频剪辑中产生3D边界框，即管弦，作为曲线节点，并将密集的连接作为管之间的图形边缘。对于每个操作类别，我们通过学习高斯混合层执行在线群集以将图形分解为每种比例的子图，并选择判别子图作为动作原型以进行识别。在某种东西上进行了广泛的实验 - 某种东西 - 某种东西 - 东西-400数据集，并且与最先进的方法相比，报告了卓越的结果。更值得注意的是，我们的柱子达到了最佳报告的准确性为65.0％的东西 - 某种东西的验证集。

Vision-Language预培训是一个新兴和快速发展的研究主题，将多模态知识从丰富的资源预训练任务转移到有限资源下游任务。与主要学习单个通用编码器的现有作品不同，我们提出了一种可训练的通用编码器 - 解码器网络（UNI-EDEN），以促进视觉语言感知（例如，视觉问题应答）和生成（例如，图像标题）。 UNI-EDEN是一种基于双流变换器的结构，由三个模块组成：对象和句子编码器，其单独了解每个模态的表示，以及通过模态交互能够实现多模态推理和句子的句子解码器。考虑到每个图像的语言表示可以跨越该层次结构的不同粒度，包括从简单到全面，个人标签，短语和自然句子，我们通过多粒愿景语言代理任务预先列车UNI-EDEN：屏蔽对象分类（MOC），蒙版区域短语生成（MRPG），图像句匹配（ISM）和屏蔽句生成（MSG）。以这种方式，UNI-EDEN赋予了多模态表示提取和语言建模的功率。广泛的实验证明了通过微调到四个视觉语言感知和发电下游任务来展示Uni-Eden的概括性。