文本分类的对比预制技术已经在一个无人监督的环境中进行了很大程度上。但是,通常可以使用与当前任务共享标签语义的相关任务的数据。我们假设使用此标记数据有效地导致当前任务的更好的概括。在本文中,我们提出了一种新的方法来利用基于曲线图的监督对比学习方法有效地利用相关任务的标记数据。我们通过将监督信息从示例推断到令牌来制定令牌图。我们的配方导致嵌入空间的嵌入空间,其中具有相同类的高/低概率的令牌彼此接近/进一步。我们还开发了详细的理论见解,该洞察力作为我们方法的动机。在我们的实验中,我们将展示我们的方法以2.5美元的价格优于预先预订计划,以及基于1,8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%$ 1.8 \%。此外,我们在零击设置中显示了我们的方法的跨域效果,平均每次3.91 \%$ 3.91 \%。最后,我们还展示了我们的方法可以用作知识蒸馏设定中的嘈杂教师,以显着提高基于变压器的模型在低标记的数据制度中的性能,平均为4.57 \%$ 4.57 \%。
translated by 谷歌翻译
We propose a technique for learning single-view 3D object pose estimation models by utilizing a new source of data -- in-the-wild videos where objects turn. Such videos are prevalent in practice (e.g., cars in roundabouts, airplanes near runways) and easy to collect. We show that classical structure-from-motion algorithms, coupled with the recent advances in instance detection and feature matching, provides surprisingly accurate relative 3D pose estimation on such videos. We propose a multi-stage training scheme that first learns a canonical pose across a collection of videos and then supervises a model for single-view pose estimation. The proposed technique achieves competitive performance with respect to existing state-of-the-art on standard benchmarks for 3D pose estimation, without requiring any pose labels during training. We also contribute an Accidental Turntables Dataset, containing a challenging set of 41,212 images of cars in cluttered backgrounds, motion blur and illumination changes that serves as a benchmark for 3D pose estimation.
translated by 谷歌翻译
我们建议在2D域中利用自我监督的技术来实现细粒度的3D形状分割任务。这是受到观察的启发:基于视图的表面表示比基于点云或体素占用率的3D对应物更有效地建模高分辨率表面细节和纹理。具体而言,给定3D形状,我们将其从多个视图中渲染,并在对比度学习框架内建立密集的对应学习任务。结果,与仅在2D或3D中使用自学的替代方案相比,学到的2D表示是视图不变和几何一致的,在对有限的标记形状进行培训时,可以更好地概括概括。对纹理(渲染peple)和未纹理(partnet)3D数据集的实验表明,我们的方法在细粒部分分割中优于最先进的替代方案。当仅一组稀疏的视图可供训练或形状纹理时,对基准的改进就会更大,这表明MVDecor受益于2D处理和3D几何推理。
translated by 谷歌翻译
创建和编辑3D对象的形状和颜色需要巨大的人类努力和专业知识。与3D接口中的直​​接操作相比,诸如草图和涂鸦之类的2D交互对用户通常更自然和直观。在本文中,我们提出了一个通用的多模式生成模型,该模型通过共享的潜在空间耦合2D模式和隐式3D表示。通过提出的模型,通过简单地通过潜在空间从特定的2D控制模式传播编辑,可以实现多功能3D生成和操纵。例如,通过绘制草图来编辑3D形状,通过绘画颜色在2D渲染上重新色彩,或者在一个或几个参考图像中生成特定类别的3D形状。与先前的作品不同,我们的模型不需要每个编辑任务进行重新训练或微调,并且在概念上也很简单,易于实现,对输入域移动的强大,并且可以在部分2D输入中进行多样化的重建。我们在灰度线草图和渲染颜色图像的两种代表性2D模态上评估了我们的框架,并证明我们的方法可以通过以下2D模态实现各种形状的操纵和生成任务。
translated by 谷歌翻译
网络和时间点过程是建模各个领域中复杂动态关系数据的基本构件。我们建议使用节点的潜在空间表示形式,提出了潜在空间鹰队(LSH)模型,这是一种连续时间的关系网络的新型生成模型。我们使用共同令人兴奋的霍克斯工艺在节点之间建模关系事件,其基线强度取决于潜在空间中的节点与发件人和接收器特定效果之间的距离。我们证明,我们提出的LSH模型可以复制在包括互惠和传递性在内的真实时间网络中观察到的许多功能,同时还可以实现卓越的预测准确性并提供比现有模型更明显的拟合。
translated by 谷歌翻译
随机块模型(SBM)是用于网络数据最广泛使用的生成模型之一。鉴于块或社区成员身份,许多连续的动态网络模型都建立在与SBM相同的假设上:有条件地有条件地独立在真实网络中观察到。我们提出了多元社区霍克斯(Mulch)模型,这是一种非常灵活的基于社区的模型,用于连续时间网络,使用结构化的多元霍克斯工艺在节点对之间引入依赖性。我们使用基于光谱聚类和基于可能性的本地改进程序拟合模型。我们发现,我们所提出的覆盖模型比在预测和生成任务中都比现有模型更准确。
translated by 谷歌翻译
In this paper, we extend scene understanding to include that of human sketch. The result is a complete trilogy of scene representation from three diverse and complementary {modalities} -- sketch, photo, and text. Instead of learning a rigid three-way embedding and be done with it, we focus on learning a flexible joint embedding that fully supports the ``optionality" that this complementarity brings. Our embedding supports optionality on two axis: (i) optionality across modalities -- use any combination of modalities as query for downstream tasks like retrieval, (ii) optionality across tasks -- simultaneously utilising the embedding for either discriminative (e.g., retrieval) or generative tasks (e.g., captioning). This provides flexibility to end-users by exploiting the best of each modality, therefore serving the very purpose behind our proposal of a trilogy at the first place. First, a combination of information-bottleneck and conditional invertible neural networks disentangle the modality-specific component from modality-agnostic in sketch, photo, and text. Second, the modality-agnostic instances from sketch, photo, and text are synergised using a modified cross-attention. Once learned, we show our embedding can accommodate a multi-facet of scene-related tasks, including those enabled for the first time by the inclusion of sketch, all without any task-specific modifications.
translated by 谷歌翻译
在培训深层网络中进行部分分割的重要瓶颈是获得详细注释的成本。我们提出了一个框架,以利用粗糙标签,例如图形地面蒙版和关键点位置,这些位置容易用于某些类别以改善零件分割模型。一个关键的挑战是,这些注释是针对不同任务和不同的标签样式收集的,并且不能轻易地映射到零件标签上。为此,我们建议共同学习标签样式与部分分割模型之间的依赖关系,从而使我们能够利用来自不同标签的监督。为了评估我们的方法,我们在Caltech-UCSD鸟类和OID飞机数据集上开发了基准。我们的方法优于基于多任务学习,半监督学习和竞争方法的基准,这些方法依赖于手动设计的损失功能,以利用稀疏的supervision。
translated by 谷歌翻译
在几个科学学科中,建模对网络连接个体结果的社会影响是一个中心研究问题。但是,网络影响无法从观察数据中鉴定出来,因为它与未观察到的同质性混淆。我们提出了一种潜在的同质调整后的空间自回归模型(SAR),以识别因果传播效应。潜在同质性是根据网络邻接矩阵的光谱嵌入来估计的。当通过误差测量协变量时,我们进一步开发了SAR模型参数的最大似然估计器。偏置校正的MLE具有统计一致性和渐进式性能。我们将估计的潜在同质性与SAR模型中的偏差校正MLE相结合,以估计网络影响。我们的模拟表明,这些方法在有限样品中的性能很好。将我们的方法应用于治疗界(TC)中女性犯罪犯罪者的数据集,我们提供了网络对TC毕业的影响的因果估计。
translated by 谷歌翻译
We investigate how well CLIP understands texture in natural images described by natural language. To this end, we analyze CLIP's ability to: (1) perform zero-shot learning on various texture and material classification datasets; (2) represent compositional properties of texture such as red dots or yellow stripes on the Describable Texture in Detail(DTDD) dataset; and (3) aid fine-grained categorization of birds in photographs described by color and texture of their body parts.
translated by 谷歌翻译