近年来,已经通过对比学习方法的进展来开发了基于骨架的动作识别的自我监督的代表学习。现有的对比学习方法使用正常的增强来构建类似的正样品,这限制了探索新颖运动模式的能力。在本文中,为了更好地利用极端增强引入的运动模式,提出了利用对自我监督动作表示(AIMCLR)的丰富信息挖掘的对比学习框架。首先,提出了极端的增强和基于能量的注意力指导模块(EADM)来获得各种阳性样本,这带来了新的运动模式来改善学习陈述的普遍性。其次,由于直接使用极端增强可能无法提高由于原始身份的剧烈变化导致的性能,因此提出了双分配发散最小化损失(D $ ^ 3 $ M损失),以最大限度地减少更温和的分配分配大大地。第三,提出了最近的邻居挖掘(NNM)以进一步扩展正样品以使丰富的信息挖掘过程更合理。 NTU RGB + D 60的详尽实验,PKU-MMD,NTU RGB + D 120数据集已经验证,我们的AIMCLR可以在各种评估协议下对最先进的方法进行有利的方法,以观察到更高质量的作用表示。我们的代码可在https://github.com/levigty/aimclr中找到。
translated by 谷歌翻译
被遮挡的人重新识别是一个具有挑战性的任务,因为某些场景中的某些障碍(例如树木,汽车和行人)封闭人体部分。一些现有的姿势引导方法通过根据图形匹配对准身体部位来解决这个问题,但这些基于图的方法不直观和复杂。因此,我们提出了一种基于变压器的姿态引导特征解除留出(PFD)方法,通过利用姿势信息来清楚地解散语义部件(例如人体或关节部件)并相应地选择性地匹配非封闭部分。首先,视觉变压器(VIV)用于提取具有强大功能的贴片功能。其次,为了从补丁信息预先解散姿势信息,匹配和分配机制在姿势引导特征聚合(PFA)模块中利用。第三,在变压器解码器中引入了一组学习的语义视图,以隐式增强解除戒备的身体部位特征。然而,没有额外监督,那些语义视图并不保证与身体相关。因此,提出了姿势视图匹配(PVM)模块以明确匹配可见的身体部位并自动分离遮挡功能。第四,为了更好地防止闭塞的干扰,我们设计了一个姿势引导的推动损失,强调了可见的身体部位的特征。对于两个任务(封闭和整体RE-ID)的五个具有挑战性的数据集进行了广泛的实验表明,我们提出的PFD具有优越的承诺,这对最先进的方法表现了有利的方法。代码可在https://github.com/wangtaoas/pfd_net上获得
translated by 谷歌翻译
最近的进展表明,可以通过像欧妮线方程等物理限制来实现半监督隐式表示学习。然而,由于其空间不同的稀疏性,该方案尚未成功地用于LiDAR点云数据。在本文中,我们开发了一种新颖的制定,条件在局部形状嵌入上的半监督隐式功能。它利用稀疏卷积网络的强大表示力,以产生形状感知密集特征卷,同时仍允许半监控符号函数学习,而不知道自由空间的确切值。具有广泛的定量和定性结果,我们证明了这种新的学习系统的内在属性及其在现实世界道路场景中的用途。值得注意的是,我们在Semantickitti将iou从26.3%到51.0%。此外,我们探索了两个范式来集成语义标签预测,实现隐式语义完成。可以在https://github.com/open-air-sun/sisc访问代码和模型。
translated by 谷歌翻译
多任务室内场景理解被广泛被认为是一种有趣的制定,因为不同任务的亲和力可能导致性能提高。在本文中,我们解决了联合语义,提供的新问题,提供了归因。但是,成功解析它需要模型来捕获远程依赖性,从弱对齐的数据中学习并在训练期间正确平衡子任务。为此,我们提出了一个名为Cerberus的关注建筑和定制培训框架。我们的方法有效地解决了上述挑战,并在所有三个任务上实现了最先进的表现。此外,深入分析显示了与人类认知一致的概念亲和力,这激励我们探讨弱监督学习的可能性。令人惊讶的是,Cerberus仅使用0.1%-1%的注释来实现强劲的结果。可视化进一步证实,这一成功被记入跨任务的常见注意地图。可以在https://github.com/open-air-sun/cerberus访问代码和模型。
translated by 谷歌翻译
与基于现代聚类算法的完全监督的REID方法相比,未经监督的人重新识别(U-Reid)最近达到了竞争性能。然而,这种基于聚类的方案对大规模数据集来说变得对计算方式。如何探讨如何有效利用具有有限计算资源的无限未标记的数据,以便更好地进行更好的U-Reid。在本文中,我们首次尝试大规模U-Reid并提出一个“大型任务的小数据”范式被称为Meta聚类学习(MCL)。 MCL仅通过群集伪标记整个未标记数据的子集,以节省第一期训练的计算。之后,被学习的集群中心称为我们的MCL中的元原型,被视为代理注释器,以便轻松注释其它未标记数据以进一步抛光模型。为了缓解抛光阶段的潜在嘈杂的标签问题,我们强制执行两个精心设计的损失限制,以保证境内统一的一致性和相互识别的强烈相关性。对于多个广泛使用的U-REID基准测试,我们的方法显着节省了计算成本,同时与先前作品相比,实现了可比或更好的性能。
translated by 谷歌翻译
方面情绪三重态提取(Aste)旨在识别目标,他们的情感极化和意见解释句子的情绪。 Aste可以自然地分为3个原子子组织,即目标检测,意见检测和情绪分类。我们认为针对目标 - 意见对的合适的子任务组合,组成特征提取,以及子任务之间的互动将是成功的关键。然而,由于缺陷的子任务制定,子最优特征表示或缺少子任务相互作用,在“一对多”或“多对一”的情况下可能导致不存在的情绪三体,或导出不存在的情绪三元组。在本文中,我们将Aste划分为目标 - 意见联合检测和情绪分类子任务,这与人类认知符合,并且相应地利用序列编码器和表编码器来处理它们。表编码器在令牌对等级提取情绪,从而可以容易地捕获目标和意见之间的组成特征。要在子任务之间建立显式交互,我们利用表格表示来指导序列编码,并将序列功能注入到表编码器中。实验表明,我们的模型在六个受欢迎的ASTE数据集中优于最先进的方法。
translated by 谷歌翻译
正确分类对抗性示例是安全部署机器学习模型的必不可少但具有挑战性的要求。据抢救模型甚至是最先进的离职训练的模型,在CIFAR-10上努力超过67%的强大测试精度,这远非实用。互动的互补方法是引入拒绝选项,允许模型不返回对不确定输入的预测,自信是常用的确定性代理。随着这个例程,我们发现置信度和纠正的置信度(R-Con)可以形成两个耦合的拒绝度量,这可以从正确分类的次数中可以证明错误分类的输入。这种有趣的属性揭示了使用偶联策略来更好地检测和抑制对抗性实例。我们在包括自适应攻击的若干攻击下,在CiFar-10,CiFar-10-C和CiFar-100上评估我们的整流拒绝(RR)模块,并证明RR模块与改善稳健性的不同的对抗训练框架兼容额外的计算。代码可在https://github.com/p2333/Rectified-re注意到。
translated by 谷歌翻译
方面情绪三重态提取(ASTE)旨在从句子中提取三胞胎,包括目标实体,相关情感极性,以及合理化极性的意见跨度。现有方法缺乏目标 - 意见对之间的构建相关性,并忽略不同情绪三联体之间的相互干扰。为了解决这些问题,我们利用了两阶段框架来增强目标和意见之间的相关性:在阶段,通过序列标记提取目标和意见;然后,我们附加了一组名为可感知对的人工标签,其指示特定目标意义元组的跨度,输入句子以获得更接近相关的目标意见对表示。同时,我们通过限制令牌的注意力领域来降低三态层之间的负干扰。最后,根据可感知对的表示来识别极性。我们对四个数据集进行实验,实验结果表明了我们模型的有效性。
translated by 谷歌翻译
由于现代硬件的计算能力强烈增加,在大规模数据集上学习的预训练的深度学习模型(例如,BERT,GPT-3)已经显示了它们对传统方法的有效性。巨大进展主要促进了变压器及其变体架构的代表能力。在本文中,我们研究了低级计算机视觉任务(例如,去噪,超级分辨率和派没),并开发了一个新的预先训练的模型,即图像处理变压器(IPT)。为了最大限度地挖掘变压器的能力,我们展示了利用众所周知的想象网基准,以产生大量损坏的图像对。 IPT模型在具有多头和多尾的这些图像上培训。此外,引入了对比度学习,以适应不同的图像处理任务。因此,在微调后,预先训练的模型可以有效地在所需的任务上使用。只有一个预先训练的模型,IPT优于当前的最先进方法对各种低级基准。代码可在https://github.com/huawei-noah/pretrate -ipt和https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/ipt
translated by 谷歌翻译
现有研究持续学习一系列任务,专注于处理灾难性遗忘,其中任务被认为是不同的,并且具有很少的共享知识。在任务相似并分享知识时,还有一些工作已经完成了将以前学到的新任务转移到新任务。据我们所知,没有提出任何技术来学习一系列混合类似和不同的任务,这些任务可以处理遗忘,并转发知识向前和向后转移。本文提出了这样的技术,用于在同一网络中学习两种类型的任务。对于不同的任务,该算法侧重于处理遗忘,并且对于类似的任务,该算法侧重于选择性地传送从一些类似先前任务中学到的知识来改善新的任务学习。此外,该算法自动检测新任务是否类似于任何先前的任务。使用混合任务序列进行实证评估,证明了所提出的模型的有效性。
translated by 谷歌翻译