Since the recent success of Vision Transformers (ViTs), explorations toward transformer-style architectures have triggered the resurgence of modern ConvNets. In this work, we explore the representation ability of DNNs through the lens of interaction complexities. We empirically show that interaction complexity is an overlooked but essential indicator for visual recognition. Accordingly, a new family of efficient ConvNets, named MogaNet, is presented to pursue informative context mining in pure ConvNet-based models, with preferable complexity-performance trade-offs. In MogaNet, interactions across multiple complexities are facilitated and contextualized by leveraging two specially designed aggregation blocks in both spatial and channel interaction spaces. Extensive studies are conducted on ImageNet classification, COCO object detection, and ADE20K semantic segmentation tasks. The results demonstrate that our MogaNet establishes new state-of-the-art over other popular methods in mainstream scenarios and all model scales. Typically, the lightweight MogaNet-T achieves 80.0\% top-1 accuracy with only 1.44G FLOPs using a refined training setup on ImageNet-1K, surpassing ParC-Net-S by 1.4\% accuracy but saving 59\% (2.04G) FLOPs.
translated by 谷歌翻译
Recent works on Lottery Ticket Hypothesis have shown that pre-trained language models (PLMs) contain smaller matching subnetworks(winning tickets) which are capable of reaching accuracy comparable to the original models. However, these tickets are proved to be notrobust to adversarial examples, and even worse than their PLM counterparts. To address this problem, we propose a novel method based on learning binary weight masks to identify robust tickets hidden in the original PLMs. Since the loss is not differentiable for the binary mask, we assign the hard concrete distribution to the masks and encourage their sparsity using a smoothing approximation of L0 regularization.Furthermore, we design an adversarial loss objective to guide the search for robust tickets and ensure that the tickets perform well bothin accuracy and robustness. Experimental results show the significant improvement of the proposed method over previous work on adversarial robustness evaluation.
translated by 谷歌翻译
6多机器人抓钩是一个持久但未解决的问题。最近的方法利用强3D网络从深度传感器中提取几何抓握表示形式,表明对公共物体的准确性卓越,但对光度化挑战性物体(例如,透明或反射材料中的物体)进行不满意。瓶颈在于这些物体的表面由于光吸收或折射而无法反射准确的深度。在本文中,与利用不准确的深度数据相反,我们提出了第一个称为MonograspNet的只有RGB的6-DOF握把管道,该管道使用稳定的2D特征同时处理任意对象抓握,并克服由光学上具有挑战性挑战的对象引起的问题。 MonograspNet利用关键点热图和正常地图来恢复由我们的新型表示形式表示的6-DOF抓握姿势,该表示的2D键盘具有相应的深度,握把方向,抓握宽度和角度。在真实场景中进行的广泛实验表明,我们的方法可以通过在抓住光学方面挑战的对象方面抓住大量对象并超过基于深度的竞争者的竞争成果。为了进一步刺激机器人的操纵研究,我们还注释并开源一个多视图和多场景现实世界抓地数据集,其中包含120个具有20m精确握把标签的混合光度复杂性对象。
translated by 谷歌翻译
随着计算机视觉中深神经网络的显着进展,广泛研究了数据混合技术,以减轻培训数据量有限时降解概括的问题。但是,当前视觉工具箱中的混合策略尚未得到很好的组装。在本文中,我们建议\ texttt {OpenMixup},这是一个开放源代码的多合一工具箱,用于使用混音,用于监督,半手术和自我监督的视觉表示学习。它提供了一个集成的模型设计和培训平台,包括一系列主要的网络体系结构和模块,数据混合增强方法的集合以及实用的模型分析工具。此外,我们还在各种数据集上提供标准的混合图像分类基准,这加快了从业者在同一设置下的最新方法中进行公平比较。源代码和用户文档可在\ url {https://github.com/westlake-ai/openmixup}上获得。
translated by 谷歌翻译
Federated学习(FL)最近作为一种增强隐私的工具而受到了极大的关注,可以由多个参与者共同培训机器学习模型。FL的先前工作主要研究了如何在模型培训期间保护标签隐私。但是,FL中的模型评估也可能导致私人标签信息的潜在泄漏。在这项工作中,我们提出了一种评估算法,该算法可以准确计算使用FL中的标签差异隐私(DP)时,可以准确计算广泛使用的AUC(曲线下)度量。通过广泛的实验,我们显示我们的算法可以计算与地面真相相比的准确AUC。
translated by 谷歌翻译
精确地重建由单个图像的各种姿势和服装引起的精确复杂的人类几何形状非常具有挑战性。最近,基于像素对齐的隐式函数(PIFU)的作品已迈出了一步,并在基于图像的3D人数数字化上实现了最先进的保真度。但是,PIFU的培训在很大程度上取决于昂贵且有限的3D地面真相数据(即合成数据),从而阻碍了其对更多样化的现实世界图像的概括。在这项工作中,我们提出了一个名为selfpifu的端到端自我监督的网络,以利用丰富和多样化的野外图像,在对无约束的内部图像进行测试时,在很大程度上改善了重建。 SelfPifu的核心是深度引导的体积/表面感知的签名距离领域(SDF)学习,它可以自欺欺人地学习PIFU,而无需访问GT网格。整个框架由普通估计器,深度估计器和基于SDF的PIFU组成,并在训练过程中更好地利用了额外的深度GT。广泛的实验证明了我们自我监督框架的有效性以及使用深度作为输入的优越性。在合成数据上,与PIFUHD相比,我们的交叉点(IOU)达到93.5%,高18%。对于野外图像,我们对重建结果进行用户研究,与其他最先进的方法相比,我们的结果的选择率超过68%。
translated by 谷歌翻译
联合学习(FL)有助于多个客户共同培训机器学习模型,而无需共享其私人数据。但是,客户的非IID数据给FL带来了艰巨的挑战。现有的个性化方法在很大程度上依赖于将一个完整模型作为基本单元的默认处理方法,而忽略了不同层对客户非IID数据的重要性。在这项工作中,我们提出了一个新的框架,联合模型组成部分自我注意力(FEDMCSA),以处理FL中的非IID数据,该数据采用模型组件自我注意机制来颗粒片促进不同客户之间的合作。这种机制促进了相似模型组件之间的合作,同时减少了差异很大的模型组件之间的干扰。我们进行了广泛的实验,以证明FEDMCSA在四个基准数据集上的表现优于先前的方法。此外,我们从经验上展示了模型组成部分自我发项机制的有效性,该机制与现有的个性化FL互补,可以显着提高FL的性能。
translated by 谷歌翻译
缺少数据是数据驱动的智能运输系统(ITS)中不可避免且常见的问题。在过去的十年中,学者们对丢失的流量数据的恢复进行了许多研究,但是如何充分利用时空交通模式以改善恢复性能仍然是一个开放的问题。针对流量速度数据的时空特征,本文将缺失数据的恢复视为矩阵完成问题,并根据隐藏的功能分析提出了一种时空的交通数据完成方法,该方法发现时空模式和基础模式从不完整数据的结构完成恢复任务。因此,我们引入空间和时间相关性,以捕获每个维度的主要基础特征。最后,这些潜在功能通过潜在功能分析应用于恢复流量数据。实验和评估结果表明,模型的评估标准值很小,这表明该模型具有更好的性能。结果表明该模型可以准确估计连续缺少的数据。
translated by 谷歌翻译
在高维和不完整的矩阵中提取潜在信息是一个重要且具有挑战性的问题。潜在因子分析(LFA)模型可以很好地处理高维矩阵分析。最近,已经提出了粒子群优化(PSO)组合的LFA模型,以高效率调节超参数。但是,PSO的掺入会导致过早问题。为了解决这个问题,我们提出了一个顺序的Adam-unjusting-Antennae BAS(A2BAS)优化算法,该算法完善了由PSO成立的LFA模型获得的潜在因素。 A2BAS算法由两个子算法组成。首先,我们设计了一种改进的BAS算法,该算法可调节甲虫的触角并使用Adam进行尺寸。其次,我们实施了改进的BAS算法,以顺序优化所有行和列潜在​​因子。通过对两个实际高维矩阵的实验结果,我们证明我们的算法可以有效地解决过早的收敛问题。
translated by 谷歌翻译
对比学习在视频表示学习中表现出了巨大的潜力。但是,现有方法无法充分利用短期运动动态,这对于各种下游视频理解任务至关重要。在本文中,我们提出了运动敏感的对比度学习(MSCL),该学习将光学流捕获的运动信息注入RGB帧中,以增强功能学习。为了实现这一目标,除了剪辑级全球对比度学习外,我们还开发了局部运动对比度学习(LMCL),具有两种模式的框架级对比目标。此外,我们引入流动旋转增强(FRA),以生成额外的运动除件负面样品和运动差分采样(MDS)以准确筛选训练样品。对标准基准测试的广泛实验验证了该方法的有效性。以常用的3D RESNET-18为骨干,我们在UCF101上获得了91.5 \%的前1个精度,而在视频分类中进行了一些v2的v2,以及65.6 \%的top-1 top-1召回ucf1011对于视频检索,特别是改善了最新的。
translated by 谷歌翻译