神经体系结构搜索方法寻求具有有效的体重共享超级网训练的最佳候选者。但是,最近的研究表明,关于独立架构和共享重量网络之间的性能的排名一致性差。在本文中,我们提出了提前引导的一声NAS(PGONA),以加强超级网的排名相关性。具体而言,我们首先探讨激活功能的效果,并提出基于三明治规则的平衡采样策略,以减轻超级网中的重量耦合。然后,采用了拖鞋和禅宗得分来指导超级网的训练,并具有排名相关性损失。我们的PGONA在CVPR2022第二轻型NAS挑战赛的SuperNet轨道中排名第三。代码可在https://github.com/pprp/cvpr2022-nas?competition-track1-3th-solution中找到。
translated by 谷歌翻译
在过去的几十年中,卷积神经网络(CNN)在计算机视觉方面取得了令人印象深刻的成功。图像卷积操作可帮助CNN在与图像相关的任务上获得良好的性能。但是,图像卷积具有很高的计算复杂性,难以实现。本文提出了可以在频域中训练的Cemnet。这项研究的最重要动机是,我们可以根据互相关定理替换频域中的直接元素乘法操作来替换频域中的图像卷积,从而显然降低了计算复杂性。我们进一步介绍了一种体重固定机制,以减轻过度拟合的问题,并分析批准,泄漏的速度和频域中辍学的工作行为,以设计其为Cemnet的对应物。此外,为了处理由离散的傅立叶变换带来的复杂输入,我们为CENNET设计了两个分支网络结构。实验结果表明,Cemnet在MNIST和CIFAR-10数据库上取得了良好的性能。
translated by 谷歌翻译
从RGB-D图像中对刚性对象的6D姿势估计对于机器人技术中的对象抓握和操纵至关重要。尽管RGB通道和深度(d)通道通常是互补的,分别提供了外观和几何信息,但如何完全从两个跨模式数据中完全受益仍然是非平凡的。从简单而新的观察结果来看,当对象旋转时,其语义标签是姿势不变的,而其关键点偏移方向是姿势的变体。为此,我们提出了So(3)pose,这是一个新的表示学习网络,可以探索SO(3)equivariant和So(3) - 从深度通道中进行姿势估计的特征。 SO(3) - 激素特征有助于学习更独特的表示,以分割来自RGB通道外观相似的对象。 SO(3) - 等级特征与RGB功能通信,以推导(缺失的)几何形状,以检测从深度通道的反射表面的对象的关键点。与大多数现有的姿势估计方法不同,我们的SO(3) - 不仅可以实现RGB和深度渠道之间的信息通信,而且自然会吸收SO(3) - 等级的几何学知识,从深度图像中,导致更好的外观和更好的外观和更好几何表示学习。综合实验表明,我们的方法在三个基准测试中实现了最先进的性能。
translated by 谷歌翻译
本文提出了基于Pytorch的深度自动编码器模型。该算法将Pytorch的想法引入自动编码器,并随机清除具有一定概率连接到隐藏层神经元的输入权重,以实现稀疏网络的效果,这与稀疏的起点相似自动编码器。新算法有效地解决了模型过度拟合的问题,并提高了图像分类的准确性。最后,进行实验,并将实验结果与ELM,RELM,AE,SAE,DAE进行比较。
translated by 谷歌翻译
采样在机器学习方法中无处不在。由于大数据集和模型复杂性的增长,我们希望在训练A表示时学习和适应采样过程。为了实现这一宏伟的目标,已经提出了各种抽样技术。但是,他们中的大多数要么使用固定采样方案,要么基于简单的启发式方法调整采样方案。他们不能选择在不同阶段进行模型培训的最佳样本。受认知科学中的“思考,快速和系统2)的启发,我们提出了一种奖励指导的采样策略,称为自适应样本,并奖励(ASR)来应对这一挑战。据我们所知,这是利用强化学习(RL)解决代表学习中抽样问题的第一项工作。我们的方法最佳地调整了采样过程以实现最佳性能。我们通过基于距离的采样来探索样品之间的地理关系,以最大程度地提高整体累积奖励。我们将ASR应用于基于相似性的损失函数中的长期抽样问题。信息检索和聚类中的经验结果证明了ASR在不同数据集中的出色性能。我们还讨论了一种令人着迷的现象,我们将其称为实验中的“ ASR重力”。
translated by 谷歌翻译
随着LIDAR传感器在自动驾驶中的流行率,3D对象跟踪受到了越来越多的关注。在点云序列中,3D对象跟踪旨在预测给定对象模板中连续帧中对象的位置和方向。在变压器成功的驱动下,我们提出了点跟踪变压器(PTTR),它有效地预测了高质量的3D跟踪,借助变压器操作,以粗到1的方式导致。 PTTR由三个新型设计组成。 1)我们设计的关系意识采样代替随机抽样,以在亚采样过程中保留与给定模板相关的点。 2)我们提出了一个点关系变压器,以进行有效的特征聚合和模板和搜索区域之间的特征匹配。 3)基于粗糙跟踪结果,我们采用了一个新颖的预测改进模块,通过局部特征池获得最终的完善预测。此外,以捕获对象运动的鸟眼视图(BEV)的有利特性(BEV)的良好属性,我们进一步设计了一个名为PTTR ++的更高级的框架,该框架既包含了点的视图和BEV表示)产生高质量跟踪结果的影响。 PTTR ++实质上提高了PTTR顶部的跟踪性能,并具有低计算开销。多个数据集的广泛实验表明,我们提出的方法达到了卓越的3D跟踪准确性和效率。
translated by 谷歌翻译
在最新的联合学习研究(FL)的研究中,广泛采用了客户选择方案来处理沟通效率的问题。但是,从随机选择的非代表性子集汇总的模型更新的较大差异直接减慢了FL收敛性。我们提出了一种新型的基于聚类的客户选择方案,以通过降低方差加速FL收敛。简单而有效的方案旨在改善聚类效果并控制效果波动,因此,以采样的一定代表性生成客户子集。从理论上讲,我们证明了降低方差方案的改进。由于差异的差异,我们还提供了提出方法的更严格的收敛保证。实验结果证实了与替代方案相比,我们计划的效率超出了效率。
translated by 谷歌翻译
推荐系统是一个系统,可帮助用户根据其历史记录过滤无关的信息并创建用户兴趣模型。随着互联网信息的持续开发,推荐系统在行业中受到了广泛关注。在这个无处不在的数据和信息时代,如何获得和分析这些数据已成为许多人的研究主题。鉴于这种情况,本文简要概述了与机器学习相关的推荐系统。通过分析推荐系统中机器学习使用的一些技术和想法,让更多的人了解什么是大数据以及什么是机器学习。最重要的是让每个人都了解机器学习对我们日常生活的深远影响。
translated by 谷歌翻译
在本文中,我们介绍了训练两层过度参数的Relu神经网络中动量方法的收敛分析,其中参数的数量明显大于训练实例的参数。动量方法上的现有作品表明,重球方法(HB)和Nesterov的加速方法(NAG)共享相同的限制普通微分方程(ODE),从而导致相同的收敛速率。从高分辨率的动力学角度来看,我们表明HB与NAG在收敛速率方面有所不同。此外,我们的发现为HB和NAG的高分辨率ODES的收敛性提供了更严格的上限。
translated by 谷歌翻译
多个实例学习(MIL)是对诊断病理学的整个幻灯片图像(WSI)进行分类的强大方法。 MIL对WSI分类的基本挑战是发现触发袋子标签的\ textit {critical Instances}。但是,先前的方法主要是在独立和相同的分布假设(\ textit {i.i.d})下设计的,忽略了肿瘤实例或异质性之间的相关性。在本文中,我们提出了一种新颖的基于多重检测的多重实例学习(MDMIL)来解决上述问题。具体而言,MDMIL是由内部查询产生模块(IQGM)和多重检测模块(MDM)构建的,并在训练过程中基于内存的对比度损失的辅助。首先,IQGM给出了实例的概率,并通过在分布分析后汇总高度可靠的功能来为后续MDM生成内部查询(IQ)。其次,在MDM中,多重检测交叉注意(MDCA)和多头自我注意力(MHSA)合作以生成WSI的最终表示形式。在此过程中,智商和可训练的变异查询(VQ)成功建立了实例之间的联系,并显着提高了模型对异质肿瘤的鲁棒性。最后,为了进一步在特征空间中实施限制并稳定训练过程,我们采用基于内存的对比损失,即使在每次迭代中有一个样本作为输入,也可以实现WSI分类。我们对三个计算病理数据集进行实验,例如CamelyOn16,TCGA-NSCLC和TCGA-RCC数据集。优越的准确性和AUC证明了我们提出的MDMIL比其他最先进方法的优越性。
translated by 谷歌翻译