视觉变压器在计算机视觉任务中表现出色。但是,其(本地)自我注意机制的计算成本很昂贵。相比之下,CNN具有内置的电感偏置效率更高。最近的作品表明,CNN有望通过学习建筑设计和培训协议来与视觉变形金刚竞争。然而,现有方法要么忽略多层次特征,要么缺乏动态繁荣,从而导致次优性能。在本文中,我们提出了一种名为MCA的新型注意力机制,该机制通过多个内核大小捕获了输入图像的不同模式,并启用具有门控机制的输入自适应权重。根据MCA,我们提出了一个名为Convformer的神经网络。争辩者采用了视觉变压器的一般体系结构,同时用我们提出的MCA代替了(本地)自我注意的机制。广泛的实验结果表明,在各种任务中,应变器优于相似的大小视觉变压器(VIT)和卷积神经网络(CNN)。例如,在ImageNet数据集上,交货式S,Convformer-l实现82.8%的最新性能,top-1的精度为83.6%。此外,在ADE20K上,Convformer-S优于1.5 miOU的Swin-T,在Coco上具有较小型号的Coco上的0.9边界盒AP。代码和型号将可用。
translated by 谷歌翻译
近年来,基于深度学习的模型在视频超分辨率(VSR)方面取得了显着性能,但是这些模型中的大多数不适用于在线视频应用程序。这些方法仅考虑失真质量,而忽略了在线应用程序的关键要求,例如低延迟和模型较低的复杂性。在本文中,我们专注于在线视频传输,其中需要VSR算法来实时生成高分辨率的视频序列。为了应对此类挑战,我们提出了一种基于一种新的内核知识转移方法,称为卷积核旁路移植物(CKBG)。首先,我们设计了一个轻巧的网络结构,该结构不需要将来的帧作为输入,并节省了缓存这些帧的额外时间成本。然后,我们提出的CKBG方法通过用``核移植物)''绕过原始网络来增强这种轻巧的基础模型,这些网络是包含外部预验证图像SR模型的先验知识的额外卷积内核。在测试阶段,我们通过将其转换为简单的单路结构来进一步加速移植的多支球网络。实验结果表明,我们提出的方法可以处理高达110 fps的在线视频序列,并且模型复杂性非常低和竞争性SR性能。
translated by 谷歌翻译
最近,人重新识别(REID)的隐私问题引起了越来越多的关注,并保留了REID方法使用的行人图像的隐私是必不可少的。去识别(DEID)方法通过删除与REID数据相关的身份来减轻隐私问题。但是,大多数现有的DEID方法倾向于删除所有与个人身份相关的信息,并损害REID任务上的识别数据的可用性。在本文中,我们旨在开发一种可以在REID人士的隐私保护和数据可用性之间实现良好权衡的技术。为了实现这一目标,我们提出了一种新颖的去识别方法,该方法是针对人雷德(Reid)明确设计的,命名人识别转移(PIS)。 PI在保留图像对之间的身份关系的同时,消除了行人图像中的绝对身份。通过利用变异自动编码器的插值属性,PI将每个行人图像从当前身份转移到具有新身份的另一个身份,从而导致图像仍然保留相对身份。实验结果表明,与现有的去识别方法相比,我们的方法在隐私保护和模型性能之间取决于更好的权衡,并且可以防御人类和模型攻击以确保数据隐私。
translated by 谷歌翻译
通常使用自回归生成模型,尤其是对于涉及顺序数据的那些任务。然而,由于链式有条件建模的内在特征(例如,暴露偏见或缺乏远距离连贯性),由于许多固有的缺陷而困扰着它们,严重限制了它们正确模型分布的能力。在本文中,我们提出了一种独特的方法,该方法称为训练自回旋生成模型,以利用精心设计的基于能量的学习目标。通过利用SoftMax操作的额外自由度,我们被允许使自回归模型本身成为基于能量的模型,用于衡量输入的可能性,而无需引入任何额外的参数。此外,我们表明可以有效地训练电子臂,并能够减轻暴露偏置问题并增加自回归生成模型的时间连贯性。广泛的经验结果涵盖了语言建模,神经机器翻译和图像产生等基准,证明了拟议方法的有效性。
translated by 谷歌翻译
矢量图形(VG)在我们的日常生活中无处不在,在工程,建筑,设计等方面进行了广泛的应用。大多数现有方法的VG识别过程是首先将VG渲染为栅格图形(RG),然后基于行为识别。 RG格式。但是,此过程丢弃了几何结构并失去了VG的高分辨率。最近,提出了另一种类别的算法以直接从原始VG格式识别。但是它受RG渲染可以滤除的拓扑错误的影响。它不是查看一种格式,而是将VG和RG格式一起使用以避免这些缺点的好解决方案。此外,我们认为VG-TO-RG渲染过程对于有效组合VG和RG信息至关重要。通过指定有关如何将VG原语转移到RG像素的规则,渲染过程描述了VG和RG之间的相互作用和相关性。结果,我们提出了Rendnet,这是在2D和3D方案上识别的统一体系结构,该体系结构考虑VG/RG表示并通过结合VG-TO-RG栅格化过程来利用其相互作用。实验表明,Rendnet可以在各种VG数据集上的2D和3D对象识别任务上实现最新性能。
translated by 谷歌翻译
离线增强学习(RL)旨在从先前收集的静态轨迹数据中学习政策,而无需与真实环境进行交互。最近的作品通过将离线RL视为一个通用序列生成问题,从而提供了一种新的视角,该序列模型(例如变压器体系结构)可以通过轨迹模型进行模型,并将光束搜索重新用于计划算法。但是,在一般离线RL任务中使用的培训数据集非常有限,并且通常遭受分配覆盖率不足,这可能对训练序列的生成模型有害,但在先前的工作中没有引起足够的关注。在本文中,我们提出了一种名为Boottrapped Transformer的新型算法,该算法结合了自举的想法,并利用了学习的模型以自我生成更多的离线数据,以进一步增强序列模型训练。我们对两个离线RL基准测试进行了广泛的实验,并证明我们的模型可以在很大程度上纠正现有的离线RL训练限制并击败其他强大的基线方法。我们还分析了生成的伪数据,显示的特征可能会揭示离线RL训练。这些代码可在https://seqml.github.io/bootorl上找到。
translated by 谷歌翻译
基础模型正在成为主要的深度学习技术。由于模型参数和训练数据集的大规模,预处理基础模型始终耗时。除了计算密集型外,培训过程还非常密集和沟通密集。这些功能使得需要应用3D并行性,该平行性整合数据并行性,管道模型并行性和张量模型并行性,以实现高训练效率。为了实现这一目标,开发了一些自定义软件框架,例如Megatron-LM和DeepSpeed。但是,当前的3D平行框架仍然符合两个问题:i)它们对模型开发人员不透明,这些开发人员需要手动修改模型以并行化培训。 ii)它们对计算,GPU存储器和网络带宽的利用不足。我们提出了Merak,这是一个自动化的3D并行性深度学习培训框架,并具有高度资源利用。 Merak会自动使用自动模型分区仪部署,该分区仪在模型的代理表示上使用图形sharding算法。 Merak还提出了非侵入性的API,用于通过最小的代码修改来扩展基础模型培训。此外,我们在Merak设计了高性能的3D平行运行时引擎。它使用多种技术来利用可用的培训资源,包括移动的关键路径管道时间表,该计划带来了更高的计算利用率,阶段感知的重新计算,可利用空闲工作者的记忆以及子额定张量的模型并行性,这些模型并联与通信和计算重叠。 64 GPU的实验显示,Merak可以加快在最新的3D平行性框架上,具有1.5、2.5、8.3和20亿的模型框架,最高可达1.42x,1.39x,1.43x和1.61 x分别。
translated by 谷歌翻译
在过去的几十年中,卷积神经网络(CNN)在计算机视觉方面取得了令人印象深刻的成功。图像卷积操作可帮助CNN在与图像相关的任务上获得良好的性能。但是,图像卷积具有很高的计算复杂性,难以实现。本文提出了可以在频域中训练的Cemnet。这项研究的最重要动机是,我们可以根据互相关定理替换频域中的直接元素乘法操作来替换频域中的图像卷积,从而显然降低了计算复杂性。我们进一步介绍了一种体重固定机制,以减轻过度拟合的问题,并分析批准,泄漏的速度和频域中辍学的工作行为,以设计其为Cemnet的对应物。此外,为了处理由离散的傅立叶变换带来的复杂输入,我们为CENNET设计了两个分支网络结构。实验结果表明,Cemnet在MNIST和CIFAR-10数据库上取得了良好的性能。
translated by 谷歌翻译
有限的GPU记忆资源阻碍了深度神经网络的进一步发展。因此,高度要求GPU内存资源的优化。通常应用交换和重新计算,以更好地利用GPU记忆。但是,作为一个新兴领域,仍然存在一些挑战:1)静态和动态方法的重新计算效率受到限制。 2)交换需要手动卸载参数,这会产生巨大的时间成本。 3)没有这种动态和细粒的方法,涉及张量与当今的张量重新组件一起交换。为了纠正上述问题,我们提出了一个名为Delta(动态张量卸载和重新组件)的新型调度程序经理。据我们所知,我们是第一个在没有用户监督的情况下进行张量交换和张量重新组合的合理的动态运行时间调度程序。在Delta中,我们提出了一种过滤器算法,以选择要从GPU内存中释放出来的最佳张量,并提出导演算法,以选择每个张量的适当动作。此外,故意考虑预取和重叠以克服交换和重新计算张量引起的时间成本。实验结果表明,DELTA不仅节省了40%-70%的GPU记忆,从而超过了最新方法,而且还获得了可比的收敛结果,并获得了可接受的时间延迟。此外,与基准相比,当训练Resnet-101训练Resnet-101时,Delta在训练Resnet-50和2.25 $ \ times $时获得2.04 $ \ times $最大批量。此外,我们实验中的交换成本和重新计算成本之间的比较表明,在张量交换和张量重新计算上制定合理的动态调度程序的重要性,这在某些相关工作中反驳了交换应该是第一个也是最好的选择。
translated by 谷歌翻译
在本文中,我们提出了MENAS,这是一种有效的基于多试剂进化的NAS方法,人类干预较少。具体而言,我们提出了一个扩大的搜索空间(Mobilenet3-MT),用于Imagenet-1K,并提高两个方面的搜索效率。首先,MENAS共同探索建筑和最佳修剪候选人(彩票),逐渐减少了人口中的平均模型。每种型号都经过培训,并由其彩票票取代,而不是首先搜索繁琐的网络然后进行修剪。其次,我们介绍了个人体重共享,该分享专门用于多重试验NAS,旨在通过分享父母和子女网络之间的权重来摊销培训成本。与超级网的重量共享相比,单个体重分享的排名一致性更为可靠,同时通过防止复杂的超级网训练易于实现。此外,为了使被困在小型模型中的进化过程正规化,在制定父群体时,我们保留了最大模型的小比例,这被证明有益于增强模型性能。广泛的实验结果证明了十分的优势。在ImagEnet-1K数据库上,MENA可实现80.5%的TOP-1准确性,而无需涉及知识蒸馏或更大的图像分辨率。代码和型号将可用。
translated by 谷歌翻译