可见的红外人员重新识别（VI-REID）是与可见和红外形态相同的个人匹配的任务。它的主要挑战在于由在不同光谱上运行的相机引起的模态差距。现有的VI-Reid方法主要集中于跨模式学习的一般特征，通常是以特征可区分性为代价。为了解决这个问题，我们提出了一个基于周期的新型网络，用于中性但歧视性特征学习，称为环形。具体而言，Cycletrans使用轻巧的知识捕获模块（KCM）根据伪查询从与模态相关的特征地图捕获丰富的语义。之后，根据模态 - 欧罗威兰原型将这些特征转换为中性特征，将差异建模模块（DMM）部署为中性。为了确保特征可区分性，进一步部署了另外两个KCMs以进行特征周期结构。通过自行车结构，我们的方法可以在保留其出色的语义的同时学习有效的中性特征。在SYSU-MM01和REGDB数据集上进行的广泛实验验证了环形验证的优点针对最先进的方法，在SYSU-MM01中排名1的 +4.57％，REGDB中排名1 +2.2％。
translated by 谷歌翻译
尽管近年来人的重新识别取得了令人印象深刻的改善，但在实际应用程序场景中，由不同的障碍引起的常见闭塞案例仍然是一个不稳定的问题。现有方法主要通过采用额外网络提供的身体线索来区分可见部分，以解决此问题。然而，助理模型和REID数据集之间的不可避免的域间隙极大地增加了获得有效和有效模型的困难。为了摆脱额外的预训练网络并在端到端可训练网络中实现自动对齐，我们根据两个不言而喻的先验知识提出了一种新型的动态原型掩码（DPM）。具体而言，我们首先设计了一个层次蒙版生成器，该层面生成器利用层次的语义选择高质量的整体原型和闭塞输入图像的特征表示之间的可见图案空间。在这种情况下，可以自发地在选定的子空间中很好地对齐。然后，为了丰富高质量整体原型的特征表示并提供更完整的特征空间，我们引入了一个头部丰富模块，以鼓励不同的头部在整个图像中汇总不同的模式表示。对被遮挡和整体人员重新识别基准进行的广泛的实验评估证明了DPM优于最先进的方法。该代码在https://github.com/stone96123/dpm上发布。
translated by 谷歌翻译
通过强迫连续重量的最多n非零，最近的N：M网络稀疏性因其两个有吸引力的优势而受到越来越多的关注：1）高稀疏性的有希望的表现。 2）对NVIDIA A100 GPU的显着加速。最近的研究需要昂贵的训练阶段或重型梯度计算。在本文中，我们表明N：M学习可以自然地将其描述为一个组合问题，该问题可以在有限的集合中寻找最佳组合候选者。由这种特征激励，我们以有效的分裂方式解决了n：m的稀疏性。首先，我们将重量向量分为$ c _ {\ text {m}}}^{\ text {n}} $组合s子集的固定大小N。然后，我们通过分配每个组合来征服组合问题，一个可学习的分数是共同优化了其关联权重。我们证明，引入的评分机制可以很好地模拟组合子集之间的相对重要性。通过逐渐去除低得分的子集，可以在正常训练阶段有效地优化N：M细粒稀疏性。全面的实验表明，我们的学习最佳组合（LBC）的表现始终如一，始终如一地比现成的N：m稀疏方法更好。我们的代码在\ url {https://github.com/zyxxmu/lbc}上发布。
translated by 谷歌翻译
轻巧的超级分辨率（SR）模型因其在移动设备中的可用性而受到了极大的关注。许多努力采用网络量化来压缩SR模型。但是，当将SR模型定量为具有低成本层量化的超低精度（例如2位和3位）时，这些方法会遭受严重的性能降解。在本文中，我们确定性能下降来自于层的对称量化器与SR模型中高度不对称的激活分布之间的矛盾。这种差异导致量化水平上的浪费或重建图像中的细节损失。因此，我们提出了一种新型的激活量化器，称为动态双训练边界（DDTB），以适应激活的不对称性。具体而言，DDTB在：1）具有可训练上限和下限的层量化器中，以应对高度不对称的激活。 2）一个动态栅极控制器，可在运行时自适应地调整上和下限，以克服不同样品上的急剧变化的激活范围。为了减少额外的开销，将动态栅极控制器定量到2位，并仅应用于部分的一部分SR网络根据引入的动态强度。广泛的实验表明，我们的DDTB在超低精度方面表现出显着的性能提高。例如，当将EDSR量化为2位并将输出图像扩展为X4时，我们的DDTB在Urban100基准测试基准上实现了0.70dB PSNR的增加。代码位于\ url {https://github.com/zysxmu/ddtb}。
translated by 谷歌翻译
视觉变压器（VIT）在计算机视觉任务中取得了许多突破。但是，输入图像的空间维度出现了相当大的冗余，导致了巨大的计算成本。因此，我们提出了一个粗糙的视觉变压器（CF-VIT），以减轻计算负担，同时在本文中保持绩效。我们提出的CF-VIT是由现代VIT模型中的两个重要观察结果激励的：（1）粗粒斑分裂可以找到输入图像的信息区域。 （2）大多数图像可以通过小型令牌序列中的VIT模型很好地识别。因此，我们的CF-Vit以两阶段的方式实现网络推断。在粗糙的推理阶段，输入图像分为一个小长度贴片序列，以进行计算经济分类。如果不公认的话，请确定信息斑块，并在细粒度的细粒度中进一步重新分解。广泛的实验证明了我们CF-VIT的功效。例如，在不妥协性能的情况下，CF-VIT可以减少53％的LV-VIT拖鞋，还可以达到2.01倍的吞吐量。
translated by 谷歌翻译
网络的稀疏性主要是由于其降低网络复杂性的能力而受欢迎。广泛的研究挖掘了梯度驱动的稀疏性。通常，这些方法是在体重独立性前提下构建的，但是与重量受到相互影响的事实相反。因此，他们的性能仍有待改进。在本文中，我们建议通过解决这种独立悖论来进一步优化梯度驱动的稀疏性（OPTG）。我们的动机来自最近对超级策略训练的进步，该进步表明，稀疏子网可以通过简单地更新掩码值而无需修改任何权重的情况下将其位于随机初始化的网络中。我们证明，超级手机训练是积累重量梯度，并可以部分解决独立悖论。因此，OPTG将Supermask训练集成到梯度驱动的稀疏度中，并且设计了专门的掩模优化器来解决独立悖论。实验表明，OPTG可以很好地超越许多现有的最先进的竞争对手。我们的代码可在\ url {https://github.com/zyxxmu/optg}上找到。
translated by 谷歌翻译
为了弥合深度神经网络的复杂性和硬件能力之间不断增加的差距，网络量化引起了越来越多的研究关注。混合精度量化的最新趋势利用硬件的多个位宽度算术运算来释放网络量化的全部潜力。然而，这也导致困难的整数编程配方，并且即使使用各种放松，大多数现有方法也能使用极其耗时的搜索过程。我们建议优化一个代理度量，而不是解决原始整数编程的问题，而是与整数编程的丢失高度相关的网络正交性的概念，而是用线性编程易于优化。该方法通过数量级的秩序减少了搜索时间和所需的数据量，符合量化精度几乎没有妥协。具体而言，我们在Reset-18上获得72.08％的前1个精度，6.7MB不需要任何搜索迭代。鉴于我们的算法的高效率和低数据依赖性，我们将其用于训练后量化，该量化仅在MobileNetv2上实现71.27％的前1个精度，只有1.5MB。我们的代码可在https://github.com/mac-automl/oppq上获得。
translated by 谷歌翻译
虽然训练后量化受到普及，但由于其逃避访问原始的完整培训数据集，但其性能差也源于此限制。为了减轻这种限制，在本文中，我们利用零击量化引入的合成数据与校准数据集，我们提出了一种细粒度的数据分布对准（FDDA）方法来提高训练后量化的性能。该方法基于我们在训练网络的深层观察到的批量归一化统计（BNS）的两个重要属性，即，阶级间分离和级别的含量。为了保留这种细粒度分布信息：1）我们计算校准数据集的每级BNS作为每个类的BNS中心，并提出了BNS集中丢失，以强制不同类的合成数据分布靠近其自己的中心。 2）我们将高斯噪声添加到中心中，以模仿压力，并提出BNS扭曲的损失，以强迫同一类的合成数据分布接近扭曲的中心。通过引入这两个细粒度的损失，我们的方法显示了在想象中心上的最先进的性能，特别是当第一层和最后一层也被量化为低比特时。我们的项目可在https://github.com/zysxmu/fdda获得。
translated by 谷歌翻译
先前的研究证明，黑盒模型的功能可以被完全概率输出偷走。但是，在更实用的硬牌环境下，我们观察到现有的方法遭受灾难性的性能降解。我们认为这是由于概率预测中缺乏丰富的信息以及硬标签引起的过度拟合。为此，我们提出了一种称为\ emph {black-box disector}的新型硬标签模型窃取方法，该方法由两个基于擦除的模块组成。一种是一种凸轮驱动的擦除策略，旨在增加受害者模型中隐藏在硬标签中的信息能力。另一个是一个基于随机的自我知识蒸馏模块，该模块利用替代模型的软标签来减轻过度拟合。在四个广泛使用的数据集上进行的广泛实验始终表明，我们的方法优于最先进的方法，最多提高了$ 8.27 \％$。我们还验证了我们方法对现实世界API和防御方法的有效性和实际潜力。此外，我们的方法促进了其他下游任务，\ emph {i.e。}，转移对抗攻击。
translated by 谷歌翻译
网络修剪是一种有效的方法，可以通过可接受的性能妥协降低网络复杂性。现有研究通过耗时的重量调谐或具有扩展宽度的网络的复杂搜索来实现神经网络的稀疏性，这极大地限制了网络修剪的应用。在本文中，我们表明，在没有权重调谐的情况下，高性能和稀疏的子网被称为“彩票奖线”，存在于具有膨胀宽度的预先训练的模型中。例如，我们获得了一个只有10％参数的彩票奖金，仍然达到了原始密度Vggnet-19的性能，而无需对CiFar-10的预先训练的重量进行任何修改。此外，我们观察到，来自许多现有修剪标准的稀疏面具与我们的彩票累积的搜索掩码具有高重叠，其中，基于幅度的修剪导致与我们的最相似的掩模。根据这种洞察力，我们使用基于幅度的修剪初始化我们的稀疏掩模，导致彩票累积搜索至少3倍降低，同时实现了可比或更好的性能。具体而言，我们的幅度基彩票奖学金在Reset-50中除去90％的重量，而在ImageNet上仅使用10个搜索时期可以轻松获得超过70％的前1个精度。我们的代码可在https://github.com/zyxxmu/lottery-jackpots获得。
translated by 谷歌翻译