神经网络二进制通过将其权重和激活量化为1位来加速深层模型。但是，二进制神经网络（BNN）与其完整精确（FP）对应物之间仍然存在巨大的性能差距。由于早期作品中权重二进制引起的量化误差已减少，因此激活二进化成为进一步提高准确性的主要障碍。 BNN表征了独特而有趣的结构，其中二进制和潜在的fp激活存在于同一正向通行证中（\ textit {i.e。} $ \ text {binarize}（\ mathbf {a} _f {a} _f）= \ mathbf {a a} _b $） 。为了减轻从FP到二元激活的二进化操作引起的信息降解，我们在通过互信息（MI）最大化的镜头训练BNN时建立了一种新颖的对比学习框架。将MI作为指标引入，以衡量二进制和FP激活之间共享的信息，这有助于对比度学习。具体而言，通过从相同输入样品中拉出二进制和FP激活的正对，以及从不同样品中推动负面对（负面对数的数量可以大大），从而极大地增强了BNN的表示能力。这使下游任务不仅有益于分类，而且还受益于分类和深度估计，〜\ textit {etc}。实验结果表明，我们的方法可以作为现有最新二元方法的堆积模块实现NYUD-V2的能力。

依靠这样的前提是，二进制神经网络的性能可以在很大程度上恢复，而完全精确的权重向量与其相应的二进制向量之间的量化错误，网络二线化的现有作品经常采用模型鲁棒性的想法以达到上述目标。但是，鲁棒性仍然是一个不明智的概念，而没有扎实的理论支持。在这项工作中，我们介绍了Lipschitz的连续性，即定义明确的功能特性，是定义BNN模型鲁棒性的严格标准。然后，我们建议将Lipschitz连续性保留为正规化项，以提高模型的鲁棒性。特别是，虽然流行的Lipschitz涉及正则化方法由于其极端稀疏而经常在BNN中崩溃，但我们将保留矩阵设计以近似于目标重量矩阵的光谱规范，可以将其作为BNN的Lipschitz常数的近似值部署精确的L​​ipschitz恒定计算（NP-HARD）。我们的实验证明，我们的BNN特异性正则化方法可以有效地增强BNN的鲁棒性（在Imagenet-C上作证），从而在CIFAR和Imagenet上实现最新性能。

无教师的在线知识蒸馏（KD）旨在培训多个学生模型的合奏，并彼此提炼知识。尽管现有的在线KD方法实现了理想的性能，但它们通常专注于阶级概率作为核心知识类型，而忽略了宝贵的特征代表性信息。我们为在线KD提供了一个相互的对比学习（MCL）框架。 MCL的核心思想是以在线方式进行对比分布的相互交互和对比度分布的转移。我们的MCL可以汇总跨网络嵌入信息，并最大化两个网络之间的相互信息的下限。这使每个网络能够从他人那里学习额外的对比知识，从而提供更好的特征表示形式，从而提高视觉识别任务的性能。除最后一层外，我们还将MCL扩展到辅助特征细化模块辅助的几个中间层。这进一步增强了在线KD的表示能力。关于图像分类和转移学习到视觉识别任务的实验表明，MCL可以针对最新的在线KD方法带来一致的性能提高。优势表明，MCL可以指导网络生成更好的特征表示。我们的代码可在https://github.com/winycg/mcl上公开获取。

Humans view the world through many sensory channels, e.g., the long-wavelength light channel, viewed by the left eye, or the high-frequency vibrations channel, heard by the right ear. Each view is noisy and incomplete, but important factors, such as physics, geometry, and semantics, tend to be shared between all views (e.g., a "dog" can be seen, heard, and felt). We investigate the classic hypothesis that a powerful representation is one that models view-invariant factors. We study this hypothesis under the framework of multiview contrastive learning, where we learn a representation that aims to maximize mutual information between different views of the same scene but is otherwise compact. Our approach scales to any number of views, and is viewagnostic. We analyze key properties of the approach that make it work, finding that the contrastive loss outperforms a popular alternative based on cross-view prediction, and that the more views we learn from, the better the resulting representation captures underlying scene semantics. Our approach achieves state-of-the-art results on image and video unsupervised learning benchmarks.

尽管知识蒸馏有经验成功，但仍然缺乏理论基础，可以自然地导致计算廉价的实现。为了解决这一问题，我们使用最近提出的熵函数来促进信息理论与知识蒸馏之间的替代联系。在这样做时，我们介绍了两个不同的互补损失，旨在最大限度地提高学生和教师陈述之间的相关性和互信。我们的方法对知识蒸馏和跨模型转移任务的最先进的竞争性能实现了最先进的，同时产生明显较低的培训开销，而不是密切相关和类似的方法。我们进一步展示了我们对二元蒸馏任务的方法的有效性，由此，我们将光线光到新的最先进的二进制量化。代码，评估协议和培训的型号将公开可用。

现有的少量学习（FSL）方法依赖于具有大型标记数据集的培训，从而阻止它们利用丰富的未标记数据。从信息理论的角度来看，我们提出了一种有效的无监督的FSL方法，并以自学意义进行学习表示。遵循信息原理，我们的方法通过捕获数据的内在结构来学习全面的表示。具体而言，我们以低偏置的MI估计量来最大化实例及其表示的相互信息（MI），以执行自我监督的预训练。我们的自我监督模型对所见类别的可区分特征的监督预训练没有针对可见的阶级的偏见，从而对看不见的类别进行了更好的概括。我们解释说，受监督的预训练和自我监督的预训练实际上正在最大化不同的MI目标。进一步进行了广泛的实验，以通过各种训练环境分析其FSL性能。令人惊讶的是，结果表明，在适当条件下，自我监管的预训练可以优于监督预训练。与最先进的FSL方法相比，我们的方法在没有基本类别的任何标签的情况下，在广泛使用的FSL基准上实现了可比的性能。

Often we wish to transfer representational knowledge from one neural network to another. Examples include distilling a large network into a smaller one, transferring knowledge from one sensory modality to a second, or ensembling a collection of models into a single estimator. Knowledge distillation, the standard approach to these problems, minimizes the KL divergence between the probabilistic outputs of a teacher and student network. We demonstrate that this objective ignores important structural knowledge of the teacher network. This motivates an alternative objective by which we train a student to capture significantly more information in the teacher's representation of the data. We formulate this objective as contrastive learning. Experiments demonstrate that our resulting new objective outperforms knowledge distillation and other cutting-edge distillers on a variety of knowledge transfer tasks, including single model compression, ensemble distillation, and cross-modal transfer. Our method sets a new state-of-the-art in many transfer tasks, and sometimes even outperforms the teacher network when combined with knowledge distillation.

模型二进制化是一种压缩神经网络并加速其推理过程的有效方法。但是，1位模型和32位模型之间仍然存在显着的性能差距。实证研究表明，二进制会导致前进和向后传播中的信息损失。我们提出了一个新颖的分布敏感信息保留网络（DIR-NET），该网络通过改善内部传播和引入外部表示，将信息保留在前后传播中。 DIR-NET主要取决于三个技术贡献：（1）最大化二进制（IMB）的信息：最小化信息损失和通过重量平衡和标准化同时同时使用权重/激活的二进制误差； （2）分布敏感的两阶段估计器（DTE）：通过共同考虑更新能力和准确的梯度来通过分配敏感的软近似来保留梯度的信息； （3）代表性二进制 - 意识蒸馏（RBD）：通过提炼完整精确和二元化网络之间的表示来保留表示信息。 DIR-NET从统一信息的角度研究了BNN的前进过程和后退过程，从而提供了对网络二进制机制的新见解。我们的DIR-NET中的三种技术具有多功能性和有效性，可以在各种结构中应用以改善BNN。关于图像分类和客观检测任务的综合实验表明，我们的DIR-NET始终优于主流和紧凑型体系结构（例如Resnet，vgg，vgg，EfficityNet，darts和mobilenet）下最新的二进制方法。此外，我们在现实世界中的资源有限设备上执行DIR-NET，该设备可实现11.1倍的存储空间和5.4倍的速度。

在这项工作中，我们提出了相互信息最大化知识蒸馏（MIMKD）。我们的方法使用对比目标来同时估计，并最大化教师和学生网络之间的本地和全球特征表示的相互信息的下限。我们通过广泛的实验证明，这可以通过将知识从更加性能但计算昂贵的模型转移来改善低容量模型的性能。这可用于产生更好的模型，可以在具有低计算资源的设备上运行。我们的方法灵活，我们可以将具有任意网络架构的教师蒸馏到任意学生网络。我们的经验结果表明，MIMKD优于各种学生教师对的竞争方法，具有不同的架构，以及学生网络的容量极低。我们能够通过从Reset-50蒸馏出来的知识，从基线精度为Shufflenetv2获得74.55％的精度。在Imagenet上，我们使用Reset-34教师网络将Reset-18网络从68.88％提高到70.32％的准确度（1.44％+）。

二进制神经网络（BNNS）将原始的全精度权重和激活为1位，带有符号功能。由于传统符号函数的梯度几乎归零，因此不能用于反向传播，因此已经提出了几次尝试来通过使用近似梯度来缓解优化难度。然而，这些近似损坏了事实梯度的主要方向。为此，我们建议使用用于训练BNN的正弦函数的组合来估计傅立叶频域中的符号功能的梯度，即频域近似（FDA）。该提出的方法不会影响占据大部分整体能量的原始符号功能的低频信息，并且将忽略高频系数以避免巨大的计算开销。此外，我们将噪声适配模块嵌入到训练阶段以补偿近似误差。关于多个基准数据集和神经架构的实验说明了使用我们的方法学习的二进制网络实现了最先进的准确性。代码将在\ texit {https://gitee.com/mindspore/models/tree/master/research/cv/fda-bnn}上获得。

Binary neural networks are the extreme case of network quantization, which has long been thought of as a potential edge machine learning solution. However, the significant accuracy gap to the full-precision counterparts restricts their creative potential for mobile applications. In this work, we revisit the potential of binary neural networks and focus on a compelling but unanswered problem: how can a binary neural network achieve the crucial accuracy level (e.g., 80%) on ILSVRC-2012 ImageNet? We achieve this goal by enhancing the optimization process from three complementary perspectives: (1) We design a novel binary architecture BNext based on a comprehensive study of binary architectures and their optimization process. (2) We propose a novel knowledge-distillation technique to alleviate the counter-intuitive overfitting problem observed when attempting to train extremely accurate binary models. (3) We analyze the data augmentation pipeline for binary networks and modernize it with up-to-date techniques from full-precision models. The evaluation results on ImageNet show that BNext, for the first time, pushes the binary model accuracy boundary to 80.57% and significantly outperforms all the existing binary networks. Code and trained models are available at: https://github.com/hpi-xnor/BNext.git.

知识蒸馏（KD）是一个有效的框架，旨在将有意义的信息从大型老师转移到较小的学生。通常，KD通常涉及如何定义和转移知识。以前的KD方法通常着重于挖掘各种形式的知识，例如功能地图和精致信息。但是，知识源自主要监督任务，因此是高度特定于任务的。在自我监督的代表学习的最新成功中，我们提出了一项辅助自我实施的增强任务，以指导网络学习更多有意义的功能。因此，我们可以从KD的这项任务中得出软性自我实施的增强分布作为更丰富的黑暗知识。与以前的知识不同，此分布编码从监督和自我监督的特征学习中编码联合知识。除了知识探索之外，我们建议在各个隐藏层上附加几个辅助分支，以充分利用分层特征图。每个辅助分支都被指导学习自学的增强任务，并将这种分布从教师到学生提炼。总体而言，我们称我们的KD方法为等级自我实施的增强知识蒸馏（HSSAKD）。标准图像分类的实验表明，离线和在线HSSAKD都在KD领域达到了最先进的表现。对象检测的进一步转移实验进一步验证了HSSAKD可以指导网络学习更好的功能。该代码可在https://github.com/winycg/hsakd上找到。

对比表示学习旨在通过估计数据的多个视图之间的共享信息来获得有用的表示形式。在这里，数据增强的选择对学会表示的质量很敏感：随着更难的应用，数据增加了，视图共享更多与任务相关的信息，但也可以妨碍表示代表的概括能力。在此激励的基础上，我们提出了一种新的强大的对比度学习计划，即r \'enyicl，可以通过利用r \'enyi差异来有效地管理更艰难的增强。我们的方法建立在r \'enyi差异的变异下限基础上，但是由于差异很大，对变异方法的使用是不切实际的。要应对这一挑战，我们提出了一个新颖的对比目标，该目标是进行变异估计的新型对比目标偏斜r \'enyi的分歧，并提供理论保证，以确保偏差差异如何导致稳定训练。我们表明，r \'enyi对比度学习目标执行先天的硬性负面样本和易于选择的阳性抽样学习有用的功能并忽略滋扰功能。通过在Imagenet上进行实验，我们表明，r \'enyi对比度学习具有更强的增强性能优于其他自我监督的方法，而无需额外的正则化或计算上的开销。图形和表格，显示了与其他对比方法相比的经验增益。

对比性自我监督学习（CSL）是一种实用解决方案，它以无监督的方法从大量数据中学习有意义的视觉表示。普通的CSL将从神经网络提取的特征嵌入到特定的拓扑结构上。在训练进度期间，对比度损失将同一输入的不同视图融合在一起，同时将不同输入分开的嵌入。 CSL的缺点之一是，损失项需要大量的负样本才能提供更好的相互信息理想。但是，通过较大的运行批量大小增加负样本的数量也增强了错误的负面影响：语义上相似的样品与锚分开，因此降低了下游性能。在本文中，我们通过引入一个简单但有效的对比学习框架来解决这个问题。关键的见解是使用暹罗风格的度量损失来匹配原型内特征，同时增加了原型间特征之间的距离。我们对各种基准测试进行了广泛的实验，其中结果证明了我们方法在提高视觉表示质量方面的有效性。具体而言，我们使用线性探针的无监督预训练的Resnet-50在Imagenet-1K数据集上超过了受访的训练有素的版本。

随着自我监督学习（SSL）的成功，它已成为一种主流范式，可以从自我监督预定的预计模型中进行微调以提高下游任务的性能。但是，我们发现当前的SSL模型在执行低位量化时遭受严重的准确性下降，禁止其在资源受限应用程序中的部署。在本文中，我们提出了一种称为协同自我监督和量化学习（SSQL）的方法，以预处理量化量化的自我监督模型，从而有助于下游部署。 SSQL以自我监督的方式对比量化和完整的精度模型的特征，在每个步骤中随机选择了量化模型的位宽度。 SSQL不仅在量化较低的位宽度时显着提高了准确性，而且在大多数情况下都提高了完整精度模型的准确性。通过仅培训一次，SSQL可以同时在不同的位宽度上受益于各种下游任务。此外，在没有额外的存储开销的情况下，可以实现位宽度的灵活性，在训练和推理过程中只需要一份重量。我们理论上分析了SSQL的优化过程，并在各种基准测试中进行详尽的实验，以进一步证明我们方法的有效性。我们的代码可从https://github.com/megvii-research/ssql-eccv2022获得。

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that bridges contrastive learning with clustering. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it encodes semantic structures discovered by clustering into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

深度学习的成功通常伴随着神经网络深度的增长。但是，传统培训方法仅在最后一层监督神经网络并逐层传播，这导致了优化中间层的困难。最近，已经提出了深层监督，以在深神经网络的中间层中添加辅助分类器。通过通过监督任务损失优化这些辅助分类器，可以将监督直接应用于浅层层。但是，深层监督与众所周知的观察结果冲突，即浅层学习低级特征，而不是任务偏向的高级语义特征。为了解决这个问题，本文提出了一个名为“对比深度监督”的新型培训框架，该框架通过基于增强的对比学习来监督中间层。具有11个模型的九个流行数据集的实验结果证明了其对监督学习，半监督学习和知识蒸馏中一般图像分类，细粒度的图像分类和对象检测的影响。代码已在Github发布。

本文研究了重量和激活都将二进制神经网络（BNN）二进制为1位值，从而大大降低了记忆使用率和计算复杂性。由于现代深层神经网络具有复杂的设计，具有复杂的架构，其准确性，因此权重和激活分布的多样性非常高。因此，传统的符号函数不能很好地用于有效地在BNN中进行全精度值。为此，我们提出了一种称为Adabin的简单而有效的方法，可自适应获得最佳的二进制集$ \ {b_1，b_2 \} $（$ b_1，b_1，b_2 \ in \ mathbb {r} $）的重量和激活而不是固定集（即$ \ { - 1，+1 \} $）。通过这种方式，提出的方法可以更好地拟合不同的分布，并提高二进制特征的表示能力。实际上，我们使用中心位置和1位值的距离来定义新的二进制量化函数。对于权重，我们提出了一种均衡方法，将对称分布的对称中心与实价分布相对，并最大程度地减少它们的kullback-leibler差异。同时，我们引入了一种基于梯度的优化方法，以获取这两个激活参数，这些参数以端到端的方式共同训练。基准模型和数据集的实验结果表明，拟议的Adabin能够实现最新性能。例如，我们使用RESNET-18体系结构在Imagenet上获得66.4 \％TOP-1的精度，并使用SSD300获得了Pascal VOC的69.4映射。

最近在自我监督学习中的最先进的框架最近表明，与传统的CNN型号相比，基于变压器的模型可以导致性能提升。繁荣以最大化图像的两个视图的相互信息，现有的作品对最终陈述具有对比损失。在我们的工作中，我们通过通过对比损失允许中间表示从最终层学习来进一步利用这一点，这可以最大化原始目标的上限和两层之间的相互信息。我们的方法，自蒸馏自我监督学习（SDSSL），胜过竞争基础（SIMCLR，BYOL和MOCO V3）使用各种任务和数据集。在线性评估和K-NN协议中，SDSSL不仅导致最终层的性能优异，而且在大多数下层中也是如此。此外，正负对准用于解释如何更有效地形成表示。代码将可用。

上下文信息对于各种计算机视觉任务至关重要，以前的作品通常设计插件模块和结构损失，以有效地提取和汇总全局上下文。这些方法利用优质标签来优化模型，但忽略了精细训练的特征也是宝贵的训练资源，可以将优选的分布引入硬像素（即错误分类的像素）。受到无监督范式的对比学习的启发，我们以监督的方式应用了对比度损失，并重新设计了损失功能，以抛弃无监督学习的刻板印象（例如，积极和负面的不平衡，对锚定计算的混淆）。为此，我们提出了阳性阴性相等的对比损失（PNE损失），这增加了阳性嵌入对锚的潜在影响，并同时对待阳性和阴性样本对。 PNE损失可以直接插入现有的语义细分框架中，并以可忽视的额外计算成本导致出色的性能。我们利用许多经典的分割方法（例如，DeepLabv3，Ocrnet，Upernet）和骨干（例如Resnet，Hrnet，Swin Transformer）进行全面的实验，并在两个基准数据集（例如，例如，例如，，例如城市景观和可可固定）。我们的代码将公开