通过最大化示例的不同转换“视图”之间的相似性来构建自我监督学习（SSL）构建表示的最先进的方法。然而，在用于创建视图的转换中没有足够的多样性，难以克服数据中的滋扰变量并构建丰富的表示。这激励了数据集本身来查找类似但不同的样本，以彼此的视图。在本文中，我们介绍了我自己的观点（MISOW），一种新的自我监督学习方法，在数据集中定义预测的不同目标。我们的方法背后的想法是主动挖掘观点，发现在网络的表示空间中的邻居中的样本，然后从一个样本的潜在表示，附近样本的表示。在展示计算机愿景中使用的基准测试中，我们突出了在神经科学的新应用中突出了这个想法的力量，其中SSL尚未应用。在测试多单元神经记录时，我们发现Myow在所有示例中表现出其他自我监督的方法（在某些情况下超过10％），并且经常超越监督的基线。通过MOSO，我们表明可以利用数据的多样性来构建丰富的观点，并在增强的新域中利用自我监督，其中包括有限或未知。

神经活动的意义和简化表示可以产生深入了解如何以及什么信息被神经回路内处理。然而，如果没有标签，也揭示了大脑和行为之间的联系的发现表示可以挑战。在这里，我们介绍了所谓的交换，VAE学习神经活动的解开表示一种新型的无监督的办法。我们的方法结合了特定实例的排列损失，试图最大限度地输入（大脑状态）的转变观点之间的代表性相似性的生成模型框架。这些转化（或增强）视图是通过掉出神经元和抖动样品中的时间，这直观地应导致网络维护既时间一致性和不变性用于表示神经状态的特定的神经元的表示创建的。通过对从数百个不同的灵长类动物大脑的神经元的模拟数据和神经录音的评价，我们表明，它是不可能建立的表示沿有关潜在维度解开神经的数据集与行为相联系。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to self-supervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected.

学习概括不见于没有人类监督的有效视觉表现是一个基本问题，以便将机器学习施加到各种各样的任务。最近，分别是SIMCLR和BYOL的两个自我监督方法，对比学习和潜在自动启动的家庭取得了重大进展。在这项工作中，我们假设向这些算法添加显式信息压缩产生更好，更强大的表示。我们通过开发与条件熵瓶颈（CEB）目标兼容的SIMCLR和BYOL配方来验证这一点，允许我们衡量并控制学习的表示中的压缩量，并观察它们对下游任务的影响。此外，我们探讨了Lipschitz连续性和压缩之间的关系，显示了我们学习的编码器的嘴唇峰常数上的易触摸下限。由于Lipschitz连续性与稳健性密切相关，这为什么压缩模型更加强大提供了新的解释。我们的实验证实，向SIMCLR和BYOL添加压缩显着提高了线性评估精度和模型鲁棒性，跨各种域移位。特别是，Byol的压缩版本与Reset-50的ImageNet上的76.0％的线性评估精度达到了76.0％的直线评价精度，并使用Reset-50 2x的78.8％。

We introduce Bootstrap Your Own Latent (BYOL), a new approach to selfsupervised image representation learning. BYOL relies on two neural networks, referred to as online and target networks, that interact and learn from each other. From an augmented view of an image, we train the online network to predict the target network representation of the same image under a different augmented view. At the same time, we update the target network with a slow-moving average of the online network. While state-of-the art methods rely on negative pairs, BYOL achieves a new state of the art without them. BYOL reaches 74.3% top-1 classification accuracy on ImageNet using a linear evaluation with a ResNet-50 architecture and 79.6% with a larger ResNet. We show that BYOL performs on par or better than the current state of the art on both transfer and semi-supervised benchmarks. Our implementation and pretrained models are given on GitHub. 3 * Equal contribution; the order of first authors was randomly selected. 3

我们介绍了代表学习（CARL）的一致分配，通过组合来自自我监督对比学习和深层聚类的思路来学习视觉表现的无监督学习方法。通过从聚类角度来看对比学习，Carl通过学习一组一般原型来学习无监督的表示，该原型用作能量锚来强制执行给定图像的不同视图被分配给相同的原型。与与深层聚类的对比学习的当代工作不同，Carl建议以在线方式学习一组一般原型，使用梯度下降，而无需使用非可微分算法或k手段来解决群集分配问题。卡尔在许多代表性学习基准中超越了竞争对手，包括线性评估，半监督学习和转移学习。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

通常通过从单个组件的动力学上抽象来构建人口级动力学的模型来研究复杂的时变系统。但是，当构建人群级别的描述时，很容易忽略每个人，以及每个人如何贡献更大的情况。在本文中，我们提出了一种新颖的变压器体系结构，用于从时变数据中学习，该数据构建了个人和集体人口动态的描述。我们没有在一开始就将所有数据结合到我们的模型中，而是开发可分离的体系结构，该体系结构先在单个时间序列上运行，然后再将它们传递给它们。这会导致置换式属性属性，可用于跨不同大小和顺序的系统传输。在证明我们的模型可以应用于在多体系统中成功恢复复杂的相互作用和动力学之后，我们将方法应用于神经系统中的神经元种群。在神经活动数据集上，我们表明我们的多尺度变压器不仅会产生强大的解码性能，而且在转移方面提供了令人印象深刻的性能。我们的结果表明，可以从一种动物的大脑中的神经元学习并传递不同动物大脑中神经元的模型，并在集合和动物之间具有可解释的神经元对应。这一发现为解码并表示大量神经元的新途径开辟了一条新的途径。

我们对自我监督，监督或半监督设置的代表学习感兴趣。在应用自我监督学习的平均移位思想的事先工作，通过拉动查询图像来概括拜尔的想法，不仅更接近其其他增强，而且还可以到其他增强的最近邻居（NNS）。我们认为，学习可以从选择远处与查询相关的邻居选择遥远的邻居。因此，我们建议通过约束最近邻居的搜索空间来概括MSF算法。我们显示我们的方法在SSL设置中优于MSF，当约束使用不同的图像时，并且当约束确保NNS具有与查询相同的伪标签时，在半监控设置中优于培训资源的半监控设置中的爪子。

现有的深度聚类方法依赖于对比学习的对比学习，这需要否定例子来形成嵌入空间，其中所有情况都处于良好分离状态。但是，否定的例子不可避免地引起阶级碰撞问题，损害了群集的表示学习。在本文中，我们探讨了对深度聚类的非对比表示学习，被称为NCC，其基于Byol，一种没有负例的代表性方法。首先，我们建议将一个增强的实例与嵌入空间中的另一个视图的邻居对齐，称为正抽样策略，该域避免了由否定示例引起的类碰撞问题，从而提高了集群内的紧凑性。其次，我们建议鼓励在所有原型中的一个原型和均匀性的两个增强视图之间的对准，命名的原型是原型的对比损失或protocl，这可以最大化簇间距离。此外，我们在期望 - 最大化（EM）框架中制定了NCC，其中E-Step利用球面K手段来估计实例的伪标签和来自目标网络的原型的分布，并且M-Step利用了所提出的损失优化在线网络。结果，NCC形成了一个嵌入空间，其中所有集群都处于分离良好，而内部示例都很紧凑。在包括ImageNet-1K的几个聚类基准数据集上的实验结果证明了NCC优于最先进的方法，通过显着的余量。

将动物行为与大脑活动相关是神经科学的基本目标，具有建立强大的脑机接口的实际应用。但是，个人之间的域间差距是一种重大问题，可以防止对未标记科目工作的一般模型的培训。由于现在可以从无手动干预的多视图视频序列可以可靠地提取3D构成数据，我们建议使用它来指导神经动作表示的编码以及利用显微镜成像的性质的一组神经和行为增强。为了减少域间差距，在培训期间，我们跨越似乎正在执行类似行动的动物交换神经和行为数据。为了证明这一点，我们在三个非常不同的多模式数据集上测试我们的方法;特征是苍蝇和神经活动的一种，其中一个包含人类神经电压（ECOG）数据，最后是来自不同观点的人类活动的RGB视频数据。

通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。

最近，电子学习平台已经发展为学生可以发表疑问（用智能手机拍摄的快照）并在几分钟内解决的地方。但是，这些平台的质量差异很大的学生寄出疑问的数量显着增加，这不仅给教师导航解决方案带来了挑战，还增加了每个疑问的分辨率时间。两者都是不可接受的，因为高度怀疑的时间阻碍了学生学习进度的学习。这需要方法来自动识别存储库中是否存在类似的疑问，然后将其作为验证和与学生沟通的合理解决方案。监督的学习技术（如暹罗建筑）需要标签来识别比赛，这是不可行的，因为标签稀缺且昂贵。因此，在这项工作中，我们基于通过自我监督技术学到的表示形式开发了符合范式的标签不足的疑问。在BYOL的先前理论见解（Bootstrap您自己的潜在空间）的基础上，我们提出了Custom Byol，将特定于域特异性的增强与对比目标结合在一起，而不是各种适当构建的数据视图。结果强调，与BYOL和监督学习实例相比，Custom Byol分别将TOP-1匹配精度提高了大约6 \％和5 \％。我们进一步表明，基于BYOL的学习实例在标准杆上的性能比人类标签更好。

尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。

自我监督的学习最近在没有人类注释的情况下在表示学习方面取得了巨大的成功。主要方法（即对比度学习）通常基于实例歧视任务，即单个样本被视为独立类别。但是，假定所有样品都是不同的，这与普通视觉数据集中类似样品的自然分组相矛盾，例如同一狗的多个视图。为了弥合差距，本文提出了一种自适应方法，该方法引入了软样本间关系，即自适应软化对比度学习（ASCL）。更具体地说，ASCL将原始实例歧视任务转换为多实体软歧视任务，并自适应地引入样本间关系。作为现有的自我监督学习框架的有效简明的插件模块，ASCL就性能和效率都实现了多个基准的最佳性能。代码可从https://github.com/mrchenfeng/ascl_icpr2022获得。

神经记录的进展现在在前所未有的细节中研究神经活动的机会。潜在的变量模型（LVMS）是用于分析各种神经系统和行为的丰富活动的有希望的工具，因为LVM不依赖于活动与外部实验变量之间的已知关系。然而，目前缺乏标准化目前阻碍了对神经元群体活性的LVM进行的进展，导致采用临时方式进行和比较方法。为协调这些建模工作，我们为神经人群活动的潜在变量建模介绍了基准套件。我们从认知，感官和机动领域策划了四种神经尖峰活动的数据集，以促进适用于这些地区各地的各种活动的模型。我们将无监督的评估视为用于评估数据集的模型的共同框架，并应用几个显示基准多样性的基线。我们通过评估释放此基准。 http://neurallatents.github.io.

自我监督学习的最新进展证明了多种视觉任务的有希望的结果。高性能自我监督方法中的一个重要成分是通过培训模型使用数据增强，以便在嵌入空间附近的相同图像的不同增强视图。然而，常用的增强管道整体地对待图像，忽略图像的部分的语义相关性-e.g。主题与背景 - 这可能导致学习杂散相关性。我们的工作通过调查一类简单但高度有效的“背景增强”来解决这个问题，这鼓励模型专注于语义相关内容，劝阻它们专注于图像背景。通过系统的调查，我们表明背景增强导致在各种任务中跨越一系列最先进的自我监督方法（MOCO-V2，BYOL，SWAV）的性能大量改进。 $ \ SIM $ + 1-2％的ImageNet收益，使得与监督基准的表现有关。此外，我们发现有限标签设置的改进甚至更大（高达4.2％）。背景技术增强还改善了许多分布换档的鲁棒性，包括天然对抗性实例，想象群-9，对抗性攻击，想象成型。我们还在产生了用于背景增强的显着掩模的过程中完全无监督的显着性检测进展。

对比自我监督的学习已经超越了许多下游任务的监督预测，如分割和物体检测。但是，当前的方法仍然主要应用于像想象成的策划数据集。在本文中，我们首先研究数据集中的偏差如何影响现有方法。我们的研究结果表明，目前的对比方法令人惊讶地工作：（i）对象与场景为中心，（ii）统一与长尾和（iii）一般与域特定的数据集。其次，鉴于这种方法的一般性，我们尝试通过微小的修改来实现进一步的收益。我们展示了学习额外的修正 - 通过使用多尺度裁剪，更强的增强和最近的邻居 - 改善了表示。最后，我们观察Moco在用多作物策略训练时学习空间结构化表示。表示可以用于语义段检索和视频实例分段，而不会FineTuning。此外，结果与专门模型相提并论。我们希望这项工作将成为其他研究人员的有用研究。代码和模型可在https://github.com/wvanganebleke/revisiting-contrastive-ssl上获得。

Unsupervised image representations have significantly reduced the gap with supervised pretraining, notably with the recent achievements of contrastive learning methods. These contrastive methods typically work online and rely on a large number of explicit pairwise feature comparisons, which is computationally challenging. In this paper, we propose an online algorithm, SwAV, that takes advantage of contrastive methods without requiring to compute pairwise comparisons. Specifically, our method simultaneously clusters the data while enforcing consistency between cluster assignments produced for different augmentations (or "views") of the same image, instead of comparing features directly as in contrastive learning. Simply put, we use a "swapped" prediction mechanism where we predict the code of a view from the representation of another view. Our method can be trained with large and small batches and can scale to unlimited amounts of data. Compared to previous contrastive methods, our method is more memory efficient since it does not require a large memory bank or a special momentum network. In addition, we also propose a new data augmentation strategy, multi-crop, that uses a mix of views with different resolutions in place of two full-resolution views, without increasing the memory or compute requirements. We validate our findings by achieving 75.3% top-1 accuracy on ImageNet with ResNet-50, as well as surpassing supervised pretraining on all the considered transfer tasks.