对图像分类任务的对比学习成功的鼓励，我们为3D手姿势估计的结构化回归任务提出了一种新的自我监督方法。对比学习利用未标记的数据来通过损失制定来使用未标记的数据，以鼓励学习的特征表示在任何图像转换下都是不变的。对于3D手姿势估计，它也希望具有不变性地与诸如颜色抖动的外观变换。但是，该任务需要在仿射和转换之类的转换下的标准性。为了解决这个问题，我们提出了一种对比的对比目标，并在3D手姿势估计的背景下展示其有效性。我们通过实验研究了不变性和对比的对比目标的影响，并表明学习的等待特征导致3D手姿势估计的任务的更好表示。此外，我们显示具有足够深度的标准Evenet，在额外的未标记数据上培训，在弗雷手中获得高达14.5％的提高，因此在没有任何任务的专用架构的情况下实现最先进的性能。 https://ait.ethz.ch/projects/2021/peclr/使用代码和模型

我们介绍了TemPCLR，这是一种针对3D手重建的结构化回归任务的新的时代对比学习方法。与以前的手部姿势估计方法相抵触方法不同，我们的框架考虑了其增强方案中的时间一致性，并说明了沿时间方向的手部姿势的差异。我们的数据驱动方法利用了未标记的视频和标准CNN，而无需依赖合成数据，伪标签或专业体系结构。我们的方法在HO-3D和Freihand数据集中分别将全面监督的手部重建方法的性能提高了15.9％和7.6％，从而确立了新的最先进的性能。最后，我们证明了我们的方法会随着时间的推移产生更平滑的手部重建，并且与以前的最新作品相比，对重型的闭塞更为强大，我们在定量和定性上表现出来。我们的代码和模型将在https://eth-ait.github.io/tempclr上找到。

我们对最近的自我和半监督ML技术进行严格的评估，从而利用未标记的数据来改善下游任务绩效，以河床分割的三个遥感任务，陆地覆盖映射和洪水映射。这些方法对于遥感任务特别有价值，因为易于访问未标记的图像，并获得地面真理标签通常可以昂贵。当未标记的图像（标记数据集之外）提供培训时，我们量化性能改进可以对这些遥感分割任务进行期望。我们还设计实验以测试这些技术的有效性，当测试集相对于训练和验证集具有域移位时。

学习时间序列表示只有未标记的数据或几个标签样本可用时，可能是一项具有挑战性的任务。最近，通过对比，通过对比的不同数据观点从未标记的数据中提取有用的表示形式方面，对对比的自我监督学习表现出了很大的改进。在这项工作中，我们通过时间和上下文对比（TS-TCC）提出了一个新颖的时间序列表示学习框架，该框架从未标记的数据中学习了具有对比性学习的无标记数据的表示。具体而言，我们建议时间序列特定的弱和强大的增强，并利用他们的观点在拟议的时间对比模块中学习稳健的时间关系，除了通过我们提出的上下文对比模块学习判别性表示。此外，我们对时间序列数据增强选择进行系统研究，这是对比度学习的关键部分。我们还将TS-TCC扩展到了半监督的学习设置，并提出了一种类感知的TS-TCC（CA-TCC），从可用的少数标​​记数据中受益，以进一步改善TS-TCC学到的表示。具体而言，我们利用TS-TCC生成的强大伪标签来实现班级感知的对比损失。广泛的实验表明，对我们提议的框架所学的功能的线性评估与完全监督的培训相当。此外，我们的框架在少数标记的数据和转移学习方案中显示出高效率。该代码可在\ url {https://github.com/emadeldeen24/ts-tcc}上公开获得。

我们提出了一种使用图像增强的自我监督训练方法，用于学习视图的视觉描述符。与通常需要复杂数据集的现有作品（例如注册的RGBD序列）不同，我们在无序的一组RGB图像上训练。这允许从单个相机视图（例如，在带有安装式摄像机的现有机器人单元格中学习）学习。我们使用数据增强创建合成视图和密集的像素对应关系。尽管数据记录和设置要求更简单，但我们发现我们的描述符与现有方法具有竞争力。我们表明，对合成对应的培训提供了各种相机视图的描述符的一致性。我们将训练与来自多种视图的几何对应关系进行比较，并提供消融研究。我们还使用从固定式摄像机中学到的描述符显示了一个机器人箱进行挑选实验，以定义掌握偏好。

自从近年来，自我监督的方法已成为代表性学习的有前途的途径，因为它们减轻了对被标记的数据集的需求，这些数据集的需求稀缺又昂贵。对比方法是在音频域中自学的流行选择，通常通过强迫模型不变到输入的某些转换来提供学习信号。但是，这些方法需要采取诸如阴性采样或某种形式的正则化之类的措施，以防止模型在琐碎的溶液上崩溃。在这项工作中，我们建议使用均衡性作为一个自我判断信号，以从未标记的数据中学习音频节奏表示。我们得出一个简单的损耗函数，可防止网络在训练过程中崩溃，而无需任何形式的正则化或负抽样。我们的实验表明，可以通过仅依靠模棱两可的自学意义来学习有意义的速度估计表示，从而实现与几种基准上有监督的方法相当的性能。为了额外的好处，我们的方法仅需要适度的计算资源，因此，广泛的研究社区仍然可以使用。

当标记的数据丰富时，从单个图像中进行3D姿势估计的监督方法非常有效。但是，由于对地面3D标签的获取是劳动密集型且耗时的，最近的关注已转向半决赛和弱监督的学习。产生有效的监督形式，几乎没有注释，仍然在拥挤的场景中构成重大挑战。在本文中，我们建议通过加权区分三角剖分施加多视文几何约束，并在没有标签时将其用作一种自我设计的形式。因此，我们以一种方式训练2D姿势估计器，以使其预测对应于对三角姿势的3D姿势的重新投影，并在其上训练辅助网络以产生最终的3D姿势。我们通过一种加权机制来补充三角剖分，从而减轻了由自我咬合或其他受试者的遮挡引起的嘈杂预测的影响。我们证明了半监督方法对人类36M和MPI-INF-3DHP数据集的有效性，以及在具有闭塞的新的多视频多人数据集上。

This paper presents SimCLR: a simple framework for contrastive learning of visual representations. We simplify recently proposed contrastive selfsupervised learning algorithms without requiring specialized architectures or a memory bank. In order to understand what enables the contrastive prediction tasks to learn useful representations, we systematically study the major components of our framework. We show that (1) composition of data augmentations plays a critical role in defining effective predictive tasks, (2) introducing a learnable nonlinear transformation between the representation and the contrastive loss substantially improves the quality of the learned representations, and (3) contrastive learning benefits from larger batch sizes and more training steps compared to supervised learning. By combining these findings, we are able to considerably outperform previous methods for self-supervised and semi-supervised learning on ImageNet. A linear classifier trained on self-supervised representations learned by Sim-CLR achieves 76.5% top-1 accuracy, which is a 7% relative improvement over previous state-ofthe-art, matching the performance of a supervised ResNet-50. When fine-tuned on only 1% of the labels, we achieve 85.8% top-5 accuracy, outperforming AlexNet with 100× fewer labels. 1

Human observers can learn to recognize new categories of images from a handful of examples, yet doing so with artificial ones remains an open challenge. We hypothesize that data-efficient recognition is enabled by representations which make the variability in natural signals more predictable. We therefore revisit and improve Contrastive Predictive Coding, an unsupervised objective for learning such representations. This new implementation produces features which support state-of-theart linear classification accuracy on the ImageNet dataset. When used as input for non-linear classification with deep neural networks, this representation allows us to use 2-5× less labels than classifiers trained directly on image pixels. Finally, this unsupervised representation substantially improves transfer learning to object detection on the PASCAL VOC dataset, surpassing fully supervised pre-trained ImageNet classifiers.

我们介绍了一种新颖的自我监督的对比学习方法，以了解来自未标记视频的表示。现有方法忽略了输入失真的细节，例如，通过学习与时间转换的不变性。相反，我们认为视频表示应该保留视频动态并反映输入的时间操纵。因此，我们利用新的约束来构建对时间转换和更好的捕获视频动态的表示表示。在我们的方法中，视频的增强剪辑之间的相对时间转换被编码在向量中并与其他转换向量形成对比。为了支持时间的设备，我们还提出了将视频的两个剪辑的自我监督分类为1.重叠2.订购或3.无序。我们的实验表明，时代的表示达到最先进的结果，导致UCF101，HMDB51和潜水48上的视频检索和动作识别基准。

在深度学习研究中，自学学习（SSL）引起了极大的关注，引起了计算机视觉和遥感社区的兴趣。尽管计算机视觉取得了很大的成功，但SSL在地球观测领域的大部分潜力仍然锁定。在本文中，我们对在遥感的背景下为计算机视觉的SSL概念和最新发展提供了介绍，并回顾了SSL中的概念和最新发展。此外，我们在流行的遥感数据集上提供了现代SSL算法的初步基准，从而验证了SSL在遥感中的潜力，并提供了有关数据增强的扩展研究。最后，我们确定了SSL未来研究的有希望的方向的地球观察（SSL4EO），以铺平了两个领域的富有成效的相互作用。

Deep learning-based 3D human pose estimation performs best when trained on large amounts of labeled data, making combined learning from many datasets an important research direction. One obstacle to this endeavor are the different skeleton formats provided by different datasets, i.e., they do not label the same set of anatomical landmarks. There is little prior research on how to best supervise one model with such discrepant labels. We show that simply using separate output heads for different skeletons results in inconsistent depth estimates and insufficient information sharing across skeletons. As a remedy, we propose a novel affine-combining autoencoder (ACAE) method to perform dimensionality reduction on the number of landmarks. The discovered latent 3D points capture the redundancy among skeletons, enabling enhanced information sharing when used for consistency regularization. Our approach scales to an extreme multi-dataset regime, where we use 28 3D human pose datasets to supervise one model, which outperforms prior work on a range of benchmarks, including the challenging 3D Poses in the Wild (3DPW) dataset. Our code and models are available for research purposes.

凝视估计对于许多科学领域和日常应用至关重要，范围从认知心理学的基本研究到注意力吸引人的移动系统。尽管深度学习的最新进展在建立高度准确的凝视估计系统方面取得了巨大的成功，但相关的高计算成本以及对大规模标记的凝视数据的依赖，以实现对现有解决方案实际使用的监督学习地点挑战。为了超越这些局限性，我们提出了FreeGaze，这是一种用于无监督的注视表示学习的资源有效框架。 FreeGaze在其设计中结合了频域目光的估计和对比度注视表示。前者大大减轻了系统校准和凝视估计中的计算负担，并大大减少了系统延迟。尽管后者克服了现有基于学习的同行的数据标记障碍，并确保在没有凝视标签的情况下确保有效的凝视表示学习。我们对两个凝视估计数据集的评估表明，通过现有基于监督的学习方法，FreeGaze可以在系统校准和注视估计中分别实现高达6.81和1.67倍的速度，以实现可比较的凝视估计精度。

Contrastive learning applied to self-supervised representation learning has seen a resurgence in recent years, leading to state of the art performance in the unsupervised training of deep image models. Modern batch contrastive approaches subsume or significantly outperform traditional contrastive losses such as triplet, max-margin and the N-pairs loss. In this work, we extend the self-supervised batch contrastive approach to the fully-supervised setting, allowing us to effectively leverage label information. Clusters of points belonging to the same class are pulled together in embedding space, while simultaneously pushing apart clusters of samples from different classes. We analyze two possible versions of the supervised contrastive (SupCon) loss, identifying the best-performing formulation of the loss. On ResNet-200, we achieve top-1 accuracy of 81.4% on the Ima-geNet dataset, which is 0.8% above the best number reported for this architecture. We show consistent outperformance over cross-entropy on other datasets and two ResNet variants. The loss shows benefits for robustness to natural corruptions, and is more stable to hyperparameter settings such as optimizers and data augmentations. Our loss function is simple to implement and reference TensorFlow code is released at https://t.ly/supcon 1 .

从RGB-D图像中对刚性对象的6D姿势估计对于机器人技术中的对象抓握和操纵至关重要。尽管RGB通道和深度（d）通道通常是互补的，分别提供了外观和几何信息，但如何完全从两个跨模式数据中完全受益仍然是非平凡的。从简单而新的观察结果来看，当对象旋转时，其语义标签是姿势不变的，而其关键点偏移方向是姿势的变体。为此，我们提出了So（3）pose，这是一个新的表示学习网络，可以探索SO（3）equivariant和So（3） - 从深度通道中进行姿势估计的特征。 SO（3） - 激素特征有助于学习更独特的表示，以分割来自RGB通道外观相似的对象。 SO（3） - 等级特征与RGB功能通信，以推导（缺失的）几何形状，以检测从深度通道的反射表面的对象的关键点。与大多数现有的姿势估计方法不同，我们的SO（3） - 不仅可以实现RGB和深度渠道之间的信息通信，而且自然会吸收SO（3） - 等级的几何学知识，从深度图像中，导致更好的外观和更好的外观和更好几何表示学习。综合实验表明，我们的方法在三个基准测试中实现了最先进的性能。

为了获取3D注释，我们仅限于受控环境或合成数据集，导致我们到3D数据集，其概括为现实世界方案。为了在半监督3D手形状和姿势估计的上下文中解决这个问题，我们提出了姿势对齐网络，以将标记帧传播到附近的稀疏注释视频中的附近未标记帧的3D注释。我们表明，在标记 - 未标记的帧对对对准监控允许我们提高姿态估计精度。此外，我们表明所提出的姿势对齐网络可以有效地传播在不良稀疏的视频上的注释而无需微调。

这项工作提出了一种新型的自我监督的预训练方法，以学习有效的表示，而没有在组织病理学医学图像上使用放大倍率的因素进行标签。其他最先进的工作主要集中在完全监督的学习方法上，这些学习方法严重依赖人类注释。但是，标记和未标记数据的稀缺性是组织病理学的长期挑战。当前，没有标签的表示学习仍未探索组织病理学领域。提出的方法是放大事先的对比相似性（MPC），可以通过利用放大倍率，电感转移和减少人类先验的宽度乳腺癌数据集中的无标签来进行自我监督的学习。当仅20％的标签用于微调和表现以前的工作中，在完全监督的学习环境中，该方法与恶性分类的最新学习相匹配。它提出了一个假设，并提供了经验证据来支持，从而减少人类优先导致自学​​中有效表示学习。这项工作的实施可在github-https：//github.com/prakashchhipa/magnification-prior-self-supervised-method上在线获得。

通过自学学习的视觉表示是一项极具挑战性的任务，因为网络需要在没有监督提供的主动指导的情况下筛选出相关模式。这是通过大量数据增强，大规模数据集和过量量的计算来实现的。视频自我监督学习（SSL）面临着额外的挑战：视频数据集通常不如图像数据集那么大，计算是一个数量级，并且优化器所必须通过的伪造模式数量乘以几倍。因此，直接从视频数据中学习自我监督的表示可能会导致次优性能。为了解决这个问题，我们建议在视频表示学习框架中利用一个以自我或语言监督为基础的强大模型，并在不依赖视频标记的数据的情况下学习强大的空间和时间信息。为此，我们修改了典型的基于视频的SSL设计和目标，以鼓励视频编码器\ textit {subsume}基于图像模型的语义内容，该模型在通用域上训练。所提出的算法被证明可以更有效地学习（即在较小的时期和较小的批次中），并在单模式SSL方法中对标准下游任务进行了新的最新性能。

机器学习的最新进展表明，通过自我监督的学习获得的预训练表示形式可以通过小型培训数据实现高精度。与视觉和自然语言处理域不同，基于IMU的应用程序的预培训是具有挑战性的，因为只有少数公开可用的数据集具有足够的规模和多样性来学习可推广的表示。为了克服这个问题，我们提出了IMG2IMU，这是一种新颖的方法，可以适应从大规模图像到不同弹药的IMU感应任务的预训练表示。我们将传感器数据转换为可解释的频谱图，以便模型利用从视觉中获得的知识。此外，我们将对比度学习应用于我们旨在学习用于解释传感器数据的表示形式。我们对五个IMU感应任务的广泛评估表明，IMG2IMU始终优于基准，这说明视力知识可以纳入一些用于IMU感应任务的学习环境中。

One paradigm for learning from few labeled examples while making best use of a large amount of unlabeled data is unsupervised pretraining followed by supervised fine-tuning. Although this paradigm uses unlabeled data in a task-agnostic way, in contrast to common approaches to semi-supervised learning for computer vision, we show that it is surprisingly effective for semi-supervised learning on ImageNet. A key ingredient of our approach is the use of big (deep and wide) networks during pretraining and fine-tuning. We find that, the fewer the labels, the more this approach (task-agnostic use of unlabeled data) benefits from a bigger network. After fine-tuning, the big network can be further improved and distilled into a much smaller one with little loss in classification accuracy by using the unlabeled examples for a second time, but in a task-specific way. The proposed semi-supervised learning algorithm can be summarized in three steps: unsupervised pretraining of a big ResNet model using SimCLRv2, supervised fine-tuning on a few labeled examples, and distillation with unlabeled examples for refining and transferring the task-specific knowledge. This procedure achieves 73.9% ImageNet top-1 accuracy with just 1% of the labels (≤13 labeled images per class) using ResNet-50, a 10× improvement in label efficiency over the previous state-of-theart. With 10% of labels, ResNet-50 trained with our method achieves 77.5% top-1 accuracy, outperforming standard supervised training with all of the labels. 1