蒙面自动编码器已成为自我监督的视觉表示学习的流行培训范例。这些模型随机掩盖了输入的一部分，并根据目标表示形式重建蒙版部分。在本文中，我们首先表明，对目标表示的仔细选择对于学习良好表示形式不必要，因为不同的目标倾向于得出相似的模型。在这一观察结果的驱动下，我们提出了一个多阶段掩盖的蒸馏管道，并使用随机初始化的模型作为教师，使我们能够有效地训练高容量模型，而无需仔细设计目标表示形式。有趣的是，我们进一步探索了能力较大的教师，获得具有出色转移能力的蒸馏学生。在分类，转移学习，对象检测和语义分割的不同任务上，使用自举的教师（DBOT）执行掩盖知识蒸馏的建议方法优于先前的自我监督方法，而不是非平凡的边缘。我们希望我们的发现以及拟议的方法能够激励人们重新考虑目标表征在预训练的蒙面自动编码器中的作用。

持续学习是一种学习范式，可以通过资源限制顺序学习任务，其中关键挑战是稳定性的难题，即同时具有稳定性来防止灾难性忘记旧任务和可很好地学习新任务的稳定性是不安的。 。在本文中，我们提出了一种新的持续学习方法，即先进的空空间（ADN），以平衡稳定性和可塑性，而无需存储以前任务的任何旧数据。具体而言，为了获得更好的稳定性，ADN会利用低级近似来获得新的空空间，并将梯度投射到空空间上，以防止干扰过去的任务。为了控制无效空间的产生，我们引入了不均匀的约束强度，以进一步减少遗忘。此外，我们提出了一种简单但有效的方法，即任务内蒸馏，以提高当前任务的性能。最后，从理论上讲，无效空间分别在塑性和稳定性中起关键作用。实验结果表明，与最先进的持续学习方法相比，所提出的方法可以实现更好的性能。

希望启用能够自动组装的机器人。对物体部件的结构理解在这项任务中起着至关重要的作用，但仍未探索。在本文中，我们专注于从一组零件几何形状组中设置家具组件的设置，这实质上是一个六型零件姿势估计问题。我们提出了一个基于多层变压器的框架，该框架涉及零件之间的几何和关系推理，以迭代地更新零件。我们仔细设计了一个独特的实例编码，以解决几何相似零件之间的歧义，以便可以区分所有零件。除了从头开始组装外，我们还将我们的框架扩展到一个名为“进程零件组件”的新任务。类似于家具维护，它要求机器人继续使用未完成的产品，并将其余部分组装成适当的位置。我们的方法在公共Partnet数据集上的多个指标中的最新指标比当前的最新指标取得了10％以上。广泛的实验和定量比较证明了所提出的框架的有效性。

对象目标导航（ObjectNAV）任务是在没有预先构建的地图的情况下将代理导航到看不见的环境中的对象类别。在本文中，我们通过使用语义相关对象作为线索来预测目标的距离来解决此任务。根据与目标对象的估计距离，我们的方法直接选择最佳的中期目标，这些目标更可能具有较短的目标途径。具体而言，基于学习的知识，我们的模型将鸟眼视图语义图作为输入，并估算从边界图单元到目标对象的路径长度。借助估计的距离图，代理可以同时探索环境并基于简单的人类设计策略导航到目标对象。在视觉上逼真的模拟环境中，经验结果表明，该提出的方法的表现优于成功率和效率的广泛基准。 Realobot实验还表明，我们的方法很好地推广到了现实世界。视频https://www.youtube.com/watch?v=r79pwvgfks4

行动预测旨在通过部分观察视频推断即将举行的人类行动，这是由于早期观察结果有限的信息有限。现有方法主要采用重建策略来处理此任务，期望从部分观察到完整视频来学习单个映射函数，以便于预测过程。在这项研究中，我们提出了来自两个新方面的部分视频查询生成“完整视频”功能调节的对抗性记忆网络（AMEMNet）。首先，键值结构化存储器发生器旨在将不同的部分视频存储为键存储器，并在具有门控机制和查询关注的值存储器中动态地写入完整视频。其次，我们开发了一个类感知判别者，以指导内存发生器在对抗训练时不仅提供现实，而且还提供鉴别的完整视频特征。通过RGB和光学流量的晚期融合给出了AMEMNET的最终预测结果。提供两个基准视频数据集，UCF-101和HMDB51的广泛实验结果，以证明所提出的AMEMNET模型在最先进的方法的有效性。

语言变形金刚的成功主要归因于屏蔽语言建模（MLM）的借口任务，其中文本首先被致以语义有意义的作品。在这项工作中，我们研究了蒙面图像建模（MIM），并指出使用语义有意义的视觉销售器的优缺点。我们提出了一个自我监督的框架IBOT，可以使用在线标记器执行蒙版预测。具体而言，我们在蒙面的补丁令牌上进行自我蒸馏，并将教师网络作为在线标记器，以及在课堂上的自蒸馏来获取视觉语义。在线销售器与MIM目标和分配的多级培训管道共同学习，销售器需要预先预先培训。通过在Imagenet-1K上达到81.6％的线性探测精度和86.3％的微调精度来展示IBOT的突出。除了最先进的图像分类结果之外，我们强调了新兴的局部语义模式，这有助于模型对共同损坏获得强大的鲁棒性，并在密集的下游任务中实现领先的结果，例如，对象检测，实例分割和语义细分。

我们通过以端到端的方式对大规模未标记的数据集进行分类，呈现扭曲，简单和理论上可解释的自我监督的表示学习方法。我们使用Softmax操作终止的暹罗网络，以产生两个增强图像的双类分布。没有监督，我们强制执行不同增强的班级分布。但是，只需最小化增强之间的分歧将导致折叠解决方案，即，输出所有图像的相同类概率分布。在这种情况下，留下有关输入图像的信息。为了解决这个问题，我们建议最大化输入和课程预测之间的互信息。具体地，我们最小化每个样品的分布的熵，使每个样品的课程预测是对每个样品自信的预测，并最大化平均分布的熵，以使不同样品的预测变得不同。以这种方式，扭曲可以自然地避免没有特定设计的折叠解决方案，例如非对称网络，停止梯度操作或动量编码器。因此，扭曲优于各种任务的最先进的方法。特别是，在半监督学习中，扭曲令人惊讶地表现出令人惊讶的是，使用Reset-50作为骨干的1％ImageNet标签实现61.2％的顶级精度，以前的最佳结果为6.2％。代码和预先训练的模型是给出的：https://github.com/byteDance/twist

We present a new, embarrassingly simple approach to instance segmentation. Compared to many other dense prediction tasks, e.g., semantic segmentation, it is the arbitrary number of instances that have made instance segmentation much more challenging. In order to predict a mask for each instance, mainstream approaches either follow the "detect-then-segment" strategy (e.g., Mask R-CNN), or predict embedding vectors first then use clustering techniques to group pixels into individual instances. We view the task of instance segmentation from a completely new perspective by introducing the notion of "instance categories", which assigns categories to each pixel within an instance according to the instance's location and size, thus nicely converting instance segmentation into a single-shot classification-solvable problem. We demonstrate a much simpler and flexible instance segmentation framework with strong performance, achieving on par accuracy with Mask R-CNN and outperforming recent single-shot instance segmenters in accuracy. We hope that this simple and strong framework can serve as a baseline for many instance-level recognition tasks besides instance segmentation. Code is available at https://git.io/AdelaiDet

As a new classification platform, deep learning has recently received increasing attention from researchers and has been successfully applied to many domains. In some domains, like bioinformatics and robotics, it is very difficult to construct a large-scale well-annotated dataset due to the expense of data acquisition and costly annotation, which limits its development. Transfer learning relaxes the hypothesis that the training data must be independent and identically distributed (i.i.d.) with the test data, which motivates us to use transfer learning to solve the problem of insufficient training data. This survey focuses on reviewing the current researches of transfer learning by using deep neural network and its applications. We defined deep transfer learning, category and review the recent research works based on the techniques used in deep transfer learning.