端到端的文本发现最近由于其对全球优化的好处和对实际应用的高可维护性而引起了极大的关注。但是，输入量表一直是一个艰难的权衡，因为认识到一个小的文本实例通常需要扩大整个图像，从而带来了高度的计算成本。在本文中，为了解决这个问题，我们提出了一种新颖的成本效益动态低分辨率蒸馏（DLD）文本斑点框架，该框架旨在推断出不同的小但可识别的分辨率中的图像，并在准确性和效率之间取得更好的平衡。具体而言，我们采用一个分辨率选择器来动态地确定不同图像的输入分辨率，这是通过推理准确性和计算成本来限制的。在文本识别分支上进行了另一种顺序知识蒸馏策略，使低分辨率输入获得与高分辨率图像相当的性能。可以在任何当前文本斑点框架中采用提出的方法，并在任何文本斑点框架中采用以提高可实用性。对几个文本斑点基准测试的广泛实验表明，所提出的方法极大地提高了低分辨率模型的可用性。该代码可从https://github.com/hikopensource/davar-lab-ocr/获得。

深度学习的巨大成功主要是由于大规模的网络架构和高质量的培训数据。但是，在具有有限的内存和成像能力的便携式设备上部署最近的深层模型仍然挑战。一些现有的作品通过知识蒸馏进行了压缩模型。不幸的是，这些方法不能处理具有缩小图像质量的图像，例如低分辨率（LR）图像。为此，我们采取了开创性的努力，从高分辨率（HR）图像到达将处理LR图像的紧凑型网络模型中学习的繁重网络模型中蒸馏有用的知识，从而推动了新颖的像素蒸馏的当前知识蒸馏技术。为实现这一目标，我们提出了一名教师助理 - 学生（TAS）框架，将知识蒸馏分解为模型压缩阶段和高分辨率表示转移阶段。通过装备新颖的特点超分辨率（FSR）模块，我们的方法可以学习轻量级网络模型，可以实现与重型教师模型相似的准确性，但参数更少，推理速度和较低分辨率的输入。在三个广泛使用的基准，\即，幼崽200-2011，Pascal VOC 2007和ImageNetsub上的综合实验证明了我们方法的有效性。

深度卷积神经网络（CNNS）通常是复杂的设计，具有许多可学习的参数，用于准确性原因。为了缓解在移动设备上部署它们的昂贵成本，最近的作品使挖掘预定识别架构中的冗余作出了巨大努力。然而，尚未完全研究现代CNN的输入分辨率的冗余，即输入图像的分辨率是固定的。在本文中，我们观察到，用于准确预测给定图像的最小分辨率使用相同的神经网络是不同的。为此，我们提出了一种新颖的动态分辨率网络（DRNET），其中基于每个输入样本动态地确定输入分辨率。其中，利用所需网络共同地探索具有可忽略的计算成本的分辨率预测器。具体地，预测器学习可以保留的最小分辨率，并且甚至超过每个图像的原始识别准确性。在推断过程中，每个输入图像将被调整为其预测的分辨率，以最小化整体计算负担。然后，我们对几个基准网络和数据集进行了广泛的实验。结果表明，我们的DRNET可以嵌入到任何现成的网络架构中，以获得计算复杂性的相当大降低。例如，DR-RESET-50实现了类似的性能，计算减少约34％，同时增加了1.4％的准确度，与原始Resnet-50上的计算减少相比，在ImageNet上的原始resnet-50增加了10％。

典型的文本检测器遵循两阶段的发现策略：首先检测文本实例的精确边界，然后在定期的文本区域内执行文本识别。尽管这种策略取得了实质性进展，但有两个基本的局限性。 1）文本识别的性能在很大程度上取决于文本检测的精度，从而导致从检测到识别的潜在误差传播。 2）桥接检测和识别的ROI种植会带来背景的噪音，并在合并或从特征地图中插值时导致信息丢失。在这项工作中，我们提出了单个镜头自力更生的场景文本sottter（SRSTS），该场景通过将识别解除识别来规避这些限制。具体而言，我们并行进行文本检测和识别，并通过共享的积极锚点架起它们。因此，即使确切的文本边界要检测到具有挑战性，我们的方法也能够正确识别文本实例。此外，我们的方法可大大降低文本检测的注释成本。在常规基准和任意形状的基准上进行了广泛的实验表明，就准确性和效率而言，我们的SRST与以前的最先进的观察者相比有利。

Recently, models based on deep neural networks have dominated the fields of scene text detection and recognition. In this paper, we investigate the problem of scene text spotting, which aims at simultaneous text detection and recognition in natural images. An end-to-end trainable neural network model for scene text spotting is proposed. The proposed model, named as Mask TextSpotter, is inspired by the newly published work Mask R-CNN. Different from previous methods that also accomplish text spotting with end-to-end trainable deep neural networks, Mask TextSpotter takes advantage of simple and smooth end-to-end learning procedure, in which precise text detection and recognition are acquired via semantic segmentation. Moreover, it is superior to previous methods in handling text instances of irregular shapes, for example, curved text. Experiments on ICDAR2013, ICDAR2015 and Total-Text demonstrate that the proposed method achieves state-of-the-art results in both scene text detection and end-to-end text recognition tasks.

Most existing distillation methods ignore the flexible role of the temperature in the loss function and fix it as a hyper-parameter that can be decided by an inefficient grid search. In general, the temperature controls the discrepancy between two distributions and can faithfully determine the difficulty level of the distillation task. Keeping a constant temperature, i.e., a fixed level of task difficulty, is usually sub-optimal for a growing student during its progressive learning stages. In this paper, we propose a simple curriculum-based technique, termed Curriculum Temperature for Knowledge Distillation (CTKD), which controls the task difficulty level during the student's learning career through a dynamic and learnable temperature. Specifically, following an easy-to-hard curriculum, we gradually increase the distillation loss w.r.t. the temperature, leading to increased distillation difficulty in an adversarial manner. As an easy-to-use plug-in technique, CTKD can be seamlessly integrated into existing knowledge distillation frameworks and brings general improvements at a negligible additional computation cost. Extensive experiments on CIFAR-100, ImageNet-2012, and MS-COCO demonstrate the effectiveness of our method. Our code is available at https://github.com/zhengli97/CTKD.

从卷积神经网络的快速发展中受益，汽车牌照检测和识别的性能得到了很大的改善。但是，大多数现有方法分别解决了检测和识别问题，并专注于特定方案，这阻碍了现实世界应用的部署。为了克服这些挑战，我们提出了一个有效而准确的框架，以同时解决车牌检测和识别任务。这是一个轻巧且统一的深神经网络，可以实时优化端到端。具体而言，对于不受约束的场景，采用了无锚方法来有效检测车牌的边界框和四个角，这些框用于提取和纠正目标区域特征。然后，新型的卷积神经网络分支旨在进一步提取角色的特征而不分割。最后，将识别任务视为序列标记问题，这些问题通过连接派时间分类（CTC）解决。选择了几个公共数据集，包括在各种条件下从不同方案中收集的图像进行评估。实验结果表明，所提出的方法在速度和精度上都显着优于先前的最新方法。

大多数现有的深神经网络都是静态的，这意味着它们只能以固定的复杂性推断。但资源预算可以大幅度不同。即使在一个设备上，实惠预算也可以用不同的场景改变，并且对每个所需预算的反复培训网络是非常昂贵的。因此，在这项工作中，我们提出了一种称为Mutualnet的一般方法，以训练可以以各种资源约束运行的单个网络。我们的方法列举了具有各种网络宽度和输入分辨率的模型配置队列。这种相互学习方案不仅允许模型以不同的宽度分辨率配置运行，而且还可以在这些配置之间传输独特的知识，帮助模型来学习更强大的表示。 Mutualnet是一般的培训方法，可以应用于各种网络结构（例如，2D网络：MobileNets，Reset，3D网络：速度，X3D）和各种任务（例如，图像分类，对象检测，分段和动作识别），并证明了实现各种数据集的一致性改进。由于我们只培训了这一模型，它对独立培训多种型号而言，它也大大降低了培训成本。令人惊讶的是，如果动态资源约束不是一个问题，则可以使用Mutualnet来显着提高单个网络的性能。总之，Mutualnet是静态和自适应，2D和3D网络的统一方法。代码和预先训练的模型可用于\ url {https://github.com/tayang1122/mutualnet}。

In recent years, Siamese network based trackers have significantly advanced the state-of-the-art in real-time tracking. Despite their success, Siamese trackers tend to suffer from high memory costs, which restrict their applicability to mobile devices with tight memory budgets. To address this issue, we propose a distilled Siamese tracking framework to learn small, fast and accurate trackers (students), which capture critical knowledge from large Siamese trackers (teachers) by a teacher-students knowledge distillation model. This model is intuitively inspired by the one teacher vs. multiple students learning method typically employed in schools. In particular, our model contains a single teacher-student distillation module and a student-student knowledge sharing mechanism. The former is designed using a tracking-specific distillation strategy to transfer knowledge from a teacher to students. The latter is utilized for mutual learning between students to enable in-depth knowledge understanding. Extensive empirical evaluations on several popular Siamese trackers demonstrate the generality and effectiveness of our framework. Moreover, the results on five tracking benchmarks show that the proposed distilled trackers achieve compression rates of up to 18$\times$ and frame-rates of $265$ FPS, while obtaining comparable tracking accuracy compared to base models.

人员搜索是人重新识别（RE-ID）的扩展任务。但是，大多数现有的一步人搜索工作尚未研究如何使用现有的高级RE-ID模型来提高由于人员检测和重新ID的集成而促进了一步人搜索性能。为了解决这个问题，我们提出了更快，更强大的一步人搜索框架，教师导师的解解网络（TDN），使单步搜索享受现有的重新ID研究的优点。所提出的TDN可以通过将高级人的RE-ID知识转移到人员搜索模型来显着提高人员搜索性能。在提议的TDN中，为了从重新ID教师模型到单步搜索模型的更好的知识转移，我们通过部分解除两个子任务来设计一个强大的一步人搜索基础框架。此外，我们提出了一种知识转移桥模块，以弥合在重新ID模型和一步人搜索模型之间不同的输入格式引起的比例差距。在测试期间，我们进一步提出了与上下文人员战略的排名来利用全景图像中的上下文信息以便更好地检索。两个公共人员搜索数据集的实验证明了该方法的有利性能。

由于字体，大小，颜色和方向的各种文本变化，任意形状的场景文本检测是一项具有挑战性的任务。大多数现有基于回归的方法求助于回归文本区域的口罩或轮廓点以建模文本实例。但是，回归完整的口罩需要高训练的复杂性，并且轮廓点不足以捕获高度弯曲的文本的细节。为了解决上述限制，我们提出了一个名为TextDCT的新颖的轻巧锚文本检测框架，该框架采用离散的余弦变换（DCT）将文本掩码编码为紧凑型向量。此外，考虑到金字塔层中训练样本不平衡的数量，我们仅采用单层头来进行自上而下的预测。为了建模单层头部的多尺度文本，我们通过将缩水文本区域视为正样本，并通过融合来介绍一个新颖的积极抽样策略，并通过融合来设计特征意识模块（FAM），以实现空间意识和规模的意识丰富的上下文信息并关注更重要的功能。此外，我们提出了一种分割的非量最大抑制（S-NMS）方法，该方法可以过滤低质量的掩模回归。在四个具有挑战性的数据集上进行了广泛的实验，这表明我们的TextDCT在准确性和效率上都获得了竞争性能。具体而言，TextDCT分别以每秒17.2帧（FPS）和F-measure的F-MEASIE达到85.1，而CTW1500和Total-Text数据集的F-Measure 84.9分别为15.1 fps。

知识蒸馏已成功地应用于各种任务。当前的蒸馏算法通常通过模仿教师的产出来改善学生的表现。本文表明，教师还可以通过指导学生的功能恢复来提高学生的代表权。从这个角度来看，我们提出了掩盖的生成蒸馏（MGD），这很简单：我们掩盖了学生功能的随机像素，并强迫它通过简单的块生成教师的完整功能。 MGD是一种真正的基于特征的蒸馏方法，可用于各种任务，包括图像分类，对象检测，语义分割和实例分割。我们在具有广泛数据集的不同模型上进行了实验，结果表明所有学生都取得了出色的改进。值得注意的是，我们将RESNET-18从69.90％提高到71.69％的Imagenet Top-1精度，带有Resnet-50骨架的视网膜从37.4到41.0界盒映射，基于Resnet-50的独奏从33.1到33.1至36.2 Mask Map和DeepLabV3， 18从73.20到76.02 miou。我们的代码可在https://github.com/yzd-v/mgd上找到。

在本文中，我们从经验上研究了如何充分利用低分辨率框架以进行有效的视频识别。现有方法主要集中于开发紧凑的网络或减轻视频输入的时间冗余以提高效率，而压缩框架分辨率很少被认为是有希望的解决方案。一个主要问题是低分辨率帧的识别准确性不佳。因此，我们首先分析低分辨率帧上性能降解的根本原因。我们的主要发现是，降级的主要原因不是在下采样过程中的信息丢失，而是网络体系结构和输入量表之间的不匹配。通过知识蒸馏（KD）的成功，我们建议通过跨分辨率KD（RESKD）弥合网络和输入大小之间的差距。我们的工作表明，RESKD是一种简单但有效的方法，可以提高低分辨率帧的识别精度。没有铃铛和哨子，RESKD在四个大规模基准数据集（即ActivityNet，FCVID，Mini-Kinetics，sopeings soseings ossings v2）上，就效率和准确性上的所有竞争方法都大大超过了所有竞争方法。此外，我们广泛地展示了其对最先进的体系结构（即3D-CNN和视频变压器）的有效性，以及对超低分辨率帧的可扩展性。结果表明，RESKD可以作为最先进视频识别的一般推理加速方法。我们的代码将在https://github.com/cvmi-lab/reskd上找到。

大多数最先进的实例级人类解析模型都采用了两阶段的基于锚的探测器，因此无法避免启发式锚盒设计和像素级别缺乏分析。为了解决这两个问题，我们设计了一个实例级人类解析网络，该网络在像素级别上无锚固且可解决。它由两个简单的子网络组成：一个用于边界框预测的无锚检测头和一个用于人体分割的边缘引导解析头。无锚探测器的头继承了像素样的优点，并有效地避免了对象检测应用中证明的超参数的敏感性。通过引入部分感知的边界线索，边缘引导的解析头能够将相邻的人类部分与彼此区分开，最多可在一个人类实例中，甚至重叠的实例。同时，利用了精炼的头部整合盒子级别的分数和部分分析质量，以提高解析结果的质量。在两个多个人类解析数据集（即CIHP和LV-MHP-V2.0）和一个视频实例级人类解析数据集（即VIP）上进行实验，表明我们的方法实现了超过全球级别和实例级别的性能最新的一阶段自上而下的替代方案。

Considering the computation complexity, we propose a Guided Hybrid Quantization with One-to-one Self-Teaching (GHOST}) framework. More concretely, we first design a structure called guided quantization self-distillation (GQSD), which is an innovative idea for realizing lightweight through the synergy of quantization and distillation. The training process of the quantization model is guided by its full-precision model, which is time-saving and cost-saving without preparing a huge pre-trained model in advance. Second, we put forward a hybrid quantization (HQ) module to obtain the optimal bit width automatically under a constrained condition where a threshold for distribution distance between the center and samples is applied in the weight value search space. Third, in order to improve information transformation, we propose a one-to-one self-teaching (OST) module to give the student network a ability of self-judgment. A switch control machine (SCM) builds a bridge between the student network and teacher network in the same location to help the teacher to reduce wrong guidance and impart vital knowledge to the student. This distillation method allows a model to learn from itself and gain substantial improvement without any additional supervision. Extensive experiments on a multimodal dataset (VEDAI) and single-modality datasets (DOTA, NWPU, and DIOR) show that object detection based on GHOST outperforms the existing detectors. The tiny parameters (<9.7 MB) and Bit-Operations (BOPs) (<2158 G) compared with any remote sensing-based, lightweight or distillation-based algorithms demonstrate the superiority in the lightweight design domain. Our code and model will be released at https://github.com/icey-zhang/GHOST.

任意形状的文本检测是一项具有挑战性的任务，这是由于大小和宽高比，任意取向或形状，不准确的注释等各种变化的任务。最近引起了大量关注。但是，文本的准确像素级注释是强大的，现有的场景文本检测数据集仅提供粗粒的边界注释。因此，始终存在大量错误分类的文本像素或背景像素，从而降低基于分割的文本检测方法的性能。一般来说，像素是否属于文本与与相邻注释边界的距离高度相关。通过此观察，在本文中，我们通过概率图提出了一种创新且可靠的基于分割的检测方法，以准确检测文本实例。为了具体，我们采用Sigmoid alpha函数（SAF）将边界及其内部像素之间的距离传输到概率图。但是，由于粗粒度文本边界注释的不确定性，一个概率图无法很好地覆盖复杂的概率分布。因此，我们采用一组由一系列Sigmoid alpha函数计算出的概率图来描述可能的概率分布。此外，我们提出了一个迭代模型，以学习预测和吸收概率图，以提供足够的信息来重建文本实例。最后，采用简单的区域生长算法来汇总概率图以完成文本实例。实验结果表明，我们的方法在几个基准的检测准确性方面实现了最先进的性能。

知识蒸馏（KD）在将学习表征从大型模型（教师）转移到小型模型（学生）方面表现出非常有希望的能力。但是，随着学生和教师之间的容量差距变得更大，现有的KD方法无法获得更好的结果。我们的工作表明，“先验知识”对KD至关重要，尤其是在应用大型老师时。特别是，我们提出了动态的先验知识（DPK），该知识将教师特征的一部分作为特征蒸馏之前的先验知识。这意味着我们的方法还将教师的功能视为“输入”，而不仅仅是``目标''。此外，我们根据特征差距动态调整训练阶段的先验知识比率，从而引导学生在适当的困难中。为了评估所提出的方法，我们对两个图像分类基准（即CIFAR100和Imagenet）和一个对象检测基准（即MS Coco）进行了广泛的实验。结果表明，在不同的设置下，我们方法在性能方面具有优势。更重要的是，我们的DPK使学生模型的表现与教师模型的表现呈正相关，这意味着我们可以通过应用更大的教师进一步提高学生的准确性。我们的代码将公开用于可重复性。

知识蒸馏（KD）目睹了其在物体检测中学习紧凑型号的强大能力。以前的KD方法用于对象检测主要是侧重于模仿仿地区内的深度特征，而不是模仿分类登录，而不是蒸馏定位信息的低效率。在本文中，通过重新制定本地化的知识蒸馏过程，我们提出了一种新的本地化蒸馏（LD）方法，可以有效地将老师的本地化知识转移给学生。此外，我们还启发式介绍了有价值的本地化区域的概念，可以帮助选择性地蒸馏某个地区的语义和本地化知识。第一次结合这两个新组件，我们显示Logit Mimicing可以优于特征模仿和本地化知识蒸馏比蒸馏对象探测器的语义知识更为重要和有效。我们的蒸馏方案简单，有效，可以很容易地应用于不同的致密物体探测器。实验表明，我们的LD可以将GFOCal-Reset-50的AP得分提升，单一规模的1 $ \ Times $培训计划从Coco基准测试中的40.1到42.1，没有任何牺牲品推断速度。我们的源代码和培训的型号在https://github.com/hikaritju/ld公开提供

知识蒸馏在分类中取得了巨大的成功，但是，仍然有挑战性。在用于检测的典型图像中，来自不同位置的表示可能对检测目标具有不同的贡献，使蒸馏难以平衡。在本文中，我们提出了一种有条件的蒸馏框架来蒸馏出所需的知识，即关于每个例子的分类和本地化有益的知识。该框架引入了一种可学习的条件解码模块，其将每个目标实例检索为查询的信息。具体而言，我们将条件信息编码为查询并使用教师的表示作为键。查询和键之间的注意用于测量不同特征的贡献，由本地化识别敏感辅助任务指导。广泛的实验表明了我们的方法的功效：我们在各种环境下观察到令人印象深刻的改进。值得注意的是，在1倍计划下，我们将通过37.4至40.7地图（+3.3）与Reset-50骨架的Restinetet提升。代码已在https://github.com/megvii-research/icd上发布。

最近快速的任意形状的文本检测已成为一个有吸引力的研究主题。但是，大多数现有方法都是非实时的，这可能在智能系统中缺少。尽管提出了一些实时文本方法，但检测精度远远落后于非实时方法。为了同时提高检测精度和速度，我们提出了一种新颖的快速准确的文本检测框架，即CM-NET，基于新的文本表示方法和多透视特征（MPF）模块构造。前者可以以高效且坚固的方式通过同心掩模（cm）拟合任意形状的文本轮廓。后者鼓励网络从多个角度来了解更多厘米相关的鉴别特征，并没有提供额外的计算成本。受益于CM和MPF的优点，所提出的CM-Net只需要预测一个CM的文本实例来重建文本轮廓，并与先前的作品相比，在检测精度和速度之间实现最佳平衡。此外，为了确保有效地学习多视角特征，提出了多因素约束损耗。广泛的实验证明了所提出的CM是有效且稳健的拟合任意形状的文本实例，并且还验证了MPF的有效性和对鉴别文本特征识别的影响损失。此外，实验结果表明，所提出的CM-Net优于现有的现有最先进的（SOTA）实时文本检测方法，其均以MSRA-TD500，CTW1500，总文和ICDAR2015的检测速度和准确性。数据集。