不规则形状的文本为场景文本检测带来了挑战（STD）。尽管现有的基于轮廓点序列的方法达到了可比的性能，但它们无法涵盖一些高度弯曲的色带样文本线条。它导致文本拟合能力和性病技术应用有限。考虑到上述问题，我们将文本几何特征和生物学结合起来，设计基于天然叶子的文本表示方法（LVT）。具体而言，发现叶静脉是一张普遍定向的图，可以很容易地覆盖各种几何形状。受其启发，我们将文本轮廓视为叶边缘，并通过主，侧向和薄静脉表示。我们进一步构建基于LVT的检测框架，即Leaftext。在文本重建阶段，Leftext模拟了叶片生长过程以重建文本轮廓。它在笛卡尔坐标中生长主要静脉，首先将文本大致定位。然后，沿极坐标的主要静脉生长方向产生侧静脉和细静脉。他们负责分别产生粗轮廓和精炼。考虑到侧静脉对主静脉的深度依赖性，提出了多方向平滑（MOS）以增强主静脉的鲁棒性，以确保可靠的检测结果。此外，我们提出了全球激励损失，以加速侧静脉和薄静脉的预测。消融实验表明，LVT能够精确描绘任意形状的文本并验证MOS和全球激励损失的有效性。比较表明，Leftext优于MSRA-TD500，CTW1500，Total-Text和ICDAR2015数据集的现有最新方法（SOTA）方法。

最近快速的任意形状的文本检测已成为一个有吸引力的研究主题。但是，大多数现有方法都是非实时的，这可能在智能系统中缺少。尽管提出了一些实时文本方法，但检测精度远远落后于非实时方法。为了同时提高检测精度和速度，我们提出了一种新颖的快速准确的文本检测框架，即CM-NET，基于新的文本表示方法和多透视特征（MPF）模块构造。前者可以以高效且坚固的方式通过同心掩模（cm）拟合任意形状的文本轮廓。后者鼓励网络从多个角度来了解更多厘米相关的鉴别特征，并没有提供额外的计算成本。受益于CM和MPF的优点，所提出的CM-Net只需要预测一个CM的文本实例来重建文本轮廓，并与先前的作品相比，在检测精度和速度之间实现最佳平衡。此外，为了确保有效地学习多视角特征，提出了多因素约束损耗。广泛的实验证明了所提出的CM是有效且稳健的拟合任意形状的文本实例，并且还验证了MPF的有效性和对鉴别文本特征识别的影响损失。此外，实验结果表明，所提出的CM-Net优于现有的现有最先进的（SOTA）实时文本检测方法，其均以MSRA-TD500，CTW1500，总文和ICDAR2015的检测速度和准确性。数据集。

为了追求全面的性能，最近的文本检测器以牺牲准确性为代价提高了检测速度。他们采用基于收缩面罩的文本表示策略，从而导致检测准确性对收缩罩的高度依赖性。不幸的是，三个缺点会导致不可靠的收缩面罩。具体而言，这些方法试图通过语义信息来加强从背景中对收缩面具的歧视。但是，通过细粒度的目标优化了散焦现象的特征散布现象限制了语义特征的提取。同时，由于收缩面具和边缘都属于文本，因此忽略边缘的细节损失现象阻碍了收缩遮罩与边缘的区分，这会导致模棱两可的收缩面罩边缘。此外，假阳性样品享有带有收缩遮罩的类似视觉特征。他们加剧了收缩面具识别的下降。为了避免上述问题，我们提出了一个受相机变焦过程启发的变焦文本检测器（ZTD）。具体而言，引入了缩放模块（ZOM），以提供粗层的粗颗粒优化目标，以避免使用偏置功能。同时，提出了模块中的缩放（ZIM）以增强边缘识别，以防止细节损失。此外，顺序视觉判别器（SVD）旨在通过顺序和视觉特征抑制假阳性样品。实验验证了ZTD的出色全面性能。

现有的实时文本检测器通过直接缩小掩码来重建文本轮廓，这简化了框架，可以使模型快速运行。然而，对预测的收缩掩模的强烈依赖导致检测结果不稳定。此外，收缩掩模的辨别是Pixelive预测任务。通过收缩掩模监督网络只会失去许多语义上下文，这导致了对收缩掩模的错误检测。为了解决这些问题，我们构建一个有效的文本检测网络，用于文本检测（ASMTD）的自适应缩小掩模，这提高了训练期间的精度并降低了推理过程的复杂性。首先，提出了自适应收缩掩模（ASM）来表示通过收缩掩模和独立的自适应偏移来表示文本。它削弱了文本到收缩掩模的耦合，从而提高了检测结果的稳健性。然后，设计超像素窗口（SPW）以监督网络。它利用每个像素的周围环境来提高预测收缩掩模的可靠性，并且在测试期间不会出现。最后，构造轻量级特征合并分支以降低计算成本。如实验中所示，我们的方法优于现有的现有最先进的（SOTA）方法，以检测准确性和速度在多个基准上。

由于字体，大小，颜色和方向的各种文本变化，任意形状的场景文本检测是一项具有挑战性的任务。大多数现有基于回归的方法求助于回归文本区域的口罩或轮廓点以建模文本实例。但是，回归完整的口罩需要高训练的复杂性，并且轮廓点不足以捕获高度弯曲的文本的细节。为了解决上述限制，我们提出了一个名为TextDCT的新颖的轻巧锚文本检测框架，该框架采用离散的余弦变换（DCT）将文本掩码编码为紧凑型向量。此外，考虑到金字塔层中训练样本不平衡的数量，我们仅采用单层头来进行自上而下的预测。为了建模单层头部的多尺度文本，我们通过将缩水文本区域视为正样本，并通过融合来介绍一个新颖的积极抽样策略，并通过融合来设计特征意识模块（FAM），以实现空间意识和规模的意识丰富的上下文信息并关注更重要的功能。此外，我们提出了一种分割的非量最大抑制（S-NMS）方法，该方法可以过滤低质量的掩模回归。在四个具有挑战性的数据集上进行了广泛的实验，这表明我们的TextDCT在准确性和效率上都获得了竞争性能。具体而言，TextDCT分别以每秒17.2帧（FPS）和F-measure的F-MEASIE达到85.1，而CTW1500和Total-Text数据集的F-Measure 84.9分别为15.1 fps。

Contour-based instance segmentation methods include one-stage and multi-stage schemes. These approaches achieve remarkable performance. However, they have to define plenty of points to segment precise masks, which leads to high complexity. We follow this issue and present a single-shot method, called \textbf{VeinMask}, for achieving competitive performance in low design complexity. Concretely, we observe that the leaf locates coarse margins via major veins and grows minor veins to refine twisty parts, which makes it possible to cover any objects accurately. Meanwhile, major and minor veins share the same growth mode, which avoids modeling them separately and ensures model simplicity. Considering the superiorities above, we propose VeinMask to formulate the instance segmentation problem as the simulation of the vein growth process and to predict the major and minor veins in polar coordinates. Besides, centroidness is introduced for instance segmentation tasks to help suppress low-quality instances. Furthermore, a surroundings cross-correlation sensitive (SCCS) module is designed to enhance the feature expression by utilizing the surroundings of each pixel. Additionally, a Residual IoU (R-IoU) loss is formulated to supervise the regression tasks of major and minor veins effectively. Experiments demonstrate that VeinMask performs much better than other contour-based methods in low design complexity. Particularly, our method outperforms existing one-stage contour-based methods on the COCO dataset with almost half the design complexity.

任意形状的文本检测是一项具有挑战性的任务，这是由于大小和宽高比，任意取向或形状，不准确的注释等各种变化的任务。最近引起了大量关注。但是，文本的准确像素级注释是强大的，现有的场景文本检测数据集仅提供粗粒的边界注释。因此，始终存在大量错误分类的文本像素或背景像素，从而降低基于分割的文本检测方法的性能。一般来说，像素是否属于文本与与相邻注释边界的距离高度相关。通过此观察，在本文中，我们通过概率图提出了一种创新且可靠的基于分割的检测方法，以准确检测文本实例。为了具体，我们采用Sigmoid alpha函数（SAF）将边界及其内部像素之间的距离传输到概率图。但是，由于粗粒度文本边界注释的不确定性，一个概率图无法很好地覆盖复杂的概率分布。因此，我们采用一组由一系列Sigmoid alpha函数计算出的概率图来描述可能的概率分布。此外，我们提出了一个迭代模型，以学习预测和吸收概率图，以提供足够的信息来重建文本实例。最后，采用简单的区域生长算法来汇总概率图以完成文本实例。实验结果表明，我们的方法在几个基准的检测准确性方面实现了最先进的性能。

近年来，场景文本检测和识别的研究重点已转移到任意形状文本，文本形状表示是一个基本问题。理想的表示应紧凑，完整，高效和可重复使用，以便我们认为后续认可。但是，以前的表示在一个或多个方面存在缺陷。薄板间隙（TPS）转换在场景文本识别方面取得了巨大成功。受到这一点的启发，我们逆转了它的用法，并精致地将TPS视为任意形状文本表示的精美表示。 TPS表示是紧凑，完整和有效的。使用预测的TPS参数，可以将检测到的文本区域直接纠正到近冬季的参数，以帮助后续识别。为了进一步利用TPS表示的潜力，提出了边界对准损失。基于这些设计，我们实现了文本检测器tpsnet，可以方便地将其扩展到文本次数。对几个公共基准的广泛评估和消融表明，提出的文本表示和斑点方法的有效性和优势。特别是，TPSNET在ART数据集上实现了4.4 \％（78.4 \％vs. 74.0 \％）的检测F量改进，并且在5.0 \％（78.5 \％vs. 73.55）上进行了端到端的斑点f-Measure改进。 \％）在总文本上，这是没有铃铛和口哨的大边缘。

在任意形状的文本检测中，定位准确的文本边界具有挑战性且不平淡。现有方法通常会遭受间接的文本边界建模或复杂的后处理。在本文中，我们通过边界学习进行系统地呈现一个统一的粗到精细的框架，以进行任意形状的文本检测，该框架可以准确有效地定位文本边界而无需后处理。在我们的方法中，我们通过创新的文本边界明确地对文本边界进行了明确模拟迭代边界变压器以粗到十的方式。这样，我们的方法可以直接获得准确的文本边界并放弃复杂的后处理以提高效率。具体而言，我们的方法主要由特征提取主链，边界建议模块和迭代优化的边界变压器模块组成。由多层扩张卷积组成的边界提案模块将计算重要的先验信息（包括分类图，距离场和方向场），以生成粗边界建议，同时指导边界变压器的优化。边界变压器模块采用编码器模块结构，其中编码器由具有残差连接的多层变压器块构造，而解码器是一个简单的多层perceptron网络（MLP）。在先验信息的指导下，边界变压器模块将通过迭代边界变形逐渐完善粗边界建议。此外，我们提出了一种新型的边界能量损失（BEL），该损失引入了能量最小化约束和单调减少约束的能量，以进一步优化和稳定边界细化的学习。关于公开可用和挑战数据集的广泛实验证明了我们方法的最先进性能和有希望的效率。

Recently, models based on deep neural networks have dominated the fields of scene text detection and recognition. In this paper, we investigate the problem of scene text spotting, which aims at simultaneous text detection and recognition in natural images. An end-to-end trainable neural network model for scene text spotting is proposed. The proposed model, named as Mask TextSpotter, is inspired by the newly published work Mask R-CNN. Different from previous methods that also accomplish text spotting with end-to-end trainable deep neural networks, Mask TextSpotter takes advantage of simple and smooth end-to-end learning procedure, in which precise text detection and recognition are acquired via semantic segmentation. Moreover, it is superior to previous methods in handling text instances of irregular shapes, for example, curved text. Experiments on ICDAR2013, ICDAR2015 and Total-Text demonstrate that the proposed method achieves state-of-the-art results in both scene text detection and end-to-end text recognition tasks.

典型的文本检测器遵循两阶段的发现策略：首先检测文本实例的精确边界，然后在定期的文本区域内执行文本识别。尽管这种策略取得了实质性进展，但有两个基本的局限性。 1）文本识别的性能在很大程度上取决于文本检测的精度，从而导致从检测到识别的潜在误差传播。 2）桥接检测和识别的ROI种植会带来背景的噪音，并在合并或从特征地图中插值时导致信息丢失。在这项工作中，我们提出了单个镜头自力更生的场景文本sottter（SRSTS），该场景通过将识别解除识别来规避这些限制。具体而言，我们并行进行文本检测和识别，并通过共享的积极锚点架起它们。因此，即使确切的文本边界要检测到具有挑战性，我们的方法也能够正确识别文本实例。此外，我们的方法可大大降低文本检测的注释成本。在常规基准和任意形状的基准上进行了广泛的实验表明，就准确性和效率而言，我们的SRST与以前的最先进的观察者相比有利。

Recently, segmentation-based methods are quite popular in scene text detection, which mainly contain two steps: text kernel segmentation and expansion. However, the segmentation process only considers each pixel independently, and the expansion process is difficult to achieve a favorable accuracy-speed trade-off. In this paper, we propose a Context-aware and Boundary-guided Network (CBN) to tackle these problems. In CBN, a basic text detector is firstly used to predict initial segmentation results. Then, we propose a context-aware module to enhance text kernel feature representations, which considers both global and local contexts. Finally, we introduce a boundary-guided module to expand enhanced text kernels adaptively with only the pixels on the contours, which not only obtains accurate text boundaries but also keeps high speed, especially on high-resolution output maps. In particular, with a lightweight backbone, the basic detector equipped with our proposed CBN achieves state-of-the-art results on several popular benchmarks, and our proposed CBN can be plugged into several segmentation-based methods. Code will be available on https://github.com/XiiZhao/cbn.pytorch.

几乎所有场景文本发现（检测和识别）方法依赖于昂贵的框注释（例如，文本线框，单词级框和字符级框）。我们首次证明培训场景文本发现模型可以通过每个实例的单点的极低成本注释来实现。我们提出了一种端到端的场景文本发现方法，将场景文本拍摄作为序列预测任务，如语言建模。给予图像作为输入，我们将所需的检测和识别结果作为一系列离散令牌制定，并使用自动回归变压器来预测序列。我们在几个水平，多面向和任意形状的场景文本基准上实现了有希望的结果。最重要的是，我们表明性能对点注释的位置不是很敏感，这意味着它可以比需要精确位置的边界盒更容易地注释并自动生成。我们认为，这种先锋尝试表明了场景文本的重要机会，比以前可能的比例更大的比例更大。

最近，场景文本检测是一个具有挑战性的任务。具有任意形状或大宽高比的文本通常很难检测。以前的基于分段的方法可以更准确地描述曲线文本，但遭受过分分割和文本粘附。在本文中，我们提出了基于关注的特征分解 - 改变 - 用于场景文本检测，它利用上下文信息和低级功能来增强基于分段的文本检测器的性能。在特征融合的阶段，我们引入交叉级注意模块来通过添加融合多缩放功能的注意机制来丰富文本的上下文信息。在概率图生成的阶段，提出了一种特征分解 - 重建模块来缓解大宽高比文本的过分分割问题，其根据其频率特性分解文本特征，然后通过添加低级特征来重建它。实验已经在两个公共基准数据集中进行，结果表明，我们的提出方法实现了最先进的性能。

我们介绍了一种名为RobustAbnet的新表检测和结构识别方法，以检测表的边界并从异质文档图像中重建每个表的细胞结构。为了进行表检测，我们建议将Cornernet用作新的区域建议网络来生成更高质量的表建议，以更快的R-CNN，这显着提高了更快的R-CNN的定位准确性以进行表检测。因此，我们的表检测方法仅使用轻巧的RESNET-18骨干网络，在三个公共表检测基准（即CTDAR TRACKA，PUBLAYNET和IIIT-AR-13K）上实现最新性能。此外，我们提出了一种新的基于分裂和合并的表结构识别方法，其中提出了一个新型的基于CNN的新空间CNN分离线预测模块将每个检测到的表分为单元格，并且基于网格CNN的CNN合并模块是应用用于恢复生成细胞。由于空间CNN模块可以有效地在整个表图像上传播上下文信息，因此我们的表结构识别器可以坚固地识别具有较大的空白空间和几何扭曲（甚至弯曲）表的表。得益于这两种技术，我们的表结构识别方法在包括SCITSR，PubTabnet和CTDAR TrackB2-Modern在内的三个公共基准上实现了最先进的性能。此外，我们进一步证明了我们方法在识别具有复杂结构，大空间以及几何扭曲甚至弯曲形状的表上的表格上的优势。

物体检测在计算机视觉中取得了巨大的进步。具有外观降级的小物体检测是一个突出的挑战，特别是对于鸟瞰观察。为了收集足够的阳性/阴性样本进行启发式训练，大多数物体探测器预设区域锚，以便将交叉联盟（iou）计算在地面判处符号数据上。在这种情况下，小物体经常被遗弃或误标定。在本文中，我们提出了一种有效的动态增强锚（DEA）网络，用于构建新颖的训练样本发生器。与其他最先进的技术不同，所提出的网络利用样品鉴别器来实现基于锚的单元和无锚单元之间的交互式样本筛选，以产生符合资格的样本。此外，通过基于保守的基于锚的推理方案的多任务联合训练增强了所提出的模型的性能，同时降低计算复杂性。所提出的方案支持定向和水平对象检测任务。对两个具有挑战性的空中基准（即，DotA和HRSC2016）的广泛实验表明，我们的方法以适度推理速度和用于训练的计算开销的准确性实现最先进的性能。在DotA上，我们的DEA-NET与ROI变压器的基线集成了0.40％平均平均精度（MAP）的先进方法，以便用较弱的骨干网（Resnet-101 VS Resnet-152）和3.08％平均 - 平均精度（MAP），具有相同骨干网的水平对象检测。此外，我们的DEA网与重新排列的基线一体化实现最先进的性能80.37％。在HRSC2016上，它仅使用3个水平锚点超过1.1％的最佳型号。

场景文本检测仍然是一个具有挑战性的任务，因为可能存在极小的小或低分辨率的笔划，并且关闭或任意形状的文本。在本文中，提出了通过捕获细粒度的笔划来有效地检测文本，并在图中的分层表示之间推断结构关系。不同于由一系列点或矩形框表示文本区域的现有方法，我们通过笔划辅助预测网络（SAPN）直接本地化每个文本实例的笔划。此外，采用分层关系图网络（HRGN）来执行关系推理和预测链接的可能性，有效地将关闭文本实例和分组节点分类结果分割成任意形状的文本区域。我们介绍了一个小型数据集，其中具有笔划级注释，即SyntheTroke，用于我们模型的脱机预培训。宽范围基准测试的实验验证了我们方法的最先进的性能。我们的数据集和代码将可用。

定向对象检测是在空中图像中的具有挑战性的任务，因为航空图像中的物体以任意的方向显示并且经常密集包装。主流探测器使用五个参数或八个主角表示描述了旋转对象，这遭受了定向对象定义的表示模糊性。在本文中，我们提出了一种基于平行四边形的面积比的新型表示方法，称为ARP。具体地，ARP回归定向对象的最小边界矩形和三个面积比。三个面积比包括指向物体与最小的外接矩形的面积比和两个平行四边形到最小的矩形。它简化了偏移学习，消除了面向对象的角度周期性或标签点序列的问题。为了进一步弥补近横向物体的混淆问题，采用对象和其最小的外缘矩形的面积比来指导每个物体的水平或定向检测的选择。此外，使用水平边界盒和三个面积比的旋转高效交叉点（R-EIOU）丢失和三个面积比旨在优化用于旋转对象的边界盒回归。遥感数据集的实验结果，包括HRSC2016，DOTA和UCAS-AOD，表明我们的方法达到了卓越的检测性能，而不是许多最先进的方法。

最近的视频文本发现方法通常需要三个阶段的管道，即检测单个图像中的文本，识别本地化文本，跟踪文本流以及后处理以生成最终结果。这些方法通常遵循按匹配范式跟踪并开发复杂的管道。在本文中，植根于变压器序列建模，我们提出了一个简单但有效的端到端视频文本检测，跟踪和识别框架（TransDert）。转码主要包括两个优点：1）与相邻帧中的显式匹配范式不同，transdetr轨道和不同的匹配范围，并通过长期时间序列（超过7帧）隐含的不同查询所谓的文本查询隐式识别每个文本。 2）Transdetr是第一个端到端可训练的视频文本斑点框架，该框架同时介绍了三个子任务（例如，文本检测，跟踪，识别）。进行了四个视频文本数据集（即ICDAR2013视频，ICDAR2015视频，Minetto和YouTube视频文本）中的广泛实验，以证明Transdetr在预先的性能中达到了最大的表现，并且在视频文本发现任务方面的提高约为8.0％。 。可以在https://github.com/weijiawu/transdetr上找到Transdet的代码。

在线和离线手写的中文文本识别（HTCR）已经研究了数十年。早期方法采用了基于过度裂段的策略，但遭受低速，准确性不足和角色分割注释的高成本。最近，基于连接主义者时间分类（CTC）和注意机制的无分割方法主导了HCTR的领域。但是，人们实际上是按字符读取文本的，尤其是对于中文等意识形态图。这就提出了一个问题：无细分策略真的是HCTR的最佳解决方案吗？为了探索此问题，我们提出了一种基于细分的新方法，用于识别使用简单但有效的完全卷积网络实现的手写中文文本。提出了一种新型的弱监督学习方法，以使网络仅使用笔录注释进行训练。因此，可以避免以前基于细分的方法所需的昂贵字符分割注释。由于缺乏完全卷积网络中的上下文建模，我们提出了一种上下文正则化方法，以在培训阶段将上下文信息集成到网络中，这可以进一步改善识别性能。在四个广泛使用的基准测试中进行的广泛实验，即Casia-HWDB，Casia-Olhwdb，ICDAR2013和Scut-HCCDOC，表明我们的方法在线和离线HCTR上都显着超过了现有方法，并且表现出比CTC/ CTC/ CTC/ CTC/ CTC/速度高得多的方法。基于注意力的方法。