Recently, the success of pre-training in text domain has been fully extended to vision, audio, and cross-modal scenarios. The proposed pre-training models of different modalities are showing a rising trend of homogeneity in their model structures, which brings the opportunity to implement different pre-training models within a uniform framework. In this paper, we present TencentPretrain, a toolkit supporting pre-training models of different modalities. The core feature of TencentPretrain is the modular design. The toolkit uniformly divides pre-training models into 5 components: embedding, encoder, target embedding, decoder, and target. As almost all of common modules are provided in each component, users can choose the desired modules from different components to build a complete pre-training model. The modular design enables users to efficiently reproduce existing pre-training models or build brand-new one. We test the toolkit on text, vision, and audio benchmarks and show that it can match the performance of the original implementations.
translated by 谷歌翻译
最近的顺序推荐模型越来越多地依赖连续的短期用户相互作用序列来建模用户兴趣。但是，这些方法引起了人们对短期和长期利益的关注。 （1）{\ IT短期}：交互序列可能不是由单一的兴趣引起的，而是来自几个相互交织的利益，即使在短时间内，也导致了它们无法模拟Skip行为的失败； （2）{\ it长期}：相互作用序列主要是在离散的间隔内稀疏观察，而不是长期连续的。这使得难以推断长期利益，因为只能考虑到跨序列的利益动态，因此只能得出离散的利息表示。在这项研究中，我们通过学习来解决这些问题（1）短期利益的多尺度表示； （2）长期利益的动态意识表示。为此，我们提出了一个\ textbf {i} nterest \ textbf {d} ynamics建模框架，使用生成\ textbf {n} eural \ textbf {p textbf {p} rocesses，coincined IDNP，以从功能角度来看，以模拟用户兴趣。 IDNP学习了一个全球兴趣函数家族，以定义每个用户的长期兴趣作为功能实例化，从而通过功能连续性表现出兴趣动态。具体而言，IDNP首先将每个用户的短期交互编码为多尺度表示，然后将其汇总为用户上下文。通过将潜在的全球兴趣与用户上下文相结合，IDNP然后重建长期用户兴趣功能，并在即将到来的查询时间段上预测交互。此外，即使相互作用序列受到限制和非连续性，IDNP也可以建模此类兴趣功能。在四个现实世界数据集上进行的广泛实验表明，我们的模型在各种评估指标上的最先进。
translated by 谷歌翻译
大型视觉基础模型在自然图像上的视觉任务上取得了重大进展，在这种情况下，视觉变压器是其良好可扩展性和表示能力的主要选择。但是，在现有模型仍处于小规模的情况下，遥感社区（RS）社区中大型模型的利用仍然不足，从而限制了性能。在本文中，我们使用约1亿个参数求助于普通视觉变压器，并首次尝试提出针对RS任务定制的大型视觉模型，并探索如此大型模型的性能。具体而言，要处理RS图像中各种取向的较大图像大小和对象，我们提出了一个新的旋转型尺寸的窗户注意力，以替代变形金刚中的原始关注，这可以大大降低计算成本和内存足迹，同时学习更好的对象通过从生成的不同窗口中提取丰富上下文来表示。关于检测任务的实验证明了我们模型的优越性，超过了所有最新模型，在DOTA-V1.0数据集上实现了81.16 \％地图。与现有的高级方法相比，我们在下游分类和细分任务上的模型结果也证明了竞争性能。进一步的实验显示了我们模型对计算复杂性和几乎没有学习的优势。代码和模型将在https://github.com/vitae-transformer/remote-sensing-rvsa上发布
translated by 谷歌翻译
尽管在预验证的GAN模型的潜在空间中表现出的编辑能力，但倒置现实世界的图像被陷入困境，即重建不能忠于原始输入。这样做的主要原因是，训练和现实世界数据之间的分布未对准，因此，对于真实图像编辑而言，它不稳定。在本文中，我们提出了一个基于GAN的新型编辑框架，以通过组成分解范式解决室外反转问题。特别是，在构图阶段，我们引入了一个差分激活模块，用于从全局角度\ ie（IE）检测语义变化，这是编辑和未编辑图像的特征之间的相对差距。借助生成的diff-cam掩模，配对的原始图像和编辑图像可以直观地进行粗糙的重建。这样，几乎整体可以生存属性，而这种中间结果的质量仍然受到不可避免的幽灵效果的限制。因此，在分解阶段，我们进一步提出了一个基于GAN的基于GAN的DEGHOSTING网络，用于将最终的精细编辑图像与粗糙重建分开。在定性和定量评估方面，广泛的实验比最新方法具有优势。我们方法的鲁棒性和灵活性在两个属性和多属性操作的方案上也得到了验证。
translated by 谷歌翻译
最近，基于变压器的方法可预测多边形点或偏斜的曲线控制点可以定位文本，在场景文本检测中非常受欢迎。但是，使用的点标签形式意味着人类的阅读顺序，这会影响变压器模型的鲁棒性。至于模型体系结构，以前的方法尚未完全探索解码器中使用的查询的公式。在本文中，我们提出了一个简洁的动态点场景文本检测，称为dptext-detr，它直接将点坐标用作查询，并在解码器层之间动态更新它们。我们指出了一种简单而有效的位置标签形式，以应对原始效果。此外，增强的分解自我发项模块旨在显式地模拟多边形点序列的圆形形状，而不是非本地关注。广泛的实验证明了各种任意形状场景文本基准的训练效率，鲁棒性和最先进的性能。除了探测器之外，我们观察到现有的端到端观察者难以识别类似逆的文本。为了客观地评估他们的绩效并促进未来的研究，我们提出了一个逆文本测试集，其中包含500个手动标记图像。代码和反文本测试集将在https://github.com/ymy-k/dptext-detr上找到。
translated by 谷歌翻译
在实际人群计算应用程序中，图像中的人群密度差异很大。当面对密度变化时，人类倾向于在低密度区域定位和计数目标，并推理高密度区域的数量。我们观察到，CNN使用固定大小的卷积内核专注于局部信息相关性，而变压器可以通过使用全球自我注意机制有效地提取语义人群信息。因此，CNN可以在低密度区域中准确定位和估计人群，而在高密度区域中很难正确感知密度。相反，变压器在高密度区域具有很高的可靠性，但未能在稀疏区域定位目标。 CNN或变压器都无法很好地处理这种密度变化。为了解决此问题，我们提出了一个CNN和变压器自适应选择网络（CTASNET），该网络可以自适应地为不同密度区域选择适当的计数分支。首先，CTASNET生成CNN和变压器的预测结果。然后，考虑到CNN/变压器适用于低/高密度区域，密度引导的自适应选择模块被设计为自动结合CNN和Transformer的预测。此外，为了减少注释噪声的影响，我们引入了基于Correntropy的最佳运输损失。对四个挑战的人群计数数据集进行了广泛的实验，已经验证了该方法。
translated by 谷歌翻译
虽然现代自动语音识别（ASR）系统可以实现高性能，但它们可能会产生削弱读者体验并对下游任务造成伤害的错误。为了提高ASR假设的准确性和可靠性，我们提出了一种用于语音识别器的跨模型后处理系统，其中1）熔断来自不同方式的声学特征和文本特征，2）接合置信度估计器和多个误差校正器任务学习时尚和3）统一纠错和话语抑制模块。与单模或单任务模型相比，我们提出的系统被证明更有效和高效。实验结果表明，我们的后处理系统导致对工业ASR系统的单扬声器和多扬声器语音相对降低的10％相对减少，每个令牌约为1.7ms延迟确保在流语音识别中可以接受后处理引入的额外延迟。
translated by 谷歌翻译
现有场景文本识别（str）方法通常使用语言模型来优化通过视觉识别（VR）模型预测的1D字符序列的联合概率，该模型忽略了字符实例内和之间的视觉语义的2D空间上下文不概括为任意形状的场景文本。要解决此问题，我们首次尝试根据本文的视觉语义进行文本推理。从技术上讲，给定VR模型预测的字符分割映射，我们为每个实例构造一个子图，其中节点表示基于它们的空间相似度之间的节点中的像素和边缘。然后，这些子图通过其根节点顺序连接并合并到完整的图表中。基于此图，我们通过通过跨熵损失监督它来设计图表卷积网络以进行文本推理（GTR）。 GTR可以轻松插入代表性的STR模型，以提高其性能，因为较好的文本推理。具体而言，我们通过将GTR并将GTR与基于分段的STR基线中的语言模型并联的语言模型进行了构建模型，即，通过相互学习可以有效利用视觉语言互补性。 S-GTR在六个挑战性的STR基准上套装新的最先进的基准，并概括为多语言数据集。代码可用于https://github.com/adeline-cs/gtr。
translated by 谷歌翻译
这项工作介绍了一个简单的视觉变压器设计，作为对象本地化和实例分段任务的强大基线。变压器最近在图像分类任务中展示了竞争性能。为了采用对象检测和密集的预测任务，许多作品从卷积网络和高度定制的Vit架构继承了多级设计。在这种设计背后，目标是在计算成本和多尺度全球背景的有效聚合之间进行更好的权衡。然而，现有的作品采用多级架构设计作为黑匣子解决方案，无清楚地了解其真正的益处。在本文中，我们全面研究了三个架构设计选择对vit - 空间减少，加倍的频道和多尺度特征 - 并证明了vanilla vit架构可以在没有手动的多尺度特征的情况下实现这一目标，保持原始的Vit设计哲学。我们进一步完成了缩放规则，以优化模型的准确性和计算成本/型号大小的权衡。通过在整个编码器块中利用恒定的特征分辨率和隐藏大小，我们提出了一种称为通用视觉变压器（UVIT）的简单而紧凑的VIT架构，可实现COCO对象检测和实例分段任务的强劲性能。
translated by 谷歌翻译
背景噪声和规模变化是人群计数中长期以来已经认识到的常见问题。人类瞥见人群的形象，立即知道人类的大概数量，以及他们通过关注的人群地区和人群地区的拥塞程度，并具有全球接收领域。因此，在本文中，我们通过对人类自上而下的视觉感知机制进行建模，提出了一个具有称为RANET的区域感知块的新型反馈网络。首先，我们介绍了一个反馈体系结构，以生成优先级地图，这些图提供了输入图像中候选人人群区域的先验。先验使Ranet更加关注人群地区。然后，我们设计了可以通过全局接受字段自适应地将上下文信息编码为输入图像的区域感知块。更具体地说，我们以列向量的形式扫描整个输入图像及其优先级图，以获得相关矩阵估计其相似性。获得的相关矩阵将用于建立像素之间的全球关系。我们的方法在几个公共数据集上优于最先进的人群计数方法。
translated by 谷歌翻译