多模式变压器的最新努力通过合并视觉和文本信息改善了视觉上丰富的文档理解(VRDU)任务。但是,现有的方法主要集中于诸如单词和文档图像贴片之类的细粒元素,这使得他们很难从粗粒元素中学习,包括短语和显着视觉区域(如突出的图像区域)等自然词汇单元。在本文中,我们对包含高密度信息和一致语义的粗粒元素更为重要,这对于文档理解很有价值。首先,提出了文档图来模拟多层次多模式元素之间的复杂关系,其中通过基于群集的方法检测到显着的视觉区域。然后,提出了一种称为mmlayout的多模式变压器,以将粗粒的信息纳入基于图形的现有预训练的细颗粒的多峰变压器中。在mmlayout中,粗粒信息是从细粒度聚集的,然后在进一步处理后,将其融合到细粒度中以进行最终预测。此外,引入常识增强以利用天然词汇单元的语义信息。关于四个任务的实验结果,包括信息提取和文档问答,表明我们的方法可以根据细粒元素改善多模式变压器的性能,并使用更少的参数实现更好的性能。定性分析表明,我们的方法可以在粗粒元素中捕获一致的语义。
translated by 谷歌翻译
大型视觉基础模型在自然图像上的视觉任务上取得了重大进展,在这种情况下,视觉变压器是其良好可扩展性和表示能力的主要选择。但是,在现有模型仍处于小规模的情况下,遥感社区(RS)社区中大型模型的利用仍然不足,从而限制了性能。在本文中,我们使用约1亿个参数求助于普通视觉变压器,并首次尝试提出针对RS任务定制的大型视觉模型,并探索如此大型模型的性能。具体而言,要处理RS图像中各种取向的较大图像大小和对象,我们提出了一个新的旋转型尺寸的窗户注意力,以替代变形金刚中的原始关注,这可以大大降低计算成本和内存足迹,同时学习更好的对象通过从生成的不同窗口中提取丰富上下文来表示。关于检测任务的实验证明了我们模型的优越性,超过了所有最新模型,在DOTA-V1.0数据集上实现了81.16 \%地图。与现有的高级方法相比,我们在下游分类和细分任务上的模型结果也证明了竞争性能。进一步的实验显示了我们模型对计算复杂性和几乎没有学习的优势。代码和模型将在https://github.com/vitae-transformer/remote-sensing-rvsa上发布
translated by 谷歌翻译
变压器的扎实结果使它们在各种自然语言和视觉任务中占上风。作为变压器中的默认组件,层归一化(LN)将每个令牌内的激活归一化,以增强稳健性。但是,LN需要在推理以及除法和平方根操作中进行直接统计计算,从而导致硬件效率低下。更重要的是,用其他硬件有效的标准化方案(例如,批发归一化)代替LN会导致性能较低,甚至在训练中崩溃。我们发现,这种困境是由激活统计的异常行为引起的,包括对迭代的大波动和跨层的极端异常值。为了解决这些问题,我们提出了统一的归一化(UN),可以通过与其他线性操作融合并在LN上实现可比性的性能来加快推断。联合国通过量身定制的波动平滑策略校准激活和梯度统计来努力提高性能。同时,采用自适应离群过滤策略来避免在本文中在理论上证明并在实验上验证的训练中崩溃。我们证明,通过对语言和视觉任务进行广泛的实验,联合国可以成为LN的有效替代品。此外,我们评估了我们方法在GPU上的效率。配备了联合国的变压器享受约31%的推理速度和近18%的记忆力减少。代码将在https://github.com/hikvision-research/unified-normalization上发布。
translated by 谷歌翻译
近年来,随着新颖的策略和应用,神经网络一直在迅速扩展。然而,尽管不可避免地会针对关键应用程序来解决这些挑战,例如神经网络技术诸如神经网络技术中仍未解决诸如神经网络技术的挑战。已经尝试通过用符号表示来表示和嵌入域知识来克服神经网络计算中的挑战。因此,出现了神经符号学习(Nesyl)概念,其中结合了符号表示的各个方面,并将常识带入神经网络(Nesyl)。在可解释性,推理和解释性至关重要的领域中,例如视频和图像字幕,提问和推理,健康信息学和基因组学,Nesyl表现出了有希望的结果。这篇综述介绍了一项有关最先进的Nesyl方法的全面调查,其原理,机器和深度学习算法的进步,诸如Opthalmology之类的应用以及最重要的是该新兴领域的未来观点。
translated by 谷歌翻译
时间网络链接预测是网络科学领域的重要任务,并且在实际情况下具有广泛的应用。揭示网络的进化机制对于链接预测至关重要,如何有效利用历史信息来实现时间链接并有效提取网络结构的高阶模式仍然是一个至关重要的挑战。为了解决这些问题,在本文中,我们提出了一个具有调整后的Sigmoid函数和2-Simplex结构(TLPSS)的新型时间链接预测模型。调整后的Sigmoid衰减模式考虑了活跃,衰减和稳定的边缘状态,这适当适合信息的生命周期。此外,引入了由单纯形高阶结构组成的潜在矩阵序列,以增强链接预测方法的性能,因为它在稀疏网络中非常可行。结合信息的生命周期和单纯级结构,通过满足动态网络中时间和结构信息的一致性来实现TLPS的整体性能。六个现实世界数据集的实验结果证明了TLPS的有效性,与其他基线方法相比,我们提出的模型平均提高了链接预测的性能15%。
translated by 谷歌翻译
近年来,在实际场景中,单图(SID)引起了人们的关注。由于难以获得真实世界/清洁图像对,因此以前的真实数据集遭受了低分辨率图像,均匀的雨条,背景变化有限,甚至对图像对的不对准,从而对SID方法进行了不可思议的评估。为了解决这些问题,我们建立了一个名为Realrain-1K的新的高质量数据集,该数据集分别由1,120美元的高分辨率配对的清洁和高雨图像组成,分别具有低密度和高密度降雨条纹。 Realrain-1K中的图像是通过简单而有效的降雨密度可控制的过滤方法自动从大量现实世界中的雨滴剪辑中生成结盟。 Realrain-1K还提供丰富的雨条层作为副产品,使我们能够通过将雨条层粘贴在丰富的自然图像上,从而构建一个名为Synrain-13K的大规模合成数据集。基于它们和现有数据集,我们在三个曲目上基准了10种代表性的SID方法:(1)对Realrain-1K的全面监督学习,(2)域对真实数据集进行概括,以及(3)SYN-to-eal Toth-to to real Transvers Learning 。实验结果(1)显示了图像恢复性能和模型复杂性中代表性方法的差异,(2)验证所提出的数据集在模型概括中的重要性,(3)提供了有关从不同领域和从不同领域和学习的优越性的有用见解。关于现实世界中SID的未来研究的灯光。数据集将在https://github.com/hiker-lw/realrain-1k上发布
translated by 谷歌翻译
自我监督的方法(SSL)通过最大化两个增强视图之间的相互信息,裁剪是一种巨大的成功,其中裁剪是一种流行的增强技术。裁剪区域广泛用于构造正对,而裁剪后的左侧区域很少被探讨在现有方法中,尽管它们在一起构成相同的图像实例并且两者都有助于对类别的描述。在本文中,我们首次尝试从完整的角度来展示两种地区的重要性,并提出称为区域对比学习(RegionCl)的简单但有效的借口任务。具体地,给定两个不同的图像,我们随机从具有相同大小的每个图像随机裁剪区域(称为粘贴视图)并将它们交换以分别与左区域(称为CANVAS视图)一起组成两个新图像。然后,可以根据以下简单标准提供对比度对,即,每个视图是(1)阳性,其视图从相同的原始图像增强,并且与从其他图像增强的视图增强的视图。对于对流行的SSL方法进行微小的修改,RegionCL利用这些丰富的对并帮助模型区分来自画布和粘贴视图的区域特征,因此学习更好的视觉表示。 Imagenet,Coco和Citycapes上的实验表明,RegionCL通过大型边缘改善Moco V2,Densecl和Simsiam,并在分类,检测和分割任务上实现最先进的性能。代码将在https://github.com/annbless/regioncl.git上获得。
translated by 谷歌翻译
由于它们使用自我关注机制建模的远程依赖性的强大能力,变压器在各种计算机视觉任务中表现出很大的潜力。然而,视觉变压器将图像视为1D视觉令牌的序列,缺乏本地视觉结构的内在电感偏差(IB),并处理比例方差。或者,它们需要大规模的培训数据和更长的培训计划来隐含地学习IB。在本文中,我们提出了一种新颖的视觉变压器,通过探索来自卷积的内在IB,即简化。从技术上讲,vitae有几个空间金字塔减少模块,通过使用具有不同扩张速率的多个卷积来将输入图像与丰富的多尺寸上下文嵌入到令牌中。以这种方式,它获取内在规模的不变性IB,并且能够在各种尺度处学习对象的强大特征表示。此外,在每个变压器层中,vitae具有与多头自我关注模块平行的卷积块,其特征融合并馈入前馈网络。因此,它具有内在的位置IB,并且能够协同学习本地特征和全局依赖关系。在想象中的实验以及下游任务证明了基础变压器和并发作品的知识的优越性。源代码和预用型号将在GitHub上获得。
translated by 谷歌翻译
物流运营商最近提出了一项技术,可以帮助降低城市货运分销中的交通拥堵和运营成本,最近提出了移动包裹储物柜(MPLS)。鉴于他们能够在整个部署领域搬迁,因此他们具有提高客户可访问性和便利性的潜力。在这项研究中,我们制定了移动包裹储物柜问题(MPLP),这是位置路由问题(LRP)的特殊情况,该案例确定了整天MPL的最佳中途停留位置以及计划相应的交付路线。开发了基于混合Q学习网络的方法(HQM),以解决所得大问题实例的计算复杂性,同时逃脱了本地Optima。此外,HQM与全球和局部搜索机制集成在一起,以解决经典强化学习(RL)方法所面临的探索和剥削困境。我们检查了HQM在不同问题大小(最多200个节点)下的性能,并根据遗传算法(GA)进行了基准测试。我们的结果表明,HQM获得的平均奖励比GA高1.96倍,这表明HQM具有更好的优化能力。最后,我们确定有助于车队规模要求,旅行距离和服务延迟的关键因素。我们的发现概述了MPL的效率主要取决于时间窗口的长度和MPL中断的部署。
translated by 谷歌翻译
将深度学习与象征性逻辑推理相结合旨在利用这两个领域的成功,并引起越来越多的关注。受到深度循环的启发,这是一种端到端的模型,该模型训练了逻辑程序的推理,我们引入了Ima-Glove-GA,这是一种以自然语言表达的多步推理的迭代神经推理网络。在我们的模型中,推理是使用基于带门注意机制的RNN的迭代记忆神经网络进行的。我们在三个数据集上评估了iMa-glove-ga:副本,Conceptrules V1和Conceptrules V2。实验结果表明,与DeepLo​​gic和其他RNN基线模型相比,深沟和栅极注意可以达到更高的测试精度。当规则被淘汰时,我们的模型比罗伯塔·洛尔格(Roberta-Large)实现了更好的分布概括。此外,为了解决当前多步推理数据集中推理深度分布不平衡分布的问题,我们开发了Pararule-Plus,这是一个大型数据集,其中包含更多需要更深入推理步骤的示例。实验结果表明,添加Pararule-Plus可以在需要更深层次深度的示例中提高模型的性能。源代码和数据可在https://github.com/strong-ai-lab/multi-step-deductive-reasoning-over-natural语言中获得。
translated by 谷歌翻译