回答有关知识图(KG)的复杂查询是一项重要但具有挑战性的任务,因为在推理过程中存在KG不完整问题和级联错误。最近的查询嵌入(QE)方法将实体和关系嵌入kg中,并将一阶逻辑(fol)查询纳入一个低维空间,从而通过密集的相似性搜索来回答查询。但是,以前的作品主要集中在目标答案上,忽略了中间实体的实用性,这对于缓解逻辑查询答案中的级联错误问题至关重要。此外,这些方法通常是用自己的几何或分配嵌入设计的,以处理逻辑运算符,例如联合,交叉路口和否定,并牺牲了基本操作员的准确性 - 投影,他们无法吸收其他嵌入方法,以使其吸收其他嵌入方法楷模。在这项工作中,我们提出了一个神经和象征性的纠缠框架(ENESY),以进行复杂的查询答案,这使神经和象征性推理可以相互增强以减轻级联错误和kg不完整。 Enesy中的投影操作员可以是具有链接预测能力的任何嵌入方法,并且其他FOL操作员无需参数处理。随着神经和象征性推理的结果,合奏中的Enesy答案查询。 Enesy在几个基准上实现了SOTA性能,尤其是在培训模型的设置中,仅具有链接预测任务。
translated by 谷歌翻译
在时间图上的表示学习吸引了大量的研究注意力,因为它在各种各样的现实应用程序中的基本重要性。尽管许多研究成功地获得了时间依赖的表示,但它仍然面临重大挑战。一方面,大多数现有方法都以一定的曲率限制了嵌入空间。然而,实际上,潜在的几何形状随着时间的推移而变化的曲率超球,零曲率欧几里得和负曲率双曲空间发生了变化。另一方面,这些方法通常需要丰富的标签来学习时间表示,从而明显限制了它们在真实应用程序的未标记图中的广泛使用。为了弥合这一差距,我们首次尝试研究一般的Riemannian空间中自我监督的时间图表示学习的问题,从而支持随时间变化的曲率在超球,欧几里得和双曲线空间之间转移。在本文中,我们提出了一种新颖的自我监督的Riemannian图神经网络(SEXTRGNN)。具体而言,我们设计了具有理论上的时间编码的曲率变化的Riemannian GNN,并随着时间的推移制定功能性曲率,以模拟正,零和负曲率空间之间的演变转换。为了启用自我监督的学习,我们提出了一种新颖的重新处理自我对比的方法,探索Riemannian空间本身而无需增强,并提出了一种基于边缘的自我监督的曲率学习,并使用RICCI曲率进行。广泛的实验表明了SelfRGNN的优越性,此外,案例研究表明了现实中时间图的时变曲率。
translated by 谷歌翻译
本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率,轨迹〜2靶向压缩视频的超分辨率。在轨道1中,我们使用流行的数据集DIV2K作为培训,验证和测试集。在轨道2中,我们提出了LDV 3.0数据集,其中包含365个视频,包括LDV 2.0数据集(335个视频)和30个其他视频。在这一挑战中,有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。
translated by 谷歌翻译
蒙版图像建模(MIM)通过恢复损坏的图像补丁,在自我监督的表示学习中表现出了令人印象深刻的结果。但是,大多数方法仍在低级图像像素上运行,这阻碍了对表示模型的高级语义的开发。在这项研究中,我们建议将富含语义的视觉令牌用作掩盖预测的重建目标,从而提供了一种系统的方式来促进MIM从像素级到语义级别。具体而言,我们引入了矢量定量的知识蒸馏以训练令牌仪,该蒸馏器将连续的语义空间离散为紧凑的代码。然后,我们通过预测掩盖图像贴片的原始视觉令牌来预处理变压器。此外,我们鼓励该模型将补丁信息明确汇总到全局图像表示中,该图像表示该设施线性探测。图像分类和语义分割的实验表明,我们的方法优于所有方法比较MIM方法。在ImagEnet-1K(224尺寸)上,基本大小的BEIT V2可实现85.5%的top-1精度,用于微调和80.1%的线性探测的TOP-1精度。大尺寸的BEIT V2获得了ImagEnet-1K(224尺寸)微调的最高1个TOP-1精度,用于语义分割的ADE20K上获得了56.7%MIOU。代码和预估计的模型可在https://aka.ms/beit上找到。
translated by 谷歌翻译
三维(3D)综合肾脏结构(IRS)分割在临床实践中很重要。随着深度学习技术的发展,提出了许多专注于医学图像细分的强大框架。在这一挑战中,我们利用了NNU-NET框架,这是医学图像分割的最新方法。为了减少肿瘤标签的异常预测,我们将肿瘤标签的轮廓正则化(CR)丢失与骰子丢失和横向渗透丢失相结合,以改善这种现象。
translated by 谷歌翻译
语义细分是计算机视觉中的一个流行研究主题,并且在其上做出了许多努力,结果令人印象深刻。在本文中,我们打算搜索可以实时运行此问题的最佳网络结构。为了实现这一目标,我们共同搜索深度,通道,扩张速率和特征空间分辨率,从而导致搜索空间约为2.78*10^324可能的选择。为了处理如此大的搜索空间,我们利用差异架构搜索方法。但是,需要离散地使用使用现有差异方法搜索的体系结构参数,这会导致差异方法找到的架构参数与其离散版本作为体系结构搜索的最终解决方案之间的离散差距。因此,我们从解决方案空间正则化的创新角度来缓解离散差距的问题。具体而言,首先提出了新型的解决方案空间正则化(SSR)损失,以有效鼓励超级网络收敛到其离散。然后,提出了一种新的分层和渐进式解决方案空间缩小方法,以进一步实现较高的搜索效率。此外,我们从理论上表明,SSR损失的优化等同于L_0-NORM正则化,这说明了改善的搜索评估差距。综合实验表明,提出的搜索方案可以有效地找到最佳的网络结构,该结构具有较小的模型大小(1 m)的分割非常快的速度(175 fps),同时保持可比较的精度。
translated by 谷歌翻译
基于变压器的视觉对象跟踪已广泛使用。但是,变压器结构缺乏足够的电感偏差。此外,仅专注于编码全局功能会损害建模本地细节,这限制了航空机器人中跟踪的能力。具体而言,通过局部模型为全球搜索机制,提出的跟踪器将全局编码器替换为新型的局部识别编码器。在使用的编码器中,仔细设计了局部识别的关注和局部元素校正网络,以减少全局冗余信息干扰和增加局部归纳偏见。同时,后者可以通过详细信息网络准确地在空中视图下对本地对象详细信息进行建模。所提出的方法在几种权威的空中基准中实现了竞争精度和鲁棒性,总共有316个序列。拟议的跟踪器的实用性和效率已通过现实世界测试得到了验证。
translated by 谷歌翻译
在这份技术报告中,我们简要介绍了ACM-MM 2022中的PIC化妆视频接地(MTVG)挑战的团队“ PKU-WICT-MIPL”的解决方案。给定未修饰的化妆视频和步骤查询,MTVG Aims是要在视频中定位目标化妆步骤的时间瞬间。为了解决这项任务,我们提出了一个短语关系挖掘框架,以利用与细粒度和整个句子相关的时间定位关系。此外,我们建议限制不同步骤句子查询的本地化结果,以免通过动态编程算法相互重叠。实验结果证明了我们方法的有效性。我们的最终提交在排行榜上排名第二,从第一个方面只有0.55 \%的差距。
translated by 谷歌翻译
通过仅使用训练有素的分类器,模型内(MI)攻击可以恢复用于训练分类器的数据,从而导致培训数据的隐私泄漏。为了防止MI攻击,先前的工作利用单方面依赖优化策略,即,在培训分类器期间,最大程度地减少了输入(即功能)和输出(即标签)之间的依赖关系。但是,这样的最小化过程与最小化监督损失相冲突,该损失旨在最大程度地提高输入和输出之间的依赖关系,从而在模型鲁棒性针对MI攻击和模型实用程序上对分类任务进行明确的权衡。在本文中,我们旨在最大程度地减少潜在表示和输入之间的依赖性,同时最大化潜在表示和输出之间的依赖关系,称为双边依赖性优化(BIDO)策略。特别是,除了对深神经网络的常用损失(例如,跨渗透性)外,我们还将依赖性约束用作普遍适用的正常化程序,可以根据不同的任务将其实例化使用适当的依赖标准。为了验证我们策略的功效,我们通过使用两种不同的依赖性度量提出了两种BIDO的实施:具有约束协方差的Bido(Bido-Coco)(Bido-Coco)和Bido具有Hilbert-Schmidt独立标准(Bido-HSIC)。实验表明,比多(Bido防御MI攻击的道路。
translated by 谷歌翻译
抗癌药物的发现是偶然的,我们试图介绍开放的分子图学习基准,称为Cantidrug4cancer,这是一个具有挑战性且逼真的基准数据集,可促进可扩展,健壮和可重复的图形机器学习用于抗癌药物发现的机器学习研究。候选物4CANCER数据集涵盖了多个最多的癌症靶标,涵盖了54869个与癌症相关的药物分子,其范围从临床前,临床和FDA批准的范围内。除了构建数据集外,我们还使用描述符和表达性图神经网络进行了有效的药物靶点相互作用(DTI)预测基准的基准实验。实验结果表明,候选物4Cancer在实际应用中对学习分子图和目标提出了重大挑战,这表明将来有机会开发用于治疗癌症的候选药物的研究。
translated by 谷歌翻译