在这项工作中,我们研究了基于价值的深钢筋学习(DRL)中简单但普遍适用的奖励成型案例。我们表明,线性转换形式的奖励转移等同于更改函数近似中$ q $ function的初始化。基于这样的等价性,我们带来了关键的见解,即积极的奖励转移会导致保守的剥削,而负面的奖励转移会导致好奇心驱动的探索。因此,保守的剥削改善了离线RL价值估计,乐观的价值估计改善了在线RL的勘探。我们验证了对一系列RL任务的见解,并显示了其对基准的改进:(1)在离线RL中,保守的剥削可根据现成的算法提高性能; (2)在在线连续控制中,具有不同转移常数的多个值函数可用于应对探索 - 诠释困境,以提高样品效率; (3)在离散控制任务中,负奖励转移可以改善基于好奇心的探索方法。
translated by 谷歌翻译
尽管人工智能(AI)在理解各个领域的分子方面取得了重大进展,但现有模型通常从单个分子模态中获得单个认知能力。由于分子知识的层次结构是深刻的,即使人类也从不同的方式中学习,包括直觉图和专业文本,以帮助他们的理解。受到这一点的启发,我们提出了一个分子多模式基础模型,该模型是从分子图及其语义相关的文本数据(从发表的科学引用索引论文中爬立)的。该AI模型代表了直接桥接分子图和自然语言的关键尝试。重要的是,通过捕获两种方式的特定和互补信息,我们提出的模型可以更好地掌握分子专业知识。实验结果表明,我们的模型不仅在诸如跨模式检索和分子标题之类的跨模式任务中表现出有希望的性能,而且还可以增强分子属性预测,并具有从自然语言描述中产生有意义的分子图的能力。我们认为,我们的模型将对跨生物学,化学,材料,环境和医学等学科的AI能力领域产生广泛的影响。
translated by 谷歌翻译
在时间图上的表示学习吸引了大量的研究注意力,因为它在各种各样的现实应用程序中的基本重要性。尽管许多研究成功地获得了时间依赖的表示,但它仍然面临重大挑战。一方面,大多数现有方法都以一定的曲率限制了嵌入空间。然而,实际上,潜在的几何形状随着时间的推移而变化的曲率超球,零曲率欧几里得和负曲率双曲空间发生了变化。另一方面,这些方法通常需要丰富的标签来学习时间表示,从而明显限制了它们在真实应用程序的未标记图中的广泛使用。为了弥合这一差距,我们首次尝试研究一般的Riemannian空间中自我监督的时间图表示学习的问题,从而支持随时间变化的曲率在超球,欧几里得和双曲线空间之间转移。在本文中,我们提出了一种新颖的自我监督的Riemannian图神经网络(SEXTRGNN)。具体而言,我们设计了具有理论上的时间编码的曲率变化的Riemannian GNN,并随着时间的推移制定功能性曲率,以模拟正,零和负曲率空间之间的演变转换。为了启用自我监督的学习,我们提出了一种新颖的重新处理自我对比的方法,探索Riemannian空间本身而无需增强,并提出了一种基于边缘的自我监督的曲率学习,并使用RICCI曲率进行。广泛的实验表明了SelfRGNN的优越性,此外,案例研究表明了现实中时间图的时变曲率。
translated by 谷歌翻译
拓扑不平衡是由标记节点的不均匀拓扑位置引起的一个特异性不平衡问题,它大大损害了GNN的性能。什么拓扑不平衡意味着如何衡量其对图形学习的影响。在本文中,从全球视图中,我们对监督信息分布的全球视图提供了对拓扑 - 不平衡的新理解,从不足和过度划分的角度来看,这激发了两个定量指标作为测量。鉴于我们的分析,我们提出了一个新颖的位置感知的图形结构学习框架,该框架名为柔和,该框架直接优化了信息传播路径并解决了本质上解决拓扑 - 不平衡问题。我们的关键见解是增强同一类中节点的连接性,以获取更多的监督信息,从而减轻不足和过度的现象。具体而言,我们设计了一个基于锚的位置编码机制,该机制可以更好地结合相对拓扑位置并通过最大化标签影响来增强类内部电感偏置。我们进一步提出了作为边缘权重的阶级冲突度量,这有利于不同节点类别的分离。广泛的实验表明,在不同的数据注释方案中增强GNNS的功率方面,柔和的能力具有较高的潜力和适应性。
translated by 谷歌翻译
多模式学习,尤其是大规模的多模式预训练,在过去的几年中已经迅速发展,并带来了人工智能(AI)的最大进步。尽管具有有效性,但了解多模式预训练模型的潜在机制仍然是一个巨大的挑战。揭示此类模型的解释性可能会使AI领域中新型学习范式的突破。为此,鉴于人脑的多模式性质,我们建议借助非侵入性脑成像技术(例如功能磁共振成像(fMRI))探索多模式学习模型的解释性。具体而言,我们首先提出了1500万个图像文本对预训练的新设计的多模式基础模型,该模型在各种认知下游任务中显示出强烈的多模式理解和概括能力。此外,从神经编码的角度来看(基于我们的基础模型),我们发现,与单峰相比,经过多模式训练的视觉和舌编码器都更像脑状。特别是,我们确定了许多大脑区域,其中多模式训练的编码器表现出更好的神经编码性能。这与现有有关探索大脑多感觉整合的研究的发现是一致的。因此,我们认为,多模式基础模型是神经科学家研究人脑中多模式信号处理机制的更合适的工具。我们的发现还证明了多模式基础模型作为理想的计算模拟器的潜力,以促进脑和大脑的AI研究。
translated by 谷歌翻译
半监督学习(SSL)通过利用大量未标记数据来增强有限标记的样品来改善模型的概括。但是,目前,流行的SSL评估协议通常受到计算机视觉(CV)任务的约束。此外,以前的工作通常从头开始训练深层神经网络,这是耗时且环境不友好的。为了解决上述问题,我们通过从简历,自然语言处理(NLP)和音频处理(AUDIO)中选择15种不同,具有挑战性和全面的任务来构建统一的SSL基准(USB),我们会系统地评估主导的SSL方法,以及开源的一个模块化和可扩展的代码库,以对这些SSL方法进行公平评估。我们进一步为简历任务提供了最新的神经模型的预训练版本,以使成本负担得起,以进行进一步调整。 USB启用对来自多个域的更多任务的单个SSL算法的评估,但成本较低。具体而言,在单个NVIDIA V100上,仅需要37个GPU天才能在USB中评估15个任务的FIXMATCH,而335 GPU天(除ImageNet以外的4个CV数据集中的279 GPU天)在使用典型协议的5个CV任务上需要进行5个CV任务。
translated by 谷歌翻译
视觉变压器(VIT)正在出现,并且在计算机视觉任务中的准确性显着提高。但是,它们的复杂架构和巨大的计算/存储需求对新硬件加速器设计方法施加了紧迫的需求。这项工作提出了基于提议的混合速度量化的FPGA感知自动VIT加速框架。据我们所知,这是探索模型量化的第一个基于FPGA的VIT加速框架。与最先进的VIT量化工作(仅无硬件加速的算法方法)相比,我们的量化在相同的位宽度下可实现0.47%至1.36%的TOP-1精度。与32位浮点基线FPGA加速器相比,我们的加速器在框架速率上的提高约为5.6倍(即56.8 fps vs. 10.0 fps),对于DeitBase的ImagEnet数据集,精度下降了0.71%。
translated by 谷歌翻译
DBSCAN由于其简单性和实用性而被广泛用于许多科学和工程领域。但是,由于其高灵敏度参数,聚类结果的准确性在很大程度上取决于实践经验。在本文中,我们首先提出了一种新颖的深钢筋学习指导自动DBSCAN参数搜索框架,即DRL-DBSCAN。该框架通过将聚类环境视为马尔可夫决策过程来模拟调整参数搜索方向的过程,该过程旨在在没有手动帮助的情况下找到最佳的聚类参数。 DRL-DBSCAN使用弱监督的奖励培训策略网络,通过与群集进行交互来了解不同特征分布的最佳聚类参数搜索策略。此外,我们还提出了一个由数据规模驱动的递归搜索机制,以有效且可控制地处理大参数空间。基于拟议的四种工作模式,在五个人工和现实世界数据集上进行了广泛的实验。离线和在线任务的结果表明,DRL-DBSCCUN不仅始终如一地提高DBSCAN聚类精度高达26%和25%,而且可以稳定地找到具有较高计算效率的主要参数。该代码可在https://github.com/ringbdstack/drl-dbscan上找到。
translated by 谷歌翻译
复杂物理系统的高保真模拟在时空尺度上昂贵且无法访问。最近,人们对利用深度学习来增强基于粗粒的模拟来增强科学数据的兴趣越来越大,这是廉价的计算费用,并保留了令人满意的解决方案精度。但是,现有的主要工作集中在数据驱动的方法上,这些方法依赖丰富的培训数据集并缺乏足够的身体约束。为此,我们提出了一个通过物理知识学习的新颖而有效的时空超分辨率框架,灵感来自部分微分方程(PDES)中的时间和空间衍生物之间的独立性。一般原则是利用时间插值来进行流量估计,然后引入卷积转递的神经网络以学习时间细化。此外,我们采用了具有较大激活的堆叠残留块,并带有像素舍式的子像素层进行空间重建,其中特征提取是在低分辨率的潜在潜在空间中进行的。此外,我们考虑在网络中严重施加边界条件以提高重建精度。结果表明,通过广泛的数值实验,与基线算法相比,该方法的卓越有效性和效率。
translated by 谷歌翻译
时间基础旨在找到目标视频时刻,该目标瞬间与未修剪视频中给定的句子查询相对应。但是,最近的作品发现现有方法遇到了严重的时间偏见问题。这些方法并不是根据训练集中查询的时间偏见过度依赖基于视觉文本语义对齐的目标矩位置。为此,本文提出了一个新颖的培训框架,用于接地模型,以使用洗牌视频解决时间偏见问题而不会失去接地精度。我们的框架介绍了两个辅助任务,即跨模式匹配和时间订单歧视,以促进接地模型训练。跨模式匹配任务利用了洗牌和原始视频之间的内容一致性迫使接地模型以挖掘视觉内容以匹配语义的查询。时间秩序歧视任务利用时间顺序的差异来加强对长期时间环境的理解。关于Charades-STA和活动网字幕的广泛实验证明了我们方法可以减轻对时间偏差的依赖并增强模型对不同时间分布的概括能力的有效性。代码可从https://github.com/haojc/shufflingvideosfortsg获得。
translated by 谷歌翻译