及时调整尝试更新预训练模型中的一些特定任务参数。它的性能与在语言理解和发电任务上的完整参数设置的微调相当。在这项工作中,我们研究了迅速调整神经文本检索器的问题。我们引入参数效率的及时调整,以调整跨内域,跨域和跨主题设置的文本检索。通过广泛的分析,我们表明该策略可以通过基于微调的检索方法来减轻两个问题 - 参数 - 信息和弱推广性。值得注意的是,它可以显着改善检索模型的零零弹性概括。通过仅更新模型参数的0.1%,及时调整策略可以帮助检索模型获得比所有参数更新的传统方法更好的概括性能。最后,为了促进回猎犬的跨主题概括性的研究,我们策划并发布了一个学术检索数据集,其中包含18K查询的87个主题,使其成为迄今为止特定于特定于主题的主题。
translated by 谷歌翻译
基于深度学习的高光谱图像(HSI)恢复方法因其出色的性能而广受欢迎,但每当任务更改的细节时,通常都需要昂贵的网络再培训。在本文中,我们建议使用有效的插入方法以统一的方法恢复HSI,该方法可以共同保留基于优化方法的灵活性,并利用深神经网络的强大表示能力。具体而言,我们首先开发了一个新的深HSI DeNoiser,利用了门控复发单元,短期和长期的跳过连接以及增强的噪声水平图,以更好地利用HSIS内丰富的空间光谱信息。因此,这导致在高斯和复杂的噪声设置下,在HSI DeNosing上的最新性能。然后,在处理各种HSI恢复任务之前,将提议的DeNoiser插入即插即用的框架中。通过对HSI超分辨率,压缩感测和内部进行的广泛实验,我们证明了我们的方法经常实现卓越的性能,这与每个任务上的最先进的竞争性或甚至更好任何特定任务的培训。
translated by 谷歌翻译
目的:卷积神经网络(CNN)在脑部计算机界面(BCI)领域表现出巨大的潜力,因为它们能够直接处理无人工特征提取而直接处理原始脑电图(EEG)。原始脑电图通常表示为二维(2-D)矩阵,由通道和时间点组成,忽略了脑电图的空间拓扑信息。我们的目标是使带有原始脑电图信号的CNN作为输入具有学习EEG空间拓扑特征的能力,并改善其分类性能,同时实质上保持其原始结构。方法:我们提出了一个EEG地形表示模块(TRM)。该模块由(1)从原始脑电图信号到3-D地形图的映射块和(2)从地形图到与输入相同大小的输出的卷积块组成。我们将TRM嵌入了3个广泛使用的CNN中,并在2种不同类型的公开数据集中测试了它们。结果:结果表明,使用TRM后,两个数据集都在两个数据集上提高了3个CNN的分类精度。在模拟驾驶数据集(EBDSDD)和2.83 \%,2.17 \%和2.17 \%\%和2.17 \%和2.00 \%的紧急制动器上,具有TRM的DeepConvnet,Eegnet和ShandowConvnet的平均分类精度提高了4.70 \%,1.29 \%和0.91 \%高γ数据集(HGD)。意义:通过使用TRM来挖掘脑电图的空间拓扑特征,我们在2个数据集上提高了3个CNN的分类性能。另外,由于TRM的输出的大小与输入相同,因此任何具有RAW EEG信号的CNN作为输入可以使用此模块而无需更改原始结构。
translated by 谷歌翻译
深度学习技术在各种任务中都表现出了出色的有效性,并且深度学习具有推进多种应用程序(包括在边缘计算中)的潜力,其中将深层模型部署在边缘设备上,以实现即时的数据处理和响应。一个关键的挑战是,虽然深层模型的应用通常会产生大量的内存和计算成本,但Edge设备通常只提供非常有限的存储和计算功能,这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案,以释放边缘设备的潜力,同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计,这些模型轻巧,仅需少量存储,并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较,这些指标通常用于量化模型在有效性,轻度和计算成本方面的水平。然后,该调查涵盖了深层设计自动化技术的三类最新技术:自动化神经体系结构搜索,自动化模型压缩以及联合自动化设计和压缩。最后,调查涵盖了未来研究的开放问题和方向。
translated by 谷歌翻译
遥感图像的更改检测(CD)是通过分析两个次时图像之间的差异来检测变化区域。它广泛用于土地资源规划,自然危害监测和其他领域。在我们的研究中,我们提出了一个新型的暹罗神经网络,用于变化检测任务,即双UNET。与以前的单独编码BITEMAL图像相反,我们设计了一个编码器差分注意模块,以关注像素的空间差异关系。为了改善网络的概括,它计算了咬合图像之间的任何像素之间的注意力权重,并使用它们来引起更具区别的特征。为了改善特征融合并避免梯度消失,在解码阶段提出了多尺度加权方差图融合策略。实验表明,所提出的方法始终优于流行的季节性变化检测数据集最先进的方法。
translated by 谷歌翻译
深层合作的多方强化学习已经证明了其在各种复杂的控制任务上取得了巨大的成功。但是,多学院学习的最新进展主要集中在价值分解上,而使实体交互仍然交织在一起,这很容易导致对实体之间的嘈杂相互作用过度拟合。在这项工作中,我们引入了一种新型的交互模式分离(OPT)方法,以将关节值函数不仅置于分散执行的代理值函数中,还将实体交互作用到交互原型中,每种都代表了潜在的交互作用模式在实体的子组中。 OPT促进了无关实体之间的嘈杂相互作用,从而显着提高了普遍性和可解释性。具体而言,OPT引入了稀疏分歧机制,以鼓励发现的相互作用原型之间的稀疏性和多样性。然后,该模型通过具有可学习权重的聚合器选择将这些原型重组为紧凑的交互模式。为了减轻部分可观察性引起的训练不稳定性问题,我们建议最大程度地提高聚合权重与每个代理的历史行为之间的相互信息。单任务和多任务基准的实验表明,所提出的方法得出的结果优于最先进的对应。我们的代码将公开可用。
translated by 谷歌翻译
尽管取得了令人鼓舞的结果,但最先进的交互式强化学习方案依赖于以连续监控或预定义的规则的形式从顾问专家那里获得监督信号,这不可避免地导致了繁琐而昂贵的学习过程。在本文中,我们介绍了一项新型的倡议顾问,在循环演员批判框架中被称为Ask-AC,该框架用双向学习者的实用主义者代替了单方面的顾问指导机制,从而实现了自定义的和有效的范围学习者和顾问之间的消息交换。 Ask-AC的核心是两个互补的组件,即动作请求者和自适应状态选择器,可以很容易地将其纳入各种离散的参与者 - 批判性架构中。前一个组件允许代理商在不确定状态的存在下首次寻求顾问干预,而后者则确定了前者可能遗漏的不稳定状态,尤其是在环境变化时,然后学会了促进对此类国家的询问行动。对固定环境和非平稳环境以及不同参与者 - 评分骨架的实验结果表明,所提出的框架显着提高了代理的学习效率,并与连续顾问监控获得的框架与表现相同。
translated by 谷歌翻译
在线影响最大化旨在通过选择一些种子节点,最大程度地利用未知网络模型的社交网络中内容的影响。最近的研究遵循非自适应设置,在扩散过程开始之前选择种子节点,并且在扩散停止时更新网络参数。我们考虑了与内容相关的在线影响最大化问题的自适应版本,其中种子节点是根据实时反馈依次激活的。在本文中,我们将问题提出为无限马在线性扩散过程中的折扣MDP,并提出了基于模型的增强学习解决方案。我们的算法维护网络模型估算,并适应种子用户,探索社交网络,同时乐观地改善最佳策略。我们建立了$ \ widetilde o(\ sqrt {t})$遗憾的算法。合成网络的经验评估证明了我们的算法效率。
translated by 谷歌翻译
虽然深度学习在电力系统的瞬态稳定性评估方面取得了令人印象深刻的进步,但不足和不平衡的样本仍然捕获数据驱动方法的培训效果。本文提出了一种基于条件平板生成的对冲网络(CTGAN)的可控样本生成框架,以产生指定的瞬态稳定性样本​​。为了适应瞬态稳定性样本​​的复杂特征分布,所提出的框架首先将样本模拟为表格数据,并使用高斯混合模型来标准化表格数据。然后我们将多个条件转换为单个条件向量,以实现多条件生成。此外,本文介绍了三个评估度量,以验证基于所提出的框架的产生样本的质量。 IEEE 39总线系统上的实验结果表明,该框架有效地平衡了瞬态稳定性样本​​,并显着提高了瞬态稳定性评估模型的性能。
translated by 谷歌翻译
图级表示学习是在整个图表上操作的下游任务的关键步骤。迄今为止,解决此问题的最常见方法是图形池,通常将节点特征取平均或求和以获取图表表示。但是,汇总操作如平均或总结不可避免地会导致大量信息缺失,这可能会严重降低最终性能。在本文中,我们认为对图形下游任务至关重要的是什么不仅包括拓扑结构,还包括对节点采样的分布。因此,由现有图形神经网络(GNN)提供动力,我们提出了一个新的插件池模块,称为分布知识嵌入(DKEPOOL),在其中,将图作为GNNS顶部的发行版改造为分布,池的目标是汇总目标。整个分发信息,而不是通过简单的预定池操作保留特定矢量。事实上,DKEPOOL网络将表示形式分为两个阶段,结构学习和分布学习。结构学习遵循递归邻域聚合方案,以更新获得结构信息的节点特征。另一方面,分布学习省略了节点互连,并更多地关注所有节点所描绘的分布。广泛的实验表明,提出的Dkepool显着且始终如一地优于最新方法。
translated by 谷歌翻译