Sememes是人类语言中概念的最小语义单位,例如,词义是由一个或多个sememes组成的。语言通常由语言学家用他们的语义手工注释,并形成广泛用于各种NLP任务的语言常识知识库。最近,引入了神秘的sememe预测任务。它包括自动推荐单词的sememes,这有望提高注释效率和一致性。然而,现有的词汇量预测方法通常依赖于词语的外部语境来表示意义,这通常无法处理低频和词汇外单词。为了解决中国人的这个问题,我们提出了一种新颖的框架,以利用内部字符信息和单词的外部上下文信息。我们在中国的sememe知识库HowNet上进行实验,并证明我们的框架大大优于最先进的基线,并且即使对于低频词也能保持稳健的性能。
translated by 谷歌翻译
交通信号控制是一种新兴的应用场景,用于加强学习。除了作为影响人们通勤日常生活的重要问题之外,交通信号控制在适应动态交通环境和协调包括车辆和行人在内的数千名代理人方面对于强化学习提出了独特的挑战。现代强化学习成功的关键因素依赖于商品模拟器来生成大量用于学习的数据样本。然而,最常用的开源流量模拟器SUMO不能扩展到大型公路网和大流量,这阻碍了对交通场景的强化学习的研究。这促使我们创建一个新的流量模拟器CityFlow,它具有基本优化的数据结构和高效的算法。 CityFlow可以根据合成和真实数据支持灵活的道路网络和交通流量定义。它还提供了用户友好的强化学习界面。最重要的是,CityFlow比SUMO快20多倍,并且能够通过交互式渲染形式监控来支持全市范围的交通模拟。除了交通信号控制,CityFlow还可以作为其他交通研究的基础,并为智能交通领域的测试机器学习方法创造新的可能性。
translated by 谷歌翻译
对于基于SGD的分布式随机优化,由随机梯度调用的数量的收敛速度测量的计算复杂度和通过节点间通信轮次数测量的通信复杂度是两个最重要的性能度量。 SGD超过$ N $工作者的经典数据并行实现可以实现其收敛速度的线性加速,但在每个批处理中引发节点间通信。我们通过表征所获得的收敛速度和所需的通信轮次数,研究了在并行SGD中使用动态增加的批量大小进行随机非凸优化的好处。通过对PL条件下的随机非凸优化,具有指数级增加批量大小的经典数据并行SGD可以通过线性加速实现最快已知的$ O(1 /(NT))$收敛,仅使用$ \ log(T)$通信轮。对于一般的随机非凸优化,我们提出了一种类似Catalyst的算法,只需$ O(\ sqrt {NT} \ log(\ frac {T} {N}))$通信轮次。
translated by 谷歌翻译
部分域适应旨在将知识从标签丰富的源域转移到标签稀缺的目标域,这放松了跨不同域的完全共享的标签空间假设。在这个更通用和实用的场景中,一个主要的挑战是如何在不同域中的共享类中选择源实例以进行正向传输。为了解决这个问题,我们提出了一个域对抗强化学习(DARL)框架,用于自动选择共享类中的源实例,以避免负迁移,并通过减少域移位同时学习域之间的可转移特征。具体来说,在这个框架中,我们采用深度Q学习来学习代理的策略,通过近似动作值函数来做出选择决策。此外,引入域对话学习以通过代理和目标实例来学习所选源实例的域不变特征,并且还基于所选源实例与目标域的相关性来确定代理的奖励。对几个基准数据集的实验证明了我们的DARL方法优于现有技术的部分领域适应性能。
translated by 谷歌翻译
虽然神经网络已经在各种应用中取得了很大的进步,但是它们仍然非常具有挑战性,可以从连续的任务流中学习而不会忘记。持续学习是一种新的学习范式,旨在解决这个问题。在这项工作中,我们提出了一种新的连续学习模型,称为贝叶斯优化持续学习与注意机制(BOCL),通过贝叶斯优化动态扩展新任务到达时的网络容量,并选择性地利用以前的知识(例如先前任务的特征图)通过关注机制。我们对MNIST和CIFAR-100变体的实验表明,我们的方法在防止灾难性遗忘和更好地完成新任务方面优于最先进的技术。
translated by 谷歌翻译
大规模分布式机器学习应用(例如,深度神经网络)的最新发展极大地受益于分布式非凸优化技术的进步,例如分布式随机梯度下降(SGD)。最近的一系列研究工作研究了分布式SGD变体的线性加速特性,减少了通信。线性speedupproperty使我们能够通过在我们的系统中添加更多计算节点来扩展计算能力。由于通信开销通常是性能瓶颈的分布式系统,因此降低了通信复杂性。最近,动量方法在训练机器学习模型中越来越广泛,并且通常可以更快地收敛并且更好地概括。例如,许多从业者使用分布式SGD withmomentum来训练具有大数据的深度神经网络。然而,仍然不清楚任何分布式动量SGD是否具有与分布式SGD相同的线性速度特性并且降低了通信复杂性。本文通过考虑分布式通信高效动量SGD方法并证明其线性加速特性来填补这一空白。
translated by 谷歌翻译
分组路由是计算机网络中的基本问题之一,其中路由器确定队列中的每个分组的下一跳以使其尽可能快地到达其目的地。已经引入了强化学习来设计自治分组路由策略,即仅使用每个路由器可用的本地信息进行Q路由。然而,Q路由的维度诅咒阻碍了动态网络状态的更全面表示,从而限制了加强学习的潜在好处。受近期深度强化学习(DRL)成功的启发,我们在多智能体Q路由中构建了深度神经网络。每个路由器都拥有一个独立的神经网络,在没有与其邻居通信的情况下进行训练并在本地做出决定。提出了两种支持多代理DRL的路由算法:一种简单地用adeep神经网络替换香草Q-routing的Q-table,另一种采用额外的信息,包括过去的动作和非头部分组的目的地。仿真表明,通过深度神经网络直接替换Q表可能不会产生最小的传递延迟,因为神经网络不会从相同的输入中学到更多。当使用更多信息时,适应性策略可以收敛并显着减少分组传送时间。
translated by 谷歌翻译
早期发现肺癌是提高患者生存率的有效方法。在计算机断层扫描(CT)图像中准确检测肺结节是诊断肺癌的关键步骤。然而,由于肺结节的异质性和周围环境的复杂性,强大的结节检测一直是一项具有挑战性的任务。在这项研究中,我们提出了一种用于肺结节检测的两阶段卷积神经网络(TSCNN)架构。第一阶段的CNN架构基于改进的UNet分割网络,以建立肺结节的初始检测。同时,为了在不引入过多误报结节的情况下获得高召回率,我们提出了一种小说采样策略,并根据所提出的级联预测方法,使用离线硬挖掘思想进行训练和预测。第二阶段的CNN架构基于所提出的双池结构,其构建在三个3D CNN分类网络中用于假阳性减少。由于网络训练需要大量的训练数据,我们采用基于随机掩模的数据增强方法。此外,我们通过集成学习提高了误报减少模型的泛化能力。所提出的方法已经在LUNA数据集上进行了实验验证。实验结果表明,所提出的TSCNN架构可以获得有竞争力的检测性能。
translated by 谷歌翻译
可取消的生物特征识别(CB)作为生物特征模板保护方法的手段是指在原始模板上的不可逆但相似的保持变换。利用相似性保持属性,可以在变换域中执行模板和查询实例之间的匹配,而不会危害精度性能。不幸的是,这种特性引发了一类攻击,即基于相似性的攻击(SA)。 SA生成一个preimage,一个转换模板的逆,可用于模拟和交叉匹配。在本文中,我们提出了一种基于遗传算法的基于相似性的攻击框架(GASAF)来证明具有相似性保持特性的CB方案是基于相似性的攻击。除此之外,还设计了一组新指标来衡量基于相似性的攻击的有效性。我们在两个有代表性的CB方案上进行实验,即BioHashing和Bloom-filter。实验结果证明了这种攻击下的脆弱性。
translated by 谷歌翻译
近年来,车辆重新识别正在吸引越来越多的关注。最具挑战性的问题之一是从其多视点图像中学习车辆的有效表示。现有方法倾向于导出尺寸范围从数千到数万的特征。在这项工作中,我们提出了一个基于深度学习的框架,可以有效地表达车辆。虽然所述特征的维数可以低至256,但是对不同数据集的实验表明,Top-1和Top-5检索精度超过了多种最先进的方法。我们框架的关键是双重的。首先,采用变分特征学习来生成更具辨识性的变分特征。其次,长期短期记忆(LSTM)用于学习车辆的不同视点之间的关系。 LSTM还可以作为编码器来缩小功能。
translated by 谷歌翻译