交通信号控制是一种新兴的应用场景,用于加强学习。除了作为影响人们通勤日常生活的重要问题之外,交通信号控制在适应动态交通环境和协调包括车辆和行人在内的数千名代理人方面对于强化学习提出了独特的挑战。现代强化学习成功的关键因素依赖于商品模拟器来生成大量用于学习的数据样本。然而,最常用的开源流量模拟器SUMO不能扩展到大型公路网和大流量,这阻碍了对交通场景的强化学习的研究。这促使我们创建一个新的流量模拟器CityFlow,它具有基本优化的数据结构和高效的算法。 CityFlow可以根据合成和真实数据支持灵活的道路网络和交通流量定义。它还提供了用户友好的强化学习界面。最重要的是,CityFlow比SUMO快20多倍,并且能够通过交互式渲染形式监控来支持全市范围的交通模拟。除了交通信号控制,CityFlow还可以作为其他交通研究的基础,并为智能交通领域的测试机器学习方法创造新的可能性。
translated by 谷歌翻译
越来越多的城市数据和先进的学习技术使人们能够提高城市功能的效率。其中,提高城市交通效率是最突出的主题之一。最近的研究已经提出使用强化学习(RL)堡垒信号控制。与传统的运输方式不同,后者严重依赖于先验知识,RL可以直接从反馈中学习。另一方面,如果没有仔细的模型设计,现有的RL方法通常需要很长时间才能收敛,学习的模型可能无法适应新的场景。例如,训练良好的交通流量的模型可能不适用于下午的交通,因为交通流量可能会被逆转,从而导致非常不同的状态表示。在本文中,我们提出了一种名为FRAP的新颖设计,它基于交通信号控制中相位竞争的直观原则:当两个交通信号发生冲突时,应优先考虑交通流量较大的一个(即需求较高)。通过相位竞争建模,我们的模型对于诸如翻转和旋转内部流动的对称情况不变。通过进行综合实验,我们证明了我们的模型在复杂的全相选择问题中找到了比现有RL方法更好的解决方案,在训练期间收敛得更快,并且在不同的道路结构和交通条件下实现了更高的普遍性。
translated by 谷歌翻译
合作在多智能体强化学习(MARL)中至关重要。在交通信号控制的背景下,交通信号控制之间的良好合作使得车辆能够更加顺畅地通过交叉口。传统的交通方式通过预先计算两个交叉口之间的偏移来实现合作。这种预先计算的偏移量不适用于动态交通环境。为了结合促进学习(RL)中的合作,提出了两种典型的方法来考虑其他因素的影响:(1)学习通信(即代理之间的影响的表示)和(2)学习代理的联合。尽管在最近的研究中联合行动模型已经显示出一种优选的趋势,但是在交通信号控制的背景下,尚未系统地研究改进药剂之间通信学习的深入研究。为了学习代理之间的通信,在本文中,我们建议使用图注意网络来促进合作。具体来说,对于网络中的目标交叉点,我们提出的模型CoLight不仅可以结合邻近交互的影响,还可以学会将它们的影响区分为目标交叉点。据我们所知,我们是第一个在交通信号控制强化学习环境中使用graphattentional网络的人。在实验中,我们通过学习通信证明,所提出的模型可以获得令人惊讶的良好性能,而基于联合动作建模的现有方法无法很好地学习。
translated by 谷歌翻译
车辆重新识别是一个重要的问题,随着视频监控和智能传输应用的快速扩展而变得可取。通过回顾人类视觉的识别过程,我们发现当人类识别不同的车辆时存在本地的等级依赖性。具体地,人类总是首先确定一个车辆的粗粒度类别,即汽车模型/类型。然后,在预测的汽车模型/类型的分支下,他们将通过细微的视觉线索(例如,定制的绘画和挡风玻璃)在细粒度水平上识别特定的车辆。受粗到细分层过程的启发,我们提出了一种用于车辆重新识别的端到端基于RNN的分层注意(RNN-HA)分类模型。 RNN-HA由三个相互耦合的模块组成:第一个模块生成车辆图像的图像表示,第二个层次模块模拟上述层级依赖关系,最后一个注意模块侧重于捕获特定车辆彼此之间的细微视觉信息识别。通过对两个车辆重新识别基准数据集VeRi和VehicleID进行全面的实验,我们证明了所提出的模型实现了超越现有技术的卓越性能。
translated by 谷歌翻译
我们提出了MedSim,一种基于Publicwell建立的生物医学知识图(KGs)和大规模语料库的新型语义相似性方法,研究抗生素的治疗替代。除了KGs的层次结构和语料库外,MedSim还通过构建多维医学特定的特征向量来进一步解释医学特征。采用医生评分的528种抗生素对数据集进行评价,MedSim与其他语义相似性方法相比具有统计学上的显着改善。此外,还提出了MedSim在药物替代和药物滥用预防方面的一些有希望的应用。
translated by 谷歌翻译
近十年来,随着深度卷积神经网络(CNN)的发展,许多最先进的图像分类和音频分类算法取得了显着的成功。但是,大多数工作只利用单一类型的训练数据。在本文中,我们通过利用CNN对视觉(图像)和音频(声音)数据的组合来对鸟类进行分类的研究,该CNN已被稀疏地处理。具体而言,我们提出了基于CNN的融合策略(早期,中期,晚期)类型的多模态学习模型,以解决组合训练数据跨域的问题。我们提出的方法的优点在于我们可以利用CNN不仅从图像和音频数据(频谱图)中提取特征,而且还可以跨特征模式组合特征。在实验中,我们在综合CUB-200-2011标准数据集上训练和评估网络结构,结合我们最初收集的关于数据种类的音频数据集。我们观察到,利用两种数据的组合的模型优于仅用任何类型的数据训练的模型。我们还表明,转移学习可以显着提高分类性能。
translated by 谷歌翻译
MixUp是一种通过混合随机样本的数据增强方法,已经显示出能够显着提高当前深度神经网络技术的预测准确性。然而,MixUp的力量大多是凭经验建立的,其工作和有效性在任何深度都没有解释。在本文中,我们对MixUp进行了理论上的理解,将其作为流形外正则化的一种形式,它将输入空间上的模型限制在数据流形之外。这项分析研究还使我们能够识别由流形侵入引起的MixUp限制,合成样本与歧管的实际例子相撞。这种侵入行为导致过度正规化,从而不合适。为了解决这个问题,我们进一步提出了一种新颖的正则化器,其中混合策略从数据中自适应地学习,并且包含多种入侵损失以避免与数据流形的冲突。我们使用几个基准数据集凭经验证明了我们的正则化器在超深度分类模型和MixUp的过度避免和精度改进方面的有效性。
translated by 谷歌翻译
通过主动选择小批量,可以提高随机梯度下降(SGD)的收敛速度。我们探索了在同一小批量中不太可能选择类似数据点的抽样方案。特别是,我们证明这种排斥采样方案降低了梯度测量仪的方差。这概括了最近关于将小批量多样化(Zhang et al。,2017)的决定点过程(DPP)用于更广泛的排斥点过程的工作。我们首先表明,通过多样化抽样的方差减少现象特别推广到非平稳点过程。然后,我们表明其他点过程在计算上可能比DPP更有效。特别是,我们提出并研究了泊松盘采样---计算机图形社交中经常遇到的---用于此任务。我们凭经验证明,我们的方法在收敛速度和最终模型性能方面都提高了标准SGD。
translated by 谷歌翻译
Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译
自然语言生成(NLG)是面向任务的对话系统的重要组成部分。尽管近来NLG的神经方法取得了成功,但它们通常是针对具有丰富注释训练样本的特定域开发的。在本文中,我们在资源匮乏的环境中研究NLG,以便通过少量训练示例在新场景中生成句子。我们从元学习的角度阐述问题,并基于公认的模型不可知元学习(MAML)算法提出基于广义优化的方法(Meta-NLG)。 Meta-NLG定义了一组元代码,并直接将适应新的低资源NLG任务的目标纳入元学习优化过程。对具有多样性变化的大型多域数据集(MultiWoz)进行了广泛的实验。我们表明,Meta-NLG在各种低资源配置中明显优于其他方法。我们分析结果,并证明Meta-NLG适应极快和良好的资源情况。
translated by 谷歌翻译