尽管深度学习取得了巨大成功,但我们对如何训练凸凸神经网络的理解仍然相当有限。大多数现有的理论工作只涉及具有一个隐藏层的神经网络,而且对于多层神经网络知之甚少。递归神经网络(RNN)是在自然语言处理应用中广泛使用的特殊多层网络。与前馈网络相比,它们特别难以分析,因为权重参数在整个时间范围内重复使用。我们可以说是对训练RNN的收敛速度的第一个理论上的理解。具体来说,当神经元的数量足够大时 - 意味着训练数据大小和时间范围内的多项式 - 以及随机初始化权重时,我们表明梯度下降和随机梯度下降都可以最小化线性收敛中的训练损失率,即$ \ varepsilon \ proptoe ^ { - \ Omega(T)} $。
translated by 谷歌翻译
Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译
随着网络信息技术的快速发展,越来越多的人沉浸在网络带来的虚拟社区环境中,忽视了现实生活中的社会互动。随之而来的诽谤问题变得越来越严重。通过宠物机器人和育种者之间的情感沟通促进人与人之间的离线沟通“解决了这个问题,并开发了一种名为”汤姆“的设计。”汤姆“是一个智能宠物机器人,具有基于petrobot的社交机制,名为”Tom-本文的主要贡献是提出一种名为“Tom-Talker”的社交机制,鼓励用户离线社交。“Tom-Talker”也有相应的奖励机制和朋友推荐算法。它还提出了一个宠物机器人名为“汤姆“通过情感交互算法识别用户的情绪,模拟动物的情绪,并用情感进行交流。本文设计实验并分析结果。结果表明,荆棘机器人对解决城市自闭症问题有很好的效果。
translated by 谷歌翻译
时间序列的可靠准确预测在经济投资,交通规划,港口规划和设计等领域中起着至关重要的作用。海上时间序列的动态增长具有非常复杂,非线性和非平稳的特性。为了保证高质量的预测性能,我们建议首先采用经验模式分解(EMD)和集合EMD(EEMD)方法将原始时间序列分解为高频和低频分量。可以通过传统的神经网络(NN)方法直接预测低频分量。由于数学规律性较弱,预测高频分量更加困难。为了利用高频分量中的内在自相似性,这些分量将被分成几个连续的小(重叠)分段。然后选择具有高相似性的聚类片段以形成用于传统NN方法的更多特性数据集。这种重组策略可以帮助提高高频分量的预测精度。通过对预测的高频和低频分量进行积分来获得最终预测结果。我们提出的三步预测框架受益于时间序列分解和类似的分段分组。港口货物吞吐量和船舶交通流量的实验表明,它在预测精度和鲁棒性方面具有优越的性能。
translated by 谷歌翻译
知识图捕获实体之间的相互关联的信息,它们代表了可以用于推荐系统的有吸引力的结构化信息源。但是,现有的推荐引擎通过手动设计功能来使用知识图,不允许进行端到端的培训,或者提供不良的可扩展性。在这里,我们提出了知识图形卷积网络(KGCN),这是一种端到端的可训练框架,它利用知识图捕获的项目关系来提供更好的建议。从概念上讲,KGCN通过首先应用可训练功能来计算用户特定项目嵌入,该功能识别给定用户的重要知识图表关系,然后将知识图表转换为用户特定的加权图表。然后,KGCN应用图形卷积神经网络,通过传播和聚集知识图邻域信息来计算项目节点的嵌入。此外,为了提供更好的感应偏差,KGCN使用标签平滑度(LS),其提供边缘权重的规范化,并且我们证明它等同于图上的标签传播方案。最后,我们统一了KGCN和LS正规化,并为KGCN-LS模型提供了可扩展的小批量实现。实验表明,KGCN-LS在四个数据集中的表现优于强基线。 KGCN-LS在稀疏场景中也具有出色的性能,并且在知识图形大小方面具有高度可扩展性。
translated by 谷歌翻译
网络分片是5G通信系统中的一项关键技术,旨在通过共同的底层物理基础设施,为多样化的业务提供动态,高效的资源分配。其中,需求感知分配对网络化具有重要意义。在本文中,我们考虑在共享相同带宽的情况下在一个基站中包含多个片的场景。通过将变化的需求和分配的带宽分别视为环境\ emph {state}和\ emph {action},利用深度强化学习(DRL)来解决此问题。为了获得更好的体验质量(QoE)满意度和频谱效率(SE),我们提出基于生成对偶网络(GAN)的深度分布式Q网络(GAN-DDQN)容忍状态 - 动作值的分布。此外,我们通过近似完全分位数函数来估计分布,这可以使训练误差更可控。为了保护GAN-DDQN的训练过程的稳定性不受广泛的实用价值的影响,我们还提出了一种奖励裁剪机制。最后,我们通过广泛的模拟验证了所提出的GAN-DDQN算法的性能。
translated by 谷歌翻译
分组路由是计算机网络中的基本问题之一,其中路由器确定队列中的每个分组的下一跳以使其尽可能快地到达其目的地。已经引入了强化学习来设计自治分组路由策略,即仅使用每个路由器可用的本地信息进行Q路由。然而,Q路由的维度诅咒阻碍了动态网络状态的更全面表示,从而限制了加强学习的潜在好处。受近期深度强化学习(DRL)成功的启发,我们在多智能体Q路由中构建了深度神经网络。每个路由器都拥有一个独立的神经网络,在没有与其邻居通信的情况下进行训练并在本地做出决定。提出了两种支持多代理DRL的路由算法:一种简单地用adeep神经网络替换香草Q-routing的Q-table,另一种采用额外的信息,包括过去的动作和非头部分组的目的地。仿真表明,通过深度神经网络直接替换Q表可能不会产生最小的传递延迟,因为神经网络不会从相同的输入中学到更多。当使用更多信息时,适应性策略可以收敛并显着减少分组传送时间。
translated by 谷歌翻译
“假动作”作为一种新型的APT攻击,已成为人们关注的焦点。它采用多阶段攻击模式,可以归结为虚拟攻击和真实攻击的组合。在虚拟攻击的掩护下,真正的攻击可以实现攻击者的真正目的,因为它往往会在不经意间造成巨大的损失。然而,据我们所知,以前的所有工作都使用常见的方法,如因果关系或基于Cased的方法来检测过时的多阶段攻击。由于检测的难度在于“假动作”概念的多样化以及缺乏专业数据集,因此很少有人注意检测“假动作”,因此许多检测方法忽略了攻击中的语义关系。针对现有挑战,本文探讨了解决问题的新方法。在攻击场景中,基于属性相似度的模糊聚类方法用于挖掘多阶段攻击链。然后我们使用afew-shot深度学习算法(SMOTE&CNN-SVM)和双向RecurrentNeural网络模型(Bi-RNN)来获得“Feint Attack”链。 “FeintAttack”是通过插入正常因果攻击链中的真实攻击来模拟的,并且真实攻击的加入破坏了原始攻击链的因果关系。因此我们使用Bi-RNN编码来获得“Feint Attack”链的隐藏特征。最后,我们的方法通过使用加拿大网络安全研究所的DARPA2000和CICIDS2017的LLDoS1.0和LLDoS2.0,实现了准确检测“Feint攻击”的目标。
translated by 谷歌翻译
基于余弦的softmax损失显着改善了深度识别网络的性能。然而,这些损失总是包括敏感的高参数,这可能使训练过程不稳定,并且为特定数据集设置合适的超参数是非常非常的。这通过直接设计自适应训练深度神经网络的梯度来解决这一挑战。我们首先通过分析它们的梯度来调查和统一以前的cosinesoftmax损失。这种统一的观点激发了我们一种新的梯度,称为P2SGrad(概率 - 相似度梯度),它利用余弦相似性而非分类概率直接更新测试指标以更新神经网络参数.P2SGrad是自适应的,超参数自由的,使培训过程更有效,更快捷。我们在三个面部识别基准,LFW,MegaFace和IJB-C上评估我们的P2SGrad。结果表明,P2SGrad在训练中是稳定的,对噪声具有鲁棒性,并且在所有三个基准测试中都达到了最先进的性能。
translated by 谷歌翻译
最近的平均心率(HR)可以基于非接触式远程光电容积描记法(rPPG)从人脸视频中相对准确地测量。然而,在许多医疗保健应用中,只知道平均HR不够,并测量血容量脉搏信号及其心率可变性(HRV)特征也很重要。我们提出了第一个使用深度时空卷积网络的端到端rPPG信号恢复系统(PhysNet)来测量HR和HRV特征。 PhysNet从原始面部序列同时提取空间和时间隐藏特征,同时直接输出相应的rPPG信号。时间上下文信息有助于网络以较小的波动学习更强大的特征。我们的方法在两个数据集上进行了测试,与最先进的方法相比,实现了HR和HRV特征的卓越性能。
translated by 谷歌翻译