修剪是一种有效的模型压缩技术,用于消除深度神经网络(DNN)连通性中的冗余。然而,使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性,这取决于索引表示方案。因此,细粒度修剪由于其不规则的索引形式导致大的内存占用和卷积和矩阵乘法的低并行性而没有引起太多关注。在本文中,我们提出了一种新的网络修剪技术,它生成一个低秩二进制索引矩阵来压缩索引数据,而解压缩索引数据则通过简单的二进制矩阵乘法来执行。该提出的压缩方法找到特定的细粒度修剪掩模,其可以被分解成两个二进制矩阵。 Wealso提出了一种基于区块的分解技术,不仅可以降低内存需求,还可以提高压缩率。与先前的稀疏矩阵格式相比,可以使用少得多的DNN模型,同时保持相同的修剪率。
translated by 谷歌翻译
随着网络信息技术的快速发展,越来越多的人沉浸在网络带来的虚拟社区环境中,忽视了现实生活中的社会互动。随之而来的诽谤问题变得越来越严重。通过宠物机器人和育种者之间的情感沟通促进人与人之间的离线沟通“解决了这个问题,并开发了一种名为”汤姆“的设计。”汤姆“是一个智能宠物机器人,具有基于petrobot的社交机制,名为”Tom-本文的主要贡献是提出一种名为“Tom-Talker”的社交机制,鼓励用户离线社交。“Tom-Talker”也有相应的奖励机制和朋友推荐算法。它还提出了一个宠物机器人名为“汤姆“通过情感交互算法识别用户的情绪,模拟动物的情绪,并用情感进行交流。本文设计实验并分析结果。结果表明,荆棘机器人对解决城市自闭症问题有很好的效果。
translated by 谷歌翻译
在本文中,我们专注于面部表情翻译任务,并提出一个新的表达式条件GAN(ECGAN),它可以学习基于一个额外的表达属性从一个图像域到另一个图像域的映射。所提出的ECGAN是通用框架,并且适用于不同的表达生成任务,其中特定的面部表情可以通过条件属性标签容易地控制。此外,我们还介绍了一种新颖的面膜,以减少背景变化的影响。此外,我们提出了在野外进行面部表情生成和识别的整个框架,其包括两个模块,即生成和识别。最后,我们在几个公共面部数据集上评估我们的框架,其中主体具有不同的种族,光照,遮挡,姿势,颜色,内容和背景条件。尽管这些数据集非常多样化,但定性和定量结果都表明我们的方法能够准确,稳健地生成面部表达。
translated by 谷歌翻译
本文提出了一种卷积神经网络向后传播的分数阶梯度法。为了克服分数阶梯度法不能收敛到实际极值点的问题,基于Caputo的定义设计了简化的分数阶梯度法。层内的参数由设计的梯度方法更新,但层之间的传播仍然使用整数阶梯度,因此避免了复合函数的复杂导数,并保留链规则。通过串联连接每个层并增加损失函数,可以根据各种任务顺利地训练所提出的卷积神经网络。为了最终证明神经网络的有效性,进行了一些实际的实验。
translated by 谷歌翻译
为了快速学习少量样本,元学习利用从先前任务中学到的知识。然而,在学习中学习的一个关键挑战是任务的不确定性和异质性,这是不能通过全局共享任务之间的知识来处理的。在本文中,基于基于梯度的元学习,我们提出了一种分层结构的学习(HSML)算法,该算法明确地将可转换知识定制到不同的任务集群。受人类组织知识的启发,我们采用分层任务聚类结构来完成任务。因此,所提出的方法不仅解决了通过知识定制对不同任务集群的挑战,而且还保留了类似任务集群之间的知识泛化。解决任务关系的变化,此外,我们将层次结构扩展到持续的学习环境。实验结果表明,我们的方法可以在二次回归和几次图像分类问题中实现最先进的性能。
translated by 谷歌翻译
一次性神经结构搜索(NAS)是一种很有前途的方法,可以在不进行任何单独培训的情况下显着缩短搜索时间。它可以作为来自过度参数化网络的体系结构参数的网络压缩问题。但是,大多数一次性NAS方法存在两个问题。首先,节点与其前身和后继者之间的依赖关系经常被忽视,这导致对零操作的不当处理。其次,基于他们的高度修剪架构参数是值得怀疑的。在本文中,我们采用经典的贝叶斯学习方法,通过使用分层自动相关性确定(HARD)先验建模体系结构参数来缓解这两个问题。与其他NAS方法不同,我们仅为一个训练过度参数化网络,然后更新体系结构。令人印象深刻的是,这使我们能够在使用单个GPU的0.2个GPUdays内在CIFAR-10上的代理和无代理任务中找到架构。作为副产品,我们的方法可以直接转移到压缩卷积神经网络,通过强制执行结构稀疏性,实现极其稀疏的网络而不会出现准确的恶化。
translated by 谷歌翻译
我们研究了知识图(KG)嵌入的问题。对此问题的广泛认可是类似实体可能具有类似的关系角色。然而,现有的相关方法导出KG嵌入主要基于三级学习,其缺乏捕获实体的长期关系依赖性的能力。此外,三级学习不足以在实体之间传播语义信息,特别是对于跨KG嵌入的情况。在本文中,我们提出了当前的跳过网络(RSN),它采用跳过机制来填补实体之间的空白。 RSN将循环神经网络(RNN)与残留学习相结合,以有效地捕获KG内部和之间的长期关系依赖性。我们设计了一个端到端框架,以支持不同任务的RSN。我们的实验结果表明,RSN优于最先进的基于嵌入的实体对齐方法,并实现了KG完成的竞争性能。
translated by 谷歌翻译
近年来,人们越来越关注设计高效的神经网络和神经网络搜索(NAS)。虽然已经实现了显着的效率和准确性,但是现有的专家设计和NAS模型预测输入实例具有不同的复杂性,因此需要不同的计算量。因此,使用通过相同转换处理所有实例的固定模型的推断会浪费大量的计算资源。需要在实例感知器中自定义模型容量。在本文中,我们引入了一个新的网络ISBNet来解决这个问题,它通过选择性地绕过无穷小重要性权重的转换分支来支持有效的实例级推理。我们还建议轻量级超网络SelectionNet以实例方式生成这些重要性权重。已经进行了大量实验来评估ISBNet的效率,结果表明ISBNet与现有网络相比具有极高的推理效果。例如,ISBNet仅具有12.45%的参数和45.79%的最先进的高效网络ShuffleNetV2的FLOP,具有相当的精度。
translated by 谷歌翻译
越来越多的城市数据和先进的学习技术使人们能够提高城市功能的效率。其中,提高城市交通效率是最突出的主题之一。最近的研究已经提出使用强化学习(RL)堡垒信号控制。与传统的运输方式不同,后者严重依赖于先验知识,RL可以直接从反馈中学习。另一方面,如果没有仔细的模型设计,现有的RL方法通常需要很长时间才能收敛,学习的模型可能无法适应新的场景。例如,训练良好的交通流量的模型可能不适用于下午的交通,因为交通流量可能会被逆转,从而导致非常不同的状态表示。在本文中,我们提出了一种名为FRAP的新颖设计,它基于交通信号控制中相位竞争的直观原则:当两个交通信号发生冲突时,应优先考虑交通流量较大的一个(即需求较高)。通过相位竞争建模,我们的模型对于诸如翻转和旋转内部流动的对称情况不变。通过进行综合实验,我们证明了我们的模型在复杂的全相选择问题中找到了比现有RL方法更好的解决方案,在训练期间收敛得更快,并且在不同的道路结构和交通条件下实现了更高的普遍性。
translated by 谷歌翻译
随着交通数据的可用性的增加和深度增强学习技术的进步,出现了一种采用增强学习(RL)进行交通信号控制的新趋势。 RL对交通信号控制的一个关键问题是如何定义奖励和状态。交通信号控制的最终目标是最大限度地减少难以直接到达的旅行时间。因此,现有研究通常将奖励定义为几种交通措施的临时加权线性组合。但是,无法保证旅行时间将通过奖励进行优化。另外,最近的RL方法使用更复杂的状态(例如,图像)以描述完整的交通情况。然而,现有的研究都没有讨论过这种复杂的状态表示是否必要。这种额外的复杂性可能导致学习过程显着减慢,但可能不一定会带来显着的性能提升。在本文中,我们建议通过经典运输理论的镜头重新审视RL方法。我们提出以下问题:(1)我们应该如何设计奖励,以便保证最大限度地缩短旅行时间? (2)如何设计一个简洁但足以获得最优解的状态表示?我们提出的方法LIT在运输领域的经典交通信号控制方法理论上得到了支持。 LIT具有简单的状态和奖励设计,因此可以作为未来RL交通信号控制方法的构建模块。对合成和真实数据集的广泛实验表明,我们的方法明显优于最先进的交通信号控制方法。
translated by 谷歌翻译