Recently, improving the relevance and diversity of dialogue system has attracted wide attention. For a post x, the corresponding response y is usually diverse in the real-world corpus, while the conventional encoder-decoder model tends to output the high-frequency (safe but trivial) responses and thus is difficult to handle the large number of responding styles. To address these issues, we propose the Atom Responding Machine (ARM), which is based on a proposed encoder-composer-decoder network trained by a teacher-student framework. To enrich the generated responses, ARM introduces a large number of molecule-mechanisms as various responding styles, which are conducted by taking different combinations from a few atom-mechanisms. In other words, even a little of atom-mechanisms can make a mickle of molecule-mechanisms. The experiments demonstrate diversity and quality of the responses generated by ARM. We also present generating process to show underlying interpretability for the result.
translated by 谷歌翻译
最近,学习网络中节点的低维嵌入的方法激增。由于存在许多大规模的现实世界网络,因此对于在存储器中存储大量参数并且在边缘之后更新它们的现有方法是有效的。由于知道在嵌入空间中具有相似邻域的节点将彼此接近,我们提出了COSINE(COmpresSIve NE)算法,该算法通过类似节点之间的参数共享来减少存储器占用并加速训练过程。 COSINE将图分区算法应用于网络,并根据分区结果构建节点的参数共享依赖性。通过在类似节点之间进行参数共享,COSINE将关于高层结构信息的先验知识注入到训练过程中,使网络嵌入更加高效和有效。 COSINE可应用于任何嵌入查找方法,并学习内存有限且训练时间短的高质量嵌入。我们进行多标签分类和链接预测的实验,其中基线和我们的模型具有相同的内存使用。实验结果表明,COSINE给基线分类增加了23%,链路预测增加了25%。此外,使用COSINE的所有表示学习方法的时间从30%降低到70%。
translated by 谷歌翻译
大多数语言建模方法依赖于大规模数据来统计地学习单词的顺序模式。在本文中,我们认为单词是原子语言单位,但不一定是原子语义单位。受到HowNet的启发,我们使用人类语言中最小语义单位的sememes来表示语言建模后面的隐含语义,即名为驱动语言模型(SDLM)。更具体地说,为了预测下一个词,SDLM首先估计了sememe分布给出了文本背景。之后,它将每个sememe视为一个独特的语义专家,并且这些专家共同识别最可能的感官和相应的词。这样,SDLM启用了语言除了词级操作之外,模型还可以工作到细粒度的语义级语义,并为我们提供更多的功能,以便微调语言模型,提高可解释性以及语言模型的稳健性。语言建模实验和标题生成的下游应用证明了SDLM的显着性。可以通过以下网址访问实验中使用的源代码和数据:// github.com/thunpp/SDLM-pytorch。
translated by 谷歌翻译
在本研究中,我们专注于从Web语料库中提取知识渊博的片段和注释可知文档,其中包括来自社会媒体和We-media的文档。非正式地,知识渊博的片段是指文本描述概念,实体的属性或实体之间的关系,而知识文档是具有足够知识的片段的文档。这些可知的片段和文档可以在多种应用中有所帮助,例如知识库构建和面向知识的服务。以前的研究使用基于模式的方法提取了知识渊博的片段。在这里,我们提出了基于语义的方法来完成这项任务。具体而言,开发基于CNN的模型以同时提取知识渊博的片段和注释可知文档。此外,CNN的“低级共享,高级别拆分”结构旨在处理来自不同内容域的文档。与构建多个特定领域的CNN相比,该联合模型不仅可以大大节省训练时间,而且可以明显提高预测精度。在Wechat公共平台的真实数据集中演示了所提出的方法的优越性。
translated by 谷歌翻译
Sememes是人类语言中概念的最小语义单位,例如,词义是由一个或多个sememes组成的。语言通常由语言学家用他们的语义手工注释,并形成广泛用于各种NLP任务的语言常识知识库。最近,引入了神秘的sememe预测任务。它包括自动推荐单词的sememes,这有望提高注释效率和一致性。然而,现有的词汇量预测方法通常依赖于词语的外部语境来表示意义,这通常无法处理低频和词汇外单词。为了解决中国人的这个问题,我们提出了一种新颖的框架,以利用内部字符信息和单词的外部上下文信息。我们在中国的sememe知识库HowNet上进行实验,并证明我们的框架大大优于最先进的基线,并且即使对于低频词也能保持稳健的性能。
translated by 谷歌翻译
人脸识别近年来取得了长足的进步,主要归功于设计的大容量模型和丰富的标签数据。然而,扩大当前的百万级身份注释变得越来越禁止。在这项工作中,我们表明,未标记的面部数据可以与标记的面部数据一样有效。在这里,我们考虑设置密切模仿现实世界的场景,其中未标记的数据从不受约束的环境收集,并且它们的身份与标记的数据是唯一的。我们的主要观点是,尽管类信息不可用,但我们仍然可以通过以自下而上的方式构建关系图来忠实地近似这些语义关系。我们提出共识驱动传播(CDP)来解决这个具有挑战性的问题,有两个模块,即“委员会”和“调解员”,它们通过仔细聚合多视图信息来强有力地选择正面对。大量实验验证了两个模块的有效性,以丢弃异常值和挖掘硬性积极因素。使用CDP,我们通过仅使用9%的标签实现了对MegaFace识别挑战的78.18%的令人信服的准确度,相比之下,当使用未标记数据时为61.78%,而当使用所有标签时为78.52%。
translated by 谷歌翻译
我们根据修辞结构理论(RST)提出了一种有效的句子级语篇分析的神经框架。我们的框架包括一个话语分段器,用于识别文本中的基本话语单元(EDU),以及一个以低调的方式构建话语树的话语分析器。分段器和解析器都基于PointerNetworks并在线性时间内运行。我们的分段器得出$ F_1 $得分为95.4,我们的解析器在累计标签(关系)指标上获得了$ F_1 $ 81.7分,超过以前的方法,并且在两项任务上都达成了人类协议(98.3和83.0 $) F_1 $)。
translated by 谷歌翻译
视觉定位是一个有吸引力的问题,它基于查询图像估计来自数据库图像的相似定位。它是各种应用的关键任务,例如自动驾驶汽车,辅助导航和增强现实。任务的挑战性问题在于查询和数据库图像之间的不同外观变化,包括照明变化,季节变化,动态对象变化和观点变化。为了应对这些挑战,本文提出了全景环形透镜和强大的深度图像描述符的全景环形定位器。处理由单个摄像机捕获的全景环形图像并将其馈送到NetVLAD网络中以形成活动的深度描述符,并且利用顺序匹配来生成定位结果。在公共数据集和现场进行的实验说明了所提出的系统的验证。
translated by 谷歌翻译
条件生成对抗网络(GAN)中的对抗性损失未被设计为直接优化目标任务的评估度量,因此,可能不总是引导GAN中的生成器生成具有改进的度量分数的数据。为了克服这个问题,我们提出了一种新颖的MetricGAN方法,旨在针对一个或多个评估指标优化发电机。此外,基于MetricGAN,生成数据的度量分数也可以由用户任意指定。我们在语音增强任务上测试了所提出的MetricGAN,这特别适合于验证所提出的方法,因为存在多个度量来测量语音信号的不同方面。此外,这些指标通常是复杂的,并且无法通过Lp或传统的对抗性无法完全优化。
translated by 谷歌翻译
群体重新识别(G-ReID)是一项重要但研究较少的任务。其挑战不仅在于在一般人重新识别(ReID)中进行过调查的个体的外观变化,而且还来自于群体布局和成员变化。因此,G-ReID的关键任务是学习对这些变化具有鲁棒性的代表性。为了解决这个问题,我们提出了一个传输的单一和夫妻代表学习网络(TSCN)。其中有两个方面:1)由于缺乏标记的训练样本,现有的G-ReID方法主要依赖于手工制作的不令人满意的特征。考虑到深度学习模型的优越性,我们将一个组视为多个人,并将标记的ReID数据集的域转换为G-ReID targetdataset样式以学习单个表示。 2)考虑到群体中的邻居关系,我们进一步提出在两个群体成员之间学习一种新的代表性,这在G-ReID任务中实现了更强的判断力。另外,利用无监督的权重学习方法根据结果模式自适应地融合不同视图的结果。广泛的实验结果证明了我们的方法的有效性,其显着优于道路组数据集上11.7%CMC-1和DukeMCMT数据集上39.0%%CMC-1的最新方法。
translated by 谷歌翻译