在本文中,我们提出了一个新的实体关系提取任务范例。我们将任务转换为多回合问题回答问题,即,实体和关系的提取被转换为从上下文识别答案跨度的任务。这种多转QA形式化有几个关键优势:首先,问题查询编码我们想要识别的实体/关系类的重要信息;其次,QA提供了一种自然的方式来联合建模实体和关系;第三,它允许我们利用完善的机器阅读理解(MRC)模型。在ACE和CoNLL04公司的实验表明,所提出的范例明显优于以前的最佳模型。我们能够获得所有ACE04,ACE05和CoNLL04数据集的最新结果,增加了三个数据集的SOTA结果49.6(+1.2),60.3(+0.7)和69.2(+1.4) , 分别。此外,我们构建了一个新开发的数据集RESUME,它需要多步推理来构造实体依赖关系,而不是先前数据集中三元组提取中的单步依赖提取。提出的多转QA模型也在RESUME数据集上实现了最佳性能。
translated by 谷歌翻译
将一大块文本分割成单词通常是处理中文文本的第一步,但其必要性很少被探索过。在本文中,我们提出了中国分词(CWS)是否是基于深度学习的中国自然语言处理所必需的基本问题。基于神经词汇的Webenchmark模型依赖于基于神经char的模型的分词,这些模型不涉及四端到端NLP基准测试任务中的分词:语言建模,机器翻译,句子匹配/释义和文本分类。通过这两种模型之间的直接比较,我们发现基于char的模型始终优于基于单词的模型。基于这些观察,我们进行了全面的实验,以研究为什么基于单词的模型在这些基于深度学习的NLP任务中表现不佳。我们表明,因为基于单词的模型更容易受到数据稀疏性和词汇表外(OOV)词的影响,因此更容易过度拟合。我们希望本文能够鼓励社区研究人员重新思考基于深度学习的中国自然语言处理中分词的必要性。 \脚注{Yuxian Meng和Xiaoya Li对本报的贡献相同。}
translated by 谷歌翻译
如何有效地解决域适应问题是人员重新识别(reID)的挑战性任务。在这项工作中,我们根据一次性学习,努力解决这个问题。给定注释源训练集和目标训练集,每个类别只注释一个实例,我们的目标是在目标域的测试集中实现竞争性的重新ID性能。为此,我们引入了相似性引导策略,逐步将伪标签分配给具有不同置信度分数的未标记实例,而这些实力分数又随着训练的进行而被用作引导优化的权重。通过简单的自我挖掘操作,我们对re-ID的域适应任务进行了重大改进。特别是,我们在DukeMTMC-reID的适应性任务中实现了71.5%的mAP,一次性设置得到了市场1501,超出了无监督域适应的超过17.8%的现状。在五枪设置下,我们在Market-1501上实现了受监督设置的竞争准确性。代码将可用。
translated by 谷歌翻译
近来,语义分割和通用对象检测框架已被场景文本检测任务广泛采用。然而,他们俩在实践中都有明显的缺点。在本文中,我们提出了一种名为Pixel-Anchor的novelend-end-end可训练深度神经网络框架,它通过特征共享和海平面注意机制将语义分割和SSD结合在一个网络中,以检测面向对象的场景文本。为了处理大小和宽高比差异很大的文本,我们将FPN和ASPP​​操作结合在语义分割部分中作为编码器 - 解码器结构,并在SSD中提出了一种新的自适应预测器层.Pixel-Anchor在单个场景中检测场景文本网络正向传递,除了有效融合之外没有复合广告处理非最大抑制。我们已经在公共数据集上对提议的Pixel-Anchor进行了基准测试.Pixel-Anchor在文本本地化准确性和运行速度方面优于竞争方法,更具体地说,在ICDAR 2015数据集上,提出的算法在10 FPS时达到0.8768的F分数适用于960 x 1728分辨率图像。
translated by 谷歌翻译
自动语音识别(ASR)任务通过端到端的深度学习模型解决,这可以减少原始数据的准备和语言之间的简单转换,从而使我们受益。我们提出了一种新颖的端到端深度学习模型架构,即级联CNN-resBiLSTM-CTC。在所提出的模型中,我们在BiLSTM层中添加残差块以一起提取复杂的音素和语义信息,并应用级联结构来支付更多关于硬阴性样本的挖掘信息。通过应用简单快速傅里叶变换(FFT)技术和n-gram语言模型(LM)重新计算方法,我们设法在LibriSpeech testclean语料库上实现3.41%的单词错误率(WER)。此外,我们提出了一种新的批量变换方法,以加快长度变化任务中的训练过程,从而减少25%的训练时间。
translated by 谷歌翻译
神经对话模型倾向于为大多数输入生成安全,通用的响应。这是由于基于似然的解码目标在具有不同输出的生成任务(例如会话)中的限制。为了解决这一挑战,我们提出了一种简单而有效的方法,用于以分配约束的形式将侧面信息纳入所产生的响应。我们提出了两个约束,这些约束有助于生成更多内容丰富的响应,这些响应基于语法和主题模型(Griffiths等,2005)和语义相似性(Arora等,2016)。我们使用自动度量和人工判断来评估我们对各种竞争基线的认可,表明我们提出的方法产生的响应在不牺牲合理性的情况下更不通用。可以在https://github.com/abaheti95/DC-NeuralConversation找到我们代码的工作演示。
translated by 谷歌翻译
全局和部分特征的组合已经成为改善人员重新识别(Re-ID)任务中的判别性能的重要解决方案。以前基于部分的方法主要侧重于定位具有特定预定义语义的区域以学习局部表示,这增加了学习难度但对于具有大方差的场景不具有效率或鲁棒性。在本文中,我们提出了一种端到端的特征学习策略,它将各种粒度的判别信息整合在一起。我们精心设计了多粒度网络(MGN),这是一个多分支深度网络体系结构,包括一个用于全局特征表示的分支和两个用于本地特征表示的分支。我们不是学习语义区域,而是将图像统一划分为多个条带,并改变不同局部分支中的部分数量,以获得具有多个粒度的局部特征表示。在包括Market-1501,DukeMTMC-reid和CUHK03在内的主流评估数据集上实施的综合实验表明,我们的方法具有强大的先进性能,并且大幅超越任何现有方法。例如,在单一查询模式下的Market-1501数据集上,重新排序后,我们得出Rank-1 / mAP = 96.6%/ 94.2%的最新结果。
translated by 谷歌翻译
在本文中,从图灵测试中得出直觉,我们建议使用对抗训练进行开放域对话生成:训练系统以产生与人类生成的对话设备无法区分的序列。我们将任务作为一个强化学习(RL)问题,我们联合训练两个系统,一个生成响应序列的生成模型,一个鉴别器 - 与图灵测试中的人类评估者相似 - 区分人类生成对话和机器生成的。然后,鉴别器的输出被用作生成模型的奖励,推动系统生成主要类似于人类对话的对话。除了对抗训练之外,我们还描述了一种对抗{\ emevaluation}模型,该模型利用成功愚弄对手作为对话评估指标,同时避免了许多潜在的陷阱。包括对抗性评估在内的几个指标的实验结果表明,经过对侧训练的系统比以前的基线产生更高质量的响应。
translated by 谷歌翻译
最近对话生成的神经模型为会话代理生成响应提供了很大的希望,但往往是短视的,一次预测一个话语而忽略它们对未来结果的影响。对未来的对话方向进行建模对于产生连贯,有趣的对话至关重要,这种对话导致了对话的传统NLP模型利用强化学习。在本文中,我们展示了如何整合这些目标,应用深度强化学习来模拟聊天机器人对话中的未来向前。该模型模拟两个虚拟试验者之间的对话,使用政策梯度方法奖励显示三个有用会话属性的序列:信息性(非重复性转向),连贯性和易于回答(与前瞻性功能相关)。我们在多样性,长度以及人类评判方面评估我们的模型,表明所提出的算法产生更多的交互式响应并管理在对话模拟中更持久的对话。这项工作标志着在对话的长期成功的基础上学习神经对话模型的第一步。
translated by 谷歌翻译
虽然神经网络已成功应用于许多NLP任务,但基于矢量的模型很难解释。例如,它不清楚它们如何实现{\ em的组合性},从单词和短语的含义构建句子意义。在本文中,我们描述了用于在NLP神经模型中可视化组合性的fourstrategies,其灵感来自于计算机视觉中的类似工作。我们首先绘制单位值来可视化否定,强化和让步条款的组合性,允许在否定中看到众所周知的标记不对称性。然后,我们引入了三种简单直观的方法来可视化单位的{\ em salience},它对最终组合意义的贡献:(1)渐变回传,(2)符号与平均字节点的方差,(3) LSTM式门控测量信息流。我们使用简单的循环网络和LSTM测试我们的方法。我们的通用方法可以广泛应用于理解深度网络的组合性和其他语义属性,并且还阐明了为什么LSTM执行简单的循环网络,
translated by 谷歌翻译