从诸如Instagram帖子之类的多模态数据计算作者意图需要建模文本和图像之间的复杂关系。例如,一个标题可以讽刺地反映在图像上,因此标题和图像都不是另一个的转录本。相反,他们结合 - 通过所谓的乘法 - 来创造一种新的意义,与文本和图像的字面意义有更复杂的关系。在这里,我们介绍1299 Instagram帖子的多模态数据集,标记为三个正交分析:图​​像标题对背后的作者意图,图像和标题的字面意义之间的语境关系,以及图像和标题的表示意义之间的这些关系。构建一个基线深度多模式分类器来验证分类法,表明与仅使用图像模态相比,同时使用文本和图像可以将意图检测提高8%,从而证明了非交叉意义乘法的共性。我们的数据集为研究文本和图像配对带来的丰富意义提供了重要资源。
translated by 谷歌翻译
要理解像“只有10%的美国白人生活在贫困线以下,28%的非洲裔美国人”这样的句子,不仅要识别个别事实,例如不同人口群体的贫困率,还要识别高阶它们之间的关系,例如它们之间的差异。在本文中,我们提出了文本类比分析(TAP)的任务来模拟这个高阶意义。 TAP的输出是一种框架式的代表性,它明确地指明了它的组成事实之间共享的内容(例如,贫困)和比较的内容(例如,美国白人与非裔美国人,10%对28%)。这种意义表示可以使依赖于话语理解的新应用成为可能,例如来自定量文本的自动图表生成。我们提出了一个新的TAP数据集,基线和一个成功使用ILP来强制解决问题的结构约束的模型。
translated by 谷歌翻译
由于对媒体操纵的担忧日益增加,NLP的注意力集中在诸如审查和“假新闻”之类的策略上。在这里,我们借鉴政治科学文献中的两个概念来探讨政府媒体操纵的更微妙的策略:议程设置(选择什么主题)和框架(决定如何涵盖主题)。我们分析了13年(100Karticles)的俄罗斯报纸“消息报”并确定了一种分歧策略:文章在俄罗斯经济衰退之后的月份更频繁地提及美国。我们介绍了基于嵌入式的方法,用于跨语言地将英语框架投射到俄罗斯,并发现这些文章强调美国的道德失误和对美国的威胁。我们的工作提供了在议程设置和框架的交叉点识别微妙的媒体操纵策略的新方法。
translated by 谷歌翻译
We know very little about how neural language models (LM) use priorlinguistic context. In this paper, we investigate the role of context in anLSTM LM, through ablation studies. Specifically, we analyze the increase inperplexity when prior context words are shuffled, replaced, or dropped. On twostandard datasets, Penn Treebank and WikiText-2, we find that the model iscapable of using about 200 tokens of context on average, but sharplydistinguishes nearby context (recent 50 tokens) from the distant history. Themodel is highly sensitive to the order of words within the most recentsentence, but ignores word order in the long-range context (beyond 50 tokens),suggesting the distant past is modeled only as a rough semantic field or topic.We further find that the neural caching model (Grave et al., 2017b) especiallyhelps the LSTM to copy words from within this distant context. Overall, ouranalysis not only provides a better understanding of how neural LMs use theircontext, but also sheds light on recent success from cache-based models.
translated by 谷歌翻译
在本文中,从图灵测试中得出直觉,我们建议使用对抗训练进行开放域对话生成:训练系统以产生与人类生成的对话设备无法区分的序列。我们将任务作为一个强化学习(RL)问题,我们联合训练两个系统,一个生成响应序列的生成模型,一个鉴别器 - 与图灵测试中的人类评估者相似 - 区分人类生成对话和机器生成的。然后,鉴别器的输出被用作生成模型的奖励,推动系统生成主要类似于人类对话的对话。除了对抗训练之外,我们还描述了一种对抗{\ emevaluation}模型,该模型利用成功愚弄对手作为对话评估指标,同时避免了许多潜在的陷阱。包括对抗性评估在内的几个指标的实验结果表明,经过对侧训练的系统比以前的基线产生更高质量的响应。
translated by 谷歌翻译
最近对话生成的神经模型为会话代理生成响应提供了很大的希望,但往往是短视的,一次预测一个话语而忽略它们对未来结果的影响。对未来的对话方向进行建模对于产生连贯,有趣的对话至关重要,这种对话导致了对话的传统NLP模型利用强化学习。在本文中,我们展示了如何整合这些目标,应用深度强化学习来模拟聊天机器人对话中的未来向前。该模型模拟两个虚拟试验者之间的对话,使用政策梯度方法奖励显示三个有用会话属性的序列:信息性(非重复性转向),连贯性和易于回答(与前瞻性功能相关)。我们在多样性,长度以及人类评判方面评估我们的模型,表明所提出的算法产生更多的交互式响应并管理在对话模拟中更持久的对话。这项工作标志着在对话的长期成功的基础上学习神经对话模型的第一步。
translated by 谷歌翻译
理解词语如何随时间改变其意义是语言和文化进化模型的关键,但是关于意义的历史数据是稀缺的,使得理论难以发展和测试。 Word嵌入显示作为adiachronic工具的承诺,但尚未经过仔细评估。我们通过针对已知的历史变化评估单词嵌入(PPMI,SVD,word2vec)来开发用于量化语义变化的强大方法。然后,我们使用这种方法来揭示语义演化的统计规律。使用跨越四种语言和两个世纪的六个历史语料库,我们提出了两个语义变化的定量定律:(i)一致性定律 - 语义变化率与词频的逆幂律相关; (ii)创新法 - 独立于频率,更多义的词语具有更高的语义变化率。
translated by 谷歌翻译
虽然神经网络已成功应用于许多NLP任务,但基于矢量的模型很难解释。例如,它不清楚它们如何实现{\ em的组合性},从单词和短语的含义构建句子意义。在本文中,我们描述了用于在NLP神经模型中可视化组合性的fourstrategies,其灵感来自于计算机视觉中的类似工作。我们首先绘制单位值来可视化否定,强化和让步条款的组合性,允许在否定中看到众所周知的标记不对称性。然后,我们引入了三种简单直观的方法来可视化单位的{\ em salience},它对最终组合意义的贡献:(1)渐变回传,(2)符号与平均字节点的方差,(3) LSTM式门控测量信息流。我们使用简单的循环网络和LSTM测试我们的方法。我们的通用方法可以广泛应用于理解深度网络的组合性和其他语义属性,并且还阐明了为什么LSTM执行简单的循环网络,
translated by 谷歌翻译
Natural language generation of coherent long texts like paragraphs or longerdocuments is a challenging problem for recurrent networks models. In thispaper, we explore an important step toward this generation task: training anLSTM (Long-short term memory) auto-encoder to preserve and reconstructmulti-sentence paragraphs. We introduce an LSTM model that hierarchicallybuilds an embedding for a paragraph from embeddings for sentences and words,then decodes this embedding to reconstruct the original paragraph. We evaluatethe reconstructed paragraph using standard metrics like ROUGE and Entity Grid,showing that neural models are able to encode texts in a way that preservesyntactic, semantic, and discourse coherence. While only a first step towardgenerating coherent text units from neural models, our work has the potentialto significantly impact natural language generation andsummarization\footnote{Code for the three models described in this paper can befound at www.stanford.edu/~jiweil/ .
translated by 谷歌翻译
互联网的非索引部分(Darknet)已成为合法和非法匿名活动的避风港。鉴于这些网络的规模,可靠地监控其活动必然依赖于自动工具,尤其是NLP工具。然而,人们对通过Darknet传达的特征文本以及这个领域的NLP工具如何做得很少知之甚少。本文解决了这一差距,并对暗网中合法和非法文本的特征进行了深入调查,并将其与具有类似内容的清晰网站进行比较,作为控制条件。以药物相关网站为测试案例,我们发现销售合法和非法药物的文本具有多种语言特征,可以区分彼此,以及控制条件,其中包括POS标签的分布,以及其命名实体的覆盖范围。在维基百科。
translated by 谷歌翻译