无监督模型转移有可能极大地提高深层模型对新域的可扩展性。然而,目前的文献认为将目标数据分离成不同的域称为先验。在本文中,我们提出了域不可知学习(DAL)的任务:如何将知识从标记的源域转移到未标记的数据到目标域?为了解决这个问题,我们设计了一种新颖的DeepAdversarial解缠绕自动编码器(DADA),能够从类身份中解开特定于域的特征。我们通过实验证明,当目标域标签未知时,DADA会在几个图像分类数据集上产生最先进的性能。
translated by 谷歌翻译
传统的无监督域自适应(UDA)假设训练数据是从单个域采样的。这忽略了从多个来源收集的更实际的场景训练数据,需要多源域适应。我们为解决这一问题做出了三大贡献。首先,我们提出了一种新的深度学习方法,即多源域自适应的时间匹配M3SDA,旨在通过动态调整其特征分布的时刻,将从多个标记源域学到的知识转移到未标记的目标域。其次,我们为多源域适应的矩相关误差界提供了合理的理论分析。第三,我们收集并注释了迄今为止最大的UDAdataset六个不同的域和大约60万个图像分布在345个类别中,解决了多源UDA研究中数据可用性的差距。进行了广泛的实验,以证明我们提出的模型的有效性,该模型大大优于现有的最先进的方法。
translated by 谷歌翻译
风格转移一直是计算机视觉和图形学中的一个重要课题。加蒂等人。首先证明由预先训练的VGG网络提取的深度特征代表图像的内容和样式特征,因此,可以通过特征空间中的优化来实现样式转移。黄等人。然后通过简单地对齐每个特征通道的均值和方差,表明实时任意样式转移可以发生变化。然而,在本文中,我们认为仅仅调整深度特征的全局统计数据并不总能保证良好的风格转移。相反,我们建议联合分析输入图像对并提取两者之间的共同/可交换的样式特征。此外,还开发了一种新的融合模式,用于在特征空间中结合内容和样式信息。定性和定量实验证明了我们的方法的优势。
translated by 谷歌翻译
在本文中,我们提出神经短语到短语机器翻译(NP $ ^ 2 $ MT)。我们的模型使用短语注意机制来发现解码器用来生成输出(目标)短语的相关输入(源)段。我们还设计了一种有效的动态编程算法来解码分段,这些分段允许比Huang等人现有的基于神经短语的机器翻译方法更快地训练模型。 (2018)。此外,我们的方法可以在解码期间自然地与外部短语词典集成。经验实验表明,我们的方法与基准数据集上的最新方法具有可比性。但是,当训练和测试数据来自不同的分布或域时,我们的方法表现更好。
translated by 谷歌翻译
自然语言生成(NLG)是面向任务的对话系统的重要组成部分。尽管近来NLG的神经方法取得了成功,但它们通常是针对具有丰富注释训练样本的特定域开发的。在本文中,我们在资源匮乏的环境中研究NLG,以便通过少量训练示例在新场景中生成句子。我们从元学习的角度阐述问题,并基于公认的模型不可知元学习(MAML)算法提出基于广义优化的方法(Meta-NLG)。 Meta-NLG定义了一组元代码,并直接将适应新的低资源NLG任务的目标纳入元学习优化过程。对具有多样性变化的大型多域数据集(MultiWoz)进行了广泛的实验。我们表明,Meta-NLG在各种低资源配置中明显优于其他方法。我们分析结果,并证明Meta-NLG适应极快和良好的资源情况。
translated by 谷歌翻译
解密潜在空间中的内容和风格是普通的文本风格转移。然而,在大多数当前神经模型中存在两个主要问题。 1)很难从句子的语义中完全剥离样式信息。 2)基于递归神经网络(RNN)的编码器和解码器,由潜在表示介导,不能解决长期依赖问题,导致非风格语义内容的保存。本文提出了风格变换器,它没有对潜在句子的潜在表现做出任何假设,并且配备了变形金刚注意机制的力量,以实现更好的风格转移和更好的内容保存。
translated by 谷歌翻译
事实证明,语言模型预训练对于学习通用语言表示非常有用。作为最先进的语言模型预训练模型,BERT(变形金刚的双向编码器表示)在许多语言理解任务中取得了惊人的成果。在本文中,我们进行了详尽的实验,以研究BERT在文本分类任务上的不同微调方法,并为BERTfine调整提供一般解决方案。最后,所提出的解决方案在八个广泛研究的文本分类数据集上获得了新的最新结果。
translated by 谷歌翻译
在本文中,我们提出了一个新的实体关系提取任务范例。我们将任务转换为多回合问题回答问题,即,实体和关系的提取被转换为从上下文识别答案跨度的任务。这种多转QA形式化有几个关键优势:首先,问题查询编码我们想要识别的实体/关系类的重要信息;其次,QA提供了一种自然的方式来联合建模实体和关系;第三,它允许我们利用完善的机器阅读理解(MRC)模型。在ACE和CoNLL04公司的实验表明,所提出的范例明显优于以前的最佳模型。我们能够获得所有ACE04,ACE05和CoNLL04数据集的最新结果,增加了三个数据集的SOTA结果49.6(+1.2),60.3(+0.7)和69.2(+1.4) , 分别。此外,我们构建了一个新开发的数据集RESUME,它需要多步推理来构造实体依赖关系,而不是先前数据集中三元组提取中的单步依赖提取。提出的多转QA模型也在RESUME数据集上实现了最佳性能。
translated by 谷歌翻译
视觉定位是一个有吸引力的问题,它基于查询图像估计来自数据库图像的相似定位。它是各种应用的关键任务,例如自动驾驶汽车,辅助导航和增强现实。任务的挑战性问题在于查询和数据库图像之间的不同外观变化,包括照明变化,季节变化,动态对象变化和观点变化。为了应对这些挑战,本文提出了全景环形透镜和强大的深度图像描述符的全景环形定位器。处理由单个摄像机捕获的全景环形图像并将其馈送到NetVLAD网络中以形成活动的深度描述符,并且利用顺序匹配来生成定位结果。在公共数据集和现场进行的实验说明了所提出的系统的验证。
translated by 谷歌翻译
为了快速学习少量样本,元学习利用从先前任务中学到的知识。然而,在学习中学习的一个关键挑战是任务的不确定性和异质性,这是不能通过全局共享任务之间的知识来处理的。在本文中,基于基于梯度的元学习,我们提出了一种分层结构的学习(HSML)算法,该算法明确地将可转换知识定制到不同的任务集群。受人类组织知识的启发,我们采用分层任务聚类结构来完成任务。因此,所提出的方法不仅解决了通过知识定制对不同任务集群的挑战,而且还保留了类似任务集群之间的知识泛化。解决任务关系的变化,此外,我们将层次结构扩展到持续的学习环境。实验结果表明,我们的方法可以在二次回归和几次图像分类问题中实现最先进的性能。
translated by 谷歌翻译