多模态情绪分析是研究由语言,视觉和声学模式表达的说话者情感的核心研究领域。多模态学习中的中心挑战涉及推断可以处理和关联来自这些模态的信息的联合表示。然而,现有工作通过要求所有模态作为输入来学习联合表示,因此,学习的表示可能对测试时的噪声缺失模态敏感。随着机器翻译中序列序列(Seq2Seq)模型的最近成功,有机会探索在测试时可能不需要所有输入模态的联合表示的新方法。在本文中,我们提出了一种通过在模态之间进行转换来学习联合表示的方法。我们的方法基于以下关键洞察:从源到目标模态的转换提供了仅使用源模态作为输入来学习联合表示的方法。我们使用循环一致性损失来增强模态转换,以确保我们的联合表示保留最大的信息。一旦我们的翻译模型使用配对的多模态数据进行训练,我们只需要在测试时从源模态获得最终情绪预测的数据。这确保了我们的模型在其他模态中保持强大的功能或缺少信息。我们使用耦合的翻译预测目标训练我们的模型,并在多模态情感分析数据集上实现最新的结果:CMU-MOSI,ICT-MMMO和YouTube。另外的实验表明,我们的模型学习越来越多的判别性联合表示,具有更多的输入模态,同时保持对丢失或扰动模态的鲁棒性。
translated by 谷歌翻译
胶质瘤是最常见的原发性脑恶性肿瘤,具有不同程度的侵袭性,可变预后和各种异质性组织亚区域,即肿瘤周围水肿/侵入组织,坏死核心,活性和非增强核心。这种内在的异质性也被用于它们的放射性表型,因为它们的子区域通过在多参数磁共振成像(mpMRI)扫描中传播的不同强度分布来描绘,反映了不同的生物学特性。它们的异质形状,范围和位置是其中的一部分。使这些肿瘤难以切除的因素,在某些情况下无法手术。切除肿瘤的数量也是纵向扫描中考虑的一个因素,用于评估表观肿瘤以进行潜在的进展诊断。此外,有越来越多的证据表明,各种肿瘤亚区域的准确分割可以为定量图像分析提供预测患者整体的基础。生存。该研究评估了在国际脑肿瘤分割(BraTS)挑战的最后七个实例(即2012-2018)期间用于mpMRI扫描中的脑肿瘤图像分析的最先进的机器学习(ML)方法。具体而言,我们专注于i)评估术前mpMRI扫描中各种神经胶质瘤亚区的分割,ii)通过肿瘤亚区的纵向生长评估潜在的肿瘤进展,超出RECIST标准的使用,以及iii)预测整体术前mpMRI扫描对经历完全切除的患者的生存率。最后,我们研究了为每个任务确定最佳ML算法的挑战,考虑到除了在每个挑战实例上多样化之外,多机构mpMRI BraTS数据集也是一个不断发展/不断发展的数据集。
translated by 谷歌翻译
多模式机器学习是跨越语言,视觉和声学模式的核心研究领域。多模式学习的核心挑战涉及学习表示,可以处理和关联来自多种模态的信息。在本文中,我们提出了两种使用序列到序列(Seq2Seq)方法进行联合多模态表示的无监督学习的方法:a \ textit {Seq2Seq模态翻译模型}和\ textit {Hierarchical Seq2Seq模态翻译模型}。我们还探讨了这些seq2seq模型的多模式输入和输出的多种不同变化。我们使用CMU-MOSI数据集进行多模态情感分析的实验表明,我们的方法学习的信息多模态表示优于基线并在多模态情感分析中实现改进的性能,特别是在我们的模型能够将F1得分提高12分的双峰情况下。我们还讨论了多模式Seq2Seq方法的futuredirections。
translated by 谷歌翻译
神经机器翻译(NMT)系统的多语言训练已经导致对低资源语言的精确改进。然而,在缺乏数据的情况下,有效学习单词表示仍然存在重大挑战。在本文中,我们提出了软解耦编码(SDE),这是一种多语言词典编码框架,专门设计用于智能地共享层级信息,而不需要诸如预分割数据之类的启发式预处理。 SDE通过字符编码表示一个单词,通过所有语言共享的嵌入空间表示其语义。对四种低资源语言的标准数据集进行的实验显示,对于强多语言NMT基线有一致的改进,其中一种测试语言的增益高达2 BLEU,在所有四种语言对上实现了新的最新技术水平。
translated by 谷歌翻译
在本文中,我们提出了一个基于跨度的模型与n-ary开放信息提取的句法信息相结合。跨度模型的优点是它可以利用跨度级功能,这在基于令牌的BIO标记方法中很难实现。我们还改进了以前的bootstrap方法来构建训练语料库。实验表明,我们的模型优于以前的开放信息提取系统。我们的代码和数据可通过以下网址公开获取://github.com/zhanjunlang/Span_OIE
translated by 谷歌翻译
多项选择阅读理解是一项具有挑战性的任务,需要复杂的推理程序。鉴于段落和问题,需要从一组候选答案中选择正确的答案。在本文中,我们提出了\ textbf {D} ual \ textbf {C} o- \ textbf {M} atching \ textbf {N} etwork(\ textbf {DCMN}),它模拟了段落,问题和答案之间的关系。与现有的只计算问题感知或选项感知通道表示的方法不同,我们同时计算通道感知问题表示和通道感知答案表示。为了证明我们的模型的有效性,我们在大型多选机阅读理解数据集({\ em,即RACE)上评估我们的模型。实验结果表明,我们提出的模型可以产生新的最新结果。
translated by 谷歌翻译
深度神经网络(DNN)在各种预测任务中已经取得了优异的性能,但是很容易受到对抗性示例或扰动的影响。因此,在实际应用中测量DNN对各种扰动的敏感性至关重要。我们引入了一种新颖的微扰流形及其相关的影响度量来量化各种扰动对DNN分类器的影响。这种扰动包括对输入样本和网络参数的各种外部和内部扰动。所提出的度量由信息几何驱动并提供期望的不变性属性。我们证明了我们的影响测量对于四个模型构建任务是有用的:检测潜在的“异常值”,分析模型体系结构的敏感性,比较训练和测试集之间的网络敏感性,以及定位易受攻击的区域。实验表明所提出的测量方法的性能相当好DNN在CIFAR10和MNIST数据集上建模ResNet50和DenseNet121。
translated by 谷歌翻译
化学信息提取是在文本化学数据库中转换化学知识,这是一个严重依赖化学化合物名称识别和标准化的文本处理任务。一旦给出化学化合物的系统名称,它将自然而且简单地将名称转换为最终所需的分子式。然而,对于许多其他化学物质,除了系统名称之外,它们还以许多其他名称显示,这对这项任务构成了巨大的挑战。在本文中,我们提出了一个框架,通过使用速度误差校正,字节对编码标记化和神经序列到序列模型,从系统名称到相应的系统名称进行自动标准化。我们的框架是端到端训练的,完全由数据驱动。我们对测试数据集的标准化准确度达到了54.04%,与之前的最新结果相比有了很大的改进。
translated by 谷歌翻译
本文回顾了最近十年,2007-2017中国分词(CWS)的发展历程。特别关注已经渗透到自然语言处理(NLP)的大多数领域的深度学习技术。我们得出的基本观点是,与传统的监督学习方法相比,基于神经网络的方法没有表现出任何优越的性能。最关键的挑战仍然在于对词汇量(IV)和词汇外(OOV)词汇的识别。然而,由于神经模型具有捕捉自然语言的本质结构的潜力,我们对可能在不久的将来到来的重要进展持乐观态度。
translated by 谷歌翻译
语义角色标记(SRL)旨在发现句子的谓词参数结构。没有语法输入的端到端SRL已经引起了人们的极大关注。然而,他们中的大多数专注于基于跨度或基于依赖的语义表示形式,并且仅分别显示特定的模型优化。同时,统一处理这两个SRL任务不太成功。本文介绍了依赖andspan SRL的端到端模型,它具有统一的参数表示,以统一的方式处理两种不同类型的参数注释。此外,我们联合预测所有谓词和论点,特别是包括长期忽略的预测识别子任务。我们的单一模型在跨度(CoNLL 2005,2012)和依赖性(CoNLL2008,2009)SRL基准测试中实现了最新的结果。
translated by 谷歌翻译