在本文中,我们研究了成对学习中随机梯度下降(SGD)算法的稳定性及其与优化误差的权衡。成对学习是指学习任务,其涉及取决于实例对的损失函数,其中值得注意的示例是二分排名,度量学习,ROC(AUC)最大化区域和最小误差熵(MEE)原理。我们的贡献是双重的。首先,我们建立了SGD在凸,强凸和非凸设置中成对学习的稳定性结果,从而可以自然地推导出泛化边界。其次,我们建立了SGD算法在成对学习中的稳定性和优化误差之间的权衡。这是通过在规定的成对损失函数类上通过minimax统计误差对稳定性和优化误差的总和进行下限来实现的。从这个基本权衡中,我们获得了SGD算法的优化误差的下界和超过a的超额预期风险。一类对应的。此外,我们通过提供AUC最大化,度量学习和MEE的一些具体示例来说明我们的稳定性结果。
translated by 谷歌翻译
答案选择和知识库问答(KBQA)是问答(QA)系统的两个重要任务。现有方法分别解决了这两个任务,需要大量的重复工作,并且需要考虑任务之间丰富的相关信息。在本文中,通过多任务学习(MTL)同时进行湿包答案选择和KBQA任务,其动机来自以下动机。首先,答案选择和KBQA都可以被视为排名问题,其中一个在文本级别,而另一个在知识级别。其次,这两个任务可以互相受益:答案选择可以包含来自知识库(KB)的外部知识,而KBQA可以通过从答案选择中学习上下文信息来改进。为了实现共同学习这两项任务的目标,我们提出了一种新颖的多任务学习方案,该方案利用从不同角度学习的多视图注意力,使这些任务能够相互交互,以及学习更全面的句子表示。在几个真实数据集上进行的实验证明了所提方法的有效性,并且提高了答案选择和KBQA的性能。同时,多视点注意方案被证明在从不同的表征角度组合信息中是有效的。
translated by 谷歌翻译
决策支持是一种概率和定量方法,用于在模糊不清的情况下设计问题。计算机技术可以用于提供临床决策支持和治疗建议。自然语言应用的问题在于它们缺乏形式并且解释不一致。相反,本体可以捕获预期的含义并指定建模原语。利用与癌症临床阶段及其相应信息组成部分相关的疾病本体(DO)来提高决策支持系统(DSS)的推理能力。建议的DSS使用基于案例的推理(CBR)来考虑表现形式,并为医生提供来自相似先前病例的治疗解决方案以供参考。建议的DSS支持自然语言处理(NLP)查询。在本体的帮助下,DSS在疾病分类中获得了84.63%的准确性。
translated by 谷歌翻译
命名实体发现和链接是问题回答的基本和核心组成部分。在问题实体发现和链接(QEDL)问题中,传统方法受到挑战,因为一个短缺中的多个实体难以完全发现,而短文本中的不完整信息使得实体链接难以实现。为了克服这些困难,我们提出了一个基于知识图的QEDL解决方案,并开发了一个由问题实体发现(QED)模块和实体链接(EL)模块组成的系统。 QED模块的方法是两种方法的权衡和集合。一种是基于知识图检索的方法,可以提取问题中的更多实体,保证召回率,另一种是基于条件随机场(CRF)的方法,提高了精度。 EL模块被视为排序问题,利用具有语义相似性,文本相似性和实体流行度等特征的Learning toRank(LTR)方法来提取和充分利用短文本中的信息。在共享QEDL评估任务的官方数据集中,我们的方法可以获得QED的64.44%F1得分和EL的64.86%准确度,排名第二,表明其在QEDL问题中的实际应用。
translated by 谷歌翻译
本体可以用于解释自然语言。为了构建抗感染药物本体,需要设计和部署一个方法步骤来进行实体发现和连接。医学同义词资源一直是医学自然语言处理(NLP)的重要组成部分。但是,存在诸如低精度和低回忆率的问题。在本研究中,采用NLP方法生成候选实体。分析开放本体以提取语义关系。选择六个字向量特征和字级特征来执行实体链接。研究了具有单一特征和不同特征组合的同义词的提取结果。实验表明,我们选择的特征准确率达到86.77%,召回率为89.03%,F1得分为87.89%。本文最后介绍了所提出的本体的结构及其相关的统计数据。
translated by 谷歌翻译
自动文本分类(TC)研究可用于现实问题,例如住院患者出院摘要和医学文本报告的分类,这有利于使医疗文件更易于医生理解。然而,在电子病历(EMR)中,包含句子的文本比一般领域中的文本短,导致语义特征的缺乏和语义的模糊性。为了解决这一挑战,我们建议在深度神经网络中加入词簇嵌入,以改进短文本分类。具体地说,我们首先使用层次化聚类聚类来在语义空间中聚类单词向量。然后我们计算聚类中心向量,它表示聚类中单词的隐含主题信息。最后,我们利用集群中心向量扩展单词向量,并分别使用CNN和LSTM实现分类器。为了评估我们提出的方法的性能,我们对公共数据集TREC和我们构建和发布的医学短句数据集进行了实验。实验结果表明,我们提出的方法在医学领域和一般领域的短句分类方面优于最先进的基线。
translated by 谷歌翻译
我们提出了MedSim,一种基于Publicwell建立的生物医学知识图(KGs)和大规模语料库的新型语义相似性方法,研究抗生素的治疗替代。除了KGs的层次结构和语料库外,MedSim还通过构建多维医学特定的特征向量来进一步解释医学特征。采用医生评分的528种抗生素对数据集进行评价,MedSim与其他语义相似性方法相比具有统计学上的显着改善。此外,还提出了MedSim在药物替代和药物滥用预防方面的一些有希望的应用。
translated by 谷歌翻译
与RGB视频不同,RGB-D视频中的深度数据为三刺激视觉数据提供关键的补充信息,这可能有助于提高动作识别的准确性。然而,大多数仅使用RGB视频的现有动作识别模型限制了性能容量。另外,最先进的动作识别模型,即3D卷积神经网络(3D-CNN)包含遭受计算低效的巨大参数。在本文中,我们提出了一系列基于RGB-Ddata的动作识别的3D轻量级架构。与传统的3D-CNN模型相比,所提出的轻量级3D-CNN具有相当少的参数,涉及较低的计算成本,同时其导致良好的识别性能。两个公共基准数据集的实验结果表明,我们的模型可以近似或超出最先进的方法。具体来说,在RGB + D-NTU(NTU)数据集上,我们实现了跨主题和跨视图测量的93.2%和97.6%,并且在Northwestern-UCLA Multiview Action 3D(N-UCLA)数据集上,我们实现了95.5%交叉视图的准确性。
translated by 谷歌翻译
Humans convey their intentions through the usage of both verbal and nonverbal behaviors during face-to-face communication. Speaker intentions often vary dynamically depending on different nonverbal contexts, such as vocal patterns and facial expressions. As a result, when modeling human language, it is essential to not only consider the literal meaning of the words but also the nonverbal contexts in which these words appear. To better model human language, we first model expressive nonverbal representations by analyzing the fine-grained visual and acoustic patterns that occur during word segments. In addition, we seek to capture the dynamic nature of nonverbal intents by shifting word representations based on the accompanying nonverbal behaviors. To this end, we propose the Recurrent Attended Variation Embedding Network (RAVEN) that models the fine-grained structure of nonverbal subword sequences and dynamically shifts word representations based on nonverbal cues. Our proposed model achieves competitive performance on two publicly available datasets for multimodal sentiment analysis and emotion recognition. We also visualize the shifted word representations in different nonverbal contexts and summarize common patterns regarding multimodal variations of word representations.
translated by 谷歌翻译
在许多计算机视觉任务中广泛采用多任务学习来提高整体计算效率或提高个体任务的性能,假设这些任务是相互关联和相互补充的。但是,任务之间的关系很复杂,特别是当涉及的任务数量增加时。当twotasks的相关性较弱时,在共享参数的联合训练期间,它们可能会相互竞争甚至分散注意力,从而破坏了所有任务的学习。这将提高破坏性干扰,降低共享参数的学习效率,并导致低质量损失局部最优w.r.t。共享参数。为了解决这个问题,我们提出了一种通用调制模块,它可以插入到任何卷积神经网络架构中,以鼓励相关任务的耦合和特征共享,同时通过添加次要参数来解开无关任务的学习。配备此模块,可以强制执行来自不同任务的梯度方向,以使这些共享参数保持一致,这有利于多任务联合培训。该模块是端到端可学习的,无需针对特定任务的临时设计,并且可以自然地同时处理许多任务。我们将方法应用于两个检索任务,即CelebA数据集[1]的面部检索和UT-Zappos50K数据集[2,3]的产品检索,并证明其优于其他多任务学习方法的准确性和存储效率。
translated by 谷歌翻译