关于语境化词语表示问题的研究 - 用于句子理解的可重用神经网络组件的发展 - 最近出现了一系列进展,其中心是使用ELMo等方法进行语言建模的无监督预训练任务。本文提供了第一个大规模的系统研究,比较了该语境中不同的预训练任务,既作为语言建模的补充,也作为潜在的替代。该研究的主要结果支持使用语言模型作为预训练任务,并使用语言模型的多任务学习在可比模型中设置新的技术水平。然而,仔细观察这些结果可以发现令人担忧的强大基线和跨越目标任务的惊人变化的结果,这表明广泛使用的预训练和冻结句子编码器的范例可能不是进一步工作的理想平台。
translated by 谷歌翻译
异常检测是一个重要的问题,已经深入研究了多个研究领域和应用领域。这项调查的目的是双重的,首先我们提出了基于深度学习的异常检测的研究方法的结构化和全面的概述。此外,考虑采用这些方法在各种应用程序域中进行异常处理并评估其有效性。我们根据所采用的基本假设和方法将最先进的研究技术分为不同的类别。在每个类别中,我们概述了基本的异常检测技术及其变体和当前的关键假设,以区分正常和异常行为。对于每个类别,我们提出了我们也提出了优势和局限性,并讨论了这些技术在实际应用领域的计算复杂性。最后,我们概述了研究中的开放性问题以及采用这些技术时面临的挑战。
translated by 谷歌翻译
图形细化,或从过完整图形中获得感兴趣的子图的任务,可以具有许多不同的应用。在这项工作中,我们从图像数据中提取树结构,首先导出体积数据的基于图形的表示,然后将树提取作为agraph细化任务。我们提出了两种方法来执行图形细化。首先,我们使用平均场近似(MFA)来近似子图的后验密度,从中可以估计出最佳的目标子图。平均场网络(MFN)用于推断,其基于以下解释:MFA的迭代可被视为神经网络中的前馈操作。这允许我们使用gradientdescent来学习模型参数。其次,我们提出了一种使用图神经网络(GNN)的监督学习方法,可以看作是MFN的概括。通过联合训练基于GNN的编码器 - 解码器对获得子图,其中编码器学习有用的边缘嵌入,使用简单的解码器从边缘嵌入中预测边缘概率。我们讨论了两类方法之间的联系,并将它们与从3D,低剂量,胸部CT数据中提取气道的任务进行比较。我们表明,与基线方法相比,MFN和GNN模型都显示出显着的改善,类似于EXACT'09挑战中的最佳表现方法,用于检测更多分支。
translated by 谷歌翻译
估计是恢复与分布$ D_x $相关联的隐藏参数$ x $的计算任务,给定从分布中采样的测量$ y $。高维估计问题自然产生了机器学,机器学习和复杂性理论。许多高维估计问题可以表示为多项式方程和不等式的系统,因此产生多项式系统上的自然概率分布。平方和证明提供了一个强大的框架来推理多项式系统,并且还存在有效的算法来搜索低度方形平方和。理解和表征平方和证明的能力预测问题近年来一直是一个深入研究的主题。一方面,当系统可行时,越来越多的工作利用平方和证明来修正多项式系统的解。另一方面,一种被称为伪校准的一般技术已被开发,以显示平方和证明度的下界。最后,多项式系统的平方和反射的存在已被证明与其密切相关。光谱算法的存在。在本文中,我们调查了这些发展。
translated by 谷歌翻译
在使用形式概念分析的大型数据集中进行知识发现和表示的过程中,复杂性在识别所有形式概念和构建概念格(构图的概念图)中起着重要作用。为了识别形式概念并从非常大的数据集中的已识别概念构建有向图,文献中提供了各种分布式算法。然而,现有的分布式算法不太适合概念生成,因为它是一个循环过程。现有的算法是使用MapReduce和Open MP等分布式框架实现的,这些框架不适用于foriterative应用程序。因此,在本文中,我们使用Apache Spark在大型正式上下文中为形式概念生成和概念格数图构造提出了有效的分布式算法。评估所提出的工作时考虑了各种性能指标,评估结果证明,与现有算法相比,所提出的算法对于概念生成和点阵图构造是有效的。
translated by 谷歌翻译
时尚以其性质为特征,以风格为主导。在本文中,我们提出了一种方法,该方法考虑了样式信息,以完成具有互补时尚项目的所选时尚项目集。补充项目是可以根据样式与所选项目一起佩戴的项目。解决这个问题有助于自动生成时尚的时尚集合,从而为用户带来更丰富的购物体验。最近,网上社交网站激增,时尚热爱者发布当天的服装,其他用户可以喜欢和评论他们。这些帖子包含有关风格的金矿。在本文中,我们利用这些帖子来训练深度神经网络,以自动方式捕获风格。我们提出了将互补时尚项目预测为序列问题的问题,其中输入是时尚项目的选定集合,并且输出是基于模型所学习的样式信息的补充时尚项目。我们使用编码器解码结构来解决完成时尚项目集的这个问题。我们通过各种实验来评估所提出的模型的优点。我们凭经验观察到,我们提出的模型在前1推荐完整时尚集合的准确性方面优于竞争性基线类apriori算法~28。我们还进行基于检索的实验,以了解模型学习风格的能力和对互补时尚项目进行排名,并发现在我们的编码器解码器模型中使用注意力有助于将平均倒数等级提高~24。定性地,我们发现由我们提出的模型生成的互补时尚项目比theapriori算法更丰富。
translated by 谷歌翻译
在生物医学领域,处理治疗与医疗问题之间的关系至关重要。这有助于各种应用,例如决策支持系统,安全监视和新的治疗发现。我们提出了使用单词级别和句子级别表示来提取治疗和问题之间关系的ade learning学习方法。虽然深度学习技术需要大量的数据用于训练,但我们使用基于规则的系统,特别是对于具有较少样本的关系类别。我们的最终关系是通过将深度学习和基于规则的模型的结果联合起来得出的。我们的系统在I2b2 2010关系提取任务的关系类中取得了很好的表现。
translated by 谷歌翻译
在这项工作中,我们采用了一种基于多假设跟踪(MHT)的方法,该方法已被证明可以在交互设置中提供最先进的血管分割结果,以便提取树木。定期间隔的管状模板适合于形成局部假设的图像数据。这些局部假设用于构造MHT树,然后遍历MHT树以做出分段决策。然而,该方法中的一些关键参数是与尺度相关的,并且在跟踪变化尺寸的结构时具有不利影响。我们建议使用不同于MHT树的局部假设的统计排序,其产生跨尺度的分数的概率解释并且有助于减轻MHT参数的尺度依赖性。这使我们的方法可以从单个种子点开始跟踪树。我们的方法评估胸部CT数据,以提取气道树和冠状动脉。在这两种情况下,我们表明我们的方法比原始的MHT方法表现明显更好。
translated by 谷歌翻译
We propose a one-class neural network (OC-NN) model to detect anomalies in complex data sets. OC-NN combines the ability of deep networks to extract progressively rich representation of data with the one-class objective of creating a tight envelope around normal data. The OC-NN approach breaks new ground for the following crucial reason: data representation in the hidden layer is driven by the OC-NN objective and is thus customized for anomaly detection. This is a departure from other approaches which use a hybrid approach of learning deep features using an autoencoder and then feeding the features into a separate anomaly detection method like one-class SVM (OC-SVM). The hybrid OC-SVM approach is sub-optimal because it is unable to influence representational learning in the hidden layers. A comprehensive set of experiments demonstrate that on complex data sets (like CIFAR and GTSRB), OC-NN performs on par with state-of-the-art methods and outperformed conventional shallow methods in some scenarios.
translated by 谷歌翻译