在本文中,我们提出了一个新的实体关系提取任务范例。我们将任务转换为多回合问题回答问题,即,实体和关系的提取被转换为从上下文识别答案跨度的任务。这种多转QA形式化有几个关键优势:首先,问题查询编码我们想要识别的实体/关系类的重要信息;其次,QA提供了一种自然的方式来联合建模实体和关系;第三,它允许我们利用完善的机器阅读理解(MRC)模型。在ACE和CoNLL04公司的实验表明,所提出的范例明显优于以前的最佳模型。我们能够获得所有ACE04,ACE05和CoNLL04数据集的最新结果,增加了三个数据集的SOTA结果49.6(+1.2),60.3(+0.7)和69.2(+1.4) , 分别。此外,我们构建了一个新开发的数据集RESUME,它需要多步推理来构造实体依赖关系,而不是先前数据集中三元组提取中的单步依赖提取。提出的多转QA模型也在RESUME数据集上实现了最佳性能。
translated by 谷歌翻译
将一大块文本分割成单词通常是处理中文文本的第一步,但其必要性很少被探索过。在本文中,我们提出了中国分词(CWS)是否是基于深度学习的中国自然语言处理所必需的基本问题。基于神经词汇的Webenchmark模型依赖于基于神经char的模型的分词,这些模型不涉及四端到端NLP基准测试任务中的分词:语言建模,机器翻译,句子匹配/释义和文本分类。通过这两种模型之间的直接比较,我们发现基于char的模型始终优于基于单词的模型。基于这些观察,我们进行了全面的实验,以研究为什么基于单词的模型在这些基于深度学习的NLP任务中表现不佳。我们表明,因为基于单词的模型更容易受到数据稀疏性和词汇表外(OOV)词的影响,因此更容易过度拟合。我们希望本文能够鼓励社区研究人员重新思考基于深度学习的中国自然语言处理中分词的必要性。 \脚注{Yuxian Meng和Xiaoya Li对本报的贡献相同。}
translated by 谷歌翻译
在高维设置中,密度估计算法主要依赖于它的归纳偏差。尽管最近取得了经验上的成功,但深度生成模型的归纳偏差还不是很清楚。在本文中,我们提出了系统地研究图像的深度生成模型中的偏差和泛化的框架。受到来自认知心理学的实验方法的启发,我们使用精心设计的trainingdatasets探测每个学习算法,以表征现有模型何时以及如何生成新的属性及其组合。我们确定了与人类心理学的相似之处,并验证这些模式在常用模型和体系结构中是一致的。
translated by 谷歌翻译
近年来,对受约束的子模块最大化进行了广泛的研究。在本文中,我们研究了具有近似模块结构(ARONSS)的自适应鲁棒优化。我们的目标是随机选择一个项目的子集,同时最大化几个奖励函数的最坏情况值。我们的工作与现有研究有两点不同:(1)在自适应设置下研究鲁棒优化问题,即需要根据从拾取项收集的反馈自适应选择项目,(2)我们的结果适用于广泛的范围。奖励函数由$ \ epsilon $ -nearly submodular函数表征。我们首先分析了ARONSS的适应性差距,并表明最佳自适应解与最佳非自适应解之间的差距是有界的。然后我们提出了两种算法来实现有界逼近比。
translated by 谷歌翻译
为了解决医学图像在图像超分辨率重建过程中由于缺乏高频细节而导致严重模糊的问题,提出了一种基于密集神经网络和混合注意机制的医学图像超分辨率方法。所提出的方法将混合注意块添加到密集神经网络(DenseNet),使得神经网络可以将更多的注意力集中在具有足够高频细节的区域和信道上。去除Batchnormalization层以避免高频纹理细节的丢失。最后得到的高分辨率医学图像是利用网络末端的反卷层作为上采样算子获得的。实验结果表明,该方法对峰值信号的改善分别为0.05db~11.25dB和0.6%~14.04%。 - 噪声比(PSNR)度量和结构相似性指数(SSIM)度量,分别与主流图像超分辨率方法进行比较。这项工作为医学图像超分辨率重建的理论研究提供了新的思路。
translated by 谷歌翻译
我们介绍了DeepICP--一种新颖的端到端学习型3D点云注册框架,可以达到与先进的几何方法相当的注册精度。与通常需要RANSAC程序的其他基于关键点的方法不同,我们实现了使用各种深度神经网络结构来建立端到端的可训练网络。我们的关键点检测器通过这种端到端结构进行训练,并使系统能够避免动态对象的推断,利用静止物体上足够显着特征的帮助,从而实现高稳健性。不是在现有点之间搜索相应的点,而是关键的贡献是我们基于一组候选者之间的学习匹配概率创新地生成它们,这可以提高注册准确性。我们的损失功能结合了局部相似性和全局几何约束,以确保所有上述网络设计能够朝着正确的方向收敛。我们使用KITTI数据集和Apollo-SouthBay数据集全面验证了我们方法的有效性。结果表明,我们的方法比最先进的基于几何的方法实现了可比较的或更好的性能。包括详细的消融和可视化分析,以进一步说明我们网络的行为和见解。低注册错误以及我们方法的高稳健性使其对依赖点云注册任务的实质性应用具有吸引力。
translated by 谷歌翻译
对于救援机器人,鳍状肢赋予机器人额外的穿越各种地形的能力。自主运动变得更加重要。在最近的工作中,自治是通过计划几个特殊状态或基于收集的数据来完成的。我们正在考虑是否有可能找到一种方法来构建连续状态而不收集旧的跟踪数据。在本文中,我们首先将可能的状态建模为具有场景参数配置的全局规划路径。然后,我们遵循实现自动运行的路径。我们绘制每个路径点的形态,以显示路径的正确性,并在真实机器人上实现一个简单的路径,以证明我们的算法的性能。
translated by 谷歌翻译
受视频中不同模态携带互补信息这一事实的启发,我们提出了一种多模态语义注意网络(MSAN),它是一种新的编码器 - 解码器框架,结合了视频字幕的多模态语义属性。在编码阶段,我们通过将其设计为多标签分类问题来检测和生成多模态语义属性。此外,我们在模型中添加辅助分类损失,可以获得更有效的视觉特征和高级多模态语义归因分布,以实现足够的视频编码。在解码阶段,我们将传统LSTM的权重矩阵扩展到属性依赖权重矩阵的集合,并且在字幕处理的每个时间使用注意机制来注意不同的属性。 Weevaluate算法在两个流行的公共基准:MSVD和MSR-VTT,使用当前最先进的六项评估指标获得竞争结果。
translated by 谷歌翻译
视觉跟踪是最具挑战性的计算机视觉问题之一。为了在各种负面情景中实现高性能视觉跟踪,基于两种不同的深度学习网络提出并开发了一种新颖的级联连体网络:匹配子网和分类子网。匹配的子网是一个完全卷积的连接网络。根据样本图像和候选图像之间的相似性得分,其目的在于搜索可能的对象位置和被剪切的候选贴片。分类子网旨在进一步评估裁剪的候选补丁,并根据分类得分确定最佳跟踪结果。匹配子网在线进行训练,在线固定,分类子网在线进行随机梯度下降,了解更多目标特定信息。为了进一步提高跟踪性能,采用基于相似度和分类得分的有效分类子网更新方法更新分类子网。 。广泛的实验结果表明,我们提出的方法在最近的基准测试中实现了最先进的性能。
translated by 谷歌翻译
Semi-supervised learning is sought for leveraging the unlabelled data when labelled data is difficult or expensive to acquire. Deep generative models (e.g., Variational Autoencoder (VAE)) and semi-supervised Generative Adversarial Networks (GANs) have recently shown promising performance in semi-supervised classification for the excellent discriminative representing ability. However, the latent code learned by the traditional VAE is not exclusive (repeatable) for a specific input sample, which prevents it from excellent classification performance. In particular, the learned latent representation depends on a non-exclusive component which is stochastically sampled from the prior distribution. Moreover, the semi-supervised GAN models generate data from pre-defined distribution (e.g., Gaussian noises) which is independent of the input data distribution and may obstruct the convergence and is difficult to control the distribution of the generated data. To address the aforementioned issues, we propose a novel Adversarial Variational Embedding (AVAE) framework for robust and effective semi-supervised learning to leverage both the advantage of GAN as a high quality generative model and VAE as a posterior distribution learner. The proposed approach first produces an exclusive latent code by the model which we call VAE++, and meanwhile, provides a meaningful prior distribution for the generator of GAN. The proposed approach is evaluated over four different real-world applications and we show that our method outperforms the state-of-the-art models, which confirms that the combination of VAE++ and GAN can provide significant improvements in semi-supervised classification.
translated by 谷歌翻译