在立体匹配任务中,匹配成本聚合在传统方法和深度神经网络模型中都是至关重要的,以便准确地估计差异。我们提出了两个新颖的神经网络层,旨在分别捕获局部和整个图像成本依赖性。第一个是半全局聚合层,它是半全局匹配的可微近似,第二个是局部引导聚合层,它遵循传统的成本过滤策略来细化薄结构。这两个层可以用来代替广泛使用的3D卷积层由于具有立方计算/存储器复杂性而在计算上成本高并且消耗存储器。在实验中,我们表明具有双层引导聚合块的网络容易胜过具有19个3D卷积层的最先进的GC-Net。我们还训练了一个深度导向聚集网络(GA-Net),它比场景流数据集和KITTI基准测试中的最先进方法具有更好的准确性。
translated by 谷歌翻译
最近,图形神经网络在各个研究领域引起了极大的关注并取得了突出的成果。这些算法中的大多数都具有感兴趣对象的成对关系。然而,在许多重新应用中,对象之间的关系是高阶的,超出了一定的配置。为了有效地学习高阶图结构数据的深度嵌入,我们在图神经网络的家庭中引入了两个端到端可训练算子,即超图卷积和超图注意。虽然超图卷积定义了在超图上执行卷积的基本公式,但超图注意通过利用注意模块进一步增强了表示学习的能力。通过这两个算子,图形神经网络很容易扩展到更灵活的模型,并应用于观察到非成对关系的各种应用。半监督节点分类的广泛实验结果证明了超图卷积和超图注意的有效性。
translated by 谷歌翻译
我们提出了一个LIDAR仿真框架,可以根据LIDAR类型和位置自动生成3Dpoint云。带有地面真实语义标签的点云将被用作训练数据,以提高自动驾驶车辆的环境感知能力。与以前的模拟器不同,我们基于重新环境和实际交通流量生成点云。更具体地说,我们采用带摄像头的移动LIDAR扫描仪来捕捉真实世界的场景。我们的模拟框架的输入包括密集的3D点云和注册的彩色图像。自动识别和记录移动物体(例如汽车,行人,骑自行车者)。然后从输入点云中移除这些对象以恢复静态背景(例如,没有可移动对象的环境)。我们可以在静态背景中插入各种障碍物的合成模型,例如车辆和行人,以创建各种交通场景。一个新颖的LIDAR渲染器采用复合场景生成新的逼真LIDAR点,这些点已经在合成对象的点级注释。实验结果表明,我们的系统能够在不同的应用中将仿真与实际数据之间的性能差距缩小到1~6%,而对于模式调整,只有10%~20%的额外实际数据有助于优于全实数训练的原始模型。数据集。
translated by 谷歌翻译
车辆重新识别是一个重要的问题,随着视频监控和智能传输应用的快速扩展而变得可取。通过回顾人类视觉的识别过程,我们发现当人类识别不同的车辆时存在本地的等级依赖性。具体地,人类总是首先确定一个车辆的粗粒度类别,即汽车模型/类型。然后,在预测的汽车模型/类型的分支下,他们将通过细微的视觉线索(例如,定制的绘画和挡风玻璃)在细粒度水平上识别特定的车辆。受粗到细分层过程的启发,我们提出了一种用于车辆重新识别的端到端基于RNN的分层注意(RNN-HA)分类模型。 RNN-HA由三个相互耦合的模块组成:第一个模块生成车辆图像的图像表示,第二个层次模块模拟上述层级依赖关系,最后一个注意模块侧重于捕获特定车辆彼此之间的细微视觉信息识别。通过对两个车辆重新识别基准数据集VeRi和VehicleID进行全面的实验,我们证明了所提出的模型实现了超越现有技术的卓越性能。
translated by 谷歌翻译
我们提出了MedSim,一种基于Publicwell建立的生物医学知识图(KGs)和大规模语料库的新型语义相似性方法,研究抗生素的治疗替代。除了KGs的层次结构和语料库外,MedSim还通过构建多维医学特定的特征向量来进一步解释医学特征。采用医生评分的528种抗生素对数据集进行评价,MedSim与其他语义相似性方法相比具有统计学上的显着改善。此外,还提出了MedSim在药物替代和药物滥用预防方面的一些有希望的应用。
translated by 谷歌翻译
近十年来,随着深度卷积神经网络(CNN)的发展,许多最先进的图像分类和音频分类算法取得了显着的成功。但是,大多数工作只利用单一类型的训练数据。在本文中,我们通过利用CNN对视觉(图像)和音频(声音)数据的组合来对鸟类进行分类的研究,该CNN已被稀疏地处理。具体而言,我们提出了基于CNN的融合策略(早期,中期,晚期)类型的多模态学习模型,以解决组合训练数据跨域的问题。我们提出的方法的优点在于我们可以利用CNN不仅从图像和音频数据(频谱图)中提取特征,而且还可以跨特征模式组合特征。在实验中,我们在综合CUB-200-2011标准数据集上训练和评估网络结构,结合我们最初收集的关于数据种类的音频数据集。我们观察到,利用两种数据的组合的模型优于仅用任何类型的数据训练的模型。我们还表明,转移学习可以显着提高分类性能。
translated by 谷歌翻译
MixUp是一种通过混合随机样本的数据增强方法,已经显示出能够显着提高当前深度神经网络技术的预测准确性。然而,MixUp的力量大多是凭经验建立的,其工作和有效性在任何深度都没有解释。在本文中,我们对MixUp进行了理论上的理解,将其作为流形外正则化的一种形式,它将输入空间上的模型限制在数据流形之外。这项分析研究还使我们能够识别由流形侵入引起的MixUp限制,合成样本与歧管的实际例子相撞。这种侵入行为导致过度正规化,从而不合适。为了解决这个问题,我们进一步提出了一种新颖的正则化器,其中混合策略从数据中自适应地学习,并且包含多种入侵损失以避免与数据流形的冲突。我们使用几个基准数据集凭经验证明了我们的正则化器在超深度分类模型和MixUp的过度避免和精度改进方面的有效性。
translated by 谷歌翻译
通过主动选择小批量,可以提高随机梯度下降(SGD)的收敛速度。我们探索了在同一小批量中不太可能选择类似数据点的抽样方案。特别是,我们证明这种排斥采样方案降低了梯度测量仪的方差。这概括了最近关于将小批量多样化(Zhang et al。,2017)的决定点过程(DPP)用于更广泛的排斥点过程的工作。我们首先表明,通过多样化抽样的方差减少现象特别推广到非平稳点过程。然后,我们表明其他点过程在计算上可能比DPP更有效。特别是,我们提出并研究了泊松盘采样---计算机图形社交中经常遇到的---用于此任务。我们凭经验证明,我们的方法在收敛速度和最终模型性能方面都提高了标准SGD。
translated by 谷歌翻译
Heterogeneous network embedding (HNE) is a challenging task due to the diverse node types and/or diverse relationships between nodes. Existing HNE methods are typically unsupervised. To maximize the profit of utilizing the rare and valuable supervised information in HNEs, we develop a novel Active Heterogeneous Network Embedding (Ac-tiveHNE) framework, which includes two components: Discriminative Heterogeneous Network Embedding (DHNE) and Active Query in Heterogeneous Networks (AQHN). In DHNE, we introduce a novel semi-supervised heterogeneous network embedding method based on graph convolutional neu-ral network. In AQHN, we first introduce three active selection strategies based on uncertainty and representativeness, and then derive a batch selection method that assembles these strategies using a multi-armed bandit mechanism. ActiveHNE aims at improving the performance of HNE by feeding the most valuable supervision obtained by AQHN into DHNE. Experiments on public datasets demonstrate the effectiveness of ActiveHNE and its advantage on reducing the query cost.
translated by 谷歌翻译
自然语言生成(NLG)是面向任务的对话系统的重要组成部分。尽管近来NLG的神经方法取得了成功,但它们通常是针对具有丰富注释训练样本的特定域开发的。在本文中,我们在资源匮乏的环境中研究NLG,以便通过少量训练示例在新场景中生成句子。我们从元学习的角度阐述问题,并基于公认的模型不可知元学习(MAML)算法提出基于广义优化的方法(Meta-NLG)。 Meta-NLG定义了一组元代码,并直接将适应新的低资源NLG任务的目标纳入元学习优化过程。对具有多样性变化的大型多域数据集(MultiWoz)进行了广泛的实验。我们表明,Meta-NLG在各种低资源配置中明显优于其他方法。我们分析结果,并证明Meta-NLG适应极快和良好的资源情况。
translated by 谷歌翻译