深度学习最近证明了其出色的多视点立体声(MVS)性能。然而,当前学习的MVS方法的一个主要限制是可伸缩性:消耗存储器的成本量正则化使得学习的MVS难以应用于高分辨率场景。在本文中,我们介绍了一种基于当前神经网络的可扩展多视图立体框架。建议的循环多视图立体网络(R-MVSNet)不是将整个3D成本量合理化,而是通过门控循环单元(GRU)顺序地规划沿深度方向的2D成本图。这大大减少了内存消耗并使高分辨率重建成为可能。我们首先展示了拟议的R-MVSNet在最近的MVS基准测试中所取得的最先进的性能。然后,我们进一步演示了所提出的方法在几个大规模场景中的可扩展性,其中先前学习的方法由于内存约束而失败。代码可以通过以下网址获得://github.com/YoYo000/MVSNet。
translated by 谷歌翻译
准确的相对姿势是视觉测距(VO)和同时定位和映射(SLAM)的关键组成部分之一。最近,联合优化相对姿态和目标图像深度的自我监督学习框架引起了社会的关注。以前的工作依赖于相邻帧之间的深度和姿势产生的光度误差,其由于反射表面和遮挡而在真实场景下包含大的系统误差。在本文中,我们通过在自我监督的框架中引入由极性几何约束的匹配损失来弥合几何损耗和光度损失之间的差距。在KITTIdataset上进行评估,我们的方法大大超过了最先进的无监督自我运动估计方法。代码和数据可从以下网址获得://github.com/hlzz/DeepMatchVO。
translated by 谷歌翻译
卷积神经网络(CNNs)在物体图像检索方面取得了卓越的性能,而具有手工制作的局部特征的Bag-of-Words(BoW)模型仍然主导着3D重建中重叠图像的检索。在本文中,我们通过提供有效的基于CNN的方法来检索具有重叠的图像来缩小这一差距,我们将其称为可匹配的图像检索问题。与以往基于稀疏重构生成训练数据的方法不同,我们创建了一个具有丰富三维几何的大规模图像数据库,并利用表面重构的信息来获得细粒度的训练数据。我们提出了一种基于batchedtriplet的损失函数与网格重投影相结合,以有效地学习CNN表示。所提出的方法显着加速了3D重建中的图像检索过程,并且优于用于可匹配图像检索的最先进的基于CNN和BoW的方法。代码和数据可从https://github.com/hlzz/mirror获得。
translated by 谷歌翻译
基于卷积神经网络(CNN)的学习局部描述符已经在基于补丁的基准测试中取得了显着的改进,而在基于图像的3D重建的最近基准测试中没有具备强大的泛化能力。在本文中,我们通过提出新的局部描述符学习方法来缓解这种限制,该方法集成了来自多视图重建的几何约束,这有利于数据生成,数据采样和损失计算方面的学习过程。我们将提出的描述符称为GeoDesc,并展示其在各种大型基准测试中的卓越性能,特别是在具有挑战性的重建任务方面取得了巨大成功。此外,我们提供了关于学习描述符在结构动态(SfM)管道中的实际集成的指南,显示了GeoDesc在准确性和效率之间为3D重构任务提供的良好折衷。
translated by 谷歌翻译
点云注册的关键是在3D空间中的点之间建立一组准确的对应关系。通信问题一般通过判别式3D局部描述符的设计和另一方面稳健匹配策略的发展来解决。在这项工作中,我们首先提出了一个多视图本地描述符,它是从多个视图的图像中获取的,用于3D关键点的描述。然后,我们开发了一种强大的匹配方法,旨在基于通过信念的有效推理来拒绝异常匹配。在定义的图形模型上传播。我们已经证明了我们在公共扫描和多视图立体数据集上注册的方法的推进。通过对多种描述符和匹配方法的深入比较,验证了优越的性能。
translated by 谷歌翻译
在本文中,我们研究了无人机在没有传统规划和控制管道的情况下通过倾斜的狭窄间隙飞行的问题。为此,我们提出了一个端到端的政策网络,它模仿传统的管道,并使用强化学习进行微调。与以前使用运动原理规划动态可行轨迹并通过几何控制器跟踪生成轨迹的工作不同,我们提出的方法是一种端到端的方法,它将飞行场景作为输入并直接输出四旋翼的推力 - 姿态控制命令。我们的论文是:1)提出模仿加强的训练框架。 2)使用端到端策略网络在狭窄的空隙中飞行,表明基于学习的方法也可以像传统管道那样解决高度动态的控制问题(参见附件视频:https://www.youtube.com/watch ?v = jU1qRcLdjx0)。 3)提出使用多层感知器对最佳轨迹发生器进行鲁棒模拟。 4)展示如何强化学习可以提高模仿学习的表现,以及实现比基于模型的方法更高的表现的潜力。
translated by 谷歌翻译
我们为3D医学图像注册引入了端到端的深度学习框架。与现有方法相比,我们的框架结合了两种注册方法:仿射配准和矢量动量参数化固定速度场(vSVF)模型。具体来说,它包括三个阶段。在第一阶段,多步仿射网络预测仿射变换参数。在第二阶段,我们使用类似Unet的网络来生成动量,从中可以计算速度场的流动平滑。最后,在第三阶段,我们采用自可迭代的基于地图的vVVF组件,以基于变换图的当前估计提供非参数细化。一旦模型被训练,注册就在一个正向通道中完成。为了评估性能,我们对骨关节炎倡议(OAI)数据集的膝关节的3D磁共振图像(MRI)进行了纵向和跨主题实验。结果表明,我们的框架实现了与最先进的医学图像配准方法相当的性能,但它更快,更好地控制了转换规律性,包括产生近似对称变换的能力,以及结合仿射和非参数注册。
translated by 谷歌翻译
With the rapid development in deep learning , deep neural networks have been widely adopted in many real-life natural language applications. Under deep neural networks, a pre-defined vocabulary is required to vectorize text inputs. The canonical approach to select pre-defined vocabulary is based on the word frequency , where a threshold is selected to cut off the long tail distribution. However, we observed that such a simple approach could easily lead to under-sized vocabulary or over-sized vocabulary issues. Therefore, we are interested in understanding how the end-task classification accuracy is related to the vocabulary size and what is the minimum required vocabulary size to achieve a specific performance. In this paper, we provide a more sophisticated variational vocabulary dropout (VVD) based on variational dropout to perform vocabulary selection, which can intelligently select the subset of the vocabulary to achieve the required performance. To evaluate different algorithms on the newly proposed vocabulary selection problem, we propose two new metrics: Area Under Accuracy-Vocab Curve and Vocab Size under X% Accuracy Drop. Through extensive experiments on various NLP classification tasks, our varia-tional framework is shown to significantly out-perform the frequency-based and other selection baselines on these metrics.
translated by 谷歌翻译
一种快速有效的运动去模糊方法在现实生活中具有很大的应用价值。这项工作提出了一种创新方法,其中自学习与GAN结合,以对图像进行去模糊。首先,我们解释一个正确的发电机可以用作深度先验,并指出基于像素的损失的解决方案与基于感知的损失的解决方案不同。通过以这些思路为出发点,提出了Bi-Skip网络来提高生成能力,采用双层损失来解决常见条件不一致的问题。其次,考虑到复杂运动模糊会在训练过程中扰乱网络,采用自定进度机制来增强网络的鲁棒性。通过对定性和定量标准的全面评估,我们认为我们的方法具有超越现有技术的竞争优势。
translated by 谷歌翻译
背景:本手册考虑了预测任意一种药物组合是否可能诱发药物不良反应的问题。方法:在支持向量机内开发新的任意序列药物组合的核,用于预测。图形匹配方法用于新颖的内核中以测量药物组合之间的相似性,其中药物联合用药模式被用于测量单一药物相似性。结果:在真实世界数据集上的实验结果表明,新的核实现了预测问题的曲线下面积(AUC)值0.912。结论:基于药物药物的单一药物相似性的新方法可以准确地预测药物组合是否可能引起感兴趣的药物不良反应。关键词:药物相互作用预测;药物组合相似性;联合用药;图匹配
translated by 谷歌翻译