自监督单眼深度估计领域近年来取得了巨大的进步。大多数方法假设立体数据在训练期间可用,但通常不充分利用它并且仅将其视为参考信号。我们提出了一种新颖的自我监督方法,该方法在训练期间同等地使用左图像和右图像,但在测试时仍然可以与单个图像一起使用,用于单眼深度估计。我们的Siamese网络架构由两个双网络组成,每个网络都学习如何从单个图像预测视差图。然而,在测试时,仅使用这些网络中的一个来推断深度。我们在标准的KITTI Eigen分割基准上展示了最先进的结果,同时也是新KITTI单视图基准测试中得分最高的自我监控方法。为了证明我们的方法推广到新数据集的能力,我们进一步提供了Make3D基准测试的结果,这在培训期间没有使用。
translated by 谷歌翻译
我们介绍了一组九个挑战任务,测试理解功能词。这些任务是通过结构化突变数据集的句子来创建的,以便能够理解特定类型的功能词(例如,介词,wh-words)。使用这些探测任务,我们探索了各种预训练目标对句子编码器(例如,语言建模,CCG超级标准和自然语言推理(NLI))对学习代表的影响。我们的结果表明,对CCG进行预训练 - 我们最常用的语法 - 在我们的探究任务中平均表现最佳,这表明句法知识有助于词汇理解。语言建模也显示出强大的性能,支持其广泛用于预训练最先进的NLP模型。总的来说,没有预训练目标支配董事会,我们的功能词探测任务突出了预训练目标之间的几个直观差异,例如,NLI有助于理解否定。
translated by 谷歌翻译
训练深度神经网络是一项非常重要的任务。不仅调整高参数,而且训练数据的收集和选择,损失函数的设计以及训练计划的构建对于充分利用模型是非常重要的。在本研究中,我们进行了一系列与这些问题相关的实验。研究不同训练策略的模型是最近呈现的SDC描述符网络(堆叠扩张卷积)。它用于描述像素级fordense匹配任务的图像。我们的工作更详细地分析了SDC,验证了用于训练深度神经网络的一些最佳实践,并提供了对多个域数据进行操作的见解。
translated by 谷歌翻译
在过去几年中,卷积神经网络(CNN)在学习许多计算机视觉任务(包括光流和立体匹配等密集估计问题)方面取得了越来越大的成功。然而,这些任务的联合预测,称为场景流,传统上使用基于原始假设的慢经典方法来解决,这些假设无法概括。本文介绍的工作通过提出PWOC-3D(在速度和精度方面)克服了这些缺点,PWOC-3D是一种紧凑的CNN架构,用于预测从端到端监督设置中立体图像序列的场景流。此外,大的运动和遮挡是场景流估计中众所周知的问题。 PWOC-3D采用专门的设计决策来明确地模拟这些挑战。在这方面,我们提出了一种新的自我监督策略来预测图像中的遮挡(在没有任何标记的遮挡数据的情况下学习)。利用多种此类构造,我们的网络在KITTI基准测试和具有挑战性的FlyingThings3D数据集上实现了竞争结果。特别是在KITTI,PWOC-3D在端到端深度学习方法中获得第二名,参数比最佳表现方法少48倍。
translated by 谷歌翻译
深度神经网络已成为许多机器学习任务(如分类和回归)的默认选择。 Dropout是一种通常用于改善深度神经网络收敛的方法,它通过广泛的权重共享生成一系列稀疏网络。最近的研究表明,辍学可以被视为高斯过程中的近似变分推断,并被用作获得网络不确定性估计的实用工具。我们提出了一种新的基于统计力学的框架,用于退出并使用该框架来提出一种新的通用算法,该算法关注由瘦网络集合测量的损失方差的估计值。我们的方法可以应用于广泛的深度神经网络体系结构和机器学习任务。在分类中,这种算法会生成一个不知道的答案,这可以提高分类器的可靠性。根据经验,我们在公开可用的基准测试中展示了最先进的AUC结果。
translated by 谷歌翻译
已经显示神经架构搜索(NAS)的自动方法产生了最先进的网络模型,但它们的主要缺点是搜索过程的计算复杂性。由于一些原始方法在离散搜索空间上进行了优化,因此需要数千天的GPU来进行收敛。最近的方法基于构建可微分搜索空间,该空间支持基于梯度的优化,从而将搜索时间缩短到几天。虽然成功,但这些方法仍然包括一些不连续的步骤,例如,一次修剪许多弱连接。在本文中,我们提出了一个可微分的搜索空间,它允许对体系结构权重进行退火,同时逐步修剪较差的操作,从而以连续的方式收敛到单个输出网络。几个视觉数据集的实验证明了我们的方法在实现模型的搜索成本,准确性和内存占用方面的有效性。
translated by 谷歌翻译
EMNLP 2018研讨会BlackboxNLP致力于资源和技术的专门开发,用于分析和理解语言神经模型获得的内部工作和代表。方法包括:系统地操纵神经网络的输入并调查对其性能的影响,测试可解释的知识是否可以从神经网络获得的中间表示中解码,提出对神经网络体系结构的修改以使其知识状态或生成的输出更易于解释,并检查简化或正式语言的网络性能。在这里,我们回顾了每个类别中的一些代表性研究。
translated by 谷歌翻译
人造场景可以密集包装,包含许多物体,通常是相似的,位于附近。我们表明,即使对于最先进的对象检测器,在这样的场景中进行精确的物体检测仍然是一个具有挑战性的前沿。我们提出了一种新颖的,基于深度学习的精确物体检测方法,专为这种具有挑战性的设置而设计。我们的贡献包括:(1)用于估计Jaccard指数作为检测质量分数的层; (2)一种新颖的EM合并单元,它使用我们的质量分数来解决检测重叠模糊;最后,(3)一个广泛的,带注释的数据集,\ dataset,代表包装的零售环境,在这种极端环境下发布用于培训和测试。对数据集{}进行检测测试并对CARPK和PUCPR +进行计数测试表明我们的方法优于现有技术水平,并具有相当大的利润率。代码和数据将在\ url {www.github.com/eg4000/SKU110K_CVPR19}上提供。
translated by 谷歌翻译
随机多臂强盗问题是研究勘探开发权衡的一个众所周知的模型。它在适应性临床试验中具有显着的可能应用,其允许患者的治疗分配概率的动态变化。但是,大多数盗版学习算法的设计目标是最小化预期的遗憾。虽然这种方法在许多领域都很有用,但在临床试验中,它可能对异常数据敏感,特别是当样本量很小时。在本文中,我们定义并研究了一个新的强盗问题的鲁棒性标准。具体而言,我们考虑优化回报分布的函数作为遗憾度量。这为从业者提供了更灵活的定义适当的后悔措施。我们提出的解决这类问题的学习算法是对BESA算法的修改[Baransi et al。,2014],它考虑了遗憾的更一般的版本。我们对我们的方法提出了遗憾,并在合成问题上以及在临床试验文献中的数据集上对其进行了实证评估。我们的方法与一套标准强盗算法相比。
translated by 谷歌翻译
越来越多的可用数据导致了对代表大规模概率知识库的更高需求。一种方法是使用概率数据库,这是一种具有强大假设的模型,可以有效地回答许多有趣的查询。最近关于开放世界概率数据库的工作通过抛弃数据中不存在的任何信息必须是假的假设来加强这些概率数据库的语义。虽然直观,但这些语义并不足以为查询提供合理的答案。我们建议通过使用约束来限制这个开放世界来克服这些问题。我们为一类查询提供了算法,并建立了基本的硬度结果。最后,我们为大类查询提出了一种有效且紧密的近似。
translated by 谷歌翻译