无模型强化学习(RL)算法,如Q-learning [Watkins,Dayan 92]已经在实践中得到广泛应用,并且可以在视频游戏等应用中实现人类级别的性能[Mnih et al。最近,面对不确定性,乐观主义的思想,Q学习算法[Jin,Allen-Zhu,Bubeck,Jordan 18]可以被证明是有效的离散表格马尔可夫决策过程(MDP)有限的国家和行动的数量。在这项工作中,我们在MDP中提出了一种有效的无模型基于Q学习的算法,其具有状态 - 动作空间的自然度量 - 因此将有效的无模型Q学习算法扩展到连续的状态 - 动作空间。与先前基于模型的度量空间RL算法[Kakade,Kearns,Langford 03]相比,我们的算法不需要访问黑盒规划oracle。
translated by 谷歌翻译
在参数空间中探索的黑盒优化器经常被证明可以表现出更加复杂的动作空间探索方法,这些方法专门针对强化学习问题而开发。我们仔细研究这些黑盒方法,以确定它们比动作空间探索方法和它们优越的方法更糟糕的情况。通过简单的理论分析,证明了参数空间探索的复杂性取决于参数空间的维数,而动作空间探索的复杂性则取决于动作空间的维数和地平线长度。通过比较几个模型问题的简单探索方法,包括连续控制中的语境强盗,线性回归和强化学习,也可以凭经验证明这一点。
translated by 谷歌翻译
将复杂时间序列分解为趋势,季节性和剩余成分是促进时间序列异常检测和预测的重要任务。虽然已经提出了许多方法,但仍有许多时间序列特征表现出现实世界的数据,这些数据没有得到适当的解决,包括1)处理季节性波动和转移的能力,以及趋势和提醒的突然变化; 2)对数据的鲁棒性; 3)对季节性时间长的时间序列的适用性。在本文中,我们提出了一种新颖的通用时间序列分解算法来应对这些挑战。具体而言,我们通过使用具有稀疏正则化的最小绝对偏差损失求解回归问题来鲁棒地提取趋势分量。基于提取的趋势,我们应用非局部季节过滤来提取季节性成分。重复该过程直到获得准确的分解。对不同的合成和实际时间序列数据集的实验表明,我们的方法优于现有的解决方案。
translated by 谷歌翻译
我们设计并研究了一个上下文内存树(CMT),一个学习内存控制器,它将新内存插入到无限大的体验库中。它旨在有效地查询来自该商店的内存,支持对数时间插入和检索操作。因此,CMT可以作为增强记忆单元集成到现有的统计学习算法中,而不会显着增加训练和推理计算。我们通过增加现有的多级和多标签分类算法以及CMT和观察投资改进来证明CMT的功效。我们还在几个图像标题框架上测试CMT学习,以证明它在计算上比简单的邻居记忆系统更好,同时受益于奖励学习。
translated by 谷歌翻译
Named Entity Recognition and Relation Extraction for Chinese literature textis regarded as the highly difficult problem, partially because of the lack oftagging sets. In this paper, we build a discourse-level dataset from hundredsof Chinese literature articles for improving this task. To build a high qualitydataset, we propose two tagging methods to solve the problem of datainconsistency, including a heuristic tagging method and a machine auxiliarytagging method. Based on this corpus, we also introduce several widely usedmodels to conduct experiments. Experimental results not only show theusefulness of the proposed dataset, but also provide baselines for furtherresearch. The dataset is available athttps://github.com/lancopku/Chinese-Literature-NER-RE-Dataset.
translated by 谷歌翻译
Large pose variations remain to be a challenge that confronts real-word facedetection. We propose a new cascaded Convolutional Neural Network, dubbed thename Supervised Transformer Network, to address this challenge. The first stageis a multi-task Region Proposal Network (RPN), which simultaneously predictscandidate face regions along with associated facial landmarks. The candidateregions are then warped by mapping the detected facial landmarks to theircanonical positions to better normalize the face patterns. The second stage,which is a RCNN, then verifies if the warped candidate regions are valid facesor not. We conduct end-to-end learning of the cascaded network, includingoptimizing the canonical positions of the facial landmarks. This supervisedlearning of the transformations automatically selects the best scale todifferentiate face/non-face patterns. By combining feature maps from bothstages of the network, we achieve state-of-the-art detection accuracies onseveral public benchmarks. For real-time performance, we run the cascadednetwork only on regions of interests produced from a boosting cascade facedetector. Our detector runs at 30 FPS on a single CPU core for a VGA-resolutionimage.
translated by 谷歌翻译
3D点云中的平面检测是关键的预处理步骤,例如点云分割,语义映射和SLAM。与许多最近仅适用于有组织点云的平面检测方法相比,我们的工作针对的是无法进行二维参数化的无组织点云。我们比较了三种有效检测点云平面的方法。一种是本文提出的一种新方法,它通过从一组具有正常法线的点中抽样来产生平面假设。我们将此方法命名为Oriented Point Sampling(OPS)tocontrast,采用更传统的技术,需要对三个取向点进行采样以生成平面假设。我们还实现了基于三个非定向点的局部采样的高效平面检测方法,并将其与OPS和基于文本的3D-KHT算法进行比较,以检测来自SUN RGB-Ddataset的10,000点云的平面。
translated by 谷歌翻译
视觉注意力预测是一个经典问题,似乎在深度学习时代得到了很好的体现。然而,一个引人注目的问题是随着现有视觉数据集的快速增长的性能得分逐渐增加:现有的深度模型是否真正捕捉到人类视觉注意力的内在机制?为了解决这个问题,本文提出了一个名为VASUN的新数据集,它记录了对太阳图像的自由观察人类注意力。与以前的数据集不同,VASUN中的图像包含许多不规则的视觉模式,现有的深层模型已经隐藏了这些模式。通过对VASUN上的现有模型进行基准测试,我们发现许多最先进的深模型的性能显着下降,而许多经典的浅模型表现令人印象深刻。从这些结果中,我们发现现有深度注意力模型的显着性能提升可能来自于记忆和预测某些特定视觉模式的发生而不是学习人类视觉注意的内在机制。此外,我们还在VASUN上训练了几个基线模型,以展示预测太阳视觉注意力的可行性和关键问题。这些基线模型与建议的数据集一起,可用于从与现有视角互补的新视角重新审视视觉注意力预测的问题。
translated by 谷歌翻译
太阳眩光是导致交通事故的主要环境危害之一。每年都有许多人因与太阳眩光有关的交通事故而死亡和受伤。提供关于发生太阳光的时间和地点的准确信息将有助于防止太阳眩光造成交通事故并挽救生命。在本研究中,我们建议使用可公开访问的GoogleStreet View(GSV)全景图像来估计和预测sunglare的发生。 GSV图像具有类似于驾驶员的视线,这将使GSVimage适合于估计驾驶员对太阳眩光的可见性。最近开发的卷积神经网络算法用于分割GSV图像并预测太阳眩光上的障碍物。根据给定位置的预测障碍,我们通过估算太阳位置以及这些位置的驾驶员和太阳之间的相对角度,进一步估算了太阳伞的时间窗。我们在美国马萨诸塞州剑桥进行了一个案例研究。结果表明,该方法可以准确预测出眩光的存在。所提出的方法将为驾驶员和交通规划者提供重要的工具,以减轻太阳眩光并减少由太阳眩光引起的潜在交通事故。
translated by 谷歌翻译
In this paper we present the first large-scale scene attribute database. First, we perform crowdsourced human studies to find a taxonomy of 102 discriminative attributes. We discover attributes related to materials, surface properties , lighting, affordances, and spatial layout. Next, we build the "SUN attribute database" on top of the diverse SUN categorical database. We use crowdsourcing to annotate attributes for 14,340 images from 707 scene categories. We perform numerous experiments to study the interplay between scene attributes and scene categories. We train and evaluate attribute classifiers and then study the feasibility of attributes as an intermediate scene representation for scene classification, zero shot learning, automatic image caption-ing, semantic image search, and parsing natural images. We show that when used as features for these tasks, low dimensional scene attributes can compete with or improve on the state of the art performance. The experiments suggest that scene attributes are an effective low-dimensional feature for capturing high-level context and semantics in scenes.
translated by 谷歌翻译