在参数空间中探索的黑盒优化器经常被证明可以表现出更加复杂的动作空间探索方法,这些方法专门针对强化学习问题而开发。我们仔细研究这些黑盒方法,以确定它们比动作空间探索方法和它们优越的方法更糟糕的情况。通过简单的理论分析,证明了参数空间探索的复杂性取决于参数空间的维数,而动作空间探索的复杂性则取决于动作空间的维数和地平线长度。通过比较几个模型问题的简单探索方法,包括连续控制中的语境强盗,线性回归和强化学习,也可以凭经验证明这一点。
translated by 谷歌翻译
随着机器人和其他智能代理从简单的环境和问题转移到更复杂的非结构化设置,手动编程他们的行为变得越来越具有挑战性和昂贵。通常,教师更容易展示所需的行为,而不是尝试手动启动它。这种从示范中学习的过程,以及算法的研究,被称为模仿学习。这项工作提供了模仿学习的介绍。它涵盖了基本的假设,方法以及它们之间的关系;为解决问题而开发的丰富算法集;关于有效工具和实施的建议。我们打算将本文服务于两个受众。首先,我们希望机器学习专家能够熟悉模仿学习的挑战,尤其是机器人技术的挑战,以及它与更熟悉的框架(如统计监督学习理论和强化学习)之间有趣的理论和实践区别。其次,我们希望应用人工智能中的神经病学家和专家对模仿学习的框架和工具有广泛的了解。
translated by 谷歌翻译
Autonomous navigation for large Unmanned Aerial Vehicles (UAVs) is fairlystraight-forward, as expensive sensors and monitoring devices can be employed.In contrast, obstacle avoidance remains a challenging task for Micro AerialVehicles (MAVs) which operate at low altitude in cluttered environments. Unlikelarge vehicles, MAVs can only carry very light sensors, such as cameras, makingautonomous navigation through obstacles much more challenging. In this paper,we describe a system that navigates a small quadrotor helicopter autonomouslyat low altitude through natural forest environments. Using only a single cheapcamera to perceive the environment, we are able to maintain a constant velocityof up to 1.5m/s. Given a small set of human pilot demonstrations, we use recentstate-of-the-art imitation learning techniques to train a controller that canavoid trees by adapting the MAVs heading. We demonstrate the performance of oursystem in a more controlled environment indoors, and in real natural forestenvironments outdoors.
translated by 谷歌翻译
假设我们希望从“用户喜欢项目p或项目q?”形式的配对比较来估计用户的偏好向量w,其中用户和项目都嵌入在低维欧几里德空间中,其距离反映了用户和项目的相似性。这些观察结果出现在许多设置中,包括心理测量学和心理学实验,搜索任务,广告和推荐系统。在这样的任务中,查询可能非常恶劣并且受到不同级别的响应噪声的影响;因此,我们的目标是根据先前比较的结​​果选择最具信息量的对。我们提供了关于贪婪信息最大化在这种情况下的益处和挑战的新理论见解,并开发了最大化信息增益下限的双重策略,并且分别简单地分析和计算。我们使用来自区域世界数据集的模拟响应来验证我们的策略,通过它们与贪婪信息最大化相似的性能,以及它们优越的偏好估计,最先进的选择方法以及随机查询。
translated by 谷歌翻译
我们提出了一种新的网络架构,用于基于标准自旋霍尔磁隧道结的自旋神经元,允许它们同时并行地计算多个关键卷积神经网络功能,从而节省空间和时间。整流线性单元传递函数和局部汇集函数的近似值与卷积运算本身同时计算。在MNIST数据集上执行概念验证模拟,对于所有卷积,激活和池化操作的组合,以低于1 nJ的成本实现高达98%的准确度。模拟对热噪声具有显着的鲁棒性,即使在非常小的磁性层下也能很好地运行。
translated by 谷歌翻译
有大量复杂的动态系统对我们的日常生活和社会至关重要但却难以理解,即使今天有可能感知和收集大量的实验数据,它们也是如此复杂和不断发展,以至于它们的动力不太可能将被详细了解。然而,通过计算工具,我们可以尝试最好地利用当前技术和可用数据。我们认为,最有用的模型将在有限的知识或多个假设的背景下考虑系统复杂性和可用数据之间的不平衡。生物细胞的复杂系统是在系统生物学中研究的这种系统的一个主要例子,并且激发了本文提出的方法。它们是作为DARPA快速威胁评估(RTA)计划的一部分而开发的,该计划涉及对影响人体细胞的毒素或药物的作用机制(MoA)的理解。结合使用高斯过程和抽象网络建模,我们提出了三种基本的不同的基于机器学习的方法来学习因果关系,并从高维时间序列数据中合成因果网络。虽然其他类型的数据可用并且已经在我们的RTA工作中进行了分析和整合,但我们关注的是本文中从高通量微阵列实验获得的转录组学(即基因表达)数据,以说明我们的算法的能力和局限性。我们的算法使得不同但总体上相对较少的生物学假设,因此它们适用于其他类型的生物数据,甚至可能适用于其他复杂系统,这些系统具有高维度但不具有生物学性质。
translated by 谷歌翻译
The application of deep learning to early detection and automatedclassification of Alzheimer's disease (AD) has recently gained considerableattention as rapid progress in neuroimaging techniques has generatedlarge-scale multimodal neuroimaging data. Here we systematically reviewedpublications, where deep learning approaches and neuroimaging data were usedfor diagnostic classification of AD. A PubMed and google scholar search wasperformed to find deep learning papers for AD published between January 2013and July 2018, which were reviewed, evaluated, and classified by algorithms andneuroimaging types, and findings were summarized. The diagnostic classificationof AD using deep learning approaches and neuroimaging data was examined in 16studies. The approach to combine traditional machine learning forclassification and stacked auto-encoder (SAE) for feature selection hasproduced accuracies of up to 98.8% for AD classification and 83.7% forprediction of conversion from mild cognitive impairment (MCI), a prodromalstage of AD, to AD. Deep learning approaches such as convolutional neuralnetwork (CNN) or recurrent neural network (RNN) using neuroimaging data withoutpreprocessing for feature selection have yielded accuracies of up to 96.0% forAD classification and 84.2% for MCI conversion prediction. Furthermore, thebest classification performance was obtained when multimodal neuroimaging dataas well as fluid biomarkers were integrated. Deep learning approaches withoutpreprocessing neuroimaging data for feature selection, a major bottleneck oftraditional machining learning in high-dimensional data, continue to improvetheir performance and to show great promise in the diagnostic classification ofAD using multimodal neuroimaging data.
translated by 谷歌翻译
大多数场景图生成器使用两级流水线来检测视觉关系:第一级检测实体,第二级使用softmax分布预测每个实体对的预测。我们发现,仅通过谓词类的交叉熵损失训练的这种管道遭受两个常见错误。当模型混淆同一类型实体的多个实例(例如多个杯子)时,会发生第一个实体实例混淆。第二个近亲关系歧义出现在多个主谓词 - 宾语三元组与同一谓词紧密相邻时,并且该模型努力推断出正确的主语 - 对象对(例如错误配对的音乐家及其乐器)。我们提出了一套对比损失公式,它们专门针对场景图生成问题中的这些类型的错误,统称为GraphicalContrastive Lossses。这些损失明确迫使模型通过特定于每种混淆的边际约束消除相关和不相关实例的歧义。我们使用上述管道进一步构建一个称为RelDN的关系检测器,以证明我们提出的损失的功效。我们的模型在测试集上优于4.7 \%(16.5%相对)的OpenImages RelationshipDetection Challenge的获胜方法。我们还显示了对Visual Genome和VisualRelationship Detection数据集中最好的先前方法的改进结果。
translated by 谷歌翻译
已经证明,学习辅助任务可以改善主要任务的概括。然而,这是以手动标记附加任务为代价的,这些任务可能对主要任务有用,也可能没有用。我们提出了一种新方法,可以自动学习辅助任务的标签,这样就可以改进任何监督学习任务,而无需访问其他数据。该方法是训练两个神经网络:用于预测辅助标签的标签生成网络,以及用于训练辅助任务的主要任务的多任务网络。标签生成网络的损失包含了多任务网络的性能,因此两个网络之间的这种交互可以被视为元学习的一种形式。我们表明,我们提出的方法Meta AuXiliary Learning(MAXL)在7个图像数据集上的表现优于单一任务,而不需要额外的辅助标签。我们还展示了MAXLout执行其他几个基线来生成辅助标签,并且与人工定义的辅助标签相比,它们具有竞争力。我们方法的这种监督性质导致了一种朝着自动化概括的有希望的新方向。源代码可从\ url {https://github.com/lorenmt/maxl}获得。
translated by 谷歌翻译
高保真度计算模拟的使用有望实现高通量假设检验和癌症疗法的优化。然而,增加现实主义是以增加计算需求为代价的。本文探讨了使用替代辅助进化算法来优化多细胞模拟器PhysiCell对治疗性化合物肿瘤细胞的靶向递送。研究了高斯过程模型和多层感知器神经网络特征模型的使用。我们发现进化算法能够在基于试剂的模拟中有效地探索生物物理性质的参数空间,从而在经过一段时间的模拟处理后最小化所得的癌细胞数量。发现两种模型辅助算法都优于标准的进化算法,证明了它们能够在最小的评估预算内执行更有效的搜索。
translated by 谷歌翻译