策略梯度方法是强大的强化学习算法,并且已被证明可以解决许多复杂的任务。然而,这些方法也是数据无效的,受到高方差梯度估计的影响,并且经常陷入局部最优。这项工作通过将最近改进的非政策数据的重用和参数空间的探索与确定性行为政策相结合来解决这些弱点。由此产生的目标适用于标准的神经网络优化策略,如随机梯度下降或随机梯度哈密顿蒙特卡罗。通过重要性抽样对以前的推出进行大量提高数据效率,而随机优化方案有助于逃避局部最优。我们评估了一系列连续控制基准测试任务的建议方法。结果表明,该算法能够使用比标准策略梯度方法更少的系统交互成功可靠地学习解决方案。
translated by 谷歌翻译
机器学习的许多实际应用需要数据有效的黑盒功能优化,例如,识别超参数或过程设置。然而,容易获得的算法通常被设计为通用优化器,因此对于特定任务而言通常是次优的。因此,提出了一种学习优化器的方法,该优化器自动适应于给定类别的目标函数,例如,在sim-to-realapplications的上下文中。所提出的方法不是从头开始学习优化,而是基于着名的贝叶斯优化框架。只有采集函数(AF)被学习的神经网络所取代,因此得到的算法仍然能够利用高斯过程的经过验证的广义化能力。我们在几个模拟以及模拟到真实传输任务上进行实验。结果表明,学习的优化器(1)在一般函数类上始终表现优于或与已知AF相媲美,并且(2)可以使用廉价模拟自动识别函数类的结构属性并转换该知识以快速适应实际硬件任务,从而显着优于现有的与问题无关的AF。
translated by 谷歌翻译
Knowledge bases contribute to many web search and mining tasks, yet they are often incomplete. To add missing facts to a given knowledge base, various embedding models have been proposed in the recent literature. Perhaps surprisingly, relatively simple models with limited expressiveness often performed remarkably well under today's most commonly used evaluation protocols. In this paper, we explore whether recent models work well for knowledge base completion and argue that the current evaluation protocols are more suited for question answering rather than knowledge base completion. We show that when focusing on a different prediction task for evaluating knowledge base completion, the performance of current embedding models is unsatisfactory even on datasets previously thought to be too easy. This is especially true when embedding models are compared against a simple rule-based baseline. This work indicates the need for more research into the embedding models and evaluation protocols for knowledge base completion.
translated by 谷歌翻译
帕金森病(PD)的特征是运动功能紊乱,例如步态冻结,休息震颤,僵硬,以及减慢和低血压运动。多巴胺能药物治疗可以减轻这些运动症状,但是,副作用可能包括不受控制的运动,称为运动障碍。在本文中,提出了一种自动PD电机状态评估的生活条件,它是在腕戴式传感器中使用加速度计。特别地,应用卷积神经网络(CNN)的集合来捕获日常生活活动的大的可变性并且克服由于患者间变异性导致的训练和测试患者之间的不同。此外,应用类激活图(CAM),CNN的avisualization技术来提供结果的解释。
translated by 谷歌翻译
基于图像的器官形态学分析是医学成像计算的关键任务。已经提出了几种方法用于形态变化的定量评估,并且它们已被广泛用于分析衰老,疾病和其他因素在器官形态学中的影响。在这项工作中,我们提出了一个深度神经网络,用于预测腹部形状的糖尿病。网络直接在原始点云上运行,不需要网格处理或形状对齐。不依赖于手工制作的形状描述符,而是在网络的端到端训练阶段学习最佳表示。为了比较,我们将最先进的形状描述符BrainPrint扩展到AbdomenPrint。我们的结果表明,网络学习形状表示,比传统表征更好地区分健康和糖尿病患者。
translated by 谷歌翻译
主动推理是一个雄心勃勃的理论,在单一原则的标题下对待自主因素的感知,推理和反应选择。它建议对许多认知现象(包括意识)进行生物学上合理的解释。在主动推理中,行动选择是由目标函数驱动的,该函数评估可能的未来行动,关于当前的,推断的关于世界的信念。其核心的主动推断独立于外在奖励,导致例如不同环境或代理形态的高水平稳健性。在文献中,共享这种独立性的范式已经在内在动机的概念下进行了总结。一般而言,与主动推理相反,这些动机模型并非对特定推理和动作选择机制的承诺。在本文中,我们研究了主动推理的推理和动作选择机制是否也可以被替代用于最初包含的内在动机。感知行为明确地将推理和行动选择与环境和代理记忆联系起来,因此被用作我们分析的基础。我们重建了主动推理方法,将原始配方定位在其中,并且可以使用其他内在动机,同时保持许多原始特征的完整性。此外,我们通过形式主义说明了连通性的强化学习。主动推理研究可以从替代内在动机引起的动态比较中获益。对内在动机的研究可以从另外的方式中获益,以实现内在动机的代理,这些代理也具有积极推理的生物学合理性。
translated by 谷歌翻译
焦点深度(DFF)是计算机视觉中经典的不适定逆问题之一。大多数方法基于表现出最大锐度的焦点设置来恢复每个像素处的深度。然而,如何可靠地估计锐度水平并不明显,特别是在低纹理区域。在本文中,我们提出“深度焦点深度(DDFF)”作为此问题的第一个端到端学习方法。我们面临的主要挑战之一是深度神经网络的数据。为了获得具有相应地基深度的大量焦点堆栈,我们建议使用具有共校准RGB-D传感器的光场相机。这允许您以数字方式创建不同大小的焦点堆栈。与现有的基准测试相比,我们的数据集大25倍,因此可以使用机器学习来解决这个反问题。我们将我们的结果与最先进的DFF方法进行比较,我们还分析了几个关键深层架构组件的效果。这些实验表明,我们提出的方法“DDFFNet”在所有场景中都能达到最先进的性能,与传统的DFF方法相比,深度误差减少了75%以上。
translated by 谷歌翻译
Significant advances have been made towards building accurate automaticsegmentation systems for a variety of biomedical applications using machinelearning. However, the performance of these systems often degrades when theyare applied on new data that differ from the training data, for example, due tovariations in imaging protocols. Manually annotating new data for each testdomain is not a feasible solution. In this work we investigate unsuperviseddomain adaptation using adversarial neural networks to train a segmentationmethod which is more invariant to differences in the input data, and which doesnot require any annotations on the test domain. Specifically, we learndomain-invariant features by learning to counter an adversarial network, whichattempts to classify the domain of the input data by observing the activationsof the segmentation network. Furthermore, we propose a multi-connected domaindiscriminator for improved adversarial training. Our system is evaluated usingtwo MR databases of subjects with traumatic brain injuries, acquired usingdifferent scanners and imaging protocols. Using our unsupervised approach, weobtain segmentation accuracies which are close to the upper bound of superviseddomain adaptation.
translated by 谷歌翻译
我们介绍Scratchy--一种模块化,轻便的机器人,专为低预算竞争考勤而设计。它的底座主要由标准的4040铝合金轮毂构成,机器人由无刷直流电机上的四个麦克纳姆轮驱动。结合激光测距仪,我们使用估计的测距 - 由编码器计算 - 用于使用粒子滤波器创建地图。 RGB-Dcamera用于物体检测和姿势估计。此外,还可以选择使用6自由度手臂来抓取估计姿势的物体,通常用于操纵任务。机器人可以在不到一个小时的时间内组装成两个手提行李或一个更大的行李箱。因此,它为参加欧洲机器人联盟或RoboCup等机器人比赛的学生团队提供了巨大的优势。因此,这可以保证参与所需的资金,这通常是一个难以克服的障碍,一个很大的障碍。该软件和其他硬件描述可在以下网址获得:https://github.com/homer-robotics/scratchy。
translated by 谷歌翻译
互联网的非索引部分(Darknet)已成为合法和非法匿名活动的避风港。鉴于这些网络的规模,可靠地监控其活动必然依赖于自动工具,尤其是NLP工具。然而,人们对通过Darknet传达的特征文本以及这个领域的NLP工具如何做得很少知之甚少。本文解决了这一差距,并对暗网中合法和非法文本的特征进行了深入调查,并将其与具有类似内容的清晰网站进行比较,作为控制条件。以药物相关网站为测试案例,我们发现销售合法和非法药物的文本具有多种语言特征,可以区分彼此,以及控制条件,其中包括POS标签的分布,以及其命名实体的覆盖范围。在维基百科。
translated by 谷歌翻译