近年来,深度强化学习(RL)算法取得了长足的进步。一个重要的剩余挑战是能够快速将技能转化为新任务,并将现有技能与新获得的技能相结合。在通过组合技能解决任务的领域中,这种能力有望大幅降低深度RL算法的数据要求,从而提高其适用性。最近的工作已经研究了以行动 - 价值函数的形式表现出行为的方式。我们分析这些方法以突出它们的优势和弱点,并指出每种方法都容易出现性能不佳的情况。为了进行这种分析,我们将广义策略改进扩展到最大熵框架,并介绍了在连续动作空间中实现后继特征的实际方法。然后我们提出了一种新方法,原则上可以恢复最佳的policyduring转移。该方法通过明确地学习策略之间的(折扣的,未来的)差异来工作。我们在表格案例中研究了这种方法,并提出了一种适用于多维连续动作空间的可扩展变体。我们将我们的方法与现有的方法进行比较,讨论一系列具有组成结构的非平凡连续控制问题,并且尽管不需要同时观察所有任务奖励,但仍能在质量上更好地表现。
translated by 谷歌翻译
强化学习中的转移是指概念不仅应发生在任务中,还应发生在任务之间。我们提出了转移框架,用于奖励函数改变的场景,但环境的动态保持不变。我们的方法依赖于两个关键思想:“后继特征”,一种将环境动态与奖励分离的价值函数表示,以及“广义政策改进”,即动态规划的政策改进操作的概括,它考虑一组政策而不是单一政策。 。总而言之,这两个想法导致了一种方法,可以与强化学习框架无缝集成,并允许跨任务自由交换信息。即使在任何学习过程之前,所提出的方法也为转移的政策提供了保证。我们推导出两个定理,将我们的方法设置在坚实的理论基础和现有的实验中,表明它成功地促进了实践中的转移,在一系列导航任务中明显优于替代方法。并控制模拟机器人手臂。
translated by 谷歌翻译
我们将深度Q学习成功的思想适应于连续行动领域。我们提出了一个演员评论家,无模型算法基于确定性政策梯度,可以在连续作用空间上运作。使用相同的学习算法,网络架构和超参数,我们的算法可以有力地解决20多个模拟物理任务,包括经典问题,如推车摆动,灵巧操作,腿式运动和汽车驾驶。我们的算法能够找到性能与计划算法所发现的竞争对手的策略,这些策略可以完全访问域及其衍生物的动态。我们进一步证明,对于许多任务,算法可以直接从端到端学习策略:原始像素输入。
translated by 谷歌翻译
我们描述了一种配备好奇心算法(CA)的化学机器人助手,可以有效地探索复杂的化学系统canexhibit状态。 CA机器人旨在以开放式方式探索配方,没有明确的优化目标。通过将CA机器人应用于自行推进的多组分水包油滴的研究,我们能够观察到与随机参数搜索相比可能具有更多种类的液滴行为并给出相同的预算。我们证明了CA机器人能够发现液滴突然且高度特异性地响应微小的温度变化。鉴定了六种自推进液滴运动模式,并使用包括NMR在内的各种技术探测时间 - 温度相位图进行分类。这项工作说明了目标免费搜索可以显着提高不可预测的观察率,从而导致具有潜在应用信息化学的新发现。
translated by 谷歌翻译
青光眼是世界范围内可预防,不可逆转的失明的主要原因。这种疾病可以保持无症状直至严重,估计有50%-90%的青光眼患者仍未确诊。因此,建议对青光眼筛查进行早期检测和治疗。检测青光眼的一种经济有效的工具可以扩大医疗保健对更大患者群体的访问,但目前还没有这种工具。我们使用5833幅图像的回顾性数据集训练深度学习(DL)算法,评估可升级性,青光眼视神经乳头(ONH)特征和可逆性青光眼风险。使用2个单独的数据集验证所得算法。对于可参考的青光眼风险,该算法在验证数据集“A”中具有0.940(95%CI,0.922-0.955)的AUC(1,205个图像,1个图像/患者; 19%可参考其中图像由研究员培训的青光眼专家小组裁定,并在验证数据集“B”中分析0.858(95%CI,0.836-0.878)(来自9,643名患者的17,593张图像; 9.2%的图像来自亚特兰大退伍军人事务部眼科诊所糖尿病视网膜电视检查程序使用临床转诊决定作为参考标准)。此外,我们发现垂直杯与椎间盘比> = 0.7,神经视网膜边缘,视网膜神经纤维层缺损和裸露的环形血管的存在对青光眼专家和算法的青光眼风险评估贡献最大。对于青光眼ONH特征,算法AUC介于0.608-0.977之间。 DL算法对10名年级学生中的6名(包括3名青光眼专家中的2名)具有明显更高的敏感性,相对于所有评分者具有相当或更高的特异性。仅在眼底图像上训练的DL算法可以以更高的灵敏度和对眼睛护理提供者的可比特异性来检测可参考的青光眼风险。
translated by 谷歌翻译
预测未来的临床事件,如死亡,是一项重要的任务,可帮助医生指导适当的行动。神经网络具有通过学习来自大型数据集的模式来协助与临床成像相关的医学预测任务的承诺。在预测医学成像的复杂诊断方面取得了重大进展[1-5]。因此,预测未来事件是这些努力的自然但相对未开发的扩展。此外,神经网络尚未大规模应用于医学视频,例如心脏超声(超声心动图)。这里有一个大型数据集,即723,754个临床获得的超声心动图视频(约4500万个图像)与27,028名患者的纵向随访数据相关联,可用于训练深度神经网络,以准确预测1年生存率。我们还证明,通过从电子健康记录中添加高度预测的临床变量,可以进一步提高预测准确性。最后,在一个不知情的独立测试集中,训练的神经网络在区分1年生存率方面比两位专家心脏病专家更准确。因此,这些结果突出了神经网络的潜力,为临床图像解释增加了新的预测能力。
translated by 谷歌翻译
我们提出了一种有效的端到端卷积神经网络架构AclNet,用于音频分类。通过我们的数据增强和规范化培训,我们在ESC-50语料库上实现了最先进的性能,准确度为85:65%。我们的网络允许配置,以便大大减少内存和计算要求,并提供准确性和复杂性的权衡分析。与现有解决方案相比,该分析显示出高精度,显着降低了计算复杂度。例如,仅具有155k参数和每秒49:3百万乘以的配置为81:75%,超过人类精度81:3%。这种提高的效率可以实现节能平台的始终推断。
translated by 谷歌翻译
深度学习算法已被用于检测具有专家级准确度的糖尿病视网膜病变(DR)。本研究旨在验证一个这样的算法大规模临床人群,并将算法性能与人类分级者进行比较。根据DR inThailand的社区为基础的全国性筛查计划,对25,326例糖尿病患者的可分级视网膜图像进行了DR严重程度和可诱发的糖尿病性黄斑水肿(DME)的分析。由国际视网膜专家小组裁定的等级作为参考标准。在DR的不同严重程度水平上确定可接受的疾病,深度学习显着降低了假阴性率(23%),但假阳性率略高(2%)。深度学习算法可以作为DR筛选的有价值工具。
translated by 谷歌翻译
本文提出了一种神经端到端文本到语音(TTS)模型,该模型可以控制生成的语音中潜在的属性,这些属性很少在训练数据中注释,例如说话风格,重音,背景噪声和记录条件。该模型被公式化为具有两级分层潜变量的条件生成模型。第一级是acategorical变量,它表示属性组(例如干净/嘈杂)并提供可解释性。以第一级为条件的第二级是多变量高斯变量,其表征特定属性配置(例如,噪声水平,说话速率)并且能够对这些属性进行解缠结的细粒度控制。这相当于使用高斯混合模型(GMM)进行潜在分布。广泛的评估证明了其控制上述属性的能力。特别是,无论目标说话者的训练数据的质量如何,它都能够始终如一地合成高质量的清洁语音。
translated by 谷歌翻译
磁共振成像能够产生具有辐射的体积图像。尽管如此,长期收购导致令人望而却步的长寿。压缩感知(CS)可以通过减少伪像的子采样实现更快的扫描。然而,CS需要显着更高的重建计算,将当前的临床应用限制为2D / 3D或有限分辨率的动态成像。在这里,我们分析T2 Shuffling的实际限制,这是一种基于CS的四维采集,可在单次扫描中提供清晰的3D各向同性分辨率和多对比度图像。我们在单台机器上对管道的改进提供了3倍的整体重建速度,这使我们能够添加算法更改,从而提高图像质量。使用四台机器,我们通过分布式并行化实现了额外的2.1倍改进。我们的解决方案在4节点集群上将医院的重建时间缩短至90秒,从而实现临床使用。要了解扩展此应用程序的含义,请使用多个扫描仪设置来模拟运行我们的重建,这是典型的医院。
translated by 谷歌翻译