在未来,人工学习代理可能会在我们的社会中变得越来越普遍。他们将在各种复杂环境中与其他学习代理人和人类进行互动,包括社会困境。我们考虑外部代理如何通过在观察学习者行为的基础上分配额外的奖励和惩罚来促进人工学习者之间的合作。我们提出了一条规则,通过考虑玩家的预期参数更新,自动学习如何创建正确的激励。使用这种学习规则导致在矩阵游戏中与高社会福利的合作,否则代理人将以高概率学习缺陷。我们表明,即使在给定数量的剧集之后关闭计划代理,在某些游戏中产生的合作结果也是稳定的,而其他游戏需要持续干预以维持相互合作。然而,即使在后一种情况下,必要的额外激励的数量也会随着时间的推移而减少。
translated by 谷歌翻译
The ability to estimate task difficulty is critical for many real-world decisions such as setting appropriate goals for ourselves or appreciating others' accomplishments. Here we give a computational account of how humans judge the difficulty of a range of physical construction tasks (e.g., moving 10 loose blocks from their initial configuration to their target configuration , such as a vertical tower) by quantifying two key factors that influence construction difficulty: physical effort and physical risk. Physical effort captures the minimal work needed to transport all objects to their final positions, and is computed using a hybrid task-and-motion planner. Physical risk corresponds to stability of the structure, and is computed using noisy physics simulations to capture the costs for precision (e.g., attention, coordination, fine motor movements) required for success. We show that the full effort-risk model captures human estimates of difficulty and construction time better than either component alone.
translated by 谷歌翻译
当音频信号包含串扰时,观察到自动语音识别(ASR)系统的显着性能下降。最近提出的解决多扬声器ASR问题的方法之一是深度聚类(DPCL)方法。将DPCL与最先进的混合声学模型相结合,我们在常用的wsj0-2mix数据集上获得了16.5%的单词错误率(WER),这是迄今为止我们所知道的最佳性能。 wsj0-2mix数据集包含模拟的串扰,其中多个扬声器的语音几乎覆盖整个话语。在更真实的ASR场景中,音频信号包含单个说话者语音的重要部分,并且仅信号的一部分包含多个竞争扬声器的语音。本文研究了在稀疏重叠的情况下应用DPCLas作为ASR预处理方法的障碍。为此,我们提出了一种数据模拟方法,与wsj0-2mix数据集密切相关,生成任意重叠率稀疏重叠的语音数据集。将DPCL应用于稀疏重叠语音的分析是完全重叠的数据集之间的重要中间步骤,如wsj0-2mix和更真实的ASR数据集,例如CHiME-5或AMI。
translated by 谷歌翻译
磁性粒子成像(MPI)数据通常使用在耗时的校准测量中获取的系统矩阵来重建。校准方法与基于模型的重建相比具有重要的优势,它可以将复杂的粒子物理以及系统缺陷纳入计算中。这种益处来自于每当扫描参数,颗粒类型或甚至颗粒环境(例如粘度或温度)改变时系统基质需要被校准的成本。减少校准时间的一种途径是在预期视场的空间位置的子集处对系统矩阵进行采样并采用系统矩阵恢复。最近的方法使用压缩感知(CS)并且实现了高达28的子采样因子,其仍然允许重建具有足够质量的MPI图像。在这项工作中,我们提出了一个带有3d-SystemMatrix恢复网络的新型框架,并演示它可以在不到一分钟的时间内恢复具有64的子采样因子的3d系统矩阵,并在系统矩阵质量,重建图像质量和性能方面优于CS。处理时间。通过重建开放访问MPIdatasets来证明我们方法的优点。该模型进一步显示能够推断不同粒子类型的系统矩阵。
translated by 谷歌翻译
尽管过去已经建立了许多用于自动驾驶的研究车辆平台,但硬件设计,源代码和经验教训尚未提供给下一代示范者。这为研究界提供了基于实际评估的结果的努力,因为建立和维护研究车辆的工程知识丢失了。在本文中,我们分析了我们将开源驱动堆栈转移到研究工具的方法。我们将硬件和软件设置放在其他演示器的上下文中,并指出了导致我们选择的硬件和软件设计的标准。具体来说,我们讨论了Apollo驱动堆栈到我们研究工具的系统布局的映射,包括与执行器的通信通过在实时硬件平台上运行的控制器和传感器设置的集成。通过我们收集的经验教训,我们鼓励其他研究小组在未来更快地设置此类系统。
translated by 谷歌翻译
强化学习通常利用数字奖励,这些奖励既有财产,又有缺点和困难。使用奖励按顺序(顺序奖励)是近年来受到更多关注的数字奖励的替代方案。在本文中,提出了一种使强化学习问题适应序数奖励的一般方法,并提出了动机。我们展示了如何通过Q学习的例子将常见的强化学习算法转换为序数变化,并介绍了将深度强化学习应用于ordinalrewards的初级深度Q网络。此外,我们对OpenAIGym框架提供的问题进行评估,表明我们的序数变体表现出的性能与许多问题的数值变化相当。我们还提供了第一个证据,即我们的序数变体能够为问题产生更好的结果,而工程设计更少,设计更简单的奖励信号。
translated by 谷歌翻译
多任务学习最近成为深度学习研究中非常活跃的领域。与单独学习单个任务相比,同时学习多个任务,从而利用相关任务的训练信号来提高各个机器学习任务的性能。相关工作在应用这个范例和本论文时表现出不同领域的各种成功。通过评估四种不同情景下的多任务学习来扩展现有的实证结果:论证挖掘,认知分割,论证成分分割和图形到音素转换。我们表明,与所有这些方案中的单任务学习相比,多任务学习确实可以提高性能,但也可能会损害性能。因此,我们研究了这种范式的成功和不太成功应用的原因,并发现数据集属性(如熵或标签清单的大小)是潜在的多任务学习成功的良好指标,并且多任务学习在以下任务特别有用。手受到数据稀疏性的影响,即缺乏训练数据。此外,在我们的实验中,多任务学习对于长输入序列特别有效。我们在所有评估的情景中都观察到了这种趋势。最后,我们开发了一个高度可配置和可扩展的序列标记框架,支持多任务学习,以进行我们的实证实验,并有助于未来研究多任务学习范例和自然语言处理。
translated by 谷歌翻译
向重症监护医生提供来自多种监测系统的大量患者信息和测量结果。人类处理这种复杂信息的有限能力阻碍了医生容易地识别并对患者恶化的早期迹象采取行动。我们使用机器学习基于具有240个患者年数据的高分辨率ICU数据库开发用于循环衰竭的早期预警系统。该自动系统预测90.0%的循环衰竭事件(患病率为3.1%),81.8%预先确定超过两小时,导致接收器操作特征曲线下面积为94.0%,精确召回曲线下面积为63.0% 。该模型在大型独立患者队列中进行了外部验证。
translated by 谷歌翻译
我们表明,3D点云的去噪可以无人监督地学习,直接来自嘈杂的3D点云数据。这是通过将学习无监督图像去噪器的新思想扩展到非结构化3D点云来实现的。无监督的图像去噪器在假设像素观察是围绕清洁像素值的分布的随机实现的假设下操作,这允许对该分布的适当学习最终收敛到正确的值。遗憾的是,这种假设对于非结构化点是无效的:3D点云受到总噪声的影响,即所有坐标中的偏差,没有可靠的像素网格。因此,观察可以实现整个清晰的三维点,这使得无监督的图像去噪器无法扩展到三维点云是不切实际的。克服这一点,我们引入一个空间先验术语,即步进收敛到最独特的最近点我们的结果表明,在给出足够的训练样例时,无监督的去噪性能类似于有干净数据的监督学习 - 我们不需要任何一对嘈杂和干净的训练数据。
translated by 谷歌翻译
自动超参数调整旨在促进非专家的机器学习应用。在文献中,为此目的应用了不同的优化方法。本文研究差分进化的性能,用于调整分类任务的监督学习算法的超参数。该实证研究涉及一系列不同的机器学习算法和具有各种特性的数据集,以比较差分进化与基于序列模型的算法配置(SMAC)(参考贝叶斯优化方法)的性能。结果表明,在调整给定的机器学习算法时,差异演化对大多数数据集执行SMAC - 特别是在以首次报告方式断开关系时。只有最严格的计算预算,SMAC才能表现得更好。在smalldatasets上,差异进化比SMAC高出19%(37%的后续破坏)。在从文献中得到的一系列代表性数据的第二次实验中,差异进化得分比SMAC高出15%(23%的失败率)。
translated by 谷歌翻译