已经证明，学习辅助任务可以改善主要任务的概括。然而，这是以手动标记附加任务为代价的，这些任务可能对主要任务有用，也可能没有用。我们提出了一种新方法，可以自动学习辅助任务的标签，这样就可以改进任何监督学习任务，而无需访问其他数据。该方法是训练两个神经网络：用于预测辅助标签的标签生成网络，以及用于训练辅助任务的主要任务的多任务网络。标签生成网络的损失包含了多任务网络的性能，因此两个网络之间的这种交互可以被视为元学习的一种形式。我们表明，我们提出的方法Meta AuXiliary Learning（MAXL）在7个图像数据集上的表现优于单一任务，而不需要额外的辅助标签。我们还展示了MAXLout执行其他几个基线来生成辅助标签，并且与人工定义的辅助标签相比，它们具有竞争力。我们方法的这种监督性质导致了一种朝着自动化概括的有希望的新方向。源代码可从\ url {https://github.com/lorenmt/maxl}获得。
translated by 谷歌翻译
最近关于集合上函数表示的工作考虑了在潜在空间中使用求和来强制置换不变性。特别是，有人推测，随着所考虑的集合的基数增加，这个潜在空间的维度可能会保持不变。但是，我们证明导致这种猜想的分析需要高度不连续的映射，并认为这仅仅是有限的实际用途。 。在这种观察的启发下，我们证明了通过连续映射（例如由神经网络或高斯过程提供）实现该模型实际上对该空间的维度施加了约束。用于设定输入的实际通用函数表示通常至少具有输入元素的最大数量的大小的潜在维度来实现。
translated by 谷歌翻译
关于新闻诚信的主题，目前准确，公正的新闻报道状况在2016年美国总统选举中引起了很多争论。为了追求新闻文本的计算评估，媒体机构对来源的陈述（归因）提供了一个共同的证据来运作。在本文中，我们开发了一种方法来比较新闻文本属性的党派特征，并应用它来描述候选人希拉里克林顿和现任总统唐纳德特朗普的陈述中的差异。在这样做的过程中，我们提供了一个训练模型，该模型经过600多个内部注释归因，以确定每个候选人的精确度> 88％。最后，我们将讨论其未来研究表现的见解。
translated by 谷歌翻译
发现和利用环境中的因果结构对于智能代理来说是一项艰巨的挑战。在这里，我们探讨通过元强化学习是否可以出现因果反应。我们通过无模型强化学习训练一个经常性的网络来解决一系列问题，每个问题都包含因果结构。我们发现受过训练的代理人可以在新情况下进行因果推理以获得奖励。代理人可以选择信息干预，从观察数据中得出因果推论，并进行反事实预测。虽然也存在已建立的正式因果推理算法，但在本文中我们表明这种推理可以从无模型强化学习中获得，并且表明复杂环境中的因果推理可能会受益于此处提供的更多端到端的基于学习的方法。通过为代理人提供执行和解释实验的能力，这项工作还为强化学习中的结构探索提供了新的策略。
translated by 谷歌翻译
表征行为的神经编码仍然是许多研究领域中的一项具有挑战性的任务，部分原因是由于大脑活动的复杂和嘈杂的时空动态。对这些神经编码进行建模的一个重要方面是将强大的，行为相关的信号与背景活动分离，后者通常包含来自无关脑过程的信号和来自先前行为事件的信息。为了实现这一分离，我们开发了一个双分支状态空间变分自动编码器（SSVAE）模型，以分别描述瞬时诱发前景信号和依赖于上下文的背景信号。我们使用平滑的高斯混合模型模拟自发性语言诱发的大脑动力学。通过应用所提出的SSVAE模型来跟踪一个参与者多个小时内的ECoG动态，我们发现该模型可以比其他潜在因子推断算法更准确地预测语音相关动态。我们的结果证明，单独建模瞬时语音诱发和慢速上下文依赖的大脑动力学可以增强跟踪性能，这对于各种神经科学子学科的高级神经编码和解码模型的发展具有重要意义。
translated by 谷歌翻译
我们提出了ParaBank，这是一个大规模的英语复述数据集，在数量和质量上都超过了前所未有的工作量。按照ParaNMT的方法，使用捷克语 - 英语神经机器翻译（NMT）系统来生成英语参考语句的新颖翻译。然而，通过在NMT解码过程中添加词汇约束，我们能够为每个源句产生多个高质量的句子释义，产生一个英语词汇表资源，其中包含超过40亿个生成的令牌并表现出更大的词汇多样性。利用人类的判断，我们还证明了帕拉班克的释义在语义相似性和流畅性方面都优于ParaNMT。最后，我们使用ParaBank来训练单语NMT模型，同时支持用于句子重写任务的词法约束解码。
translated by 谷歌翻译
利用新数据源是加快材料设计和发现步伐的关键一步。为了补充由历史，实验和计算数据驱动的综合计划的进步，我们提出了一种将科学文献与综合见解联系起来的自动化方法。从自然语言文本开始，我们应用来自语言模型的单词嵌入，这些嵌入被输入到命名实体识别模型中，在该模型上训练条件变分自动编码器以生成任意材料的合成。我们通过预测两种钙钛矿材料的前体来展示这种技术的潜力，仅使用他们首次报道的合成之前十年内发表的训练数据。我们证明该模型学习了与合成相关的属性相对应的材料的表示，并且该模型的行为补充了现有的热力学知识。最后，我们应用该模型对所提出的钙钛矿化合物进行合成性筛选。
translated by 谷歌翻译
行动预期，意图预测和主动行为是交互式场景中自动驾驶策略的所有特征。然而，派拉蒙正在确保道路上的安全 - 这样做的一个关键挑战是解决人类驾驶员行为的不确定性，而不会过度影响计划员的表现。本文介绍了在自主车辆控制堆栈内操作的最小介入安全控制器，其作用是确保与外部控制（例如，人为驱动）对应物的无碰撞交互。我们利用可达性分析来构建实时（100Hz）控制器，该控制器具有以下双重作用：（1）使用模型预测控制从更高级别的计划算法跟踪输入轨迹，以及（2）通过保持无碰撞的可用性来确保安全性逃避机动作为持久约束，无论其他任何未来行动如何。全尺寸线控转向平台用于进行交通测量实验，其中两辆车最初并排，必须在有限的时间和距离内交换车道，模拟汽车在高速公路上/下车时的合并。我们证明，通过我们的控制堆栈，自动驾驶汽车可以避免碰撞，即使当另一辆汽车违背规划人员的期望并采取危险行动时，无论是不小心还是意图碰撞，否则将最小偏离计划轨迹到所需的范围保持安全。
translated by 谷歌翻译
在这里，我们探索了一种新的多智能体强化学习算法框架，称为Malthusian强化学习，它扩展了自我发挥，包括与健康相关的种群规模动态，推动持续创新。在Malthusian RL中，亚种群平均回报的增加推动了其规模的增加就像托马斯·马尔萨斯在1798年所说的那样，工业前收入水平与人口增长之间存在关联。马尔萨斯强化学习利用了人口规模不断扩大和缩小所带来的竞争压力，推动代理人探索他们无法达到的国家和政策空间。此外，在专业化和分工的潜在收益的环境中，我们表明，马尔萨斯强化学习比利用基于自我游戏的算法更有利于利用这种协同作用。
translated by 谷歌翻译
在多实例学习的背景下，我们分析单实例（SI）学习目标。我们表明，当数据不平衡且分类器的家庭足够丰富时，SI方法是一种有用的学习算法。特别地，我们表明，较大的数据不平衡，即通常被认为是负面的质量，实际上意味着该算法对于袋中物体的统计依赖性具有更好的弹性。此外，我们的结果揭示了SI方法在线性分类器中的一些已知问题，并且我们表明这些问题在神经网络的设置中可能发生很大。我们在合成数据集上展示了我们的结果，并在COCO数据集上展示了从图片派生的弱图像级别标签的补丁分类问题。
translated by 谷歌翻译