我们提出了BERTScore,一种用于文本生成的自动评估指标。对于常见指标,\ method计算候选句中每个标记与参考中每个标记的相似性得分。然而,我们使用上下文化的BERTembeddings来计算相似度,而不是查看完全匹配。我们对几种机器翻译和图像字幕标记进行了评估,并表明BERTScore与人类判断相关的指标更好地相关,通常甚至明显优于任务特定的监督指标。
translated by 谷歌翻译
越来越多的感知系统被编码为严格的管道,其中视觉被视为预处理步骤,以向下游的高级推理的规划者提供场景的密集表示。问题是,这种范式迫使模型几乎代表场景的每个方面,即使它与手头的任务无关。在这项工作中,我们通过引入视觉模型来改变这种范式,这些视觉模型的特征表征取决于代理人目标的嵌入表示。这允许模型构建专门用于帮助实现该目标的场景描述。我们发现这导致模型学习速度更快,基本上更具参数效率,并且比我们领域中现有的注意力机制更强大。我们的实验是在模拟的机器人项目检索问题上进行的,并通过模拟学习以完全端到端的方式进行训练。
translated by 谷歌翻译
我们提出了一种将自然语言指令和原始观测映射到四轴飞行器无人机的连续控制的方法。我们的模型预测可解释的位置 - 访问分布,指示代理在执行期间应该去哪里以及应该停止的位置,并使用预测的分布来选择要执行的动作。这种两步模型分解允许使用监督学习和模仿学习的组合进行简单有效的训练。我们使用平面无人机模拟器评估我们的方法,并且通过两种最先进的指令跟踪方法证明绝对任务完成精度提高了16.85%。
translated by 谷歌翻译
我们引入了一个新的数据集,用于语言和视觉的联合推理。该数据包含107,296个与网页照片配对的英文句子示例。任务是确定关于照片的自然语言标题是否真实。我们提出了一种方法,用于查找视觉上复杂的图像和众包语言多样化的字幕。定性分析表明,数据需要对对象之间的数量,比较和关系进行复杂的推理。对最先进的视觉推理方法的评估表明,数据是当前方法的挑战。
translated by 谷歌翻译
我们提出了一种学习方法,用于将依赖于上下文的顺序指令映射到动作。我们通过基于注意力的模型来解决话语和状态依赖性的问题,该模型同时考虑了交互的历史和世界的状态。为了从开始和目标状态进行训练而不进行示范,我们提出了SESTRA,这是一种学习算法,可以获得单步奖励观察和即时预期向前最大化的优势。我们对SCONE域进行评估,并显示跨域使用高级逻辑表示的绝对精度提高9.8%-25.3%。
translated by 谷歌翻译
由于并行化状态计算的内在困难,常见的复现神经架构规模很小。在这项工作中,我们提出了简单循环单元(SRU),这是一种轻微的循环单元,可以平衡模型容量和可扩展性。 SRU旨在提供表达性重现,实现高度并行化的实现,并且需要仔细初始化以促进深度模型的培训。我们证明了SRU在多个NLP任务上的有效性。 SRU在分类和问答数据集上实现了5--9倍加速overcuDNN优化的LSTM,并且提供了比LSTM和卷积模型更强的结果。通过将SRU结合到架构中,我们还通过Transformer模型获得了比BLEU改进0.7 BLEU的平均值。
translated by 谷歌翻译
We propose to directly map raw visual observations and text input to actionsfor instruction execution. While existing approaches assume access tostructured environment representations or use a pipeline of separately trainedmodels, we learn a single model to jointly reason about linguistic and visualinput. We use reinforcement learning in a contextual bandit setting to train aneural network agent. To guide the agent's exploration, we use reward shapingwith different forms of supervision. Our approach does not require intermediaterepresentations, planning procedures, or training different models. We evaluatein a simulated environment, and show significant improvements over supervisedlearning and common reinforcement learning variants.
translated by 谷歌翻译
数据到文本生成可以在概念上分为两部分:排序和构造信息(计划),以及生成描述信息(实现)的流利语言。现代神经生成系统将这两个步骤分配到单个端到端可区分系统中。我们建议将生成过程分解为忠实于输入的符号文本规划阶段,然后是仅关注实现的神经生成阶段。为了训练计划到文本生成器,我们提出了一种将参考文本与其相应的文本计划进行匹配的方法。在推理时间,我们描述了一种为新输入选择高质量文本计划的方法。我们在WebNLG基准测试中实施和评估我们的方法。我们的研究结果表明,文本计划与神经实现的解耦提高了系统的可靠性和充分性,同时保持了流畅的输出。我们观察到BLEU分数和人工评估方面的改进。我们的方法的另一个好处是能够输出相同输入的各种实现,为明确控制生成的文本结构铺平了道路。
translated by 谷歌翻译
分布式学习是深度学习模型大规模培训的核心。但是,他们面临安全威胁,拜占庭参与者可以中断或控制学习过程。以前的攻击模型及其相应的防御措施假定流氓参与者是(a)无所不知(知道所有其他参与者的数据),以及(b)引入对参数的大变化。我们表明,小而精心设计的变化是充足的,导致对分布式学习的一种新的非全知性攻击,并未被所有现有的防御所检测。我们演示了我们的攻击方法,不仅用于防止收敛,还用于重新利用模型行为(后门)。我们发现,20%的腐败工人足以将CIFAR10模型的准确度降低50%,并且在不损害其准确性的情况下将后门引入到MNIST和CIFAR10模型中
translated by 谷歌翻译
人工神经网络最近被证明是高度纠缠的多体量子态的有效表示。在实际应用中,神经网络状态继承了变分蒙特卡罗中使用的数值方案,最值得注意的是使用马尔可夫链蒙特卡罗(MCMC)采样来估计量子期望。 MCMC中的局部随机抽样以两种方式限制了神经网络的潜在优势:(i)其本征计算成本对网络的宽度和深度设置了严格的实际限制,因此限制了它们的表达能力; (ii)难以生成精确和不相关的样本,可能导致对可观察量的估计与其真实价值相差甚远。受机器学习中使用的最先进的生成模型的启发,我们提出了支持高效和精确抽样的专用神经网络架构,完全避免了对马尔可夫链采样的需求。我们展示了我们用于二维相互作用自旋模型的方法,展示了在较大系统尺寸上获得准确结果的能力,这些结构目前可用于神经网络量子态。
translated by 谷歌翻译