While natural systems often present collective intelligence that allows them to self-organize and adapt to changes, the equivalent is missing in most artificial systems. We explore the possibility of such a system in the context of cooperative object manipulation using mobile robots. Although conventional works demonstrate potential solutions for the problem in restricted settings, they have computational and learning difficulties. More importantly, these systems do not possess the ability to adapt when facing environmental changes. In this work, we show that by distilling a planner derived from a gradient-based soft-body physics simulator into an attention-based neural network, our multi-robot manipulation system can achieve better performance than baselines. In addition, our system also generalizes to unseen configurations during training and is able to adapt toward task completions when external turbulence and environmental changes are applied.
translated by 谷歌翻译
Finetuning language models on a collection of datasets phrased as instructions has been shown to improve model performance and generalization to unseen tasks. In this paper we explore instruction finetuning with a particular focus on (1) scaling the number of tasks, (2) scaling the model size, and (3) finetuning on chain-of-thought data. We find that instruction finetuning with the above aspects dramatically improves performance on a variety of model classes (PaLM, T5, U-PaLM), prompting setups (zero-shot, few-shot, CoT), and evaluation benchmarks (MMLU, BBH, TyDiQA, MGSM, open-ended generation). For instance, Flan-PaLM 540B instruction-finetuned on 1.8K tasks outperforms PALM 540B by a large margin (+9.4% on average). Flan-PaLM 540B achieves state-of-the-art performance on several benchmarks, such as 75.2% on five-shot MMLU. We also publicly release Flan-T5 checkpoints, which achieve strong few-shot performance even compared to much larger models, such as PaLM 62B. Overall, instruction finetuning is a general method for improving the performance and usability of pretrained language models.
translated by 谷歌翻译
使用移动操纵器来整理家庭环境，在机器人技术中提出了各种挑战，例如适应大型现实世界的环境变化，以及在人类面前的安全和强大的部署。2021年9月举行的全球竞赛，对真正的家庭环境中的整理任务进行了基准测试，重要的是，对全面的系统性能进行了测试。对于此挑战，我们开发了整个家庭服务机器人系统，该机器人系统利用数据驱动的方法来适应众多的方法在执行过程中发生的边缘案例，而不是经典的手动预编程解决方案。在本文中，我们描述了提出的机器人系统的核心成分，包括视觉识别，对象操纵和运动计划。我们的机器人系统赢得了二等奖，验证了数据驱动的机器人系统在家庭环境中移动操作的有效性和潜力。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
预处理的大语言模型（LLM）广泛用于自然语言处理（NLP）的许多子场，通常被称为具有特定任务示例的优秀少数学习者。值得注意的是，思想链（COT）提示，这是一种通过分步答案示例引发复杂的多步推理的技术，在算术和符号推理中实现了最新的表演，难以置信的System-2任务不遵循LLMS的标准缩放定律。尽管这些成功通常归因于LLM的几次学习能力，但我们表明，LLM是通过在每个答案之前简单地添加“让我们逐步思考”而成为不错的零射击推理者。实验结果表明，使用相同的单个提示模板，我们的零射击功能明显优于零摄像机LLM在不同的基准推理任务上的零摄像机表现，包括算术（Multiarith，GSM8K，Aqua-Rat，SVAMP，SVAMP），符号推理（最后一个字母，字母，字母，字母，，，，，字母，字母）（最后一个字母），硬币翻转）和其他逻辑推理任务（日期理解，跟踪洗牌对象），而没有任何手工制作的几个示例，例如通过175B参数指令gpt模型将Multiarith的准确性从17.7％提高到78.7％，GSM8K从10.4％提高到40.7％，以及另一种现成的大型模型，540B参数Palm Palm的相似改进。在非常多样化的推理任务中，这个单一提示的多功能性暗示了LLM的尚未开发和研究的基本零拍功能，这表明可以通过简单提示来提取高级，多任务的广泛认知能力。我们希望我们的工作不仅可以作为具有挑战性的推理基准的最小零击基线，而且还强调了仔细探索和分析LLM中隐藏在LLM中的巨大的零拍知识的重要性，然后在制作Finetunning数据集或少数拍摄的典范之前。
translated by 谷歌翻译
在这项工作中，我们研究了Bellman方程作为价值预测准确性的替代目标的使用。虽然Bellman方程在所有状态行动对上都是由真实值函数唯一求解的，但我们发现Bellman误差（方程式两侧之间的差异）对于值函数的准确性而言是一个差的代理。特别是，我们表明（1）由于从钟声方程的两侧取消，贝尔曼误差的幅度仅与到达真实值函数的距离相关，即使考虑了所有状态行动对，并且（2）在有限的数据制度中，可以通过无限多种次优的解决方案来完全满足钟手方程。这意味着可以最大程度地减少Bellman误差，而无需提高价值函数的准确性。我们通过一系列命题，说明性玩具示例和标准基准域中的经验分析来证明这些现象。
translated by 谷歌翻译
微调加强学习（RL）模型由于缺乏大规模的现成数据集以及不同环境之间可传递性的较高差异而变得具有挑战性。最近的工作着眼于从序列建模的角度来应对离线RL，并通过引入变压器体系结构的结果得到改进的结果。但是，当模型从头开始训练时，它会遭受缓慢的收敛速度。在本文中，我们希望利用这种强化学习作为序列建模的表述，并研究在离线RL任务（控制，游戏）上进行填充时，在其他领域（视觉，语言）上进行了预训练的序列模型的可传递性。为此，我们还提出了改善这些域之间传递的技术。结果表明，在各种环境上的收敛速度和奖励方面，表现出一致的性能，加速了3-6倍的训练，并使用Wikipedia-pretrenained and GPT2语言模型在各种任务中实现了最先进的绩效。我们希望这项工作不仅为RL利用通用序列建模技术和预训练模型的潜力带来启发，而且还激发了未来的工作，在完全不同领域的生成建模任务之间共享知识。
translated by 谷歌翻译
人类和许多动物都表现出稳健的能力来操纵不同的物体，通常与他们的身体直接和有时与工具间接地进行操作。这种灵活性可能是由物理处理的基本一致性，例如接触和力闭合。通过将工具视为我们的机构的扩展来启发，我们提出了工具 - 作为实施例（TAE），用于处理同一表示空间中的手动对象和工具对象交互的基于工具的操作策略的参数化。结果是单一策略，可以在机器人上递归地应用于使用结束效果来操纵对象，并使用对象作为工具，即新的最终效果，以操纵其他对象。通过对不同实施例的共享经验进行掌握或推动，我们的政策表现出比训练单独的政策更高的性能。我们的框架可以利用将对启用工具的实施例的不同分辨率的所有经验用于每个操纵技能的单个通用策略。 https://sites.google.com/view/recursivemanipulation的视频
translated by 谷歌翻译
神经辐射场（NERF）是数据驱动3D重建中的流行方法。鉴于其简单性和高质量的渲染，正在开发许多NERF应用程序。但是，NERF的大量的速度很大。许多尝试如何加速NERF培训和推理，包括复杂的代码级优化和缓存，使用复杂的数据结构以及通过多任务和元学习的摊销。在这项工作中，我们通过NERF之前通过经典技术镜头重新审视NERF的基本构建块。我们提出了Voxel-Accelated Nerf（VaxnerF），与Visual Hull集成了Nerf，一种经典的3D重建技术，只需要每张图像的二进制前景背景像素标签。可视船体，可在大约10秒内优化，可以提供粗略的现场分离，以省略NERF中的大量网络评估。我们在流行的JAXNERF Codebase提供了一个干净的全力验光，基于JAX的实现，其仅包括大约30行的代码更改和模块化视觉船体子程序，并在高度表现的JAXNERF之上实现了大约2-8倍的速度学习基线具有零劣化呈现质量。具有足够的计算，这有效地将单位训练从小时到30分钟缩小到30分钟。我们希望VAXNERF - 一种仔细组合具有深入方法的经典技术（可谓更换它） - 可以赋予并加速新的NERF扩展和应用，以其简单，可移植性和可靠的性能收益。代码在https://github.com/naruya/vaxnerf提供。
translated by 谷歌翻译
域泛化（DG）是一个难度的学习问题，旨在学习一个概念域的概念模型。最近的巨型预训练模型，如剪辑和GPT-3，即基础模型（FMS），已被证明对许多分布换档具有强大，因此应导致DG的大量改进。在这项工作中，我们研究了在图像分类中采用DG问题采用剪辑的通用方法，在那里我们评估了天真零射击学习和全DG学习设置。对于后者，我们提出了AP（摊销提示），作为迅速生成形式的域推断的新方法。在域泛化基准上使用多个标准数据集，即PACS，VLC，OfficeHome和Terraincognita，Clip提供了可比的性能而无需微调任何参数，这表明FM在DG中的适用性和重要性。此外，我们表明，组合域提示跟踪带剪辑使AP能够以大的余量越大，从71.3 \％升高到79.3 \％的精度。我们希望我们的方法的简单性和成功强调强调的重要性并导致更广泛采用和分析域泛化领域的基础模型。
translated by 谷歌翻译