语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
我们考虑扩展的强化学习概念，其中环境可以模拟代理并将其输出基于代理的假设行为。由于良好的性能通常需要注意环境的输出所基于的任何东西，因此我们认为，对于代理在许多这样的延长环境中实现平均良好性能，因此代理必须自我反思。因此，通过将代理通过扩展环境的电池运行代理，可以通过运行代理来数值估计代理的自我反射能力。我们同时发布扩展环境的开源库，作为该技术的概念验证。由于图书馆是先进的，我们避免了优化它的难题。相反，我们选择了具有有趣属性的环境。有些似乎矛盾，有些导致有趣的思想实验，有些甚至暗示自我反思如何在自然中发展。我们举例说明并介绍一个简单的转型，实验似乎增加了自我反思。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
我们介绍了一种考虑复杂的环境条件，在极地地区介绍了一种在极地地区长距离海上路线计划的方法。该方法允许构建优化的路线，描述了该过程的三个主要阶段：使用不均匀网格对环境条件进行离散建模，网格最佳路径的构建以及路径平滑。为了说明不同的车辆性能，我们构建了一系列数据驱动的功能，这些功能可以应用于环境网格，以确定给定容器和网格单元的速度限制和燃料要求，以图形和地理空间表示这些数量。在描述我们的结果时，我们展示了一个示例用途，用于Polar Research船RRS David Attenborough爵士（SDA）的路线规划，核算冰的性能特征，并验证韦德尔海地区的时空路线构建，南极洲。我们通过证明路线的变化取决于季节性海冰可变性，所使用的路线规划目标函数的差异以及其他环境条件（如电流）的存在来证明这种路线构建方法的多功能性。为了证明我们的方法的普遍性，我们在北极海洋和波罗的海中介绍了例子。本手稿中概述的技术是通用的，因此可以应用于具有不同特征的血管。我们的方法不仅可以拥有一个船只计划程序，而且我们概述了该工作流程如何适用于更广泛的社区，例如商业和乘客运输。
translated by 谷歌翻译
本文提出了一个理论和计算框架，用于基于非欧几里得收缩理论对隐式神经网络的训练和鲁棒性验证。基本思想是将神经网络的鲁棒性分析作为可及性问题，使用（i）$ \ ell _ {\ infty} $ - norm inort input-utput-optup-utput lipschitz常数和（ii）网络的紧密包含函数到过度陈列在其可达集合中。首先，对于给定的隐式神经网络，我们使用$ \ ell _ {\ infty} $ - 矩阵测量方法来为其适应性良好的条件提出足够的条件，设计一种迭代算法来计算其固定点，并为其$ \提供上限ell_ \ infty $ -Norm输入输出Lipschitz常数。其次，我们介绍了一个相关的嵌入式网络，并表明嵌入式网络可用于提供原始网络的可触及式集合的$ \ ell_ \ infty $ -Norm Box过度交配。此外，我们使用嵌入式网络来设计一种迭代算法，用于计算原始系统紧密包含函数的上限。第三，我们使用Lipschitz常数的上限和紧密包含函数的上限来设计两种算法，以训练和稳健性验证隐式神经网络。最后，我们应用算法在MNIST数据集上训练隐式神经网络，并将模型的鲁棒性与通过文献中现有方法训练的模型进行比较。
translated by 谷歌翻译
尽管在训练有素的语言模型方面取得了进展，但缺乏用于预训练的句子表示的统一框架。因此，它要求针对特定方案采用不同的预训练方法，并且预培训的模型可能受到其普遍性和表示质量的限制。在这项工作中，我们扩展了最近提出的MAE风格的预训练策略RELOMAE，以便可以有效地支持各种句子表示任务。扩展的框架由两个阶段组成，在整个过程中进行了逆转录。第一阶段对通用语料库进行了逆转，例如Wikipedia，BookCorpus等，从中可以从中学习基本模型。第二阶段发生在特定于领域的数据上，例如Marco和NLI，在该数据中，基本模型是基于逆转和对比度学习的。这两个阶段的训练前输出可能会服务于不同的应用，其有效性通过全面的实验验证。具体来说，基本模型被证明对零射击检索有效，并且在贝尔基准上取得了显着的性能。继续进行预训练的模型进一步受益于更多的下游任务，包括针对马可女士的特定领域的密集检索，自然问题以及句子嵌入式标准STS的质量和延性端的转移任务。这项工作的经验见解可能会激发预训练的句子代表的未来设计。我们的预培训模型和源代码将发布给公共社区。
translated by 谷歌翻译
预测维护（PDM）是基于对系统状况的统计分析安排维护操作的任务。我们提出了一种人类的PDM方法，其中机器学习系统可以预测工作站集（计算机，笔记本电脑和服务器）中的未来问题。我们的系统与领域专家进行互动，以改善预测并引起他们的知识。在我们的方法中，域专家不仅像传统的活跃学习一样，不仅是作为正确标签的提供者，而且还包括作为明确的决策规则反馈的来源。该系统是自动化的，并且设计为易于扩展到新的领域，例如维护多个组织的工作站。此外，我们开发了一个在受控环境中可重复实验的模拟器，并在现实生活中的PDM大规模案例中部署该系统，其中数千个工作站用于数十家公司。
translated by 谷歌翻译
如果我们改变规则，明智的交易与傻瓜会有什么？不同的小组以不同方式形式化强化学习（RL）。如果一个R1正式化的代理是在另一个RL正式化的环境中运行，则必须首先转换代理或映射。任何此类映射的充分性标准是它保留了相对智能。本文调查了这种充足率标准的配方和性质。然而，在制定问题之前，我们争论，比较情报问题。我们使用超滤器比较智力，通过观看代理作为智力选举中的候选人的激励，其中选民是环境的候选人。这些比较器是违反直觉的，但我们证明了关于RL智力测量的不可能性定理，这表明这种情况是不可避免的。鉴于RL框架之间的映射，我们建立了足够的条件，以确保对于目的地框架中的任何超过滤器的智能比较器，源框架中存在超滤网智能比较器，使得映射保留了相对智能。我们在各种RL框架之间考虑三个具体映射，并表明它们满足这些充足的条件，因此保持了适当测量的相对智能。
translated by 谷歌翻译
隐式神经网络是一般的学习模型，可以用隐式代数方程替换传统的馈电模型中的层。与传统学习模型相比，隐式网络提供竞争性能和降低的内存消耗。然而，它们可以对输入对抗性扰动保持脆弱。本文提出了隐式神经网络的稳健性验证的理论和计算框架;我们的框架混合在一起混合单调系统理论和收缩理论。首先，给定隐式神经网络，我们介绍了一个相关的嵌入式网络，并显示，给定$ \ ell_ infty $ -norm框限制对输入，嵌入式网络提供$ \ ell_ \ idty $ -norm box超值给定网络的输出。其次，使用$ \ ell _ {\ infty} $ - 矩阵措施，我们为原始和嵌入式系统的良好提出了足够的条件，并设计了一种迭代算法来计算$ \ e _ {\ infty} $ - norm box鲁棒性利润率和可达性和分类问题。第三，独立价值，我们提出了一种新颖的相对分类器变量，导致认证问题的经过认证的对抗性鲁棒性更严格的界限。最后，我们对在Mnist DataSet上培训的非欧几里德单调运营商网络（Nemon）上进行数值模拟。在这些模拟中，我们比较了我们的混合单调对收缩方法的准确性和运行时间与文献中的现有鲁棒性验证方法，以估算认证的对抗性鲁棒性。
translated by 谷歌翻译
原始的“七个图案”阐述了科学计算领域的基本方法的路线图，其中图案是一种捕获计算和数据移动模式的算法方法。我们介绍了“仿真智力的九个主题”，是一种开发和整合的路线图，以合并科学计算，科学模拟和人工智能所必需的基本算法。我们称之为合并模拟智能（SI），短暂。我们认为模拟智能的主题是相互连接的和相互依存的，很像操作系统层中的组件一样。使用这种隐喻，我们探讨了模拟智能操作系统堆栈（Si-Stack）和其中图案的各层的性质：（1）多种物理和多尺度建模; （2）替代建模和仿真; （3）基于仿真的推理; （4）因果建模和推理; （5）基于代理的建模; （6）概率编程; （7）可微分的编程; （8）开放式优化; （9）机器编程。我们相信图案之间的协调努力提供了加速科学发现的巨大机会，从综合生物和气候科学中解决逆问题，指导核能实验，并预测社会经济环境中的紧急行为。我们详细说明了Si-stack的每层，详细说明了最先进的方法，提出了示例以突出挑战和机遇，并倡导具体的方法来推进主题和与其组合的协同作用。推进和整合这些技术可以实现稳健且有效的假设仿真 - 分析类型的科学方法，我们用几种使用案例为人机组合和自动化学介绍。
translated by 谷歌翻译