This white paper lays out a vision of research and development in the field of artificial intelligence for the next decade (and beyond). Its denouement is a cyber-physical ecosystem of natural and synthetic sense-making, in which humans are integral participants$\unicode{x2014}$what we call ''shared intelligence''. This vision is premised on active inference, a formulation of adaptive behavior that can be read as a physics of intelligence, and which inherits from the physics of self-organization. In this context, we understand intelligence as the capacity to accumulate evidence for a generative model of one's sensed world$\unicode{x2014}$also known as self-evidencing. Formally, this corresponds to maximizing (Bayesian) model evidence, via belief updating over several scales: i.e., inference, learning, and model selection. Operationally, this self-evidencing can be realized via (variational) message passing or belief propagation on a factor graph. Crucially, active inference foregrounds an existential imperative of intelligent systems; namely, curiosity or the resolution of uncertainty. This same imperative underwrites belief sharing in ensembles of agents, in which certain aspects (i.e., factors) of each agent's generative world model provide a common ground or frame of reference. Active inference plays a foundational role in this ecology of belief sharing$\unicode{x2014}$leading to a formal account of collective intelligence that rests on shared narratives and goals. We also consider the kinds of communication protocols that must be developed to enable such an ecosystem of intelligences and motivate the development of a shared hyper-spatial modeling language and transaction protocol, as a first$\unicode{x2014}$and key$\unicode{x2014}$step towards such an ecology.

Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.

我们提出了目标定向答案集编程的新颖应用，该计划将模型飞机操作员对模型飞机（AMA）安全法规的合规性验证数字化。 《 AMA安全法》规定了AMA Flyers如何用于有限的娱乐目的，如何操作无人机（UAV）。飞机及其操作员在飞机运行之前和之后遵守各种规则，以确保安全飞行。在本文中，我们利用答案集编程来编码AMA安全代码并自动化合规性检查。要检查合规性，我们使用S（CASP），该S（CASP）是目标定向的ASP引擎。通过使用S（CASP），操作员可以轻松检查违规行为并获得理由树，以解释以人类可读的自然语言侵犯的原因。此外，我们实施了一种算法，以帮助操作员获得最小的条件集，以通过合规性检查。我们开发了一个接受各种条件的前端问卷接口，并使用后端S（CASP）发动机评估条件是否遵守法规。我们还利用了SWI-Prolog中实施的S（CASP），SWI-Promog将S（CASP）的推理能力公开为REST服务。据我们所知，这是ASP在AMA和航空电子合规性和认证空间中的第一个应用。

晶体和分子感兴趣的特性，例如带隙，弹性和溶解度，通常相互关联：它们受相同的基础物理定律的控制。但是，当最新的图形神经网络尝试同时预测多个属性（多任务学习（MTL）设置）时，它们经常表现不佳。这表明图形网络可能无法完全利用这些潜在的相似性。在这里，我们研究了这种现象的潜在解释：每个物业损失表面的曲率都有很大变化，导致学习效率低下。曲率上的这种差异可以通过查看每个属性损耗函数的Hessians的光谱特性来评估，这是通过随机数值线性代数以无基质方式完成的。我们在两个基准数据集（材料项目（MP）和QM8）上评估我们的假设，并考虑这些发现如何为新颖的多任务学习模型的培训提供信息。

我们提出了一个开放域的社交聊天机器人Chirpy Cardinal。为了既有信息又有信息，我们的机器人以一种真实的，情感上的方式与用户聊天。通过将受控的神经产生与脚手架，手写的对话整合在一起，我们让用户和机器人都轮流推动对话，从而产生引人入胜且流利的体验。Chirpy Cardinal部署在Alexa奖Socialbot Grand Challenge的第四次迭代中，每天处理数千次对话，在9个机器人中排名第二，平均用户评级为3.58/5。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

随着深度神经网络（DNN）的发展以解决日益复杂的问题，它们正受到现有数字处理器的延迟和功耗的限制。为了提高速度和能源效率，已经提出了专门的模拟光学和电子硬件，但是可扩展性有限（输入矢量长度$ k $的数百个元素）。在这里，我们提出了一个可扩展的，单层模拟光学处理器，该光学处理器使用自由空间光学器件可重新配置输入向量和集成的光电，用于静态，可更新的加权和非线性 - 具有$ k \ \ 1,000 $和大约1,000美元和超过。我们通过实验测试MNIST手写数字数据集的分类精度，在没有数据预处理或在硬件上进行数据重新处理的情况下达到94.7％（地面真相96.3％）。我们还确定吞吐量（$ \ sim $ 0.9 examac/s）的基本上限，由最大光带宽设置，然后大大增加误差。我们在兼容CMOS兼容系统中宽光谱和空间带宽的组合可以实现下一代DNN的高效计算。

我们探索跨语性多演讲者语音综合，并将跨语性语音转换应用于自动语音识别（ASR）系统的数据增强。通过广泛的实验，我们表明我们的方法允许语音合成和语音转换的应用，以在模型培训期间仅使用一个目标语言使用者在目标语言上改善ASR系统。与使用许多讲话者的其他作品相比，我们设法缩小了经过合成的与人类语音训练的ASR模型之间的差距。最后，我们表明，只使用目标语言的单个真实扬声器，可以通过我们的数据增强方法获得有希望的ASR培训结果。

大多数情况下的对象识别已被接近作为一种热门问题，这些问题对待课程是离散和无关的。必须将每个图像区域分配给一组对象的一个​​成员，包括背景类，忽略对象类型中的任何相似之处。在这项工作中，我们比较了从一种热处理中学到的类嵌入式的错误统计数据，其中来自自然语言处理或知识图中广泛应用于开放世界对象检测的语义结构嵌入。在多个知识嵌入和距离指标上的广泛实验结果表明基于知识的类表示，与挑战COCO和CITYCAPES对象检测基准相比，与一个热方法相比，与一个热方法相比，在表现上进行了更多的语义接地错误分类。通过提出基于Keypoint的基于和基于变换器的对象检测架构的知识嵌入式设计，我们将研究结果概括为多个物体检测架构。

有效推论是一种数学框架，它起源于计算神经科学，作为大脑如何实现动作，感知和学习的理论。最近，已被证明是在不确定性下存在国家估算和控制问题的有希望的方法，以及一般的机器人和人工代理人的目标驱动行为的基础。在这里，我们审查了最先进的理论和对国家估计，控制，规划和学习的积极推断的实现;描述当前的成就，特别关注机器人。我们展示了相关实验，以适应，泛化和稳健性而言说明其潜力。此外，我们将这种方法与其他框架联系起来，并讨论其预期的利益和挑战：使用变分贝叶斯推理具有功能生物合理性的统一框架。