我们对真正低资源语言的神经机翻译（NMT）进行了实证研究，并提出了一个训练课程，适用于缺乏并行培训数据和计算资源的情况，反映了世界上大多数世界语言和研究人员的现实致力于这些语言。以前，已经向低资源语言储存了使用后翻译（BT）和自动编码（AE）任务的无监督NMT。我们证明利用可比的数据和代码切换作为弱监管，与BT和AE目标相结合，即使仅使用适度的计算资源，低资源语言也会显着改进。在这项工作中提出的培训课程实现了Bleu分数，可通过+12.2 Bleu为古吉拉特和+3.7 Bleu为哈萨克斯培训的监督NMT培训，展示了弱势监督的巨大监督态度资源语言。在受到监督数据的培训时，我们的培训课程达到了索马里数据集（索马里29.3的BLEU的最先进的结果）。我们还观察到增加更多时间和GPU来培训可以进一步提高性能，强调报告在MT研究中的报告资源使用的重要性。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
为了在工业生产中更广泛地采用AI，足够的基础设施能力至关重要。这包括简化AI与工业设备的集成，对分布式部署，监视和一致的系统配置的支持。现有的IIOT平台仍然缺乏以开放的，基于生态系统的方式灵活整合可重复使用的AI服务和相关标准（例如资产管理壳或OPC UA）的功能。这正是我们采用高度可配置的基于低代码的方法来解决我们下一个级别的智能工业生产生产生产Ecosphere（IIP-Ecosphere）平台所解决的问题。在本文中，我们介绍了该平台的设计，并根据启用AI支持的视觉质量检查的演示者讨论了早期评估。在这项早期评估活动中，学到的见解和教训补充了这一点。
translated by 谷歌翻译
我们介绍了Spotcheck，这是一个用于生成用于评估图像分类器中盲点（即系统错误）方法的合成数据集的框架。我们使用Spotcheck进行对照研究，了解各种因素如何影响盲点发现方法的性能。我们的实验揭示了现有方法的几个缺点，例如在具有多个盲点的设置中的性能相对较差，并且对超参数的敏感性。此外，我们发现一种基于降低性的方法Planespot与现有方法具有竞争力，这对交互式工具的开发具有希望。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
建筑环境中许多物体的形状由他们与人体的关系决定：一个人将如何与这个对象进行互动？ 3D形状的现有数据驱动的生成模型产生合理的物体，但不会理由对人体的那些物体的关系。在本文中，我们学习了3D形状的身体感知生成模型。具体而言，我们培养椅子的生成型号，一种无处不在的形状类别，可以在给定的身体形状或坐姿姿势调节。身体形状调节的型号生产椅子，为具有给定体形的人舒适;姿势调节模型生产适应坐姿的椅子。要训练这些模型，我们定义了“坐姿匹配”度量标准和小说“坐姿舒适”度量。计算这些指标需要昂贵的优化将身体置于椅子上，这太慢被用作用于训练生成模型的损耗功能。因此，我们训练神经网络以有效地近似这些度量。我们使用我们的方法培训三个身体感知生成形状模型：基于结构的零件的发电机，点云发生器和隐式表面发生器。在所有情况下，我们的方法都生产适应其输出椅形状以输入人体规格的型号。
translated by 谷歌翻译
四足球运动正在迅速成熟到现在的机器人经常穿越各种非结构化的地形。然而，虽然通过从一系列预计算机样式中选择Gaits可以改变Gaits，但是当机器人处于运动中，当前规划仪不能连续地变化关键的步态参数。具有意外操作特性的综合，现有的Gaits，甚至是动态演习的混合延伸超出了当前最先进的能力。在这项工作中，我们通过学习捕获构成特定步态的关键姿态阶段的潜在空间来解决这种限制。这是通过在单个小跑风格上训练的生成模型来实现的，这鼓励解散，使得将驱动信号应用于潜在的单个维度，诱导合成连续各种跑步的整体计划。我们证明了驱动信号映射的特定性质直接映射到诸如Cadence，脚步高度和完全姿势持续时间的步态参数。由于我们的方法的性质，这些合成的Gaits在机器人操作期间在线在线持续变量，强大地捕获了显着超过培训期间看到的相对狭窄的行为的流动丰富性。此外，使用生成模型的使用促进了对扰动的检测和减轻，以提供多功能和坚固的规划框架。我们在真正的Quadruped机器人上评估我们的方法，并证明我们的方法实现了动态小跑风格的连续混合，同时对外部扰动具有鲁棒性和反应性。
translated by 谷歌翻译
对于在极地冰条件下运行的试点的自主水下车辆（AUV）的需求越来越大。目前，AUVS从船舶部署，并直接在这些区域中驾驶，含有高碳成本并限制运营范围。长期自治任务的关键要求是一种远程路线规划能力，了解变化的冰条件。在本文中，我们解决了在南海运行的AUV自动化远程路线规划问题。我们介绍了路线规划方法和结果，表明可以计划高效，冰避免的长距离遍历。
translated by 谷歌翻译
医疗AI通过支持基于证据的医学实践，个性化患者治疗，降低成本以及改善提供者和患者体验，推进医疗保健的巨大潜力。我们认为解锁此潜力需要一种系统的方法来衡量在大规模异构数据上的医疗AI模型的性能。为了满足这种需求，我们正在建立Medperf，这是一个开放的框架，用于在医疗领域的基准测试机器学习。 Medperf将使联合评估能够将模型安全地分配给不同的评估设施，从而赋予医疗组织在高效和人类监督过程中评估和验证AI模型的性能，同时优先考虑隐私。我们描述了当前的挑战医疗保健和AI社区面临，需要开放平台，Medperf的设计理念，其目前的实施状态和我们的路线图。我们呼吁研究人员和组织加入我们创建Medperf开放基准平台。
translated by 谷歌翻译
通过将微分方程（DES）和强化学习（RL）与域知识相结合，我们模拟阿尔茨海默病的疾病（AD）进展。 DES提供与广告相关的一些但不是全部因素之间的关系。我们假设缺失的关系必须满足关于大脑的工作的一般标准，例如，最大限度地提高认知，同时最小化支持认知的成本。这允许我们通过使用RL来优化捕获捕获上述标准的目标（奖励）函数来提取缺失的关系。我们使用由DES（作为模拟器）和训练的RL代理组成的模型，以预测合成和实际数据的基线（第0年）特征的个性化10年的广告进展。该模型可比较或更好地预测10年的认知轨迹，而不是最先进的基于学习的模型。我们的可解释模型展示，并提供了缓解广告效果的“恢复/补偿”过程的见解，即使这些过程在模型中未明确编码。我们的框架将DES与RL结合起来，以进行广告进展，并具有广泛适用性，以了解其他神经系统疾病。
translated by 谷歌翻译