Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
保护定律是理解，表征和建模非线性动力系统的关键理论和实用工具。但是，对于许多复杂的动态系统，难以识别相应的保守量，因此很难分析其动力学并建立高效，稳定的预测模型。当前发现保护定律的方法通常取决于详细的动态信息，例如运动方程或细粒度的时间测量，许多最新的建议还依赖于黑匣子参数深度学习方法。相反，我们将这项任务重新制定为一种多种学习问题，并提出了一种非参数方法，将最佳运输中的Wasserstein指标与扩散图相结合，以发现从动力学系统中采样的轨迹中变化的保守数量。我们在各种物理系统上测试了这种新方法$ \ unicode {x2014} $，包括保守的汉密尔顿系统，耗散系统和时空系统$ \ unicode {x2014} $保守数量并提取其价值。使用最佳运输理论和流形学习中的工具，我们提出的方法提供了一种直接的几何方法来识别既有坚固且可解释的保护定律，而无需明确的系统模型或准确的时间信息。
translated by 谷歌翻译
符号回归是一种机器学习技术，可以学习数据的管理公式，因此有可能改变科学发现。但是，符号回归仍然受到分析系统的复杂性和维度的限制。另一方面，深度学习改变了机器学习的能力，可以分析极其复杂和高维数据集。我们提出了一个神经网络体系结构，以将符号回归扩展到参数系统，其中某些系数可能会有所不同，但是基础管理方程的结构仍然恒定。我们演示了有关各种系数的各种分析表达式，ODE和PDE的方法，并表明它可以很好地推断出训练域之外。基于神经网络的体系结构还可以与其他深度学习体系结构集成，以便在端到端训练的同时分析高维数据。为此，我们将架构与卷积神经网络集成在一起，以分析不同弹簧系统的1D图像。
translated by 谷歌翻译
识别非线性动态系统的控制方程是理解系统物理特征的关键，并构建概括超出可用数据的动态的准确模型。我们提出了一种用于发现这些管理方程的机器学习框架，仅使用部分观察，将编码器与稀疏符号模型相结合。我们的测试表明，此方法可以成功地重建完整的系统状态，并确定各种颂歌和PDE系统的底层动态。
translated by 谷歌翻译
贝叶斯优化（BO）是用于全局优化昂贵的黑盒功能的流行范式，但是在许多域中，该函数并不完全是黑色框。数据可能具有一些已知的结构（例如对称性）和/或数据生成过程可能是一个复合过程，除优化目标的值外，还可以产生有用的中间或辅助信息。但是，传统上使用的代孕模型，例如高斯工艺（GPS），随数据集大小的规模较差，并且不容易适应已知的结构。取而代之的是，我们使用贝叶斯神经网络，这是具有感应偏见的一类可扩展和灵活的替代模型，将BO扩展到具有高维度的复杂，结构化问题。我们证明了BO在物理和化学方面的许多现实问题，包括使用卷积神经网络对光子晶体材料进行拓扑优化，以及使用图神经网络对分子进行化学性质优化。在这些复杂的任务上，我们表明，就抽样效率和计算成本而言，神经网络通常优于GP作为BO的替代模型。
translated by 谷歌翻译
通用数据模型解决了标准化电子健康记录（EHR）数据的许多挑战，但无法将其集成深度表型所需的资源。开放的生物学和生物医学本体论（OBO）铸造本体论提供了可用于生物学知识的语义计算表示，并能够整合多种生物医学数据。但是，将EHR数据映射到OBO Foundry本体论需要大量的手动策展和域专业知识。我们介绍了一个框架，用于将观察性医学成果合作伙伴关系（OMOP）标准词汇介绍给OBO铸造本体。使用此框架，我们制作了92,367条条件，8,615种药物成分和10,673个测量结果的映射。域专家验证了映射准确性，并且在24家医院进行检查时，映射覆盖了99％的条件和药物成分和68％的测量结果。最后，我们证明OMOP2OBO映射可以帮助系统地识别可能受益于基因检测的未诊断罕见病患者。
translated by 谷歌翻译
由于Covid-19-19疫苗可用，因此没有研究量化不同的灾难疏散策略如何减轻避难所中的大流行风险。因此，我们应用了一个年龄结构化的流行病学模型，称为易感性暴露感染（SEIR）模型，以研究台湾不同的疫苗摄取水平以及在台湾实施的转移方案在多大程度上降低了感染和延迟流行峰值的情况。台湾的转移协议涉及转移因曝光而自我占用的人，从而阻止了他们与集体庇护所的普通公众融合。转移方案，结合足够的疫苗摄取，可以减少相对于没有这种策略的情况，相对于场景，感染的最大数量和延迟爆发。当所有暴露的人的转移是不可能的，或者疫苗的摄取不足时，转移方案仍然很有价值。此外，一组主要由年轻人人口组成的撤离者往往会早日出现大流行峰值，并且在实施转移方案时，多数老年人组的感染比多数老年人多。但是，当不执行转移方案时，多数老年人群体比大多数年轻成人群体高达20％。
translated by 谷歌翻译
台湾对全球碎片流的敏感性和死亡人数最高。台湾现有的碎屑流警告系统，该系统使用降雨量的时间加权度量，当该措施超过预定义的阈值时，会导致警报。但是，该系统会产生许多错误的警报，并错过了实际碎屑流的很大一部分。为了改善该系统，我们实施了五个机器学习模型，以输入历史降雨数据并预测是否会在选定的时间内发生碎屑流。我们发现，随机的森林模型在五个模型中表现最好，并优于台湾现有系统。此外，我们确定了与碎屑流的发生密切相关的降雨轨迹，并探索了缺失碎屑流的风险与频繁的虚假警报之间的权衡。这些结果表明，仅在小时降雨数据中训练的机器学习模型的潜力可以挽救生命，同时减少虚假警报。
translated by 谷歌翻译
人类活动识别（HAR）是使用有效的机器学习（ML）方法将传感器数据解释为人类运动的问题。 HAR系统依靠来自不受信任的用户的数据，使他们容易受到数据中毒攻击的影响。在中毒攻击中，攻击者操纵传感器读数以污染训练集，从而误导了har以产生错误的结果。本文介绍了针对HAR系统的标签翻转数据中毒攻击的设计，在数据收集阶段，传感器读数的标签发生了恶意更改。由于传感环境中的噪音和不确定性，这种攻击对识别系统构成了严重威胁。此外，当将活动识别模型部署在安全至关重要的应用中时，标记翻转攻击的脆弱性是危险的。本文阐明了如何通过基于智能手机的传感器数据收集应用程序在实践中进行攻击。据我们所知，这是一项较早的研究工作，它通过标签翻转中毒探索了攻击HAR模型。我们实施了提出的攻击并根据以下机器学习算法进行活动识别模型进行测试：多层感知器，决策树，随机森林和XGBoost。最后，我们评估了针对拟议攻击的基于K-Nearest邻居（KNN）的防御机制的有效性。
translated by 谷歌翻译
Using data from cardiovascular surgery patients with long and highly variable post-surgical lengths of stay (LOS), we develop a modeling framework to reduce recovery unit congestion. We estimate the LOS and its probability distribution using machine learning models, schedule procedures on a rolling basis using a variety of optimization models, and estimate performance with simulation. The machine learning models achieved only modest LOS prediction accuracy, despite access to a very rich set of patient characteristics. Compared to the current paper-based system used in the hospital, most optimization models failed to reduce congestion without increasing wait times for surgery. A conservative stochastic optimization with sufficient sampling to capture the long tail of the LOS distribution outperformed the current manual process and other stochastic and robust optimization approaches. These results highlight the perils of using oversimplified distributional models of LOS for scheduling procedures and the importance of using optimization methods well-suited to dealing with long-tailed behavior.
translated by 谷歌翻译