Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
目的:要开发CADIA,一种基于区域提案网络的监督深度学习模型,耦合具有针对计算机断层造影(CTA)颅内动脉瘤(IA)的假阳性减少模块,并评估我们的模型的性能到类似的检测网络。方法:在此回顾性研究中,我们评估了来自两种独立的疾病患者的两种单独的患者患者的囊性IA> = 2.5mm。实施了两步模型:用于初始动脉瘤检测的3D区域提案网络,以及3D DENSENETSFOR虚假阳性降低以及对可疑IA的进一步确定。还进行了自由响应接收器操作特征(FROC)曲线和患者级性能,在既定的假每体积(FPPV)时呈现出误报。 Fisher的确切测试用于与类似的可用模型进行比较。结果:0.25和1 FPPV的Cadia的敏感性分别为63.9%和77.5%。我们的模型的性能随着尺寸和位置而变化,最佳性能是在5-10毫米和前沟通动脉的含量,敏感性分别为95.8%和94%的敏感性。与0.25 FPPV的可用型号相比,我们的模型显示出统计学上更高的患者级精度,灵敏度和特异性。在1 FPPV阈值下,我们的模型显示出更好的准确性和特异性(P <= 0.001)和等效灵敏度。结论:CADIA在IA的检测任务中表现出可比网络。添加假阳性还原模块是改善IA检测模型的可行步骤。
translated by 谷歌翻译
Over the years, Machine Learning models have been successfully employed on neuroimaging data for accurately predicting brain age. Deviations from the healthy brain aging pattern are associated to the accelerated brain aging and brain abnormalities. Hence, efficient and accurate diagnosis techniques are required for eliciting accurate brain age estimations. Several contributions have been reported in the past for this purpose, resorting to different data-driven modeling methods. Recently, deep neural networks (also referred to as deep learning) have become prevalent in manifold neuroimaging studies, including brain age estimation. In this review, we offer a comprehensive analysis of the literature related to the adoption of deep learning for brain age estimation with neuroimaging data. We detail and analyze different deep learning architectures used for this application, pausing at research works published to date quantitatively exploring their application. We also examine different brain age estimation frameworks, comparatively exposing their advantages and weaknesses. Finally, the review concludes with an outlook towards future directions that should be followed by prospective studies. The ultimate goal of this paper is to establish a common and informed reference for newcomers and experienced researchers willing to approach brain age estimation by using deep learning models
translated by 谷歌翻译
Specular microscopy assessment of the human corneal endothelium (CE) in Fuchs' dystrophy is challenging due to the presence of dark image regions called guttae. This paper proposes a UNet-based segmentation approach that requires minimal post-processing and achieves reliable CE morphometric assessment and guttae identification across all degrees of Fuchs' dystrophy. We cast the segmentation problem as a regression task of the cell and gutta signed distance maps instead of a pixel-level classification task as typically done with UNets. Compared to the conventional UNet classification approach, the distance-map regression approach converges faster in clinically relevant parameters. It also produces morphometric parameters that agree with the manually-segmented ground-truth data, namely the average cell density difference of -41.9 cells/mm2 (95% confidence interval (CI) [-306.2, 222.5]) and the average difference of mean cell area of 14.8 um2 (95% CI [-41.9, 71.5]). These results suggest a promising alternative for CE assessment.
translated by 谷歌翻译
深度学习已在许多神经影像应用中有效。但是,在许多情况下,捕获与小血管疾病有关的信息的成像序列的数量不足以支持数据驱动的技术。此外,基于队列的研究可能并不总是具有用于准确病变检测的最佳或必需成像序列。因此,有必要确定哪些成像序列对于准确检测至关重要。在这项研究中,我们旨在找到磁共振成像(MRI)序列的最佳组合,以深入基于学习的肿瘤周围空间(EPV)。为此,我们实施了一个有效的轻巧U-NET,适用于EPVS检测,并全面研究了来自易感加权成像(SWI),流体侵入的反转恢复(FLAIR),T1加权(T1W)和T2的不同信息组合 - 加权(T2W)MRI序列。我们得出的结论是,T2W MRI对于准确的EPV检测最为重要,并且在深神经网络中掺入SWI,FLAIR和T1W MRI可能会使精度的提高无关。
translated by 谷歌翻译
在计算和数据方面,大型语言模型的预培训通常需要大量资源。经常使用的Web源(例如Common Crawl)可能包含足够的噪声,以使这种预训练的亚地区。在这项工作中,我们尝试了西班牙语版本的MC4的不同采样方法,并提出了一种新颖的以数据为中心的技术,我们将其命名为$ \ textit {Perplexity sampling} $,该技术可实现大约一半的语言模型的预培训步骤并使用五分之一的数据。最终的模型与当前的最新机构相当,甚至可以为某些任务获得更好的结果。我们的工作证明了变形金刚的多功能性,并为小型团队以有限的预算培训模型铺平了道路。我们的型号可在此$ \ href {https://huggingface.co/bertin-project} {url} $中获得。
translated by 谷歌翻译
尽管最近在开发动画全身化身方面取得了进展,但服装的现实建模(人类自我表达的核心方面之一)仍然是一个开放的挑战。最先进的物理模拟方法可以以交互速度产生现实行为的服装几何形状。但是,建模光真逼真的外观通常需要基于物理的渲染,这对于交互式应用来说太昂贵了。另一方面,数据驱动的深度外观模型能够有效地产生逼真的外观,但在合成高度动态服装的几何形状和处理具有挑战性的身体套构型方面挣扎。为此,我们通过对服装的明确建模介绍了姿势驱动的化身,这些化身表现出逼真的服装动力学和从现实世界数据中学到的逼真的外观。关键的想法是引入一个在显式几何形状之上运行的神经服装外观模型:在火车时,我们使用高保真跟踪,而在动画时期,我们依靠物理模拟的几何形状。我们的关键贡献是一个具有物理启发的外观网络,能够生成具有视图依赖性和动态阴影效果的影像逼真的外观,即使对于看不见的身体透明构型也是如此。我们对我们的模型进行了彻底的评估,并在几种受试者和不同类型的衣服上展示了不同的动画结果。与以前关于影迷全身化身的工作不同,我们的方法甚至可以为宽松的衣服产生更丰富的动力和更现实的变形。我们还证明,我们的配方自然允许服装与不同人的头像一起使用,同时保持完全动画,因此首次可以采用新颖的衣服来实现逼真的化身。
translated by 谷歌翻译
我们提出Plingo,这是具有各种概率推理模式的ASP系统clingo的扩展。Plingo以Lp^mln为中心,Lp^mln是基于Markov Logic的权重方案的ASP的概率扩展。这种选择是由于可以将核心概率推理模式映射到优化问题的事实而动机,并且LP^mln可以用作与其他概率方法相关的中间地形式主义。结果,Plingo为Lp^mln,P-Log和Problog提供了三个替代前端。相应的输入语言和推理模式是通过Clingo的多拍和理论解决功能来实现的。pling脚的核心等于在现代ASP技术方面重新实现LP^mln,并以一种基于新方法以最佳顺序进行答案集枚举的近似技术扩展。我们通过将Plingo的性能与其他概率系统进行比较,从经验上评估。
translated by 谷歌翻译
计算催化和机器学习社区在开发用于催化剂发现和设计的机器学习模型方面取得了长足的进步。然而,跨越催化的化学空间的一般机器学习潜力仍然无法触及。一个重大障碍是在广泛的材料中获得访问培训数据的访问。缺乏数据的一类重要材料是氧化物,它抑制模型无法更广泛地研究氧气进化反应和氧化物电催化。为了解决这个问题,我们开发了开放的催化剂2022(OC22)数据集,包括62,521个密度功能理论(DFT)放松(〜9,884,504个单点计算),遍及一系列氧化物材料,覆盖范围,覆盖率和吸附物( *H, *o, *o, *o, *o, *o, * n, *c, *ooh, *oh, *oh2, *o2, *co)。我们定义广义任务,以预测催化过程中适用的总系统能量,发展几个图神经网络的基线性能(Schnet,Dimenet ++,Forcenet,Spinconv,Painn,Painn,Gemnet-DT,Gemnet-DT,Gemnet-OC),并提供预先定义的数据集分割以建立明确的基准,以实现未来的努力。对于所有任务,我们研究组合数据集是否会带来更好的结果,即使它们包含不同的材料或吸附物。具体而言,我们在Open Catalyst 2020(OC20)数据集和OC22上共同训练模型,或OC22上的微调OC20型号。在最一般的任务中,Gemnet-OC看到通过微调来提高了约32%的能量预测,通过联合训练的力预测提高了约9%。令人惊讶的是,OC20和较小的OC22数据集的联合培训也将OC20的总能量预测提高了约19%。数据集和基线模型是开源的,公众排行榜将遵循,以鼓励社区的持续发展,以了解总能源任务和数据。
translated by 谷歌翻译
在这项工作中,我们提出了一种基于手势的语言,以允许人类以自然的方式与机器人互动。我们已经使用神经网络和一个自定义的人类数据集创建了一个新的手势检测模型,该数据集执行一组身体手势来训练我们的网络。此外,我们将身体手势通信与其他沟通渠道进行比较,以确认将这些知识添加到机器人的重要性。在非训练志愿者的不同模拟和现实生活实验中,对所提出的方法进行了广泛的验证。这取得了显着的结果,并表明它是社会机器人应用程序(例如人类机器人协作或人类机器人互动)的宝贵框架。
translated by 谷歌翻译