最近的作品表明,有限的贝叶斯神经网络有时可能会越优于其无限堂兄弟,因为有限网络可以灵活地调整其内部表示。然而,我们对有限网络的学习隐藏层表示如何与无限网络的固定表示不同的理论理解仍然不完整。研究了对网络的扰动有限宽度校正,但已经研究过的网络,但学习特征的渐近学尚未完全表征。在这里,我们认为具有线性读数和高斯可能性的任何贝叶斯网络的平均特征内核的领先有限宽度校正具有很大程度上的普遍形式。我们明确地说明了三个易行网络架构:深线性完全连接和卷积网络,以及具有单个非线性隐藏层的网络。我们的结果开始阐明任务相关的学习信号如何塑造宽阔的贝叶斯神经网络的隐藏层表示。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
Artificial Intelligence (AI) is having a tremendous impact across most areas of science. Applications of AI in healthcare have the potential to improve our ability to detect, diagnose, prognose, and intervene on human disease. For AI models to be used clinically, they need to be made safe, reproducible and robust, and the underlying software framework must be aware of the particularities (e.g. geometry, physiology, physics) of medical data being processed. This work introduces MONAI, a freely available, community-supported, and consortium-led PyTorch-based framework for deep learning in healthcare. MONAI extends PyTorch to support medical data, with a particular focus on imaging, and provide purpose-specific AI model architectures, transformations and utilities that streamline the development and deployment of medical AI models. MONAI follows best practices for software-development, providing an easy-to-use, robust, well-documented, and well-tested software framework. MONAI preserves the simple, additive, and compositional approach of its underlying PyTorch libraries. MONAI is being used by and receiving contributions from research, clinical and industrial teams from around the world, who are pursuing applications spanning nearly every aspect of healthcare.
translated by 谷歌翻译
有大量且不断增长的证据和文学探索人工智能(AI)技术对整个社会,政治和人类的影响。单独的平行工作已经探索了人类的存在风险,包括但不限于非对齐的人工通用智能(AGI)的风险。在本文中,我们认为当前和近期人工智能技术有可能通过充当中间风险因素来促进存在风险的观念,并且这种潜力不仅限于不规则的AGI场景。我们提出这样的假设,即AI的某些已经记录的影响可以充当存在的风险因素,从而放大了先前确定的存在风险来源的可能性。此外,即使在没有人工通用智能的情况下,未来十年的未来发展也有可能极大地加剧这些危险因素。我们的主要贡献是对潜在的AI风险因素以及它们之间的因果关系的(非排斥)的解释,重点是AI如何影响电力动态和信息安全。该博览会表明,从AI系统到没有假设未来AI能力的存在风险存在因果途径。
translated by 谷歌翻译
世界由对象组成:具有独立属性和动态的不同实体。为了使代理人聪明地与世界互动,他们必须将感觉输入转化为描述每个对象的边界特征。这些基于对象的表示形成了计划行为的自然基础。主动推断(AIF)是对感知和行动的影响力的统一说明,但是现有的AIF模型并未利用这种重要的归纳偏见。为了解决这个问题,我们介绍了“基于对象的主动推理”(OBAI),将AIF与最近基于对象的神经网络结合在一起。 Obai代表具有不同变异信念的不同对象,并使用选择性注意来将输入输入到相应的对象插槽中。对象表示具有独立的基于动作的动态。动力学和生成模型是从简单环境(主动的多-DSPRITES)的经验中学到的。我们表明,奥贝(Obai)学会了从视频输入中正确分割动作扰动的对象,并将这些对象操纵到任意目标。
translated by 谷歌翻译
背景:基于学习的深度颈部淋巴结水平(HN_LNL)自动纤维与放射疗法研究和临床治疗计划具有很高的相关性,但在学术文献中仍被研究过。方法:使用35个规划CTS的专家划分的队列用于培训NNU-NEN 3D FULLES/2D-ENEBLEN模型,用于自动分片20不同的HN_LNL。验证是在独立的测试集(n = 20)中进行的。在一项完全盲目的评估中,3位临床专家在与专家创建的轮廓的正面比较中对深度学习自动分类的质量进行了评价。对于10个病例的亚组,将观察者内的变异性与深度学习自动分量性能进行了比较。研究了Autocontour与CT片平面方向的一致性对几何精度和专家评级的影响。结果:与专家创建的轮廓相比,对CT SLICE平面调整的深度学习分割的平均盲目专家评级明显好得多(81.0 vs. 79.6,p <0.001),但没有切片平面的深度学习段的评分明显差。专家创建的轮廓(77.2 vs. 79.6,p <0.001)。深度学习分割的几何准确性与观察者内变异性(平均骰子,0.78 vs. 0.77,p = 0.064)的几何准确性无关,并且在提高水平之间的准确性方面差异(p <0.001)。与CT切片平面方向一致性的临床意义未由几何精度指标(骰子,0.78 vs. 0.78 vs. 0.78,p = 0.572)结论:我们表明可以将NNU-NENE-NET 3D-FULLRES/2D-ENEMELBEND用于HN_LNL高度准确的自动限制仅使用有限的培训数据集,该数据集非常适合在研究环境中在HN_LNL的大规模标准化自动限制。几何准确度指标只是盲人专家评级的不完善的替代品。
translated by 谷歌翻译
半监督学习(SSL)有望通过对许多未标记图像进行培训,与小标签数据集中的培训分类器相比,准确性的提高。在诸如医学成像之类的现实应用中,将收集未标记的集合,以提高权宜之计,因此未贴上:可能与代表类或类频率中的标记集合不同。不幸的是,现代的深SSL通常会使未经保证的未标记的集合变得更糟。最近的补救措施表明,过滤方法可以检测出分布未标记的示例,然后将其丢弃或减轻重量。相反,我们认为所有未标记的示例可能会有所帮助。我们介绍了一个称为Fix-A-Step的程序,该程序尽管缺乏策划,但仍可以提高常见的深SSL方法的持有准确性。关键的创新是受所有未标记数据启发的标签集的增强,并修改了梯度下降更新,以防止遵循多任务SSL损失损害标签集的精度。尽管我们的方法比替代方案更简单,但我们在所有测试的人工污染水平上显示了无标记集的所有测试水平的CIFAR-10和CIFAR-100基准的准确性提高。我们进一步建议SSL的真实医疗基准:识别心脏超声图像的视图类型。我们的方法可以从353,500个真正未经贴标记的图像中学习,以提供跨医院的概括的收益。
translated by 谷歌翻译
我们研究了精神病学临床领域中脑唤醒的调节改变了面部行为的统计特性。潜在的机制与对某些心理状态的行为替代测量的警惕性连续体的经验解释有关。我们以基于经典的头皮的审视传感器(OEG)的意义命名了所提出的测量,该传感器光电脑摄影(OEG)仅依赖于现代基于摄像机的实时信号处理和计算机视觉。基于随机表示作为面部动力学的连贯性,反映了情绪表达中的半径不对称性,我们证明了患者与健康对照之间几乎没有完美的区别,以及精神疾病抑郁症和精神分裂症和症状的严重性。与标准诊断过程相反,该过程耗时,主观,不包含神经生物学数据,例如实时面部动力学,情感响应能力的客观随机建模仅需要几分钟的基于视频的面部录制。我们还强调了该方法作为因果推断模型在转诊分析中的潜力,以预测药理治疗的结果。所有结果均在临床纵向数据收集中获得,其中有100名患者和50例对照。
translated by 谷歌翻译
自动驾驶的运动预测是一项艰巨的任务,因为复杂的驾驶场景导致静态和动态输入的异质组合。这是一个开放的问题,如何最好地表示和融合有关道路几何,车道连接,时变的交通信号状态以及动态代理的历史及其相互作用的历史。为了模拟这一不同的输入功能集,许多提出的方法旨在设计具有多种模态模块的同样复杂系统。这导致难以按严格的方式进行扩展,扩展或调整的系统以进行质量和效率。在本文中,我们介绍了Wayformer,这是一个基于注意力的运动架构,用于运动预测,简单而均匀。 Wayformer提供了一个紧凑的模型描述,该描述由基于注意力的场景编码器和解码器组成。在场景编码器中,我们研究了输入方式的早期,晚和等级融合的选择。对于每种融合类型,我们通过分解的注意力或潜在的查询关注来探索策略来折衷效率和质量。我们表明,尽管早期融合的结构简单,但不仅是情感不可知论,而且还取得了最先进的结果。
translated by 谷歌翻译
显示了最佳的收敛速率,显示了对保守随机偏微分方程的平均场限制对解决方案解决方案解决方案解决方案的收敛。作为第二个主要结果,该SPDE的定量中心极限定理再次得出,并以最佳的收敛速率得出。该结果尤其适用于在过叠层化的,浅的神经网络中与SPDES溶液中随机梯度下降动力学的平均场缩放率的收敛性。结果表明,在限制SPDE中包含波动可以提高收敛速度,并保留有关随机梯度下降的波动的信息。
translated by 谷歌翻译