自我监督的学习算法包括BERT和SIMCLR,在自然语言处理,计算机视觉和语音处理等领域中启用了重要的进步。然而,这些算法是特定于域的,这意味着必须为每个新设置开发新的自我监督的学习算法,包括Myriad Healthcare,Scientific和多模域。为了促进朝向域 - 无症方法的进展,我们介绍了DABS:一个用于自我监督学习的领域 - 不可知基准。为了在DAB上表现良好,在七种不同域名评估算法:自然图像,多通道传感器数据,英语文本,语音记录,多语言文本,胸部X射线和图像,具有文本描述。每个域都包含一个未标记的预先预订的未标记数据集;然后基于其在域中的一组标记任务上的下游性能来评分模型。我们还展示了E-Mix和Shed:两个基线域名 - 不可止结算法;它们相对适度的性能表明,在自我监督学习之前需要取得重大进展是任意域的开箱即用解决方案。基准数据集和基线算法的代码可在https://github.com/alextamkin/dabs上获得。
translated by 谷歌翻译
嵌入或可视化临床患者数据的主要挑战是可变类型的异质性,包括连续实验室值,分类诊断代码以及缺失或不完整的数据。特别地,在EHR数据中,一些变量是{\ EM缺失而不是随机(MNAR)}但故意没有收集,因此是信息来源。例如,在疑似诊断的基础上,某些患者可能认为实验室测试是必要的,但不适用于其他患者。在这里,我们呈现壁画林 - 一个无监督的随机森林,用于代表具有不同变量类型的数据(例如,分类,连续,mnar)。壁画森林由一组决策树组成,其中随机选择节点分裂变量,使得所有其他变量的边缘熵由分裂最小化。这允许我们在与连续变量一致的方式中也拆分在Mnar变量和离散变量上。最终目标是学习使用这些患者之间的平均树距离的患者的壁画嵌入。这些距离可以馈送到非线性维度减少方法,如phate,以获得可视化的嵌入。虽然这种方法在连续值的数据集中普遍存在(如单细胞RNA测序)中,但它们尚未在混合可变数据中广泛使用。我们展示在一个人工和两个临床数据集上使用我们的方法。我们表明,使用我们的方法,我们可以比竞争方法更准确地对数据进行可视化和分类数据。最后,我们表明壁画也可用于通过最近提出的树木切片的Wassersein距离比较患者的群组。
translated by 谷歌翻译
在基于典型的深度神经网络训练期间,所有模型的参数都在每次迭代时更新。最近的工作表明,在训练期间只能更新模型参数的小型子集,这可以减轻存储和通信要求。在本文中,我们表明,可以在模型的参数上诱导一个固定的稀疏掩码,该屏蔽选择要在许多迭代中更新的子集。我们的方法用最大的Fisher信息构造出k $参数的掩码,作为一个简单的近似,与手头的任务最重要的近似值。在参数高效转移学习和分布式培训的实验中,我们表明我们的方法与其他方法的性能相匹配或超出稀疏更新的其他方法的性能,同时在内存使用和通信成本方面更有效。我们公开发布我们的代码,以促进我们的方法的进一步应用。
translated by 谷歌翻译
转移学习提供了一种在学习另一个任务时从一个任务中利用知识的方式。执行转移学习通常涉及通过训练数据集上的梯度下降来迭代地更新模型的参数。在本文中,我们介绍了一种基本上不同的方法,用于将知识转移到跨模型,这些方法将多个模型“合并”成一个。我们的方法有效地涉及计算模型参数的加权平均值。我们表明,该平均值相当于从模型权重的后部的大致抽样。在某些情况下使用各向同性高斯近似时,我们还通过Fisher信息近似于精确矩阵来证明优势。总之,我们的方法使得与基于标准梯度的培训相比,可以以极低的计算成本将多种模型中的“知识”组合。我们展示了模型合并在中间任务培训和域适应问题上实现了基于梯度下降的转移学习的可比性。我们还表明,我们的合并程序使得可以以先前未开发的方式结合模型。为了测量我们方法的稳健性,我们对我们算法的设计进行了广泛的消融。
translated by 谷歌翻译
痴呆症是一种神经退行性疾病,导致认知下降,并影响全世界超过5000万人。痴呆症是由医疗保健专业人士诊断的 - 只有患有痴呆症的四个人中只有一名诊断出来。即使制造诊断,也可能无法作为患者图表中的疾病(ICD)诊断码的结构化国际分类。与认知障碍(CI)有关的信息通常在电子健康记录(EHR)中发现,但专家临床医生票据的手工审查既耗时,往往容易出错。本票据的自动化挖掘为在EHR数据中标记有认知障碍患者的机会。我们开发了自然语言处理(NLP)工具,以识别具有认知障碍的患者,并证明语言背景提高了认知障碍分类任务的性能。我们微调我们的注意力深入学习模型,可以从复杂的语言结构中学习,并且相对于基线NLP模型的精度(0.93)大大提高(0.84)。此外,我们表明深度学习NLP可以成功识别没有痴呆相关的ICD代码或药物的痴呆症患者。
translated by 谷歌翻译
虽然神经结构的早期研究搜索(NAS)所需的极端计算资源,但最近的表格和代理基准的版本大大提高了NAS研究的速度和再现性。但是,两个最受欢迎的基准测试不为每个架构提供完整的培训信息。结果,在这些基准上,不可能运行许多类型的多保真技术,例如学习曲线外推,这些技术需要在任意时期评估架构。在这项工作中,我们介绍了一种使用奇异值分解和噪声建模的方法来创建代理基准,NAS-Bench-111,NAS-BENCH-311和NAS-BENCH-NLP11,其输出每个架构的完整培训信息而不是最终的验证准确性。我们通过引入学习曲线外推框架来修改单一保真算法来展示使用完整培训信息的力量,示出它导致改进流行的单保真算法,该算法在释放时声称最先进的单一保真算法。我们的代码和预用模型可在https://github.com/automl/nas-bench-x11中获得。
translated by 谷歌翻译
用于控制多助手群的动态系统模型对弹性,分散的导航算法进行了展示的进步。我们之前介绍了神经沃尔斯控制器,其中基于代理的相互作用是通过类复制网络交互来建模的,包括吸引子动力学和相位同步,这些相互作用和相同步在导航啮齿动物的海马地区电路内进行了理论上。这种复杂性妨碍了通常用于研究常规群模型的稳定性,可控性和性能的线性分析。此外,由于目标的复杂性,模型参数的复杂性和基于模拟的采样的计算成本,调谐动态控制器通常是不充分的。在这里,我们提出了一种基于贝叶斯优化(Bayesopt)的自主多智能体系动态控制器模型的框架。我们的方法利用了任务依赖性目标函数来培训高斯过程(GPS)作为代理模型,以实现对动态控制器模型的参数空间的自适应和有效探索。我们通过研究对在时间压力下协作定位和捕获空间分布的奖励的神经沃尔斯行为选择的目标函数来证明这种方法。我们通过在不同几何形状中组合模拟的分数来推广跨环境的任务性能。为了验证搜索性能,我们通过在均匀歧管近似和投影(UMAP)嵌入中的样本轨迹中比较高VS的高维聚类。我们的研究结果表明,适应性,样本有效地评估复杂系统的自组织行为能力,包括动态群体控制器,可以加速神经科学理论的翻译,以应用域。
translated by 谷歌翻译
情绪感知智能系统对于广泛的应用是必不可少的。这些系统由语言模型驱动,这主要落入两个范式:基于词汇和上下文。虽然最近的上下文模型越来越占主导地位,但由于它们的可解释性和易用性,我们仍然可以看到基于词汇的模型的需求。例如,基于词汇的模型允许研究人员容易地确定哪些单词和短语对测量情绪的变化有贡献。任何基于词汇的方法的挑战是,词典需要通过新的单词和表达进行常规扩展。在这里,我们提出了两个用于自动词典扩展的模型。我们的第一个模型建立了一种基线,采用简单而浅的神经网络,使用非上下文方法初始化了预先训练的单词嵌入。我们的第二种模式改进了我们的基线,具有深度变压器的网络,它带来了估计其词汇极性的单词定义。我们的评估表明,两种模型都能够以与亚马逊机械土耳其人的评论者相似的准确度,但是在成本的一小部分中,可以获得类似的准确性。
translated by 谷歌翻译
由于机器学习模型变得越来越复杂和他们的应用程序变得越来越高赌注的,用于解释模型预测工具已经变得越来越重要。这促使模型explainability研究乱舞,并已引起了功能属性的方法,如石灰和SHAP。尽管它们的广泛使用,评价和比较不同功能属性的方法仍然具有挑战性:评价非常需要人的研究,以及实证评价指标往往是数据密集型或真实世界的数据集的计算望而却步。与基准特征归属算法库以及一套综合数据集:在这项工作中,我们通过释放XAI,台式解决这个问题。不同于现实世界的数据集,合成数据集允许那些需要评估地面实况夏普利值等指标的条件期望值的高效计算。我们释放合成的数据集提供了多种可配置模拟真实世界的数据参数。我们通过在多个评价指标和跨多种设置基准流行explainability技术展示我们的图书馆的力量。我们图书馆的多功能性和效率将有助于研究人员把他们的explainability方法从开发到部署。我们的代码可在https://github.com/abacusai/xai-bench。
translated by 谷歌翻译
胸腔CT上的自动病变分割能够快速定量分析Covid-19感染的肺部受累。然而,获得用于训练分割网络的大量体素级注释是非常昂贵的。因此,我们提出了一种基于密集回归激活地图(DRAM)的弱监督分割方法。大多数弱监督的分割方法接近利用类激活映射(CAM)到本地化对象。但是,由于凸轮培训进行分类,因此它们不会与对象分割精确对齐。相反,我们使用来自培训的分割网络的密集特征生成高分辨率激活映射,以训练为估计每瓣病变百分比。以这种方式,网络可以利用关于所需病变卷的知识。此外,我们提出了一个注意神经网络模块,以优化DRAM,与主要回归任务一起优化。我们在90个科目中评估了我们的算法。结果表明,我们的方法达到了70.2%的骰子系数,显着优于凸轮基基线48.6%。
translated by 谷歌翻译