GPU编译器是复杂的软件程序,具有许多特定于目标硬件的优化。这些优化通常由使用时间和资源密集型流程的编译器专家手工设计的启发式。在本文中,我们开发了一种GPU编译器自动调节框架,使用禁止策略的深度加强学习来生成提高图形应用程序帧速率的启发式。此外,我们展示了这些学习的启发式的恢复能力,通过分析他们在没有再培训的代码检查中的一年内的稳定性来频繁编译更新。我们表明,我们的机器基于机器的学习编译器自动调节框架匹配或超过98%的图形基准的帧速率,平均隆起为1.6%,高达15.8%。
translated by 谷歌翻译
量化和修剪是用于降低深神经网络的推理成本的核心技术。目前,最先进的量化技术适用于权重和激活;然而,大量修剪通常仅应用于网络的权重。在这项工作中,我们在训练期间共同应用了新颖的均匀量化和非结构化修剪方法,对深神经网络的重量和激活。使用我们的方法,我们凭经验评估当前接受的Prune-Deatizy范式在各种计算机视觉任务中,并在应用于深度神经网络的权重和激活时观察非换向性质。通过这些观察来了解,我们阐明了非换向假设:对于针对特定任务接受培训的给定深度神经网络,存在精确的培训计划,其中可以引入量化和修剪来优化网络性能。我们确定不仅存在的最佳排序,而且在识别和生成的任务中也有所不同。在我们的培训框架内使用最佳培训计划,我们通过现有解决方案展示了每个内存足迹的性能提高。
translated by 谷歌翻译
最近已经提出了与紧急磁化动态的互连磁纳环阵列用于储层计算应用,但是对于它们进行计算有用,必须可以优化其动态响应。在这里,我们使用一种现象学模型来证明可以通过调整使用旋转磁场将数据的缩放和输入速率控制到系统中的超级参数来优化这些储存器。我们使用任务独立的指标来评估每组上的这些超参数的戒指的计算能力,并展示这些指标如何直接关联与口头和书面识别任务中的性能相关联。然后,我们通过扩展储库的输出来包括环阵列磁态的多个并发度量,可以进一步改善这些度量。
translated by 谷歌翻译
对世界各地的急诊部门(ED)服务的需求不断增长,特别是在Covid-19大流行下。风险三环在优先考虑最需要它们的患者的有限医疗资源方面发挥着至关重要的作用。最近,普遍使用电子健康记录(EHR)已经产生了大量的存储数据,伴随着开发可改善紧急护理的预测模型的巨大机会。然而,没有基于大型公共EHR的广泛接受的ED基准,这是新的研究人员可以轻松访问的基准。填补这种差距的成功可以使研究人员更快,方便地开始研究,而无需详细数据预处理,并促进不同研究和方法之间的比较。在本文中,基于医疗信息MART为重症监护IV急诊部门(MIMIC-IV-ED)数据库,我们提出了一款公共ED基准套件,并获得了从2011年到2019年的50万ED访问的基准数据集。三个ed已经介绍了基于预测任务(住院,关键结果和72小时ED Revisit),其中实施了各种流行的方法,从机器学习方法到临床评分系统进行了实施。他们的性能结果评估并进行了比较。我们的代码是开源,因此任何具有访问模仿-IV-ED的人都可以遵循相同的数据处理步骤,构建基准,并重现实验。本研究提供了洞察力,建议,以及未来研究人员的协议,以处理原始数据并快速建立紧急护理模型。
translated by 谷歌翻译
本研究审查了使用自然语言处理(NLP)模型来评估物品编写者在医疗许可考试中使用的语言模式是否可能包含偏见或陈规定型语言的证据。项目语言选择中的这种类型的偏差对于医疗许可评估中的物品可能对物品特别有影响,因为它可能对内容有效性构成威胁和测试分数有效性证据的可靠性。据我们所知,这是使用机器学习(ML)和NLP的第一次尝试探索大型物品银行的语言偏见。使用培训的预测算法在类似物品茎的集群上,我们证明我们的方法可用于审查大型物品银行,用于临床科学患者中的潜在偏见语言或陈规定型患者特征。该发现可以指导开发用于解决测试项目中发现的陈规定型语言模式的方法,并在需要时能够有效地更新这些项目,以反映当代规范,从而提高了支持测试评分的有效性的证据。
translated by 谷歌翻译
贝叶斯脑假设假设大脑根据贝叶斯定理进行准确地运行统计分布。突触前囊泡释放神经递质的随机性失效可以让大脑从网络参数的后部分布中样本,被解释为认知不确定性。尚未显示出先前随机故障可能允许网络从观察到的分布中采样,也称为炼肠或残留不确定性。两个分布的采样使概率推断,高效搜索和创造性或生成问题解决。我们证明,在基于人口码的神经活动的解释下,可以用单独的突触衰竭来表示和对两种类型的分布进行分布。我们首先通过突触故障和横向抑制来定义生物学限制的神经网络和采样方案。在该框架内,我们派生基于辍学的认知不确定性,然后从突触功效证明了允许网络从任意,由接收层表示的分布来释放概率的分析映射。其次,我们的结果导致了本地学习规则,突触将适应其发布概率。我们的结果表明,在生物学限制的网络中,仅使用本地学习的突触失败率,与变分的贝叶斯推断相关的完整贝叶斯推断。
translated by 谷歌翻译
最近在时间序列域中的合成数据生成的工作集中在使用生成的对抗网络。我们提出了一种用于综合生成时间序列数据的新型架构,使用变分自动编码器(VAES)。拟议的架构具有多种不同的特性:可解释性,编码域知识的能力,以及减少培训时间。我们通过对四个多变量数据集的相似性和可预测性评估数据生成质量。我们试验不同尺寸的培训数据,以测量数据可用性对我们VAE方法的产生质量的影响以及几种最先进的数据生成方法。我们对相似​​性测试的结果表明,VAE方法能够准确地代表原始数据的时间属性。在使用生成数据的下一步预测任务上,所提出的VAE架构一致地满足或超过最先进的数据生成方法的性能。虽然降噪可能导致所生成的数据偏离原始数据,但是我们演示了所产生的去噪数据可以使用生成的数据显着提高下一步预测的性能。最后,所提出的架构可以包含域特定的时间模式,例如多项式趋势和季节性,以提供可解释的输出。这种解释性在需要模型输出的透明度的应用中可以是非常有利的,或者用户希望将时间序列模式的先验知识注入到生成模型中。
translated by 谷歌翻译
收集大量人生成的健康数据(可穿戴性),但注释给机器学习模型的注释过程是不切实际的。本文讨论了使用以前应用于视觉域的自我监督损失的自我监督方法,例如以前应用于视觉域,可以应用于跨越睡眠,心脏和心脏的下游分类任务的高维健康信号。代谢条件。为此,我们适应数据增强步骤和整体架构,以满足数据(可穿戴迹线)的时间性,并通过比较其他最先进的方法(包括监督学习)和对抗的无监督来评估5个下游任务。代表学习方法。我们表明SIMCLR在大多数下游评估任务中表明了对抗性方法和完全监督的方法,并且所有自我监督方法都优于完全监督的方法。这项工作为应用于可穿戴时间级域的对比方法提供了全面的基准,显示了下游临床结果的任务不可知论见的承诺。
translated by 谷歌翻译
我们最近开发了一种深入的学习方法,可以通过观察材料晶体的扫描电子显微镜(SEM)图像来确定材料的临界峰值应力。然而,它已经稍微不清楚网络在其预测时键入网络的图像特征。在计算机愿景中常见的是采用可解释的AI显着图,告诉一个图像的图像对网络的决定很重要。人们通常可以通过查看这些突出位置来推导重要的特征。然而,SEM的晶体图像比自然图像照片更摘要。结果,不容易判断在最突出的位置是什么重要的。为了解决这个问题,我们开发了一种方法,可以帮助我们将SEM图像中的重要位置从SEM图像中的重要位置映射到更易于解释的非抽象纹理。
translated by 谷歌翻译
自动音乐转录(AMT),从原始音频推断出音符,是音乐理解核心的具有挑战性的任务。与通常专注于单个扬声器的单词的自动语音识别(ASR)不同,AMT通常需要同时转换多个仪器,同时保留微量间距和定时信息。此外,许多AMT数据集是“低资源”,甚至甚至专家音乐家发现音乐转录困难和耗时。因此,事先工作专注于任务特定的架构,对每个任务的个体仪器量身定制。在这项工作中,通过对低资源自然语言处理(NLP)的序列到序列转移学习的有前途的结果,我们证明了通用变压器模型可以执行多任务AMT,共同转录音乐的任意组合跨几个转录数据集的仪器。我们展示了统一培训框架在一系列数据集中实现了高质量的转录结果,大大提高了低资源仪器(如吉他)的性能,同时为丰富的仪器(如钢琴)保持了强大的性能。最后,通过扩大AMT的范围,我们揭示了更加一致的评估指标和更好的数据集对齐,并为这个新的多任务AMT的新方向提供了强的基线。
translated by 谷歌翻译