GPU编译器是复杂的软件程序,具有许多特定于目标硬件的优化。这些优化通常由使用时间和资源密集型流程的编译器专家手工设计的启发式。在本文中,我们开发了一种GPU编译器自动调节框架,使用禁止策略的深度加强学习来生成提高图形应用程序帧速率的启发式。此外,我们展示了这些学习的启发式的恢复能力,通过分析他们在没有再培训的代码检查中的一年内的稳定性来频繁编译更新。我们表明,我们的机器基于机器的学习编译器自动调节框架匹配或超过98%的图形基准的帧速率,平均隆起为1.6%,高达15.8%。
translated by 谷歌翻译
大多数图形神经网络(GNNS)使用传递范例的消息,其中节点特征在输入图上传播。最近的作品指出,从远处节点流动的信息失真,作为限制依赖于长途交互的任务的消息的效率。这种现象称为“过度挤压”,已经启动到图形瓶颈,其中$ k $ -hop邻居的数量以$ k $迅速增长。我们在GNNS中提供了精确描述了GNNS中的过度挤压现象,并分析了它如何从图中的瓶颈引发。为此目的,我们介绍了一种新的基于边缘的组合曲率,并证明了负曲面负责过度挤压问题。我们还提出并通过实验测试了一种基于曲率的曲线图重新挖掘方法,以减轻过度挤压。
translated by 谷歌翻译
用于计算病理(CPATH)的深度分割模型的发展可以帮助培养可解释的形态生物标志物的调查。然而,这些方法的成功存在主要瓶颈,因为监督的深度学习模型需要丰富的准确标记数据。该问题在CPATH领域加剧,因为详细注释的产生通常需要对病理学家的输入能够区分不同的组织构建体和核。手动标记核可能不是收集大规模注释数据集的可行方法,特别是当单个图像区域可以包含数千个不同的单元时。但是,仅依靠自动生成注释将限制地面真理的准确性和可靠性。因此,为了帮助克服上述挑战,我们提出了一种多级注释管道,以使大规模数据集进行用于组织学图像分析,具有病理学家in-循环的细化步骤。使用本市管道,我们生成最大的已知核实例分段和分类数据集,其中包含近百万分之一的H&E染色的结肠组织中标记的细胞核。我们发布了DataSet并鼓励研究社区利用它来推动CPATH中下游小区模型的发展。
translated by 谷歌翻译
现代深度学习系统的区别特征之一是,它们通常采用利用巨大数量的参数,通常在数百万中使用的神经网络架构。虽然这个范例对大型网络的性质启发了重要研究,但是致力于这些网络通常用于建模大型复杂数据集的事实,而且它们本身可能包含数百万甚至数十亿的约束的事实。在这项工作中,我们专注于这种高维制度,其中数据集大小和特征数量往往是无限的。我们分析随机重量矩阵$ W $和随机偏置向量$ B $的随机特征回归的性能$ f = f(wx + b)$ b $,获取用于渐近培训的确切公式,并对数据产生的数据进行测试错误一个线性教师模型。偏差的作用可以理解为参数化在激活功能上的分布,并且我们的分析直接推广到这种分布,即使是传统的附加偏差不表达的那些分布。有趣的是,我们发现非线性的混合物可以通过最好的单一非线性来改善训练和测试误差,这表明非线性的混合物可能对近似内核方法或神经网络架构设计有用。
translated by 谷歌翻译