机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
Apache Spark是一种流行的开源平台,适用于大规模数据处理,非常适合迭代机器学习任务。在本文中,我们介绍了Spark的开源分布式机器学习库MLlib。 MLlib为各种学习设置提供了高效的功能,并包括几个基础统计,优化和线性代数原语。随着Spark的发布,MLlib支持多种语言并提供高级API,利用Spark丰富的生态系统来简化端到端机器学习流程的开发。 MLlib由于其140多个贡献者的充满活力的开源社区而经历了快速增长,并包含大量文档以支持进一步增长并让用户快速上手。
translated by 谷歌翻译
多人姿势估计是计算机视觉的基本但具有挑战性的任务。需要丰富的上下文信息和空间信息以精确地定位图像中所有人的关键点。本文提出了一种新颖的上下文空间感知网络(CSANet),它集成了上下文感知路径和空间感知路径,以获取涉及上下文信息和空间信息的有效特征。具体来说,我们设计了一个具有结构的上下文感知路径。监督策略和空间金字塔汇集策略,以增强背景信息。同时,提出了一种空间感知路径来保存空间信息,同时缩短了从低级特征到高级特征的信息传播路径。在这两条路径的基础上,我们采用重头路径进一步有效地进一步组合和增强功能。实验上,我们提出的网络在COCO关键点基准测试中优于最先进的方法,验证了我们的方法的有效性,并进一步证实了以上命题。
translated by 谷歌翻译
效率对于在线推荐系统至关重要。将用户和项目表示为协同过滤(CF)的二进制向量可以在汉明空间中实现快速用户项目亲和度计算,近年来,我们已经尝试了利用CF方法的二进制散列技术的新兴研究工作。然而,具有二进制代码的CF由于每个位中的有限表示能力而自然地遭受低准确性,这阻碍了它对数据的复杂结构进行建模。在这项工作中,我们尝试通过利用实值向量的准确性和二进制代码表示用户/项目的效率来提高效率而不损害模型性能。特别地,我们提出了用于协同过滤的组合编码(CCCF)框架,其不仅获得比现有技术的CF方法更好的推荐效率,而且实现了比具有有价值的CF方法更高的精度。具体而言,CCCF创新地用一组二进制向量表示每个用户/项目,二进制向量与稀疏实际值权重向量相关联。权重向量的每个值将对应的二进制向量的重要性编码到用户/项目。连续权重向量极大地增强了二进制代码的表示能力,其稀疏性保证了处理速度。此外,提出了一种整数近似方案以进一步加快速度。基于CCCF框架,我们设计了一种有效的离散优化算法来学习其参数。在三个真实世界数据集上的广泛实验表明,我们的方法在推荐精度和效率方面都优于最先进的二值化CF方法(甚至实现了比实值CF方法更好的性能)。
translated by 谷歌翻译
多人姿势估计是计算机视觉中的一个重要但具有挑战性的问题。虽然目前的方法通过融合多尺度特征图而取得了显着进步,但是他们很少关注增强特征图的通道和空间信息。在本文中,我们提出了两个新颖的模块来执行多人姿态估计的信息增强。首先,提出了一种频道混洗模块(CSM),对不同层次的特征映射采用信道混洗操作,促进金字塔特征映射之间的跨信道信息通信。其次,空间,通道注意残留瓶颈(SCARB)旨在通过注意机制来增强原始残差单元,在空间和通道方面的上下文中自适应地突出特征图的信息。我们提出的模块的有效性在COCO关键点基准上进行了评估,实验结果表明我们的方法可以达到最先进的结果。
translated by 谷歌翻译
我们提出了一个全栈优化框架,用于加速CNN(卷积神经网络)的推理,并通过现场可编程门阵列(FPGA)实现验证该方法。通过联合优化CNN模型,计算架构和硬件实现,我们的完整堆栈方法在权衡空间中实现了前所未有的性能,其特征在于推理延迟,能量效率,硬件利用率和参考准确度。作为验证工具,我们实施了170MHz FPGA参考芯片,为ImageNet基准测试提供了2.28ms的延迟。实现的延迟是文献中报道的最低,同时实现了可比较的准确性。然而,我们的芯片闪耀的是,与实现可比延迟的其他实现相比,它具有高9倍的能量效率。我们的全堆栈方法的高亮特性归功于实现的高能效,是一种有效的选择器 - 累加器(SAC)架构,用于实现任何digitalCNN硬件中存在的乘法器 - 累加器(MAC)操作。例如,与传统8位MAC的FPGA实现相比,SAC大大减少了所需的硬件资源(减少了4.85倍的查找表)和功耗(2.48倍)。
translated by 谷歌翻译
理解人类的语言需要复杂的世界知识。然而,现有的大规模知识图主要关注实体的知识,而忽略了关于活动,状态或事件的知识,这些知识用于描述实体或事物在现实世界中的行为方式。为了填补这一空白,我们开发了ASER(活动,状态,事件及其关系),这是一种从超过110亿个令牌结构的文本数据中提取的大规模可能性知识图。 ASER包含15种属于五类的关系类型,1.94亿个独特的可能性,以及6400万个独特的边缘。人类和外在的评估都证明了ASER的质量和有效性。
translated by 谷歌翻译
终身机器学习是一种新颖的机器学习范式,它不断学习任务并积累知识以供重用。知识提取和重用能力使终身机器学习能够理解解决任务的知识并获得解决相关问题的能力。在情感分类中,像Naive Bayes这样的传统方法关注每个单词具有正面或负面情绪的概率。然而,本文中的终身机器学习将以不同的角度研究这个问题并试图发现哪些单词决定评论的情感。我们将全神贯注地在学习期间获取知识,以便将来学习,而不仅仅是解决当前的任务。
translated by 谷歌翻译
从观察数据中学习因果效应极大地有益于各种领域,如医疗保健,教育和社会学。例如,人们可以估计政策对降低失业率的影响。因果效应推断的核心问题是处理未观察到的事实因素和治疗选择偏差。最先进的方法通过平衡治疗组和对照组来集中解决这些问题。然而,在学习和平衡过程中,来自原始协变量空间的高度预测信息可能会丢失。为了构建更强大的估计器,我们通过基于深度学习的最新进展,提出了一种基于Adversarial Balancing的基于CausalEffect Inference(ABCEI)的表示学习的方法来解决这一信息丢失问题。 ABCE使用对抗性学习来平衡潜在表征空间中治疗组和对照组的分布,而不对治疗选择/分配功能的形式进行任何假设。 ABCEI保留了有用的信息,用于预测互信息估算器正规化下的因果效应。我们在几个合成和现实世界的数据集上进行了各种实验。实验结果表明,ABCEI对治疗选择偏差具有很强的抵抗力,并且匹配/优于最先进的方法。
translated by 谷歌翻译