机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
Apache Spark是一种流行的开源平台,适用于大规模数据处理,非常适合迭代机器学习任务。在本文中,我们介绍了Spark的开源分布式机器学习库MLlib。 MLlib为各种学习设置提供了高效的功能,并包括几个基础统计,优化和线性代数原语。随着Spark的发布,MLlib支持多种语言并提供高级API,利用Spark丰富的生态系统来简化端到端机器学习流程的开发。 MLlib由于其140多个贡献者的充满活力的开源社区而经历了快速增长,并包含大量文档以支持进一步增长并让用户快速上手。
translated by 谷歌翻译
在本文中,我们提出了弱监督文档级多方面情感分类的变分方法。我们使用目标 - 意见词对作为“监督”,而不是使用由域专家提供的用户生成的评级或注释。可以使用依赖性解析器和简单规则来提取这些单词对。我们的目标是预测给定目标词的anopinion词,而我们的最终目标是学习情感极性分类器来预测文档中每个方面的情感极性。通过将潜在变量(即情感极性)引入目标函数,我们可以通过变分下界将情感极性分类器注入目标。我们可以通过优化下限来学习asentiment极性分类器。我们表明,我们的方法可以胜过在TripAdvisor和BeeAdvocate数据集上的弱监督基线,并且可以与最先进的监督方法相媲美,每个方面有数百个标签。
translated by 谷歌翻译
尽管二阶相似性(SOS)已经在图形匹配和聚类等任务中得到了显着的成功,但它还没有被用于学习局部描述符。在这项工作中,我们通过建立一个正对匹配点应该表现出相对于嵌入空间中其他点的相似距离的概念来探索描述符学习领域中SOS的潜力。因此,我们提出了一个新的正则化项,称为二阶相似正则化(SOSR),遵循这一原则。通过将SOSR结合到训练中,我们学习的描述符在包含不同任务的几个具有挑战性的基准上实现了最先进的性能,这些任务包括来自运动的局部补丁检索结构。此外,通过设计基于von Mises-Fischer分布的评估方法,我们将描述符空间的利用率与匹配性能联系起来,从而证明了我们提出的SOSR的有效性。提供了广泛的实验结果,经验证据和诠释分析,表明SOSR可以显着提高学习描述符的匹配性能。
translated by 谷歌翻译
由于缺乏足够的训练数据和从头开始的traina深度神经网络的高计算成本,转移学习已被广​​泛用于许多基于深度神经网络的应用,例如人脸识别,图像分类,语音识别等。 - 使用转移学习方法涉及采用预训练模型的一部分,最后添加几个层,并使用小数据集重新训练新层。这种方法虽然有效且广泛使用,但却存在安全漏洞,因为转移学习中使用的经过预先训练的模型通常是公开的,包括潜在的攻击者。在本文中,我们展示除了预训练模型之外没有任何其他知识,攻击者可以发出有效且高效的暴力攻击,可以创建输入实例以高可信度触发每个目标类。请注意,我们假设攻击者无法访问任何特定于目标的信息,包括来自目标类的样本,重新训练的模型以及Softmax为每个类分配的概率,因此称为目标无关攻击。这些假设可以呈现所有先前的攻击在我们知识的最佳状态下,这是不切实际的。为了评估提出的攻击,我们在表面识别和语音识别任务上进行了一系列实验,并展示了攻击的有效性。我们的工作揭示了深度神经网络中转移学习的基本安全挑战。
translated by 谷歌翻译
回归神经网络(RNN)由于其优于传统的基于N-gram模型的性能而主导了语言建模。在许多应用中,使用大型递归神经网络语言模型(RNNLM)或几个RNNLM的集合。这些模型具有大的内存占用并且需要大量计算。在本文中,我们研究了应用知识蒸馏在减少RNNLMs模型大小方面的作用。此外,我们提出了一种信任正则化方法来改进RNNLMs的知识蒸馏训练。使用知识蒸馏和信任正则化,将参数大小减小到先前发布的最佳模型的三分之一,同时在Penn Treebankdata上保持最先进的困惑结果。在语音识别N-bestrescoring任务中,我们将RNNLM模型大小减少到基线系统的18.5%,而华尔街日报数据集的单词误差率(WER)性能没有下降。
translated by 谷歌翻译
我们使用用于视频识别的深度模型来解决学习运动表示的挑战性问题。为此,我们利用注意力模块来学习突出视频中的区域和聚合功能以进行识别。具体而言,我们建议利用输出关注度图作为车辆,将学习的表示从运动(流)网络传输到RGB网络。我们系统地研究了注意模块的设计,并开发了一种新的注意蒸馏方法。我们的方法在主要行动基准上进行了评估,并且一直在显着提高基线RGB网络的性能。此外,我们证明了ourattention地图可以利用学习中的运动线索来识别视频帧中的动作位置。我们相信我们的方法为深度模型中的学习运动感知表示提供了一个步骤。
translated by 谷歌翻译
我们提出了一种基于学习的方案,用于在穿着的3D人体扫描中稳健且准确地估计穿着健康以及人体形状。 Ourapproach将穿着的人体几何图形映射到我们称之为穿透GI的几何图像。为了在不同的衣服下对齐衣服GI,我们扩展了参数人体模型,并采用骨架检测和翘曲来实现可靠的对齐。对于穿着-GI上的每个像素,我们提取包括颜色/纹理,位置,法线等的特征向量,并使用全面的3D服装训练用于每像素适应度预测的修改的条件GAN网络。我们的技术显着提高了人体形状预测的准确性,特别是在宽松和合身的服装下。我们进一步展示了我们的结果,人类/服装细分和虚拟服装适应高视觉真实感。
translated by 谷歌翻译
与2D对应物相比,迄今为止,原始和稀疏点云的3D物体检测得到了很大的改进。在本文中,我们提出了一个名为FVNet的新框架,用于3D前视图提议生成和点云对象检测。它包括两个阶段:生成前视图提议和3D边界框参数估计。我们首先将点云投影到圆柱面上,以生成保留丰富信息的前视特征图,而不是从相机图像或鸟瞰图中生成建议。然后,我们引入一个提议生成网络,以从生成的地图中预测3D区域提议,并从整个点云中进一步描述感兴趣的对象。最后,我们提出了另一个网络,从挤出的对象点中提取逐点特征,并在规范坐标中回归最终的3D边界框参数。我们的框架实现了每个pointcloud样本12ms的实时性能。关于3D检测基准KITTI的大量实验表明,所提出的架构在精度和参考时间方面优于最先进的技术,该技术将相机图像或点云作为输入。
translated by 谷歌翻译