机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
Machine learning (ML) techniques are enjoying rapidly increasing adoption. However, designing and implementing the systems that support ML models in real-world deployments remains a significant obstacle, in large part due to the radically different development and deployment profile of modern ML methods, and the range of practical concerns that come with broader adoption. We propose to foster a new systems machine learning research community at the intersection of the traditional systems and ML communities, focused on topics such as hardware systems for ML, software systems for ML, and ML optimized for metrics beyond predictive accuracy. To do this, we describe a new conference, SysML, that explicitly targets research at the intersection of systems and machine learning with a program committee split evenly between experts in systems and ML, and an explicit focus on topics at the intersection of the two.
translated by 谷歌翻译
机器学习模型通常由转换管道组成。虽然这种设计允许在训练时有效地执行单个模型组件,但预测服务具有不同的要求,例如低负载,高吞吐量和在重负载下的优雅性能降级。当前预测服务系统将模型视为黑盒子,其中特定于预测时间的优化被忽略,有利于易于部署。在本文中,我们介绍PRETZEL,一个预测服务系统,引入一种新颖的白盒结构,支持端到端和多模型优化。使用类似生产的模型管道,实验表明PRETZEL能够在不同的维度上引入性能改进;与最先进的方法相比,PRETZEL平均能够将第99百分位延迟减少5.5倍,同时将内存足迹减少25倍,并将吞吐量提高4.7倍。
translated by 谷歌翻译
像POMCP这样的部分可观察规划的最先进方法是基于随机树搜索。虽然这些方法在计算上是有效的,但它们仍然可以构建相当大的搜索树,这可能由于受限的存储器资源而限制性能。在本文中,我们提出了部分可观察的堆叠汤普森采样(POSTS),这是一种在大型POMDP中进行开环规划的记忆有限方法,可优化Thompson采样强盗的固定堆栈。我们在四大基准问题中对POSTS进行实证评估,并将其性能与不同的基于树的方法进行比较。我们表明,与基于totree的开环规划相比,POSTS实现了竞争性能,并提供了性能 - 内存权衡,适用于具有高度受限的计算和内存资源的部分可观察规划。
translated by 谷歌翻译
我们提出了最先进的自动语音识别(ASR)系统,采用标准的混合DNN \ / HMM架构,与LibriSpeech任务的基于解释的编码器 - 解码器设计相比。为系统架构提供了系统开发的详细描述,包括模型设计,预训练方案,训练计划和优化方法。混合DNN / HMM和基于注意力的系统都采用双向LSTM进行声学建模/编码。对于语言建模,我们使用LSTM和基于Transformer的架构。我们所有的系统都是使用RWTH开源工具包RASR和RETURNN构建的。根据作者的最佳知识,在完整的LibriSpeech培训集上进行培训时获得的结果是目前最好的,对于混合DNN / HMM和基于注意的系统而言。我们的单一混合系统甚至优于以前从八个单一系统组合中获得的结果。我们的比较显示,在LibriSpeech 960h任务中,混合DNN / HMM系统在干净度方面优于基于注意力的系统15%,在其他测试集上在字错误率方面优于40%。此外,LibriSpeech培训语料库中减少的100h子集的实验甚至在混合DNN / HMM和基于注意力的体系结构之间显示出更明显的差异。
translated by 谷歌翻译
新一代的多核处理器正在崛起,它在芯片上提供了数十个甚至更多的内核,从某种意义上说,它融合了主处理器和加速器。在本文中,我们针对这些机器上的广义线性模型的有效训练。我们提出了一种实现并行性的新方法,我们在均匀核心(HTHC)上调用异构任务。它将问题分为多个根本不同的任务,这些任务本身是并行化的。为了评估,我们在最近的72核Knights Landing处理器上设计了一个详细的,体系结构认知的方案实现,该处理器适应缓存,内存和核心结构。具有不同数据集的Lasso和SVM的实验显示,与C ++中的直接并行实现相比,加速通常为一个数量级。
translated by 谷歌翻译
最近,用于语音识别的端到端序列到序列模型已经引起了研究界的极大兴趣。虽然以前的架构选择围绕延时神经网络(TDNN)和长期记忆(LSTM)递归神经网络,但我们建议通过Transformer架构作为替代方案来引起自我关注。我们的分析表明,具有高学习能力的深层变压器网络能够超越先前的端到端方法,甚至与传统的混合系统相匹配。此外,我们培训了非常深的模型,其中包含多达48个变压器层,用于编码器和解码器以及随机残余连接,这极大地提高了通用性和培训效率。由此产生的模型在Switchboard基准测试中优于所有先前的端到端ASR方法。这些模型的集合分别在Switchboard和CallHome测试集上实现了9.9%和17.7%的WER。这一发现使我们的端到端模型与之前的混合动力系统达到了竞争水平。此外,通过模型集成,变形金刚可以胜过某些混合系统,这在系统结构和训练过程方面都比较复杂。
translated by 谷歌翻译
目的:最近,进行了几次尝试将深度学习转移到医学图像重建。越来越多的出版物遵循将CT重建作为已知算子嵌入到神经网络中的概念。然而,所提出的大多数方法缺乏完全集成到深度学习环境中的有效CT重构框架。因此,许多方法被迫使用变通方法来解决数学上可解决的问题。方法:PYRO-NN是一个通用的框架,将已知的操作员引入普遍的深度学习框架Tensorflow。目前的状态包括最先进的并行,扇形和锥形投影仪以及通过CUDA加速作为Tensorflowlayers加速的反投影仪。最重要的是,该框架提供了一个高级Python API,可以利用来自真实CT系统的数据进行FBP和迭代重建实验。结果:该框架为集成CT重建算法的设计到终端神经网络管道提供了所有必要的算法和工具。高级Python API允许简单地使用Tensorflow中提出的层。为了证明这些层的功能,框架结合了三个基线实验,显示了锥形束短扫描FDD重建,CT重建滤波器学习设置和TVregularized迭代重建。所有算法和工具都参考科学出版物,并与现有的非深度学习重构框架进行比较。该框架以开源软件\ url {https://github.com/csyben/PYRO-NN}的形式提供。结论:PYRO-NN具有普遍的深度学习框架Tensorflow,允许在医学图像重建环境中建立端到端的可训练神经网络。 Webelieve认为该框架将是迈向可重复研究的一步
translated by 谷歌翻译
临床研究人员使用疾病进展建模算法来预测未来患者状态并表征进展模式。用于疾病进展建模的一种方法是使用少数状态描述患者状态,所述状态代表一组观察到的测量值的独特分布。隐马尔可夫模型(HMM)及其变体是一类模型,既可以发现这些状态,也可以预测新患者的未来状态。可以使用来自大规模队列研究,临床试验和电子健康记录的主题的纵向观察来训练HMM。尽管使用算法发现感兴趣的模式具有优势,但对于医学专家来说,解释模型输出,复杂的建模参数以及在临床上理解模式仍然具有挑战性。为了解决这个问题,我们与医学家​​,统计学家和可视化专家进行了一项设计研究,旨在研究某些慢性疾病的疾病进展途径,即1型糖尿病(T1D),亨廷顿病,帕金森病和慢性阻塞性肺病(COPD) )。因此,我们引入了DPVis,它无缝地将模型参数和HMM的结果整合到可解释的和交互式的可视化中。在这项研究中,我们证明DPV在评估疾病进展模型,视觉总结疾病状态,交互式探索疾病进展模式,以及通过引入来自T1D临床研究的观察数据的acase研究设计和比较临床相关亚组群时成功。
translated by 谷歌翻译
城市地区的安全自动驾驶需要强大的算法来避免与其他具有有限感知能力的交通参与者的碰撞。依赖于自主紧急制动(AEB)系统的当前部署方法通常过于保守。在这项工作中,我们将问题制定为部分可观察的马尔可夫决策过程(POMDP),以得出针对行人位置的不确定性的策略。我们研究如何使用AEB系统整合这样的策略,该系统仅在碰撞不可避免时才运行。此外,我们针对明确定义的情景提出了严格的评估方法。我们表明,结合这两种方法提供了一个强大的自动制动系统,通过自己使用AEB系统减少了不必要的制动。
translated by 谷歌翻译