机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
近年来,人们越来越关注设计高效的神经网络和神经网络搜索(NAS)。虽然已经实现了显着的效率和准确性,但是现有的专家设计和NAS模型预测输入实例具有不同的复杂性,因此需要不同的计算量。因此,使用通过相同转换处理所有实例的固定模型的推断会浪费大量的计算资源。需要在实例感知器中自定义模型容量。在本文中,我们引入了一个新的网络ISBNet来解决这个问题,它通过选择性地绕过无穷小重要性权重的转换分支来支持有效的实例级推理。我们还建议轻量级超网络SelectionNet以实例方式生成这些重要性权重。已经进行了大量实验来评估ISBNet的效率,结果表明ISBNet与现有网络相比具有极高的推理效果。例如,ISBNet仅具有12.45%的参数和45.79%的最先进的高效网络ShuffleNetV2的FLOP,具有相当的精度。
translated by 谷歌翻译
过滤器修剪已被证明对学习资源受限的卷积神经网络(CNN)是有效的。然而,用于资源约束的滤波器修剪的现有方法具有一些妨碍其有效性和效率的限制。当搜索满足约束的CNN时,先验方法要么改变优化目标要么采用局部搜索算法和启发式参数化,这是次优的,尤其是在低资源状态下。从效率的角度来看,现有方法寻找满足约束的CNN的成本很高。在这项工作中,我们提出了全球排名,称为LeGR,它在前面提到的两个方面改进了现有技术。受理论分析的启发,LeGR被参数化以学习过滤器范数上的分层仿射变换,从而构建学习的全局排名。通过全局排名,可以有效地完成各种约束级别的资源约束过滤器修剪。我们进行了广泛的实证分析,以证明所提出的算法与ResNet和MobileNetV2网络在CIFAR-10,CIFAR-100,Bird-200和ImageNet数据集上的有效性。代码在https://github.com/cmu-enyac/LeGR上公开发布。
translated by 谷歌翻译
阿片类药物是重症监护病房治疗疼痛的首选药物。虽然治疗不足会导致疼痛缓解和临床结果不佳,但过量使用阿片类药物会使患者面临多重不良反应的风险。在这项工作中,我们提出了基于深度加强学习的阿片类药物剂量的顺序决策制定框架。它提供实时临床可解释的剂量建议,根据每位患者不断变化的疼痛和生理状况进行个性化。我们专注于吗啡,这是最常见的阿片类药物之一。为了训练和评估模型,我们使用了公开的MIMIC-3数据库的回顾性数据。我们的研究结果表明,通过提供个性化的疼痛管理干预措施,可以利用强化学习来帮助在重症监护中做出决策。
translated by 谷歌翻译
基于机器学习的数据驱动应用已经变得无处不在,例如,医疗保健分析和数据库系统优化。大型培训数据和大型(深层)模型对于良好的性能至关重要。 Dropout已被广泛用作有效的正则化技术,以防止大型模型过度拟合。然而,许多最近的研究表明,对于数据驱动的应用程序,深度卷积神经网络(CNN),人口深度学习模型,辍学并没有带来太多的性能提升。在本文中,我们在相同的分析框架下制定CNN的现有辍学方法来调查失败。我们将失败归因于辍学与其后的批量归一化操作之间的冲突。因此,我们建议改变操作的顺序,这导致CNN的新构建块。已经对基准数据集CIFAR,SVHN和ImageNet进行了大量实验,以比较现有的构建块和我们的新构建块与不同的丢失方法。结果证实了由于辍学的正则化和隐式模型集合效应,我们提出的构件的优越性。特别值得一提的是,我们改进了现有的CNN,并且CIFAR-10,CIFAR-100,SVHN和ImageNet的错误率分别为3.17%,16.15%,1.44%,21.46%。
translated by 谷歌翻译
在具有视觉功能的自动系统(如机器人和自动驾驶汽车)中,视频对象检测起着至关重要的作用,其速度和准确性是提供可靠操作的重要因素。我们在本文中展示的关键见解是,当图像缩放时,速度和准确性不一定是权衡。我们的结果表明,将图像重新缩放到较低分辨率有时会产生更好的精度。基于这一观察,我们提出了一种称为AdaScale的新方法,该方法可自适应地选择输入图像比例,从而提高视频对象检测的准确性和速度。为此,我们在ImageNet VID和miniYouTube-BoundingBoxes数据集上的结果分别显示了1.3点和2.7点的mAP改进,加速分别为1.6倍和1.8倍。此外,我们通过额外的1.25倍加速技术改进了最先进的视频加速工作,并在ImageNet VID数据集上提供了更好的mAP。
translated by 谷歌翻译
近年来,使用卷积神经网络(CNN)的监督学习在图像分类任务中取得了巨大成功,并且大规模标记数据集对该成就做出了显着贡献。然而,标签的定义通常取决于应用。例如,猫的图像可以标记为“猫”或者更具体地“波斯猫”。我们将其称为标签粒度。在本文中,我们利用各种数据集进行了大量的实验,以展示和分析基于细粒度标记的培训,如“波斯猫”如何在分类粗粒类(在本例中为“猫”)中提高CNN准确度。实验结果表明,用细粒度标签训练CNN可以提高网络的优化和泛化能力,直观地鼓励网络学习更多特征,从而提高所考虑的所有数据集中粗粒度类的分类准确性。此外,细粒度标签增强了数据CNN培训的效率。例如,使用细粒度标签训练的CNN仅有40%的总训练数据可以比使用全训练数据集和粗粒度标签训练的CNN获得更高的准确度。这些结果表明了这项工作的两个可能的应用:(i)有足够的人力资源,人们可以通过用细粒标签重新标记数据集来提高CNN的性能,以及(ii)人力资源有限,以提高CNN的性能,而不是收集更多的训练数据,可以改为使用细粒度标签作为数据集。我们进一步提出了一个称为平均混淆比率的度量标准来描述细粒度标记的有效性,并通过深入的实验展示其用途。代码可以通过以下网址获得://github.com/cmu-enyac/Label-Granularity。
translated by 谷歌翻译
Bagging是一种强大的机器学习集成方法,可以提高不稳定预测器的性能。尽管Bagging的功能主要表现在分类问题上,但我们证明了在基线方法(L1minimization)上使用Bagging进行稀疏回归的成功。该框架采用具有各种引导比的originalBagging的通用版本。从理论上分析了与自举采样率L / m和估计值K的不同选择相关的性能限制。仿真表明,所提出的方法具有最先进的恢复性能,在低水平测量的挑战性情况下优于L1最小化和Bolasso。较低的L / mratio(60% - 90%)会带来更好的性能,尤其是在少量测量时。随着采样率的降低,SNR比原始标记提高了24%。通过适当选择的采样率,相当小的估计值K = 30给出令人满意的结果,即使增加的K被发现总是改善或至少保持性能。
translated by 谷歌翻译
数值方法中随机算法的强大功能导致了快速解决方案,它使用奇异值分解(SVD)作为核心例程。但是,考虑到现代的大数据量和SVD的适度运行时间,大多数实际算法需要某种形式的运行SVD时的近似,例如,这样的分析。虽然这些近似方法满足了许多理论上的保证,但我们在现实世界的大规模数据集上提供了第一个算法实现forsketch-and-SVD问题。我们对这些算法进行了全面的实证评估,并提供了如何确保准确部署到真实数据的指导。作为Sketched SVD的应用,我们提出了Sketched Leverage Score Ordering,这是一种在神经网络训练中确定数据排序的技术。 Ourtechnique基于使用随机预测的杠杆分数的分布式计算。这些计算出的杠杆分数提供了一种灵活且有效的方法来确定训练数据的最佳排序,而无需人工干预或注释。我们通过图像分类,语言情感分析和多模态情感分析的一系列实验提供实证结果。与标准随机投影算法相比,我们的方法更快,并且显示了收敛和结果的改进。
translated by 谷歌翻译
星跟踪器主要是光学设备,用于通过识别和跟踪星形图案来估计航天器的姿态。目前,大多数星跟踪器使用传统的光学传感器。在本应用文件中,我们建议使用事件传感器进行星跟踪。将事件传感器用于星跟踪可能有两个好处:更低的功耗和更高的运行速度。我们的主要贡献是根据事件数据制定用于星跟踪的分析算法管道,其中包括新的旋转平均和束调整。此外,我们还使用事件相机为本文提供了一个星跟踪数据集。通过这项工作,我们向计算机视觉社区介绍了使用事件摄像机进行星跟踪的问题,他们在SLAM和几何优化方面的专业知识可以用于这个商业上重要的应用。
translated by 谷歌翻译