机器学习工作流程开发是一个反复试验的过程:开发人员通过测试小的修改来迭代工作流程,直到达到所需的准确性。不幸的是,现有的机器学习系统只关注模型训练 - 只占整个开发时间的一小部分 - 而忽略了解决迭代开发问题。我们建议使用Helix,amachine学习系统来优化执行情况 - 智能地缓存和重用,或者重新计算中间体。 Helix在其斯卡拉DSL中捕获了各种各样的应用程序需求,其简洁的语法定义了数据处理,模型规范和学习的统一过程。我们证明了重用问题可以被转换为Max-Flow问题,而缓存问题则是NP-Hard。我们为后者开发有效的轻量级启发式算法。 Empiricalevaluation显示Helix不仅能够在一个统一的工作流程中处理各种各样的用例,而且速度更快,在四个实际上提供比最先进系统(如DeepDive或KeystoneML)高达19倍的运行时间减少。世界在自然语言处理,计算机视觉,社会和自然科学中的应用。
translated by 谷歌翻译
数据应用程序开发人员和数据科学家花费大量时间迭代机器学习(ML)工作流程 - 通过修改数据中心处理,模型训练和后处理步骤 - 通过心房和错误来实现所需的模型性能。加速机器学习的现有工作侧重于加快工作流程的一次性执行,未能解决典型ML开发的增量和动态性质。我们提出了Helix,一种声明式机器学习系统,通过优化端到端和跨迭代的工作流执行来加速迭代开发。 Helix通过程序分析和先前结果的智能重用最小化了每次迭代的运行时间,这些结果是选择性物质化的 - 为了潜在的未来利益而牺牲物化成本 - 加速未来的迭代。此外,Helix还提供了可视化工作流程DAG的图形界面,并比较了可以实现迭代开发的版本。通过两个ML应用程序,分类和结构化预测,与会者将体验Helix编程接口的模糊性以及使用Helix进行迭代开发的速度和简易性。在我们的评估中,与最先进的机器学习工具相比,Helix在累计运行时间方面实现了数量级的降低。
translated by 谷歌翻译
Web服务组合(WSC)是Webservices的一个特别有前途的应用程序,其中具有特定功能的多个单独服务被组合以完成更复杂的任务,其必须同时满足功能要求和优化服务质量(QoS)属性。此外,大量的技术进步产生的数据需要在服务之间交换。数据密集型Web服务(操作和处理这些数据)对实现数据密集型流程非常感兴趣,例如分布式数据密集型Web服务组合(DWSC)。研究人员提出了满足所有上述因素的进化计算(EC)全自动WSC技术。其中一些使用Memetic算法(MA)通过提高其搜索解决方案邻域区域的开发能力来提高EC的性能。但是,这些工作效率不高或效率不高。本文提出了一种基于MA的方法,以有效和高效的方式解决分布式DWSC的问题。特别是,我们开发了一种MA,它将CIS与灵活的局部搜索技术混合,并结合了服务距离。使用基准数据集进行评估,比较现有的最先进方法。结果表明,我们提出的方法总体上具有最高的质量和可接受的执行时间。
translated by 谷歌翻译
Deep learning has arguably achieved tremendous success in recent years. In simple words, deep learning uses the composition of many nonlinear functions to model the complex dependency between input features and labels. While neural networks have a long history, recent advances have greatly improved their performance in computer vision, natural language processing, etc. From the statistical and scientific perspective, it is natural to ask: What is deep learning? What are the new characteristics of deep learning, compared with classical methods? What are the theoretical foundations of deep learning? To answer these questions, we introduce common neural network models (e.g., convolutional neural nets, recurrent neural nets, generative adversarial nets) and training techniques (e.g., stochastic gradient descent, dropout, batch normalization) from a statistical point of view. Along the way, we highlight new characteristics of deep learning (including depth and over-parametrization) and explain their practical and theoretical benefits. We also sample recent results on theories of deep learning, many of which are only suggestive. While a complete understanding of deep learning remains elusive, we hope that our perspectives and discussions serve as a stimulus for new statistical research.
translated by 谷歌翻译
The behavior of the gradient descent (GD) algorithm is analyzed for a deep neural network model with skip-connections. It is proved that in the over-parametrized regime, for a suitable initialization, with high probability GD can find a global minimum exponentially fast. Generalization error estimates along the GD path are also established. As a consequence, it is shown that when the target function is in the reproducing kernel Hilbert space (RKHS) with a kernel defined by the initialization, there exist generalizable early-stopping solutions along the GD path. In addition, it is also shown that the GD path is uniformly close to the functions given by the related random feature model. Consequently, in this "implicit regularization" setting, the deep neural network model deteriorates to a random feature model. Our results hold for neural networks of any width larger than the input dimension.
translated by 谷歌翻译
深度神经网络(DNN)以其对adversarialexamples的易受攻击性而闻名。这些都是经过精心设计的小型手册,可以轻易地将DNN误认为是错误分类。到目前为止,对抗性研究的领域主要集中在图像模型上,在白盒设置下,对手可以完全获得模型参数,或者黑盒设置,其中对手只能查询目标模型的概率或标签。虽然已经为视频模型提出了几个白盒攻击,但黑盒视频攻击仍然是不可探索的。为了弥补这一差距,我们提出了第一个黑盒视频攻击框架,称为V-BAD。 V-BAD是基于自然进化策略(NES)的对抗性梯度估计和校正的一般框架。特别地,V-BAD利用从图像模型传递的\ textit {暂定扰动}和由NES oncursition(补丁)发现的临时扰动发现的\ textit {基于分区的校正},以获得对目标模型的较少查询的良好的对抗梯度估计。 V-BAD相当于估计对抗梯度在所选子空间上的投影。使用三个基准视频数据集,我们证明V-BAD可以制作有针对性和有针对性的攻击来欺骗两个最先进的深度视频识别模型。对于目标攻击,它仅使用平均$ 3.4 \ sim 8.4 \次10 ^ 4 $查询达到$> $ 93 \%的成功率,对最先进的黑盒图像攻击的查询次数相似。尽管视频通常比静态图像具有高两个数量级的维度。我们相信V-BAD是一种很有前途的新工具,用于评估和改进视频识别模型对黑盒逆向攻击的鲁棒性。
translated by 谷歌翻译
深度网络压缩已经通过知识清除取得了显着进步,其中通过使用预定损失采用师生学习方式。最近,已经转移了更多的重点来采用对抗训练来最小化来自两个网络的输出分布之间的差异。然而,他们总是强调以结果为导向的学习而忽略了过程导向学习的方案,导致整个网络管道中包含的丰富信息的丢失。灵感来自于小网络不能很好地模拟大规模网络规模差距,我们提出了一种知识转移方法,涉及有效的中间监督,在对抗训练框架下学习学生网络。为了实现强大但高度紧凑的中间信息表示,通过任务驱动的注意机制实现压缩知识。然后,从教师网络传输的知识可以适应学生网络的大小。结果,所提出的方法集成了面向过程和面向过程的学习的优点。在三个典型的基准标记数据集(即CIFAR-10,CIFAR-100和ImageNet)上的广泛实验结果证明,我们的方法对其他最先进的方法实现了高度优越的性能。
translated by 谷歌翻译
在两层中参数更新的情况下,对梯度下降动力学进行了相当全面的分析,用于训练双层神经网络模型。考虑一般的初始化方案以及网络宽度和训练数据大小的一般方案。在过度参数化的方案中,表明梯度下降动力学可以以指数方式快速地实现零训练损失,而不管标签的质量如何。此外,证明了在整个训练过程中,由神经网络模型表示的函数与核方法的函数一致。对于网络宽度和训练数据的一般值,针对适当的再生核Hilbert空间中的目标函数建立了泛化误差的尖锐估计。我们的分析强烈地表明,就“隐式正则化”而言,双层神经网络模型并不优于核方法。
translated by 谷歌翻译
近年来,图像和视频编码技术已经跨越式发展。但是,由于图像和视频采集设备的普及,图像和视频数据的增长速度远远超出了压缩比的提高。特别地,已经广泛认识到在传统的混合编码框架内追求进一步的编码性能改进存在越来越多的挑战。深度卷积神经网络(CNN)使神经网络在近几年复苏,并在人工智能和信号处理领域取得了巨大成功,也为图像和视频压缩提供了一种新颖有前途的解决方案。在本文中,我们提供了基于神经网络的图像和视频压缩技术的系统,全面和最新的评论。分别介绍了基于神经网络的压缩方法在图像和视频中的演变和发展。更具体地说,提出并讨论了利用深度学习和HEVC框架的尖端视频编码技术,提升了最先进的视频编码性能。基本上。此外,还对基于神经网络的端到端图像和视频编码框架进行了分析,揭示了对下一代图像和视频编码框架/标准的有趣探索。突出了使用神经网络对图像和视频编码相关主题进行的最重要的研究工作,并且还设想了未来的趋势。特别是,初步探索了对语义和视觉信息的联合压缩,以制定人类视觉和机器视觉的高效信号表示结构,这是人工智能时代的两个主要信号接受者。
translated by 谷歌翻译
深度学习的表现受到训练数据量的显着影响。从ImageNet等大量数据集中预训练的模型成为加速训练收敛和提高精度的有力武器。同样,基于大数据集的模型对于3D医学图像中深度学习的发展具有重要意义。然而,由于3D医学成像中的数据采集和注释的困难,构建足够大的数据集极具挑战性。我们汇总了来自几个医学挑战的数据集,以构建具有不同形态,目标器官和病理学的3DSeg-8数据集。为了提取一般医疗三维(3D)特征,我们设计了一个名为Med3D的异构3D网络,以共同训练多域3DSeg-8,以制作一系列预训练模型。我们将Med3D预训练模型转移到LIDC数据集中的肺部分割,LIDC数据集中的肺部结节分类和LiTS攻击的肝脏分割。实验表明,与在动力学数据集上预训练的模型相比,Med3D可以将目标3D医疗任务的训练收敛速度提高2倍,与从头开始训练相比,可以提高10倍,提高精度范围从3%到20%。将我们的Med3D模型转移到最先进的DenseASPP分段网络上,在单一模型的情况下,我们达到94.6%的Dicecoefficient,接近LiTS挑战的顶级算法的结果。
translated by 谷歌翻译