机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
回归神经网络最近在语言模型化任务中获得了很多的普及,特别是在神经机器翻译(NMT)中。最近的NMT模型基于编码器 - 解码器,其中使用基于LSTM的深编码器将源句子顶部到固定的维度向量,然后另一个deepLSTM从向量解码目标句子。然而,在探索具有多个层空间的架构(即每个时间步骤)中,已经进行了非常少的工作。本文考察了简单的高速公路网(RHN)在NMT任务中的有效性。该模型在编码器和解码器中使用RecurrentHighway神经网络,注意。我们还探索了重构模型以提高充分性。我们在IWSLT英语 - 越南语数据集上展示了这三种方法的有效性。我们看到RHN与基于LSTM的模型相当,在某些情况下甚至更好。我们认为,与基于LSTM的深层模型相比,深度RHN模型易于训练,因为公路连接。本文还研究了每个时间步长中增加复发深度的影响。
translated by 谷歌翻译
考虑到从不同位置到车辆的调度任务,优化商用车辆的车队可以导致车队遍历时间显着降低。这具有显着的好处,包括减少公司的费用,更重要的是,减少道路使用的程度和车辆排放。精确优化方法无法扩展到真实商业问题实例,因此元启发式更适合。 AntColony Optimization(ACO)通常提供小到中等大小的良好解决方案。然而,商业车队优化问题通常是大而复杂的,其中ACO未能很好地扩展。 Partial-ACO是一种新的ACOvariant,旨在扩展到更大的问题实例。因此,本文研究了Partial-ACO在舰队优化问题上的应用,展示了Partial-ACO成功扩展到更大问题的能力。实际上,对于一家拥有多达298个工作岗位和32辆车的伯明翰公司提供的实际车队优化问题,Partial-ACO可以将其车队遍历时间提高44%以上。此外,Partial-ACO证明了其扩展能力,具有显着改进的结果,超标ACO和针对遗传算法的竞争结果。
translated by 谷歌翻译
在本文中,我们提出使用多个局部二值模式(LBP)来有效地对土地利用图像进行分类。我们使用UC Merced 21类土地用途图像数据集。任务对于分类具有挑战性,因为数据集包含类可变性和类间相似性。我们提出的使用多邻域LBP结合最近邻分类器的方法能够达到77.76%的准确率。进行进一步的分类分析,并提出适当的建议以进一步改进分类准确性。
translated by 谷歌翻译
学会衡量行动质量有助于衡量其他行动的质量吗?如果是这样,来自多个行动的合并样本能否提高当前方法的性能?在本文中,我们进行了一些实验,以了解在行动质量评估(AQA)设置中是否可以进行知识转移。实验在我们新发布的AQAdataset(http://rtis.oit.unlv.edu/datasets.html)上进行,该实验由来自7个动作的1106个动作样本组成,质量分数由专家人员判断测量。我们的实验结果表明,在多个动作中学习单个模型是有用的。
translated by 谷歌翻译
脊髓(SC)灰质(GM)的小蝴蝶形结构对图像具有挑战性并且能够从其周围的白质(WM)中消除。分割GM在准确性和精确度之间取得了一定的折衷。我们提出了一种新的GM-WM磁共振(MR)图像采集和分割管道。我们报告了与最近在SC GM分段挑战中报道的结果相比更优异的结果,并且使用平均磁化反转恢复采集(AMIRA)序列显示更好的结果。使用AMIRA序列的扫描重新扫描实验显示了Dice系数,Hausdorff距离的高再现性中间值。我们使用具有多维门控复发单元(MD-GRU)的递归神经网络(RNN)来训练855个切片的AMIRA数据集上的分割模型。我们在MD的交叉熵损失中加入了广义骰子损失。 -GRU使用并且能够改善结果。
translated by 谷歌翻译
具有离散潜变量的深度神经网络提供了更好的符号推理和学习抽象的承诺,这些抽象是更有用的音调任务。对离散潜变量模型的兴趣激增,然而,尽管最近有一些改进,但离散变量模型的训练仍然具有挑战性,并且它们的性能几乎无法与其连续的对应物相匹配。最近关于矢量量化自动编码器(VQ-VAE)的工作在这个方向上已经取得了实质性进展,其复杂性几乎与数据集上的VAE相匹配,例如CIFAR-10。在这项工作中,我们研究了另一种针对VQ-VAE的训练技术,其灵感来自于与期望最大化(EM)算法的联系。利用EM训练离散瓶颈有助于我们在CIFAR-10上实现更好的图像生成结果,并且与知识蒸馏一起,使我们能够开发出一种非自回归机器翻译模型,其精确度几乎与强贪婪的自回归基线变换器匹配,同时速度提高3.3倍。推理。
translated by 谷歌翻译
基于深度神经网络的自回归序列模型,例如RNN,Wavenet和变换器,在许多任务中获得最先进的结果。然而,它们难以并行化,因此在处理长序列时很慢。 RNN在训练和解码过程中缺乏并行性,而像WaveNet和Transformer这样的体系结构在训练期间可以更加并行化,但在解码过程中仍然可以顺序运行。受[arxiv:1711.00937]的启发,我们提出了一种使用离散潜在变量来扩展序列模型的方法,这使得解码更加可并行化。我们首先将目标序列自动编码为更短的离散变量序列,在自动回归时产生推理时间,并且从这个较短的潜在序列中并行地解码输出序列。为此,我们引入了一种构建离散潜变量序列的新方法,并将其与之前介绍的方法进行了比较。最后,我们在神经机器翻译的任务中对端到端的模型进行了评估,其中它快了一个数量级。在解码时比可比较的自回归模型。虽然BLEU比纯粹的自回归模型更低,但我们的模型比先前提出的非自回归翻译模型获得更高的分数。
translated by 谷歌翻译
图像生成已被成功地转换为自回归序列生成或转换问题。最近的工作表明,自我关注是建立文本序列的有效方式。在这项工作中,我们概括了最近提出的基于自我关注的模型体系结构,变换器,以及具有难以置信的可能性的图像生成的序列建模公式。通过限制自我关注机制来参加tolocal邻域,我们显着增加了模型在实践中可以处理的图像的大小,尽管保持了比典型的卷积神经网络大得多的接收场图层。虽然概念上很简单,但我们的生成模型在ImageNet图像生成方面明显优于theart的当前状态,将ImageNet上最佳发布的负面日志可能性从3.83提高到3.77。我们还提供了具有大放大率的图像超分辨率的结果,应用了我们架构的编码器 - 解码器配置。在人类评估研究中,我们发现由我们的超分辨率模型生成的thatimages愚弄人类观察者的频率比以前的技术水平高三倍。
translated by 谷歌翻译
主要序列转导模型基于编码器 - 解码器配置中的复杂递归或卷积神经网络。性能最佳的模型还通过注意机制连接编码器和解码器。我们提出了一种新的简单网络架构,变形金刚,基于注意机制,完全免除重复和卷积。两个机器翻译任务的实验表明,这些模型质量上乘,而且可以更加并行化,并且需要大量的时间进行训练。我们的模型在WMT 2014英语 - 德语翻译任务中达到了28.4 BLEU,改善了现有的最佳成绩,包括超过2个BLEU的合奏。在WMT 2014英语到法语翻译任务中,我们的模型在8个GPU上训练3.5天后,建立了一个新的单模型最新设备,得分为41.8,这是来自最佳模型的最佳模型的培训成本的一小部分。文献。我们通过将成功应用于英语选区解析大型和有限的训练数据,表明变换器可以很好地概括到其他任务。
translated by 谷歌翻译