我们提出了BERTScore,一种用于文本生成的自动评估指标。对于常见指标,\ method计算候选句中每个标记与参考中每个标记的相似性得分。然而,我们使用上下文化的BERTembeddings来计算相似度,而不是查看完全匹配。我们对几种机器翻译和图像字幕标记进行了评估,并表明BERTScore与人类判断相关的指标更好地相关,通常甚至明显优于任务特定的监督指标。
translated by 谷歌翻译
In this technical report, we introduce FastFusionNet, an efficient variant of FusionNet [12]. FusionNet is a high performing reading comprehension architecture, which was designed primarily for maximum retrieval accuracy with less regard towards computational requirements. For FastFusionNets we remove the expensive CoVe layers [21] and substitute the BiLSTMs with far more efficient SRU layers [19]. The resulting architecture obtains state-of-the-art results on DAWNBench [5] while achieving the lowest training and inference time on SQuAD [25] to-date. The code is available at https://github.com/felixgwu/FastFusionNet.
translated by 谷歌翻译
随着机器学习越来越多地转向实际应用程序,控制算法的测试时间成本变得越来越重要。最近的工作,例如Greedy Miser和Speedboost,将测试时预算约束纳入培训过程并学习可预测的分类器(期待)。然而,到目前为止,这些算法仅限于监督学习场景,其中有足够数量的标记数据可用。在本文中,我们调查了常见的情景,标记的数据很少,但未标记的数据可以大量获得。我们提出了一种算法,该算法利用未标记的数据(通过Laplacesmoothing)并学习具有预算约束的分类器。据我们所知,我们的模型基于梯度增强回归树(GBRT),是半监督预算学习的第一个算法。
translated by 谷歌翻译
理想情况下,特征选择算法应满足四个条件:可靠地提取相关特征;能够识别非线性特征交互;与特征和尺寸的数量成线性比例;允许结合已知的稀疏结构。在这项工作中,我们提出了一种新颖的特征选择算法,即梯度提升特征选择(GBFS),它满足所有这四个要求。该算法具有灵活性,可扩展性,并且基于对Gradient Boosted Trees的修改而非常直接实现。我们在几个真实世界的数据集上评估GBFS,并显示它匹配或超出其他最先进的特征选择算法。然而,它可扩展到更大的数据集大小,并自然地允许特定于域的辅助信息。
translated by 谷歌翻译
我们提出了一种基于视觉的多重行人跟踪的数据关联方法,使用深度卷积特征根据其外观区分不同的人。这些重新识别(重新ID)特征被学习,使得它们对诸如旋转,平移和背景中的变化的变换是不变的,从而允许一致地识别在场景中移动的行人。我们将re-ID特征结合到用于多人跟踪的年龄数据关联似然模型中,通过使用它来在两个评估视频序列中执行跟踪来实验验证该模型,并检查与几个基线方法相比获得的性能改进。我们的结果表明,使用深人re-ID进行数据关联可以极大地提高跟踪鲁棒性等挑战,例如遮挡和路径交叉。
translated by 谷歌翻译
尽管可扩展模型取得了进展,但用于高斯过程(GP)的推理工具尚未充分利用计算硬件的发展。我们提出了一种基于Blackbox Matrix-Matrix乘法(BBMM)的GP推理的有效且通用的方法。 BBMM推断使用共轭梯度算法的修改版本来导出在单个调用中训练和推理所需的所有项。这降低了从$ O(n ^ 3)$到$ O(n ^ 2)$的精确GP推断的渐近复杂度。使该算法适应复杂的GP模型只需要一个例程来进行内核及其衍生的有效矩阵 - 矩阵乘法。此外,BBMM使用专门的预处理器来大幅加速收敛。在实验中我们表明BBMM有效地使用GPU加速 - 精确的GPinference和可伸缩近似比现有方法快20倍。此外,我们还提供了GPyTorch,这是一个基于PyTorch的可扩展GPinference软件平台,通过BBMM实现。
translated by 谷歌翻译
最近,机器学习安全性受到了极大的关注。许多计算机视觉和语音识别系统已经受到了对抗但不可察觉的扰动输入的影响。为了识别潜在的扰动,攻击者搜索高维输入空间以找到模型缺乏鲁棒性的方向。这些指数的指数可能使这些对抗性扰动的存在成为可能,但也在黑盒设置中产生了重大挑战:首先,在梯度信息的存在下,搜索问题变得昂贵,导致高查询复杂性。其次,构造的扰动本质上通常是高频的并且可以成功地防止通过去噪变换。在本文中,我们建议将搜索的foradversarial图像限制在低频域。这种方法兼容白盒和黑盒攻击,并且在thelatter设置中具有显着的优势。特别是,我们实现了最先进的黑盒查询效率,并将先前的工作提高了一个数量级。此外,即使模型和防御策略都未知,我们也可以避免图像变换防御。最后,我们通过前所未有的模型查询来愚弄Google Cloud Vision平台,展示了这项技术的功效。
translated by 谷歌翻译
批量标准化是一种普遍存在的深度学习技术,可以对中间层中的活化进行标准化。它与提高准确性和更快的学习有关,但尽管取得了巨大的成功,但对于它的工作原理几乎没有共识。我们的目标是纠正这一点,并采用经验方法来理解批量标准化。我们的主要观察结果是,批量归一化所带来的更高学习率具有正规化效应,可显着改善归一化网络的泛化,这在理论上证明了经验和动机。我们展示了激活如何变大以及卷积通道如何在非标准化网络中深层次地表现出来,以及如何导致更大的与输入无关的梯度。除了梯度缩放之外,我们还证明了非规范化网络中的学习速率如何进一步受到激活的幅度的限制,其中激励的幅度随着网络深度呈指数增长而大幅度参数更新,批量归一化的问题很容易避免。最近在随机矩阵理论中得出的结论,我们认为仍然是条件调节激活是由于randominitial的波动,揭示了经典初始化方案及其后果的新亮点。
translated by 谷歌翻译
并非所有人都同样容易识别:在某些情况下,颜色统计可能已足够,而其他人可能需要对高级和低级细节进行仔细推理。然而,普遍的人重新识别(重新ID)方法对于所有情况都使用来自深度卷积网络的一刀切的高级嵌入。这可能会限制他们在困难的例子上的准确性,或者对于简单的例子而言,这些都是不必要的。为了解决这个问题,我们提出了一个新人重新ID模型,该模型结合了基于多重卷积网络层的有效嵌入,并通过深度监督进行了培训。在传统的ID基准测试中,我们的方法比我们评估的所有五个数据集上的先前结果大大改善。然后,我们在资源约束下提出了两个人re-ID问题的新公式,并展示了如何在存在资源约束的情况下使用我们的模型来有效地权衡准确性和计算。代码和预先训练的模型可以在https://github.com/mileyan/DARENet上找到。
translated by 谷歌翻译
高斯过程(GP)回归最引人注目的特征之一是能够提供经过良好校准的后验分布。诱导点方法的最新进展加快了GP边际可能性和后验计算,使后验协方差估计和采样成为计算瓶颈。在本文中,我们通过使用Lanczos算法快速逼近预测协方差矩阵来解决这些问题。我们的方法,我们称之为LOVE(LanczOsVariance Estimates),大大提高了时间和空间的复杂性。在实验中,LOVE计算协方差的速度提高了2000倍,绘制样本的速度比现有方法快18,000倍,所有这些都没有牺牲准确性。
translated by 谷歌翻译