深神经网络（DNN）已成为许多应用程序域（包括基于Web的服务）的重要组成部分。这些服务需要高吞吐量和（接近）实时功能，例如，对用户的请求做出反应或反应，或者按时处理传入数据流。但是，DNN设计的趋势是朝着具有许多层和参数的较大模型，以实现更准确的结果。尽管这些模型通常是预先训练的，但是在如此大的模型中，计算复杂性仍然相对显着，从而阻碍了低推断潜伏期。实施缓存机制是用于加速服务响应时间的典型系统工程解决方案。但是，传统的缓存通常不适合基于DNN的服务。在本文中，我们提出了一种端到端自动化解决方案，以根据其计算复杂性和推理延迟来提高基于DNN的服务的性能。我们的缓存方法采用了DNN模型和早期出口的自我介绍的思想。提出的解决方案是一种自动化的在线层缓存机制，如果提前出口之一中的高速缓存模型足够有信心，则可以在推理时间提早退出大型模型。本文的主要贡献之一是，我们将该想法实施为在线缓存，这意味着缓存模型不需要访问培训数据，并且仅根据运行时的传入数据执行，使其适用于应用程序使用预训练的模型。我们的实验在两个下游任务（面部和对象分类）上结果表明，平均而言，缓存可以将这些服务的计算复杂性降低到58 \％（就FLOPS计数而言），并将其推断潜伏期提高到46 \％精度低至零至零。
translated by 谷歌翻译
Edge Computing通过同时且连续执行延迟敏感的机器学习（ML）应用程序来启用智能物联网的系统。这些基于边缘的机器学习系统通常是电池供电的（即能量限制的）。他们使用具有不同计算性能的异质资源（例如CPU，GPU和/或FPGA）来满足ML应用程序的延迟约束。面临的挑战是，就这些系统的能量和延迟约束分配了在异质边缘计算系统（HEC）上对不同ML应用程序的请求。为此，我们研究和分析资源分配解决方案，这些解决方案可以在考虑能量限制的同时增加准时任务完成率。重要的是，我们研究了边缘友好的（轻巧）多目标映射启发式方法，这些启发式启发式方法不会偏向于特定的应用程序类型以实现目标；取而代之的是，启发式方法在其映射决策中考虑了同一ML应用程序中的“公平性”。绩效评估表明，根据潜伏期和能源目标，尤其是在低至中等请求的到达率方面，提出的启发式胜诉率优于异质系统中广泛使用的启发式方法。我们观察到准时任务完成率提高了8.9％，节能提高了12.6％，而没有在边缘系统上施加任何明显的开销。
translated by 谷歌翻译
2021-10-07
解决符号数学一直是在人类聪明才智的舞台中，需要组成和复发。然而，最近的研究表明，诸如变压器的大规模语言模型是普遍的，并且可以令人生意的是，可以训练作为求解复杂数学方程的顺序序列任务。这些大型变压器模型需要有时的培训数据，以概括到看不见的象征性数学问题。在本文中，我们通过使用语言翻译的首先预先预留变压器模型来解决符号任务的示例有效的方法，然后进行微调预先调整佩带的变压器模型来解决符号数学的下游任务。我们通过预磨模的模型实现了与预磨模的集成任务的可比准确性，同时使用大约1.5美元的数量级培训样本，了解符号数学的最先进的深度学习。与集成相比，差分方程任务的测试精度相比，与语言翻译中不存在的更高订单递归相比，相比之下。我们用不同的语言翻译预防我们的模型。我们的结果显示在解决符号数学任务中的语言偏见。最后，我们研究了微调模型对符号数学任务对分发班次的鲁棒性，我们的方法在函数集成的分布换档方案中概得更好。
translated by 谷歌翻译
转移学习中最关键的问题之一是域适应的任务，其中目标是将在一个或多个源域中培训的算法应用于不同（但相关）的目标域。本文在域内存在协变量转变时，涉及域适应。解决此问题的现有因果推断方法的主要限制之一是可扩展性。为了克服这种困难，我们提出了一种避免穷举搜索的算法，并识别基于Markov毯子发现的源和目标域的不变因果特征。 SCTL不需要先前了解因果结构，干预措施的类型或干预目标。有一个与SCTL相关的内在位置，使其实现实际上可扩展且稳健，因为本地因果发现增加了计算独立性测试的力量，并使域适配的任务进行了计算地进行了易行的。我们通过低维和高维设置中的合成和实际数据集显示SCTL的可扩展性和稳健性。
translated by 谷歌翻译
机器学习系统的设计通常需要交易不同的目标，例如，深度神经网络（DNN）的预测错误和能耗。通常，没有任何单一的设计在所有目标中都表现良好，因此，找到帕累托最佳的设计令人感兴趣。通常，测量不同的目标会产生不同的成本；例如，测量DNN的预测误差的成本比测量预先训练的DNN的能源消耗的数量级高，因为它需要重新训练DNN。当前的最新方法没有考虑到客观评估成本的这种差异，可能会浪费对目标功能的昂贵评估，从而获得很少的信息增益。在本文中，我们开发了一种新颖的分离成本感知方法，我们称为灵活的多目标贝叶斯优化（Flexibo）来解决此问题。 Flexibo通过每个目标的测量成本来加权帕累托区的超量。这有助于我们平衡收集新信息与通过客观评估获得的知识的费用，从而阻止我们几乎没有收益进行昂贵的测量。我们在七个最先进的DNN上评估了图像识别，自然语言处理（NLP）和语音到文本翻译的Flexibo。我们的结果表明，鉴于相同的总实验预算，Flexibo发现的设计比下一个最佳最佳多目标优化方法低4.8％至12.4％，具体取决于特定的DNN体系结构。
translated by 谷歌翻译
因果鉴定是因果推理文献的核心，在该文献中提出了完整的算法来识别感兴趣的因果问题。这些算法的有效性取决于访问正确指定的因果结构的限制性假设。在这项工作中，我们研究了可获得因果结构概率模型的环境。具体而言，因果图中的边缘是分配的概率，例如，可能代表来自领域专家的信念程度。另外，关于边缘的不确定的可能反映了特定统计检验的置信度。在这种情况下自然出现的问题是：给定这样的概率图和感兴趣的特定因果效应，哪些具有最高合理性的子图是什么？我们表明回答这个问题减少了解决NP-HARD组合优化问题，我们称之为边缘ID问题。我们提出有效的算法来近似此问题，并评估我们针对现实世界网络和随机生成图的算法。
translated by 谷歌翻译
我们研究在有关系统的结构侧信息时学习一组变量的贝叶斯网络（BN）的问题。众所周知，学习一般BN的结构在计算上和统计上具有挑战性。然而，通常在许多应用中，关于底层结构的侧面信息可能会降低学习复杂性。在本文中，我们开发了一种基于递归约束的算法，其有效地将这些知识（即侧信息）纳入学习过程。特别地，我们研究了关于底层BN的两种类型的结构侧信息：（i）其集团数的上限是已知的，或者（ii）它是无菱形的。我们为学习算法提供理论保证，包括每个场景所需的最坏情况的测试数量。由于我们的工作，我们表明可以通过多项式复杂性学习有界树木宽度BNS。此外，我们评估了综合性和现实世界结构的算法的性能和可扩展性，并表明它们优于最先进的结构学习算法。
translated by 谷歌翻译
视频可访问性对于盲人和低愿景用户来说至关重要，以获得教育，就业和娱乐的公平参与。尽管有专业和业余服务和工具，但大多数人类生成的描述都很昂贵且耗时。此外，人生成的描述的速率不能匹配视频产生的速度。为了克服视频可访问性的越来越多的空白，我们开发了两个工具的混合系统到1）自动生成视频的描述，2）提供响应于视频上的用户查询的答案或附加描述。与26例盲和低视力下的混合方法研究结果表明，当两种工具在串联中使用时，我们的系统会显着提高用户理解和享受所选视频的理解和享受。此外，参与者报告说，在呈现自生物的描述与人类修订的自动化描述相关时，没有显着差异。我们的结果表明了对发达系统的热情及其承诺提供对视频的定制访问。我们讨论了当前工作的局限性，并为自动视频描述工具的未来发展提供了建议。
translated by 谷歌翻译