输入管道,其摄取和转换输入数据,是培训机器学习(ML)模型的重要组成部分。然而,实现有效的输入管道有挑战性,因为它需要推理有关并行性,异步的推理和细粒度分析信息的可变性。我们对谷歌数据中心超过200万毫升工作的分析表明,大量模型培训工作可以从更快的输入数据管道中受益。与此同时,我们的分析表明,大多数工作都不饱和主机硬件,指向基于软件的瓶颈的方向。这些发现的动机,我们提出了水管工,一种用于在ML输入管道中找到瓶颈的工具。管道工使用可扩展和可解释的操作分析分析模型来自动调整Host资源约束下的并行性,预取和缓存。在五个代表性ML管道上,水管工可获得最多46倍的误配置管道的加速。通过自动化缓存,与最先进的调谐器相比,水管工获得超过40%的端到端加速。
translated by 谷歌翻译
Vision-Language(V + L)预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象,但它们通常会忽略事件级别的对齐及其参数结构。 %在这项工作中,我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数(参与者)角色。为此,我们利用文本信息提取技术来获得事件结构知识,并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外,我们收集了一个大型活动的数据集(106,875张图片),用于预磨平,这提供了更具挑战性的图像检索基准,以评估对复杂冗长的句子的理解。实验表明,我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型,从而实现了事件提取中的5±绝对f得分增益,以及显着改进零拍摄设置下的各种下游任务。
translated by 谷歌翻译
人类思想的知识呈现了二元矢量/网络性质。作为矢量的建模词是自然语言处理的关键,而单词关联网络可以映射语义记忆的性质。我们通过引入具有丰富的多重词汇(FERMULEX)网络来调和跨语言学,心理学和计算机科学的这些范式 - 碎片化。这种新颖的框架合并网络和矢量特征中的结构相似之处,可以独立地组合或探索。相似之处模型语义/语法/语音方面的异构词关联。用多维特征嵌入的单词富集,包括频率,获取,长度和多义。这些方面使得前所未有的认知知识探索。通过童话数据,我们使用Fermulex网络在18至30个月之间将规范语言采集模拟1000个幼苗。相似之处和嵌入通过符合性捕获单一的妙语,通过距离和特征测量各种混合。符合性解除了频繁/多仪/短名词的语言内核和基本句子生产的动词密钥,支持最近在30个月内出现的儿童句法构建的证据。此内核对网络核心检测和特征群集是不可见的:它从单词的双向矢量/网络性质中出现。我们的定量分析揭示了早期学习中的两个关键策略。将单词获取作为随机散步在Fermulex拓扑上,我们突出了无统一填充交际发育库存(CDIS)。基于符合性的步行者可以准确(75%),精确(55%),并在CDIS中的早期学习的部分召回(34%)预测,为以前的实证发现和发育理论提供了定量支持。
translated by 谷歌翻译
在改善的核心,会话AI是如何评估对话的公开问题。具有自动指标的问题是众所周知的(Liu等,2016年,Arxiv:1603.08023),人类评估仍然认为黄金标准。不幸的是,如何进行人类评估也是一个公开问题:不同的数据收集方法具有不同程度的人类协议和统计敏感性,导致人类注释时间和劳动力成本不同。在这项工作中,我们比较五个不同的人群人的人类评估方法,并发现不同的方法是最重要的,具体取决于模型的类型相比,董事会没有明确的赢家。虽然这突出了该地区的开放问题,但我们的分析导致建议何时使用哪一个以及未来的未来方向。
translated by 谷歌翻译
在这项工作中,我们介绍了一种基于双季度的单眼手眼校准的方法。由于单手术机制的非度量缩放转换,除了旋转和翻译校准之外,还必须估计缩放因子。为此,我们得出了一种二次约束的二次程序,允许组合估计所有外本校准参数。由于其紧凑的表示,使用双季度导致低运行时间。我们的问题配方进一步允许同时为相同传感器设置的不同序列估计多个缩放。基于我们的问题制定,我们派生了,快速的本地和全球最佳的解决方法。最后,评估了我们的算法,并与最先进的模拟和实际数据的方法进行了评估,例如,EUROC MAV数据集。
translated by 谷歌翻译
复杂高维环境中的实时机器人运动规划仍然是一个开放的问题。运动规划算法及其底层碰撞检查对于任何机器人控制堆栈至关重要。碰撞检查在机器人运动规划中占据了大部分计算时间。现有的碰撞检查器在速度和准确性之间进行权衡,并在高维,复杂的环境中规模不佳。我们在前向运动空间中介绍了一种新的空间分解方法,用于加速代理碰撞检查。我们使用FASTRON,在这些分解的子空间上培训各个配置空间模型,即在这些分解的子空间上,产生轻量级但高度准确的模型,可以快速查询,并更好地缩放到更复杂的环境。我们展示了这种新方法,称为分解的快速Perceptron(D-Fastron),在7-Dof Baxter机器人上,平均撞击碰撞检查和高达9.8倍的运动规划相比,与最先进的几何碰撞检查器相比,更快的运动规划。
translated by 谷歌翻译
为了使3D人的头像广泛可用,我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状,复杂的关节和由此产生的丰富,随机几何细节,这项任务是挑战的挑战。因此,目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中,我们提出了一种新的方法,这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言,我们设计了一个多主题前进的剥皮模块,这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性,我们利用对抗的侵害制定,鼓励模型捕获潜在统计数据。我们提供了经验证据,这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外,我们表明我们的方法可以用于拟合人类模型到原始扫描的任务,优于以前的最先进。
translated by 谷歌翻译
Mohamed Bin Zayed国际机器人挑战(MBZIRC)2020为无人机(无人机)构成了不同的挑战。我们提供了四个量身定制的无人机,专门为MBZIRC的单独空中机器人任务开发,包括自定义硬件和软件组件。在挑战1中,使用高效率,车载对象检测管道进行目标UAV,以捕获来自目标UAV的球。第二个UAV使用类似的检测方法来查找和流行散落在整个竞技场的气球。对于挑战2,我们展示了一种能够自主空中操作的更大的无人机:从相机图像找到并跟踪砖。随后,将它们接近,挑选,运输并放在墙上。最后,在挑战3中,我们的UAV自动发现使用LIDAR和热敏摄像机的火灾。它用船上灭火器熄灭火灾。虽然每个机器人都具有任务特定的子系统,但所有无人机都依赖于为该特定和未来竞争开发的标准软件堆栈。我们介绍了我们最开源的软件解决方案,包括系统配置,监控,强大无线通信,高级控制和敏捷轨迹生成的工具。为了解决MBZirc 2020任务,我们在多个研究领域提出了机器视觉和轨迹生成的多个研究领域。我们介绍了我们的科学贡献,这些贡献构成了我们的算法和系统的基础,并分析了在阿布扎比的MBZIRC竞赛2020年的结果,我们的系统在大挑战中达到了第二名。此外,我们讨论了我们参与这种复杂的机器人挑战的经验教训。
translated by 谷歌翻译
在本文中,我们为Pavlovian信号传达的多方面的研究 - 一个过程中学到的一个过程,一个代理商通过另一个代理商通知决策的时间扩展预测。信令紧密连接到时间和时间。在生成和接收信号的服务中,已知人类和其他动物代表时间,确定自过去事件以来的时间,预测到未来刺激的时间,并且都识别和生成展开时间的模式。我们调查通过引入部分可观察到的决策域来对学习代理之间的影响和信令在我们称之为霜冻空心的情况下如何影响学习代理之间的影响和信令。在该域中,预测学习代理和加强学习代理被耦合到两部分决策系统,该系统可以在避免时间条件危险时获取稀疏奖励。我们评估了两个域变型:机器代理在七态线性步行中交互,以及虚拟现实环境中的人机交互。我们的结果展示了帕夫洛维亚信号传导的学习速度,对药剂 - 代理协调具有不同时间表示(并且不)的影响,以及颞次锯齿对药剂和人毒剂相互作用的影响方式不同。作为主要贡献,我们将Pavlovian信号传导为固定信号范例与两个代理之间完全自适应通信学习之间的天然桥梁。我们进一步展示了如何从固定的信令过程计算地构建该自适应信令处理,其特征在于,通过快速的连续预测学习和对接收信号的性质的最小限制。因此,我们的结果表明了加固学习代理之间的沟通学习的可行建设者的途径。
translated by 谷歌翻译
传输学习方法旨在使用在丰富的源域上掠过的模型来提高数据稀缺目标域中的性能。一种成本效益的策略,线性探测涉及冻结源模型并培训目标域的新分类头。此策略的表现优于更昂贵但最先进的方法 - 将源模型的所有参数微调到目标域 - 可能是因为微调允许模型从中间层利用有用的信息否则被稍后的净化层丢弃。我们探讨了这些中间层可能直接剥削的假设。我们提出了一种方法,头对脚趾探测(Head2ToE),其从源模型的所有层中选择特征,以训练目标域的分类头。在VTAB-1K的评估中,Head2Toe与平均微调获得的性能相匹配,同时减少培训和储存成本一百倍或更多,但批判性地,用于分配转移,头部2ToE优于微调。
translated by 谷歌翻译