我们介绍了TemPCLR,这是一种针对3D手重建的结构化回归任务的新的时代对比学习方法。与以前的手部姿势估计方法相抵触方法不同,我们的框架考虑了其增强方案中的时间一致性,并说明了沿时间方向的手部姿势的差异。我们的数据驱动方法利用了未标记的视频和标准CNN,而无需依赖合成数据,伪标签或专业体系结构。我们的方法在HO-3D和Freihand数据集中分别将全面监督的手部重建方法的性能提高了15.9%和7.6%,从而确立了新的最先进的性能。最后,我们证明了我们的方法会随着时间的推移产生更平滑的手部重建,并且与以前的最新作品相比,对重型的闭塞更为强大,我们在定量和定性上表现出来。我们的代码和模型将在https://eth-ait.github.io/tempclr上找到。
translated by 谷歌翻译
有效的探索是深度强化学习的关键挑战。几种方法,例如行为先验,能够利用离线数据,以便在复杂任务上有效加速加强学习。但是,如果手动的任务与所证明的任务过度偏离,则此类方法的有效性是有限的。在我们的工作中,我们建议从离线数据中学习功能,这些功能由更加多样化的任务共享,例如动作与定向之间的相关性。因此,我们介绍了无国有先验,该先验直接在显示的轨迹中直接建模时间一致性,并且即使在对简单任务收集的数据进行培训时,也能够在复杂的任务中推动探索。此外,我们通过从政策和行动之前的概率混合物中动态采样动作,引入了一种新颖的集成方案,用于非政策强化学习中的动作研究。我们将我们的方法与强大的基线相提并论,并提供了经验证据,表明它可以在稀疏奖励环境下的长途持续控制任务中加速加强学习。
translated by 谷歌翻译
Pragmatics is an essential part of communication, but it remains unclear what mechanisms underlie human pragmatic communication and whether NLP systems capture pragmatic language understanding. To investigate both these questions, we perform a fine-grained comparison of language models and humans on seven pragmatic phenomena, using zero-shot prompting on an expert-curated set of English materials. We ask whether models (1) select pragmatic interpretations of speaker utterances, (2) make similar error patterns as humans, and (3) use similar linguistic cues as humans to solve the tasks. We find that the largest models achieve high accuracy and match human error patterns: within incorrect responses, models favor the literal interpretation of an utterance over heuristic-based distractors. We also find evidence that models and humans are sensitive to similar linguistic cues. Our results suggest that even paradigmatic pragmatic phenomena may be solved without explicit representations of other agents' mental states, and that artificial models can be used to gain mechanistic insights into human pragmatic processing.
translated by 谷歌翻译
当我们讲话时,可以从嘴唇的运动中推断出演讲的韵律和内容。在这项工作中,我们探讨了唇部综合的唇部任务,即,仅考虑说话者的唇部运动,我们将学习言语的唇部运动,我们专注于学习准确的唇部,以在不受限制的大型词汇环境中为多个说话者提供语音映射。我们通过其面部特征,即年龄,性别,种族和嘴唇动作来捕捉说话者的声音身份,即产生说话者身份的言语。为此,我们提出了一种新颖的方法“ lip2speech”,并采用关键设计选择,以实现无约束场景中语音合成的准确唇部。我们还使用定量,定性指标和人类评估进行了各种实验和广泛的评估。
translated by 谷歌翻译
涵盖人口所有个人的数据库越来越多地用于从公共卫生到社会科学的域名的研究研究。各国政府和企业也越来越兴趣,使用人口数据支持数据驱动的决策。这种数据库的大规模往往被误认为是对兴趣人群的有效推论的保证。但是,人口数据具有使其具有挑战性的特征,包括如何收集这些数据的各种假设以及对它们应用了哪些类型的处理。此外,当这些数据链接到其他数据库时,人口数据的全部潜力通常只能解锁,这是一种增加新鲜挑战的过程。本文讨论了对人口数据的不同误解,我们相信任何与此类数据一起使用的人需要意识到。这些误解中的许多误解在科学出版物中并不充分记录,但只讨论了研究人员和从业者之间的缺陷。我们在使用人口数据时,我们将通过一系列推动推荐。
translated by 谷歌翻译
在自主驾驶中,在使用深神经网络的爆炸中爆炸用于感知,预测和规划任务。由于自主车辆(AVS)更接近生产,多模态传感器输入和具有不同传感器平台的异构车队在该行业中变得越来越普遍。然而,神经网络架构通常是针对特定的传感器平台,并且对输入的变化并不稳健,使得缩放和模型部署的问题特别困难。此外,大多数玩家仍然将软件和硬件的问题视为完全独立的问题。我们提出了一个新的终端架构,广义传感器融合(GSF),其设计成使得传感器输入和目标任务都是模块化和可修改的。这使AV系统设计人员能够轻松地使用不同的传感器配置和方法进行实验,并使用在大型工程组织中共享的相同型号开辟了在异构船队上部署的能力。使用该系统,我们报告了实验结果,我们展示了昂贵的高密度(HD)激光雷达传感器的近似奇偶阶段,具有3D对象检测任务中的廉价低密度(LD)LIDAR加相机设置。这为行业铺平了道路,共同设计硬件和软件架构以及具有异质配置的大船队。
translated by 谷歌翻译
在本文中,我们在具有线性阈值激活功能的神经网络上提出了新的结果。我们精确地表征了这种神经网络可表示的功能,并且显示2个隐藏层是必要的并且足以表示类中可表示的任何功能。鉴于使用其他流行的激活功能的神经网络的最近精确的可比性调查,这是一个令人惊讶的结果,这些功能使用其他流行的激活功能,如整流的线性单元(Relu)。我们还给出了代表类中任意函数所需的神经网络的大小的精确界限。最后,我们设计了一种算法来解决具有固定架构的这些神经网络的全球最优性的经验风险最小化(ERM)问题。如果输入维度和网络架构的大小被认为是固定常数,则算法的运行时间是数据样本大小的多项式。该算法的意义上是独一无二的,即它适用于任何数量的层数,而先前的多项式时间全局最佳算法仅适用于非常受限制的架构类。
translated by 谷歌翻译
在这项工作中,我们提出了世界上第一个基于闭环ML的自动驾驶计划基准。虽然存在基于ML的ML的越来越多的ML的议员,但缺乏已建立的数据集和指标限制了该领域的进展。自主车辆运动预测的现有基准专注于短期运动预测,而不是长期规划。这导致了以前的作品来使用基于L2的度量标准的开放循环评估,这不适合公平地评估长期规划。我们的基准通过引入大规模驾驶数据集,轻量级闭环模拟器和特定于运动规划的指标来克服这些限制。我们提供高质量的数据集,在美国和亚洲的4个城市提供1500h的人类驾驶数据,具有广泛不同的交通模式(波士顿,匹兹堡,拉斯维加斯和新加坡)。我们将提供具有无功代理的闭环仿真框架,并提供一系列一般和方案特定的规划指标。我们计划在Neurips 2021上发布数据集,并在2022年初开始组织基准挑战。
translated by 谷歌翻译
组合演变 - 通过现有物品的组合创建新事物 - 可以是发展而不是设计电子电路等技术对象的强大方法。有趣的是,这似乎是一个持续的,因此开放的过程,创造了越来越复杂性的新奇。在这里,我们采用了软件开发的组合演变。虽然遗传编程等当前方法在解决特殊问题方面是有效的,但它们都会趋向于解决方案,并且之后不再创建任何新的东西。多种式语言和技术等复杂系统的组合演变被认为是开放式的。因此,通过组合演化可能可以进行开放式自动编程。我们实现了一种计算机程序,模拟存储在数据库中的代码块的组合演进,以使它们可用于组合。通过评估正则表达式来实现基于算法的码代生成感的自动编程。我们发现编程语言的保留关键字适用于在仿真开始时定义基本代码块。我们还发现占位符可用于组合代码块,并且可以根据对编程语言的重要性来描述代码复杂性。与电子电路的先前组合演进仿真一样,复杂性从简单的关键字和特殊字符增加到更复杂的变量声明,类定义,方法和包含方法和变量声明的类。因此,组合演化似乎是开放式自动编程的有希望的方法。
translated by 谷歌翻译
我们最近介绍了所谓的Allagmatic方法,该方法包括一个系统元模型,该系统提供了描述,建模,模拟和解释复杂系统的框架。它的发展和编程受到哲学的指导,尤其是吉尔伯特·西蒙登(Gilbert Simondon)的个性化哲学,阿尔弗雷德·诺斯·诺德·诺德·诺斯·诺斯·诺德·诺德·诺德·诺德·诺斯·怀特海(Alfred North Whitehead)的生物体哲学以及控制论的概念。在这里,提出了一种数学形式主义,以更好地描述和定义Allagmatic方法的系统元模型,从而进一步推广它并将其覆盖范围扩展到更正式的治疗方法并允许更多的理论研究。通过使用形式主义,提供了一个进一步研究的示例,并提供了数学定义和模型创建和蜂窝自动神经网络等效性的证明。
translated by 谷歌翻译