象征性推理,基于规则的符号操作,是人类智慧的标志。然而,基于规则的系统的成功有限与基于学习的系统在外面的正式域之外的竞争中,例如自动定理证明。我们假设这是由于过去尝试中的规则的手动构建。在这项工作中,我们询问我们如何构建基于规则的系统,可以推理自然语言输入,但没有手动构建规则。我们提出了Metaqnl,这是一种“准自然”语言,可以表达正式逻辑和自然语言句子,并梅多斯诱惑,一种学习算法,它从训练数据组成的训练和答案,有或没有中间推理步骤。我们的方法在多个推理基准上实现了最先进的准确性;它学习具有更少数据的紧凑型号,不仅可以答案,而且产生答案。此外,对现实世界的形态学分析基准测试的实验表明,我们可以处理噪音和歧义。代码将在https://github.com/princeton-vl/metaqnl发布。
translated by 谷歌翻译
视网膜手术是一种复杂的医疗程序,需要特殊的专业知识和灵巧。为此目的,目前正在开发几种机器人平台,以实现或改善显微外科任务的结果。由于这种机器人的控制通常被设计用于在视网膜附近导航,成功的套管针对接并将仪器插入眼睛中代表了一种额外的认知努力,因此是机器人视网膜手术中的开放挑战之一。为此目的,我们为自主套管针对接的平台结合了计算机愿景和机器人设置。灵感来自古巴Colibri(蜂鸟)使用只使用视觉将其喙对齐,我们将相机安装到机器人系统的内逸线器上。通过估计套管针的位置和姿势,机器人能够自主地对齐并导航仪器朝向贸易圈的入口点(TEP),最后执行插入。我们的实验表明,该方法能够精确地估计套管针的位置和姿势,实现可重复的自主对接。这项工作的目的是降低机器人设置准备在手术任务之前的复杂性,因此增加了系统集成到临床工作流程的直观。
translated by 谷歌翻译
人类影响识别是一个完善的研究领域,具有许多应用,例如心理护理,但现有方法认为所有兴趣情绪都是先验的作为注释培训例子。然而,通过新颖的心理学理论的人类情感谱的粒度和改进的上升和改善语境中的情绪增加给数据收集和标签工作带来了相当大的压力。在本文中,我们在语境中概念化了对情绪的一次性识别 - 一种新的问题,旨在识别来自单个支持样品的更精细粒子水平的人体影响。为了解决这项具有挑战性的任务,我们遵循深度度量学习范例,并引入多模态情绪嵌入方法,通过利用人类外观的互补信息和通过语义分割网络获得的语义场景上下文来最大限度地减少相同情绪嵌入的距离。我们上下文感知模型的所有流都使用加权三态丢失和加权交叉熵损失来共同优化。我们对适应我们单次识别问题的Demotic DataSet的分类和数值情感识别任务进行了彻底的实验,揭示了从单一示例中分类人类影响是一项艰巨的任务。尽管如此,我们模型的所有变体都明显优于随机基线,同时利用语义场景上下文一致地提高了学习的表示,在一次射击情感识别中设置最先进的结果。为了促进对人类影响国家的更普遍表示的研究,我们将在https://github.com/kpeng9510/affect-dml下公开向社区公开提供我们的基准和模型。
translated by 谷歌翻译
对于视频标题,“预培训和微调”已成为事实上的范式,其中想象成预训练(InP)通常用于帮助编码视频内容,并且从头开始进行任务导向的网络应对标题一代。将InP与最近提出的剪辑(对比语言图像预培训)进行比较,研究了INP的潜在缺陷,用于视频标题,并探索产生准确描述的关键。具体而言,我们对INP与剪辑的实证研究表明,INP使视频标题模型棘手捕获属性的语义和对无关背景信息的敏感。相比之下,剪辑在标题质量中的显着提升突出了属性感知表示学习的重要性。因此,我们被激励引入双属性预测,需要一个辅助任务,需要视频字幕模型来学习视频内容和属性之间的对应关系以及属性之间的共同发生关系。基准数据集的广泛实验表明,我们的方法能够更好地学习属性感知的表示,这对具有不同架构和解码算法的模型带来了一致的改进。
translated by 谷歌翻译
用于单视网型3D重建(SVR)的神经网络(NN)已经获得了普及。最近的工作指出,对于SVR,大多数尖端NNS在重建看不见的对象时具有有限的性能,因为它们主要依赖于识别(即,基于分类的方法)而不是形状重建。要深入了解这个问题,我们对NNS更倾向识别重建的何时以及为什么提供系统的研究,反之亦然。我们的发现表明,确定识别与重建的主要因素是如何分散训练数据。因此,我们介绍了一个新的数据驱动度量的分散评分,以量化这种前导因素并研究其对NNS的影响。我们假设当训练图像更加分散时,NNS朝向识别偏置,并且训练形状较少分散。支持我们的假设,通过我们的合成和基准数据集的实验证明了分散评分。我们表明,拟议的指标是分析重建质量的主要方法,并提供除了传统的重建分数之外的新颖信息。
translated by 谷歌翻译
优化所需特性的化学分子在于药物发育的核心。尽管深度生成模型和加强学习方法进行了初步成功,但这些方法主要受到预定义属性函数或通过手动预编译的原始和优化分子的并行数据的限制。在本文中,我们首次制定了作为样式转移问题的分子优化,并提出了一种新的生成模型,可以通过对抗训练策略自动学习两组非并行数据之间的内部差异。我们的模型通过组合辅助引导变分自身额和生成流动技术,可以通过组合辅助引导变分自动化器和经常性流动技术来保存分子内容和分子特性的优化。两种分子优化任务的实验,毒性修饰和合成性改进,证明我们的模型显着优于几种最先进的方法。
translated by 谷歌翻译
基于骨架的动作识别由于数据集的轻质,紧凑的性质,吸引了从业者和研究人员。与基于RGB视频的动作识别相比,基于骨架的动作识别是一种更安全的方法来保护受试者的隐私,同时具有竞争性识别性能。但是,由于骨架估计算法以及运动和深度传感器的改进,可以在骨架数据集中保留运动特性的更多细节,从而导致数据集的潜在隐私泄漏。要调查骨架数据集的潜在隐私泄漏,我们首先将分类器从关节的轨迹中分类敏感私人信息。实验表明,培训的模型对性别进行分类,可以预测88%的准确性,并重新识别具有82%的准确性的人。我们提出了两个匿名化算法的变体来保护骨架数据集的潜在隐私泄漏。实验结果表明,匿名数据集可以降低隐私泄漏的风险,同时对动作识别性能产生边际影响。
translated by 谷歌翻译
土地遥感分析是地球科学的一个至关重要的研究。在这项工作中,我们专注于土地分析的挑战任务,即自动提取来自遥感数据的交通道路,在城市发展和扩展估计中具有广泛的应用。然而,传统方法仅利用空中图像的有限信息,或者简单地融合多峰信息(例如,车辆轨迹),因此无法识别不受约束的道路。为了促进这个问题,我们介绍了一种新的神经网络框架,称为跨模型消息传播网络(CMMPNET),其完全有益于互补的不同模态数据(即,空中图像和众包轨迹)。具体地,CMMPNET由两个深度自动编码器组成,用于模态特定的表示学习和用于跨模型表示细化的定制设计的双增强模块。特别地,全面提取和动态地传播每个模态的互补信息以增强另一个模态的表示。关于三个真实基准的广泛实验展示了我们CMMPNET对强大的道路提取的有效性,这些资务道路提取受益于使用图像和轨迹数据或图像和LIDAR数据进行混合不同的模态数据。从实验结果来看,我们观察到所提出的方法优于大型利润率的当前最先进的方法。
translated by 谷歌翻译
在计算机愿景中已经过了很长一段时间的3D表示和人体重建。传统方法主要依赖于参数统计线性模型,将可能的身体的空间限制在线性组合。近来,一些方法才试图利用人体建模的神经隐式表示,同时展示令人印象深刻的结果,它们是通过表示能力的限制或没有物理有意义和可控的。在这项工作中,我们提出了一种用于人体的新型神经隐含表示,其具有完全可分辨:无戒开的形状和姿势潜在空间的优化。与事先工作相反,我们的代表是基于运动模型设计的,这使得可以为姿势动画等任务提供可控制的表示,同时允许为3D配件和姿势跟踪等任务进行整形和姿势。我们的模型可以直接培训和精细调整,直接在具有精心设计的损失的非水密原始数据上。实验展示了SOTA方法的改进的3D重建性能,并显示了我们的方法来形状插值,模型拟合,姿势跟踪和运动重新定位的适用性。
translated by 谷歌翻译
这项工作侧重于特定于域的加速器的有效敏捷设计方法。我们采用垂直开发堆栈的功能逐个功能增强,并将其应用于TVM / VTA推理加速器。我们已经增强了VTA设计空间,并启用了用于额外工作负载的端到端支持。这是通过增强VTA微架构和指令集架构(ISA)来实现的,以及通过增强TVM编译堆栈来支持各种VTA配置。 VTA TSIM实现(基于凿子)已通过ALU / GEMM执行单元的完全流水线版本增强。在TSIM中,内存宽度现在可以在8-64字节之间。对于支持较大的刮板,已经使场宽度更加灵活。已添加新的说明:元素 - WISE 8位乘法,支持深度卷积,并使用焊盘值的选择加载以支持最大池。还添加了对更多层和更好的双缓冲。完全管制的ALU / GEMM有助于显着帮助:4.9倍的循环较少,最小区域更改为在默认配置下运行RESET-18。可以实例化特征在于11.5倍的循环计数的配置,以12倍的循环计数更大的区域。显示了区域性能帕累托曲线上的许多点,展示了执行单元尺寸,内存接口宽度和刻痕尺寸的余额。最后,VTA现在能够运行MobileNet 1.0和所有层进行Resnet,包括先前禁用的池和完全连接的图层。 TVM / VTA架构始终在几分钟内以RTL呈现端到端工作量评估。通过我们的修改,它现在提供了更大的可行配置,具有广泛的成本与性能。所有提到的所有功能都可以在OpenSource叉中提供,而这些功能的子集已经上游。
translated by 谷歌翻译