分层文本分类有许多实际应用。但是,标记大量文档的成本很高。在实践中,我们可以使用半监督学习或弱监督学习(例如,无数据分类)来降低标签成本。在本文中,我们提出了一种路径成本敏感的学习算法,以利用结构信息,并进一步利用未标记和弱标记的数据。我们使用生成模型来利用大量未标记的数据,并将路径约束引入学习算法,以合并类层次结构的结构信息。未标记和弱标记数据的后验概率可以与路径依赖性核心结合。由于我们将结构敏感成本置于学习算法中,以保证与类层次结构一致的分类,并且不需要重构不同结构的特征向量,因此与结构输出学习相比,我们可以显着降低计算成本。两个分层文本分类基准的实验结果表明,我们的方法不仅有效,而且有效地处理半监督和弱监督的分层文本分类。
translated by 谷歌翻译
问答(QA)已成为人类获取众多知识库的流行方式。与网络搜索不同,基于知识库的质量保证会提供准确而简洁的结果,前提是自然语言问题可以被理解并精确映射到知识库上的结构化查询。然而,挑战在于人类可以用不同的方式提出一个问题。以前的方法由于其代表性而具有自然限制:基于规则的方法仅理解一小组“罐头”问题,而基于关键词或基于同义词的方法不能完全理解问题。在本文中,我们设计了一种新的问题表示:模板,超过十亿规模的知识库和百万级QA语料库。例如,对于一个城市人口的问题,我们会学习模板,比如什么是$ city的人口?,$ city中有多少人?我们为2782个意图学习了2700万个模板。基于这些模板,我们的QA系统KBQA有效地支持二元仿真问题,以及由一系列二元仿真问题组成的复杂问题。此外,我们扩展了RDF知识库中的谓词,将知识库的覆盖范围提高了57倍。我们的质量保证系统在有效性和效率方面的所有其他最先进的工作系统超过了QALD基准。
translated by 谷歌翻译
最近,利用端到端卷积神经网络的发展,深度立体匹配网络在传统方法中取得了显着的性能。然而,最先进的立体方法仍然难以在无纹理区域,详细结构,小物体和近边界中找到正确的对应关系,这可以通过诸如边缘轮廓和相应约束的几何线索来减轻。为了提高这些挑战性区域中的视差估计质量,我们提出了一种有效的多任务学习网络EdgeStereo,它由视差估计子网和边缘检测子网组成,可以实现视差图和边缘图的端到端预测。 。为了有效地结合边缘线索,我们提出边缘感知平滑度损失和边缘特征嵌入用于任务间交互。结果表明,基于统一模型,边缘检测任务和立体匹配任务可以相互促进。此外,我们设计了一个名为residualpyramid的紧凑模块,以取代目前常用的立体匹配网络中常用的多级级联结构或基于3-D卷积的正则化模块。在论文提交时,EdgeStereo实现了这一状态。 FlyingThings3D数据集,KITTI 2012和KITTI 2015立体声标记的artperformance,优于其他已发布的立体声匹配方法,具有良好的优势。由于边缘线索的结合,EdgeStereo还具有更好的视差估计泛化能力。
translated by 谷歌翻译
这是用于人体姿势估计的深度高分辨率表示学习的官方pytorch实现。在这项工作中,我们对人体姿势估计问题感兴趣,重点是学习可靠的高分辨率表示。大多数现有方法从高分辨率网络产生的低分辨率表示中恢复高分辨率表示。相反,我们提出的网络在整个过程中保持高分辨率的表示。我们从高分辨率子网开始作为第一阶段,逐一逐步添加高到低分辨率子网以形成更多阶段,并且并行地连接它们的分辨率子网。我们进行重复的多尺度融合,使得从高到低分辨率的表示中的每一个一遍又一遍地从其他平行表示接收信息,从而导致丰富的高分辨率表示。结果,预测的关键点热图可能更准确并且在空间上更精确。我们通过两个基准数据集的优越姿态估计结果,经验证明了我们网络的有效性:COCO关键点检测数据集和MPII人体姿势数据集。代码和模型已在\ url {https://github.com/leoxiaobin/deep-high-resolution-net.pytorch}公开发布。
translated by 谷歌翻译
深度学习研究的长期目标是精确地描述培训和概括。然而,神经网络经常复杂的损失景观使学习动力学理论变得难以捉摸。在这项工作中,我们表明,对于广泛的神经网络,学习动力学显着简化,并且在无限宽度限制中,它们由一个线性模型控制。网络初始参数的一阶泰勒展开式。此外,镜像宽贝叶斯神经网络和高斯过程之间的对应关系,具有平方损失的宽神经网络的基于梯度的训练产生了从具有特定组成核的高斯过程绘制的测试集预测。虽然这些理论结果仅在无限宽度限制中是精确的,但我们仍然发现原始网络的预测与线性化版本的预测之间存在极好的经验一致性,即使对于有限的实际大小的网络也是如此。该协议在不同的体系结构,优化方法和损失函数方面都很强大。
translated by 谷歌翻译
机器学习中敏感数据的隐私问题越来越受到关注。在本文中,我们研究了在交替方向乘法器(ADMM)框架下保护隐私的分布式学习。虽然安全的分布式学习先前已经被利用了密码学或非加密(噪声扰动)方法,但其代价是计算开销过高或精度损失严重。此外,现有的保护性ADMM方案很难探讨噪声扰动的收敛性。 。在这项工作中,我们在点对点半诚实代理的场景中提出了两个修改的privateADMM方案:首先,我们表明,只需线性秘密共享,就可以实现信息理论上的私有分布式优化。使用差分隐私的概念,我们提出了基于随机参数的基于第一或基于逼近的ADMM方案。我们证明了所提出的私有ADMM方案可以以线性收敛速率实现,并且与先前工作相关的隐私损失更加严格。最后,我们提供实验结果来支持该理论。
translated by 谷歌翻译
本文介绍了以舒适为中心的可穿戴式机器人的设计原则及其在轻型和可反向驱动的膝外骨骼中的应用。将不适感作为机械设计和控制问题进行处理,本文提出了三种解决方案:1)新的可穿戴结构优化了表带附着结构,适合布局,改善了传统可穿戴结构设计的过度剪切力; 2)滚动接头和双铰链机构分别减少了矢状面正面的不对中,而没有增加机械复杂性和惯性; 3)低阻抗机械传动减少了致动器对人体的反射和阻尼,因此外骨骼是高度可反向驱动的。运动学仿真表明,在最大膝关节处,机器人关节和膝关节之间的不对准可减少74%。在实验中,无动力模式下的外骨骼表现出1.03 Nmroot均方(RMS)低阻力矩。扭矩控制实验证明了三个人类受试者的0.31 Nm RMS扭矩跟踪误差。
translated by 谷歌翻译
训练深度物体探测器进行自动驾驶需要大量的标记数据。虽然通过摄像机或LiDAR等板载传感器记录数据相对容易,但注释数据非常繁琐且耗时,尤其是在处理3D LiDAR点或雷达数据时。主动学习有可能最大限度地减少人工注释工作,同时最大化对象检测器的性能。在这项工作中,我们提出了一种主动学习方法,用最少量的标记训练数据来驱动LiDAR 3D物体探测器。该检测器利用RGBimages生成的2D区域提议来减少对象的搜索空间,加快学习过程。实验表明,我们提出的方法在不同的不确定性评估和查询功能下工作,并且可以节省高达60%的标签工作量。相同的网络性能。
translated by 谷歌翻译
我们研究了有限数量的标记训练数据的医学图像分析中深度学习的常见问题的简单解决方案的有效性。基本思想是将人工标签分配给可充分利用的未标记医学图像,并通过称为代理监视的过程,为缺乏足够标记训练数据的目标医学图像分析任务预训练深度神经网络模型。特别是,我们在4种不同的医学成像应用中使用3种替代监督方案,即旋转,重建和彩化,代表2D和3D医学图像的分类和分割。我们的研究得出了3个关键指标:1)代理监督的预训练对小型训练集有效; 2)从初步训练通过代理监督训练的深度模型在从头开始训练时优于相同的模型,建议在训练任何深3D模型之前应考虑使用代理监督进行预训练; 3)具有代理监督的医学领域中的预训练模型比从不相关的领域(例如,自然图像)转移学习更有效,表明丰富的未标记医学图像数据的实际价值。
translated by 谷歌翻译
尽管深度强化学习最近取得了巨大成功,但实时战略(RTS)游戏仍然存在挑战。由于其最大的动作空间以及隐藏的信息,RTS游戏需要宏观策略以及微观级别操作以获得令人满意的性能。在本文中,我们提出了一种新的分层增强学习模型,用于掌握多人在线战斗竞技场(MOBA)游戏,RTS游戏的子类型。在这种等级框架中,代理人通过模仿学习制造宏观策略,并通过执行学习进行微观操作。此外,我们提出了一种简单的自学习方法,可以在没有游戏引擎或API的情况下,通过多目标检测方法获得更好的加固部分样本效率并提取一些全局特征。在1v1模式中,我们的代理成功学会打击和击败内置在AI%100%赢率中,实验表明我们的方法可以为5v5模式下的一种移动MOBA游戏King of Glory(KOG)创建竞争性多智能体。
translated by 谷歌翻译