在过去的几十年中,已经针对各种监督学习任务提出了许多损失函数,包括回归,分类,排序和更一般的结构化预测。了解支撑这些损失的核心原则和理论属性是正确解决正确问题的关键,并创造新的损失,并结合其优势。在本文中,我们介绍了Fenchel-Younglosses,一种为正则预测函数构造凸损失函数的通用方法。我们在非常广泛的环境中提供他们的属性的深入研究,涵盖所有上述监督学习任务,并揭示稀疏性,广义熵和分离边缘之间的新联系。我们证明Fenchel-Young损失统一了许多众所周知的损失函数,并允许轻松创建有用的新函数。最后,我们得出了有效的预测和训练算法,使Fenchel-Young在理论和实践中都有所损失。
translated by 谷歌翻译
深度NLP模型受益于数据中的底层结构 - 例如,parsetrees--通常使用现成的解析器提取。最近联合学习潜在结构的尝试遇到了权衡:要么制定限制表达的假设,要么牺牲端到端的可区分性。使用最近提出的SparseMAP推理,其在潜在结构上进行稀疏分布,我们提出了与潜在预测器一起用于潜在结构预测器的端到端学习的新方法。据我们所知,我们的方法是从全局结构中首次实现无限制的动态计算图构造,同时保持可微性。
translated by 谷歌翻译
最近神经机器翻译的工作已经开始探索文档翻译。然而,翻译在线多人对话是一个悬而未决的问题。在这项工作中,我们提出了翻译双语超级说话者对话的任务,并探索利用这项任务的源和目标端对话历史的神经架构。为了启动对此任务的评估,我们引入了从Europarl v7和OpenSubtitles2016中提取的数据集。我们对四种语言对的实验证实了在BLEU和手工评估方面利用对话历史的重要性。
translated by 谷歌翻译
We present Marian, an efficient and self-contained Neural Machine Translationframework with an integrated automatic differentiation engine based on dynamiccomputation graphs. Marian is written entirely in C++. We describe the designof the encoder-decoder framework and demonstrate that a research-friendlytoolkit can achieve high training and translation speed.
translated by 谷歌翻译
结构化预测需要搜索组合数量的结构。为了解决这个问题,我们引入了SparseMAP:一种新的sparsestructured推理方法及其自然损失函数。 SparseMAP仅自动选择少数全局结构:它位于MAP推理(选择单个结构)和边际推理之间,边际推理为所有结构(包括难以置信的结构)分配概率质量。重要的是,可以仅使用对MAP oracle的调用来计算SparseMAP,使其适用于具有难以处理的边际推断的问题,例如线性对齐。稀疏性使梯度反向传播无论结构如何都有效,使我们能够利用通用和稀疏结构的隐藏层来增强深度神经网络。依赖性解析和自然语言推理中的实验揭示了竞争准确性,改进的可解释性以及捕获自然语言模糊性的能力,这对于管道系统是有吸引力的。
translated by 谷歌翻译
当机器人需要与脆弱对象交互时,或者机器人本身容易磨损时,机器人必须知道如何保持温和。我们提出了一种方法,使得深度强化学习能够在探索和任务执行期间训练正确的政策。在基于奖励的学习环境中,一种自然的方法涉及增加(任务)奖励的非温和性,这可以被定义为过度的冲击力。然而,只有这种惩罚的增加会损害学习:政策陷入局部最优避免与环境的所有接触。 Priorresearch已经表明,结合辅助任务或内在奖励可以有利于稳定和加速稀疏奖励领域的学习,实际上我们发现引入基于意外的内在奖励可以避免无接触失败案例。然而,我们表明基于简单动力学的惊喜并不像基于惩罚的意外那样有效。基于预测强有力的接触而基于罚款的惊喜还有一个好处:它鼓励探索,这种探索既富有联系又温和。我们使用具有触觉传感器的复杂的肌腱动力机器人手来证明该方法的有效性。视频可从http://sites.google.com/view/gentlemanipulation获取。
translated by 谷歌翻译
无人驾驶飞行器(UAV)是一种相对较新的技术。应用程序通常涉及复杂和看不见的问题。例如,他们可以在地面站的监督下在基于合作社的环境中工作,以加速关键的决策过程。然而,飞机和地面站之间交换的信息量受到高距离,低带宽尺寸,受限制的处理能力和能量限制的限制。这些缺点限制了诸如大的非常大的大规模操作。新的分布式最先进的处理架构,如雾计算,可以通过不同层次的数据采集,处理和存储来改善延迟,可扩展性和效率,以满足时间约束。在这些修订中,这项研究工作提出了一个数学模型分析基于分布的无人机拓扑和用于大规模任务和搜索操作的雾云计算框架。这些测试成功地预测了延迟和其他操作限制,使得分析计算优势优于传统的云计算架构。
translated by 谷歌翻译
成像技术是从不同材料中查询许多属性的基本工具。通常通过光学和图像处理方法研究液晶。尽管如此,对从这些材料的纹理图像中直接提取液晶的物理性质的问题的关注相当少。在这里,我们提出了一种方法,它将两个物理启发的图像量词(置换熵和统计复杂性)与机器学习技术相结合,直接从纹理图像中提取向列型和胆甾型液晶的物理特性。我们在涉及模拟和实验纹理的一系列应用中证明了ourapproach的有用性和准确性,其中这些材料的物理性质(即:平均顺序参数,样品温度和胆甾醇沥青长度)以显着的精度预测。最后,我们相信我们的方法可以用于更复杂的液晶实验以及通过成像技术研究的其他材料的探测物理性质。
translated by 谷歌翻译
Tunka无线电扩展(Tunka-Rex)是一种数字天线阵列,用于测量30-80 MHz频段内宇宙射线空气淋浴的无线电发射。 Tunka-Rex与西伯利亚的TAIGA实验位于同一地点,由63个天线组成,其中57个位于约1 km \ textsuperscript {2}的密集仪器区域。在目前的工作中,我们讨论了应用于Tunka-Rex的信号重建的改进。在第一阶段,使用平均信号作为模板,实现匹配滤波。仿真研究表明,匹配滤波可以降低信号检测的阈值并提高其纯度。然而,匹配滤波的最大性能仅在白噪声的情况下是可实现的,而实际上由于不同的原因噪声不是完全随机的。为了识别噪声的隐藏特征并对其进行处理,我们决定使用具有自动编码器架构的卷积神经网络。将记录的轨迹作为输入,自动编码器返回去噪迹线,即去除所有信号无关的幅度。我们介绍了信号重构,匹配滤波和自动编码器的标准方法之间的比较,并讨论了神经网络在降低宇宙射线检测数字天线阵列阈值方面的应用前景。
translated by 谷歌翻译
人类活动识别(HAR)是一种分类任务,旨在通过从传感器数据中提取的特征来对人类活动进行分类或预测人类行为。典型的HAR系统使用具有内置感测功能的可穿戴传感器和/或手持设备和移动设备。由于智能手机的广泛使用以及在所有当代智能手机(例如,加速度计和陀螺仪)中包括各种传感器,它们通常用于从传感器提取和收集数据,甚至用于实现HAR系统。当使用移动设备(例如,智能电话)时,HARsystems需要处理关于电池,计算和存储器的若干约束。这些约束强制要求系统能够管理资源并保持可接受的分类准确度。此外,若干因素可影响活动识别,例如分类模型,传感器可用性和特征提取的数据窗口大小,使得稳定的准确性成为困难的任务。在本文中,我们提出了一个半监督分类器和一个关于高参数配置对分类准确性的影响的研究,取决于每个用户的使用和活动。本研究的重点是感知PAMAP2数据集提供的数据。实验结果表明,通过调整超参数(如窗口大小和窗口重叠因子),可以保持分类准确性,这取决于用户和执行的活动。这些实验推动了系统的开发,该系统能够自动地为每个用户执行的活动提供超参数设置。
translated by 谷歌翻译