我们介绍了一种利用深度语境嵌入的多语言转移的新方法,该方法以无人监督的方式预训练。虽然与静态对应物相比,已经证明上下文嵌入可以产生更丰富的意义表示,但由于它们的动态性质,对齐它们会带来挑战。为此,我们构造原始单语空间的与上下文无关的变体,并利用它们的映射来导出依赖于上下文的空间的对齐。该映射容易支持处理目标语言,通过上下文感知嵌入改进传输。 Ourexperimental结果证明了这种方法对于依赖性解析的零镜头和几次镜头学习的有效性。具体来说,我们的方法始终优于以前最先进的6种目标语言,平均提高了6.8 LAS点。
translated by 谷歌翻译
由场景中的对象的交互定义的事件通常具有重要的重要性,但是这样的事件通常是罕见的并且可用的标记示例不足以训练执行良好的交叉预测的对象外观的传统深度模型。大多数深度学习活动识别模型专注于全局上下文聚合,并未明确考虑视频内的对象交互,可能忽略与场景中的解释活动相关的重要线索。在本文中,我们展示了一种用于显式表示对象交互的新模型,显着改善了用于驾驶碰撞检测的深度视频活动分类。我们提出了一个时空行动图(STAG)网络,它结合了对象的空间和时间关系。从数据中自动学习网络,并为任务推断出潜在的图形结构。作为评估碰撞检测任务性能的基准,我们根据从现实生活中驾驶碰撞和近碰撞获得的数据引入了一种新颖的数据集。该数据集反映了在一个变化丰富但高度受限的环境中检测和分类事故的挑战性任务,这与自动驾驶和警报系统的评估非常相关。我们的实验证实,我们的STAG模型为碰撞活动分类提供了显着改进的结果。
translated by 谷歌翻译
经验证据表明,具有ReLU激活的神经网络通过过度参数化更好地普及。然而,目前有非理论分析解释了这一观察结果。在这项工作中,我们研究了过度参数化卷积网络的简化学习任务,并且在研究中表现出相同的定性现象。对于这种设置,我们提供了梯度下降的优化和泛化性能的理论分析。具体来说,我们证明了数据依赖的样本复杂边界,这表明过度参数化改善了梯度下降的广义化性能。
translated by 谷歌翻译
在数据管理和自然语言处理(NLP)社区中,设计用于查询表的可靠自然语言(NL)接口已成为研究人员的长期目标。这样的接口接收anNL问题作为输入,将其转换为正式查询,执行查询并返回结果。翻译过程中的错误并不罕见,用户通常很难理解他们的查询是否已正确映射。我们通过向非专家用户解释获得的正式查询来解决此问题。提出了两种查询解释方法:第一种将查询转换为NL,而第二种方法提供基于查询单元的起源的图形表示(在给定表上执行)。 Oursolution在Web表上增加了最先进的NL接口,在其培训和部署阶段增强了它。实验,包括在Amazon Mechanical Turk上进行的用户研究,展示了我们的解决方案,以提高NL接口的正确性和可靠性。
translated by 谷歌翻译
Complex classifiers may exhibit "embarassing" failures in cases where humans can easily provide a justified classification. Avoiding such failures is obviously of key importance. In this work, we focus on one such setting, where a label is perfectly predictable if the input contains certain features, or rules, and otherwise it is predictable by a linear classifier. We define a hypothesis class that captures this notion and determine its sample complexity. We also give evidence that efficient algorithms cannot achieve this sample complexity. We then derive a simple and efficient algorithm and show that its sample complexity is close to optimal, among efficient algorithms. Experiments on synthetic and sentiment analysis data demonstrate the efficacy of the method, both in terms of accuracy and interpretability.
translated by 谷歌翻译
机器对复杂图像的理解是人工智能的关键目标。该任务的一个挑战是视觉场景包含多个相互关联的对象,并且全局上下文在解释场景中起着重要作用。用于捕获sucheffects的自然建模框架是结构化预测,其优化复杂标签,同时模拟标签内交互。然而,目前尚不清楚什么原则上应该指导利用深度学习组件的力量的结构化预测模型的设计。在这里,我们提出了一种结构设计原则,它遵循排列不变性的自然要求。我们证明了遵循这种不变性的必要和充分的表征结构,并讨论了它对模型设计的影响。最后,我们证明了最终的模型在Visual Genome场景图标签基准上达到了新的技术水平,超越了所有的方法。
translated by 谷歌翻译
深度学习模型通常使用梯度下降成功训练,尽管底层非凸优化问题的最坏情况硬度。关键问题是在什么条件下可以证明优化会成功。在这里,我们提供了这种强有力的结果。我们考虑一个神经网络,其中一个隐藏层和一个没有重叠的卷积结构和一个ReLU激活函数。对于这种架构,我们表明在一般情况下学习是NP完全的,但是当输入分布是高斯时,梯度下降会收敛到多项式时间的全局最优。据我们所知,这是具有ReLU激活的卷积神经网络上梯度下降的第一个全局最优保证。
translated by 谷歌翻译
在本文中,我们考虑使用portmanteau测试来测试多重季节性自回归移动平均(SARMA)模型的充分性,假设误差是不相关的但不一定是独立的。为了扩展误差项的标准独立性假设,我们应该扩展应用的范围。 SARMA模型。我们研究了残差和归一化残差经验自协方差和自相关的渐近分布。我们建立了所提统计的渐近行为。提出了一套蒙特卡罗实验和月平均总太阳黑子数的应用。
translated by 谷歌翻译
尽管存在固有的不明确定义,但异常检测是机器学习和视觉场景理解中相当兴趣的研究工作。通常,异常检测被认为是基于某种正态度量在给定数据分布中检测异常值。现实世界异常检测问题中最重要的挑战是可用数据对于正常性(即非异常)高度不平衡并且包含所有可能的异常样本的大部分子集 - 因此限制了良好建立的监督学习方法的使用。相比之下,我们介绍了无监督异常检测模型,仅对正常(非异常,丰富)样本进行训练,以便了解域的正态分布,从而根据与该模型的偏差检测异常。我们提出的方法采用编码器 - 解码器卷积神经网络,跳过连接,彻底捕捉高维图像空间中正常数据分布的多尺度分布。此外,利用针对该选择的体系结构的对抗性训练方案,在高维图像空间和更低维的潜在向量空间编码中提供了优越的重建。在训练期间最小化图像和隐藏向量空间内的重建误差度量,使模型根据需要学习正态性的分布。因此,在随后的测试和部署期间的较高重构度量指示了与该正态分布的偏差,因此指示了异常。在X射线安全屏幕的背景下,对已建立的异常检测基准和具有挑战性的真实数据集的实验表明了这种提议方法的独特前景。
translated by 谷歌翻译
在本文中,提出了一种特征提升网络,用于从单个RGB图像估计3D手势和3D身体姿势。在这种方法中,卷积层所获得的特征被一个新的长短期依赖性(LSTD)模块提升,这使得中间卷积特征图能够感知不同手(或身体)部分之间的图形长期短期依赖性。设计图形ConvLSTM。由于在3D姿态估计的实际应用中的模糊性,纹理和照明变化以及自遮挡,学习一组可靠且有区别地代表手(或身体)部分的特征是困难的。为了提高表示每个部分的特征的可靠性并增强LSTD模块,我们在本文中进一步引入了上下文一致性门(CCG),其中卷积特征映射根据它们与上下文表示的一致性进行调制。我们评估了所提出的用于3D手势估计和3D全身姿态估计的挑战性基准数据集的方法。实验结果表明,我们的方法在两个任务中都达到了最先进的性能。
translated by 谷歌翻译