现代机器翻译(MT)系统在干净的域内文本中表现良好。然而,人类生成的文本,特别是在社会媒体领域,充满了错别字,俚语,方言,惯用语和其他可能对输出翻译的准确性产生灾难性影响的噪音。在本文中,我们利用噪声文本的机器翻译(MTNT)数据集,通过在其他清洁数据中模拟自然发生的噪声来增强MT系统的稳健性。以这种方式合成噪声,我们最终能够使香草MT系统对自然产生的噪声具有弹性,并且部分地减轻由此产生的精度损失。
translated by 谷歌翻译
我们提出了一种新的框架,用于学习可稳定的非线性动力系统,用于机器人中的连续控制任务。关键思想是开发一种新的控制理论正则化器,用于动态拟合,其根植于可稳定性的概念,这保证了学习系统可以伴随着能够稳定系统可以生成的任何轨迹的鲁棒控制器。通过利用收缩理论,统计学习和凸优化的工具,我们提供了一种通用且易处理的算法来学习可稳定的动力学,这可以应用于复杂的欠驱动系统。我们在模拟平面四旋翼系统上验证所提出的算法并观察控制 - 理论正则化动力学模型能够共同生成并准确地跟踪参考轨迹,而使用标准回归技术学习模型,例如,岭回归(RR)在两个任务上都做得非常差。此外,在具有高速度和倾斜角度的激进飞行状态下,跟踪控制器不能稳定由脊形正则化模型产生的轨迹,而使用控制理论学习模型观察到不存在,即使有少量演示示例。结果表明,需要注入基于标准模型的强化学习算法,并采用非线性控制理论提取的概念,以提高可靠性。
translated by 谷歌翻译
我们提出了一个具有视觉注意力的神经传感器模型,该模型学习了在给定其图像的情况下生成真实世界数学公式的LaTeX标记。应用序列建模和转换技术,这些技术非常成功,如自然语言,图像,手写,语音和音频等。我们构建了一个图像到标记模型,该模型学习生成语法和语义上超过150个字长的LaTeX标记代码,并获得89%的BLEU分数;改进了Im2Latex问题的先前技术水平。我们还通过热图可视化演示了如何有效地解释模型,并且可以准确地精确定位(检测和定位)图像上的符号,尽管在没有任何边界框数据的情况下进行了训练。
translated by 谷歌翻译
神经网络很容易受到对抗性攻击 - 视觉上不易察觉的小噪声,当加到输入端时会大大改变输出。防御这些敌对攻击的最有效方法是使用对抗性训练的方法。我们分析了经过对侧训练的强大模型,以研究它们在潜层层面对抗对抗性攻击的脆弱性。我们的分析揭示了与对抗性攻击具有鲁棒性的输入层相反,这些鲁棒模型的特征层非常容易受到小幅度的对抗性扰动。利用这些信息,我们引入了一种新技术潜在对抗训练(LAT),其中包括对经过对侧训练的模型进行微调,以确保在特征层中的稳健性。我们还提出潜在攻击(LA),一种用于构建对抗性示例的新算法。 LAT导致测试精度的微小改进,并导致针对MNIST,CIFAR-10,CIFAR-100数据集显示的通用一阶对抗性PGD攻击的最新对抗精度。
translated by 谷歌翻译
虽然卷积神经网络(CNN)在各种分类/识别任务上取得了令人瞩目的成绩,但它们通常包含大量参数。这导致显着的存储器需求以及计算开销。因此,需要用于压缩基于CNN的模型的过滤器级修剪方法,这不仅减少了参数的总数,而且还减少了整体计算。我们提出了一个新的min-max框架,用于CNN的过滤级修剪。我们的框架,称为Play和Prune(PP),通过自适应修剪,共同修剪和微调CNN模型参数,同时保持模型的预测性能。我们的框架由两个模块组成:(1)自适应滤波器修剪(AFP)模块,它最大限度地减少了模型中滤波器的数量; (2)修剪率控制器(PRC)模块,其在修剪期间最大化精确度。此外,与以前的方法不同,我们的方法允许直接指定欲望差异而不是修剪级别。我们的压缩模​​型可以在运行时进行部署,无需任何特殊的库或硬件。我们的方法减少了VGG-16的参数数量,令人印象深刻的因子为17.5倍,FLOPS的数量减少了6.43倍,没有精度损失,显着优于其他最先进的滤波器修剪方法。
translated by 谷歌翻译
已知香草卷积神经网络不仅在图像识别任务中而且在自然语言处理和时间序列分析中提供优异的性能。卷积层的优势之一是能够使用各种参数化卷积核来学习输入域中空间关系的特征。然而,在时间序列分析中,学习这种空间关系并不一定需要无效。在这种情况下,建议使用具有更宽空间分辨率的时间依赖性或内核建模的内核,以便通过扩张内核提供更有效的训练。然而,扩张必须先于先前固定,这限制了内核的灵活性。我们提出了广义扩张网络,它在两个方面概括了初始扩张。首先,我们推导出扩张层的端到端可学习架构,同时也可以学习扩张速率。其次,我们打破了严格的扩张结构,因为我们开发了在输入空间中独立运行的内核。
translated by 谷歌翻译
近年来,对量子计算表达神经网络成功的兴趣大大增加。张量网络理论越来越受欢迎,并被广泛用于模拟强纠缠相关系统。矩阵乘积状态(MPS)是一种精心设计的张量网状态,在量子信息处理中起着重要作用。在本文中,我们已经表明矩阵乘积状态作为张量的一维数组可用于分类经典和量子数据。我们已经对以量子态编码的经典机器学习数据集Iris进行了二元分类。此外,我们通过考虑ibmqx4量子计算机上的不同参数来研究性能,并证明MPS电路可用于获得更好的精度。此外,测试了MPS量子分类器的学习能力,使用三年的历史数据集(Agri)对位于印度北部旁遮普邦的Patiala气象站进行蒸发蒸腾($ ET_ {o} $)分类。此外,我们使用了不同的性能指标分类测量其能力。最后,绘制结果并显示每个样品的值之间的对应程度。
translated by 谷歌翻译
人工智能(AI)和自动化的快节奏推动了策略师重塑他们的商业模式。这促进了人工智能在业务流程中的整合,但这种采用的后果尚未得到探索,需要引起注意。本文重点介绍了企业对企业的整体影响 - 从研究,创新,市场部署到商业模式中的期货提升。为了获得这种整体影响,我们设计了基于Neo-Schumpeterian经济学及其三种力量的三维研究模型。创新,知识和创业精神。第一个维度涉及人工智能的研究和创新。在第二个维度中,我们探讨了人工智能对全球市场的影响以及企业的战略目标,最后,第三个维度探讨了人工智能如何塑造商业环境。此外,本文还探讨了对演员及其黑暗面的影响。
translated by 谷歌翻译
图像到图像转换旨在学习两个视觉域之间的映射。这项任务有两个主要挑战:1)缺少对齐的训练对和2)单个输入图像的多个可能输出。在这项工作中,我们提出了一种基于解开表示的方法,用于生成不同的输出,而无需成对的训练图像。为了合成多路输出,我们建议将图像嵌入到两个空间中:一个域不变的内容空间捕获跨域的共享信息和一个特定于域的属性空间。我们的模型采用从agiven输入中提取的编码内容特征和从属性空间采样的属性向量,在测试时合成不同的输出。为了处理不成对的训练数据,我们引入了基于解缠表示的跨周期一致性损失。定性结果表明,我们的模型可以在没有成对训练数据的情况下在各种任务上生成多样化和逼真的图像。对于定量评估,我们用用户研究和Fr \'{che}开始距离来衡量现实性,并用感知距离度量,Jensen-Shannon散度和统计上不同的箱数量来衡量多样性。
translated by 谷歌翻译
在嵌入空间中表示实体和关系是关于关系数据的机器学习的充分研究的方法。然而,现有方法主要侧重于提高准确性并忽略其他方面,例如鲁棒性和可解释性。在本文中,我们提出了链接预测模型的对抗性修改:确定要从知识图中添加或删除的事实,该知识图在模型重新训练后改变目标事实的预测。使用图的这些单一修改,我们识别预测链接的最有影响的事实,并评估模型对添加假事实的敏感性。我们引入了一种有效的方法,通过在知识图改变时对嵌入的变化进行近似来估计这种修改的效果。为了避免对所有可能的事实进行组合搜索,我们训练网络将嵌入解码到其相应的图形组件,允许使用基于梯度的优化来识别对抗性修改。我们使用这些技术来评估链接预测模型的稳健性(通过测量对其他事实的敏感性),通过最负责预测的事实来研究可解释性(通过识别最有影响力的邻居),并在知识库中检测不正确的事实。
translated by 谷歌翻译