理解复杂机器学习模型功能的技术正变得越来越流行,不仅要改进验证过程,还要通过探索性分析提取有关数据的新见解。虽然目前存在大量此类工具,但大多数人认为预测是点估计并使用这些估计的敏感性分析来解释模型。使用轻量概率网络可以了解如何在灵敏度分析中包含预测不确定性:(i)更强大和可推广的模型; (ii)通过不确定性分解进行模型解释的新方法。特别是,我们引入了一种新的正则化,它将预测的均值和方差都考虑在内,并证明了所得到的网络为不可见的数据提供了改进的广义化。此外,我们提出了一种新技术,通过输入域中的不确定性来解释预测不确定性,从而提供验证和解释深度学习模型的新方法。
translated by 谷歌翻译
在本文中,我们提出了一种新的算法,通过消除阴影伪像来纠正数字化文档的照明。首先,使用每个像素的亮度值来创建输入数字化文档的顶部表面。然后通过模拟散射过程来估计文档上的阴影伪影。使用具有迭代更新规则的新的扩散方程来模拟浸没过程。在估计着色伪影之后,使用Lambertiansurface模型重建数字化文档。为了评估所提算法的性能,我们对一组数字化文档进行了严格的实验,这些文档是在具有挑战性的光照条件下使用智能手机生成的。根据实验结果,发现所提出的方法产生了增强的光照校正结果并且优于最先进方法的结果。
translated by 谷歌翻译
修剪是一种有效的模型压缩技术,用于消除深度神经网络(DNN)连通性中的冗余。然而,使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性,这取决于索引表示方案。因此,细粒度修剪由于其不规则的索引形式导致大的内存占用和卷积和矩阵乘法的低并行性而没有引起太多关注。在本文中,我们提出了一种新的网络修剪技术,它生成一个低秩二进制索引矩阵来压缩索引数据,而解压缩索引数据则通过简单的二进制矩阵乘法来执行。该提出的压缩方法找到特定的细粒度修剪掩模,其可以被分解成两个二进制矩阵。 Wealso提出了一种基于区块的分解技术,不仅可以降低内存需求,还可以提高压缩率。与先前的稀疏矩阵格式相比,可以使用少得多的DNN模型,同时保持相同的修剪率。
translated by 谷歌翻译
转移学习或多语言模型对于低资源神经机器翻译(NMT)至关重要,但通过共享词汇表,适用性仅限于同源语言。本文展示了有效的技术,将预先训练的NMT模型转换为一种没有共享词汇的新的无关语言。我们通过使用跨语言代码来减轻词汇不匹配,通过注入人工噪声来训练更加语言无关的编码器,并且可以从训练前数据中轻松生成合成数据而无需后向翻译。我们的方法不需要重构词汇表或重新训练模型。我们在五个低资源翻译任务中将单纯的NMT转移提高了多达+ 5.1%的BLEU,超出多边联合训练的大幅度差距。我们还提供广泛的消融前研究,合成数据,词汇量和参数冷冻,以更好地理解NMT转移。
translated by 谷歌翻译
我们在最近普及的分散执行(CTDE)制度的集中培训中探索基于价值的多智能体强化学习(MARL)任务解决方案。然而,VDN和QMIX是代表性的例子,它将联合行动 - 价值函数的因子分解为分散执行的个体化。 VDN和QMIX仅解决可分解的MARL任务的分数,因为它们在诸如可加性和单调性之类的因素中具有结构约束。在本文中,我们提出了一种新的MARL分解方法,即QTRAN,它没有这种结构约束,并采用了一种新的方法将原始的联合作用 - 值函数转换为易于分解的函数,具有相同的优化。 QTRAN保证比VDN或QMIX更通用的因子分解,因此比以前的方法覆盖了更广泛的MARL任务类。多域Gaussian-squeeze和modifiedpredator-prey任务的Ourexperiments展示了QTRAN在游戏中的特殊大规模优越性能,其收益更加积极地惩罚非合作行为。
translated by 谷歌翻译
我们介绍了一种用于物体检测的新型无监督域自适应方法。我们的目标是同时缓解像素级别的不完美翻译问题,以及特征性差异的源偏差判别问题。我们的方法由两个阶段组成,即域多样化(DD)和多域不变表示学习(MRL)。在DD阶段,我们通过从源域生成各种不同的移位域来使标记数据的分布多样化。在MRL阶段,我们应用具有多域鉴别器的对抗性学习来鼓励在域之间难以区分的特征。 DD解决了资源偏向的歧视性问题,而MRL减轻了不完美的图像翻译。我们为学习范式构建了一个结构化的域适应框架,并介绍了DD实现的实用方法。在各种数据集中,我们的方法在平均精度(mAP)的3%~11%间隔范围内优于最先进的方法。
translated by 谷歌翻译
随着各种先进驾驶辅助系统(ADAS)平台的发展,自动驾驶系统的设计变得越来越复杂和安全。自动驾驶系统同时激活多个ADAS功能;因此,协调各种ADAS功能至关重要。本文提出了一种随机对抗模仿学习(RAIL)方法,该方法模仿配备先进传感器的自动驾驶汽车的协调。 RAIL政策通过衍生自由优化对协调适当的ADAS功能的决策者进行训练,例如,智能巡航控制和车道保持系统。特别是,所提出的方法还能够处理LIDAR数据并在复杂的多车道高速公路和多代理环境中做出决策。
translated by 谷歌翻译
我们在卷积神经网络(CNN)中显示隐式滤波器级稀疏性表现,其使用批量归一化和ReLU激活,并且利用自适应梯度下降技术和L2正则化或权重衰减来训练。通过广泛的实证研究(Mehta et al。,2019),我们假设了稀疏化过程背后的机制,并发现与文献中提出的某些过滤器稀疏化启发式相关联。选择性特征的出现和随后的修剪被认为是有贡献的机制之一,导致特征稀疏性比某些明确的稀疏/修剪方法更好或更好。在本研讨会文章中,我们总结了我们的研究结果,并指出了选择性特征化的推论,这些推论也可以用作过滤修剪的启发式方法。
translated by 谷歌翻译
在本文中,我们提出了在编码器 - 解码器结构(EDiED)内包含小编码器 - 解码器的T-Net。 T-Net克服了U-Net只能在编码器和解码器块之间只有一组连接层的限制。更准确地说,U-Net对称地形成了连接层,因此编码器的低级特征连接到解码器的部分,并且高级特征连接到解码器的开始。 T-Net在编码器处理过程中适当地安排合并和上采样,同样在解码过程中,在单个块中获得各种尺寸的特征图。因此,所有特征从低级到高级 - 从编码器提取的电平从解码器的开始传送以预测更准确的掩模。我们评估了T-Net在冠状动脉造影图像中分割三个主要血管的问题。该实验包括在相同条件下对U-Net和T-Nets进行比较,以及针对主要血管分割的优化T-Net。结果,T-Net记录的DiceSimilarity系数得分(DSC)为0.815,比U-Net高0.095,优化的T-Net记录的DSC为0.890,比U-Net高0.170。此外,我们可视化T-Net和U-Net的卷积层的重量激活,以显示T-Net实际上预测了早期解码器的掩码。因此,我们期望T-Net可以有效地应用于其他类似的医学图像分割问题。
translated by 谷歌翻译
关于使用深度神经网络进行使用自然语言的代码搜索,最近有多个提议。这些提议的共同点是将$ \ mathit {embedding} $ code和自然语言查询的想法转换为实数向量,然后使用向量距离来近似代码与查询之间的语义相关性。存在多种方法来学习这些嵌入,包括$ \ mathit {无监督} $技术,它们仅依赖于代码示例的语料库,以及$ \ mathit {supervised} $技术,它们使用$ \ mathit {aligned} $ corpus配对代码和自然语言描述。这种监督的目的是为了提供更为类似于aquery的嵌入和相应的所需代码片段。显然,在是否使用监督技术方面存在选择,如果有的话,可以选择使用何种网络和培训进行监督。本文是第一个系统地评估这些选择的人。为此,我们组装了最先进技术的实现,以在公共平台,培训和评估语料库上运行。为了探索网络复杂性的设计空间,我们还引入了一个新的设计点,它是现有无监督技术的$ \ mathit {minimal} $监督扩展。我们的评估表明:1。对现有的无监督技术加入监督可以提高绩效,但不一定要多; 2.用于监督的简单网络可以更加有效地用于代码搜索的更复杂的基于序列的网络; 3.虽然用过的弦线进行监督是很常见的,但是文档的有效性与更适合查询的监督语料库之间存在相当大的差距。
translated by 谷歌翻译