深度网络本质上消耗大量内存。我们可以在保持性能的同时减少内存需求。特别是,在这项工作中,我们解决了多个任务的记忆有效学习问题。为此,我们提出了一种新颖的网络体系结构,可以为不同的任务生成多个不同配置的网络,称为深度虚拟网络(DVN)。每个DVN都是专门的单一任务和分层结构。包含对应于不同数量的参数的多个层次结构的分层结构使得能够对不同的存储器预算进行多个推断。深度虚拟网络的构建块基于网络参数的不相交集合,我们将其称为单元。深度虚拟网络中最低级别的层次结构是一个单元,更高级别的层次结构包含较低级别的单元和其他附加单元。给定参数数量的预算,可以选择不同级别的深度虚拟网络来执行任务。一个单元可以由不同的DVN共享,允许单个网络中的多个DVN。此外,共享单元通过从其他任务中学到的额外知识为目标任务提供帮助。这种DVN的协作配置使得以记忆感知方式处理不同任务成为可能。我们的实验表明,所提出的方法优于现有的多任务方法。值得注意的是,我们的效率比其他任务更高,因为它允许对所有任务进行内存感知推理。
translated by 谷歌翻译
本文提出了用于统计参数语音合成(SPSS)系统的说话人自适应神经声码器。最近提出的基于WaveNet的神经语音编码系统利用自回归框架成功地生成语音信号的时间序列。然而,为目标说话者构建具有有限训练数据的高质量语音合成系统仍然是一个挑战。为了在有限的训练数据的约束下产生更自然的语音信号,我们采用具有神经声编码模型的有效变化的说话者适应任务。在所提出的方法中,应用aspeaker独立训练方法来捕获嵌入在多个说话者中的通用属性,然后对训练的模型进行微调以表示目标说话者的特定特征。实验结果验证了所提出的具有说话者自适应神经病毒编码器的SPSS系统优于传统的基于源滤波器模型的声码器和具有WaveNet声码器的SPSS系统,这些声码器独立于扬声器独立或训练者。
translated by 谷歌翻译
在本文中,我们提出了一种新的算法,通过消除阴影伪像来纠正数字化文档的照明。首先,使用每个像素的亮度值来创建输入数字化文档的顶部表面。然后通过模拟散射过程来估计文档上的阴影伪影。使用具有迭代更新规则的新的扩散方程来模拟浸没过程。在估计着色伪影之后,使用Lambertiansurface模型重建数字化文档。为了评估所提算法的性能,我们对一组数字化文档进行了严格的实验,这些文档是在具有挑战性的光照条件下使用智能手机生成的。根据实验结果,发现所提出的方法产生了增强的光照校正结果并且优于最先进方法的结果。
translated by 谷歌翻译
修剪是一种有效的模型压缩技术,用于消除深度神经网络(DNN)连通性中的冗余。然而,使用通过修剪参数获得的稀疏矩阵的计算表现出极大不同的并行性,这取决于索引表示方案。因此,细粒度修剪由于其不规则的索引形式导致大的内存占用和卷积和矩阵乘法的低并行性而没有引起太多关注。在本文中,我们提出了一种新的网络修剪技术,它生成一个低秩二进制索引矩阵来压缩索引数据,而解压缩索引数据则通过简单的二进制矩阵乘法来执行。该提出的压缩方法找到特定的细粒度修剪掩模,其可以被分解成两个二进制矩阵。 Wealso提出了一种基于区块的分解技术,不仅可以降低内存需求,还可以提高压缩率。与先前的稀疏矩阵格式相比,可以使用少得多的DNN模型,同时保持相同的修剪率。
translated by 谷歌翻译
转移学习或多语言模型对于低资源神经机器翻译(NMT)至关重要,但通过共享词汇表,适用性仅限于同源语言。本文展示了有效的技术,将预先训练的NMT模型转换为一种没有共享词汇的新的无关语言。我们通过使用跨语言代码来减轻词汇不匹配,通过注入人工噪声来训练更加语言无关的编码器,并且可以从训练前数据中轻松生成合成数据而无需后向翻译。我们的方法不需要重构词汇表或重新训练模型。我们在五个低资源翻译任务中将单纯的NMT转移提高了多达+ 5.1%的BLEU,超出多边联合训练的大幅度差距。我们还提供广泛的消融前研究,合成数据,词汇量和参数冷冻,以更好地理解NMT转移。
translated by 谷歌翻译
我们在最近普及的分散执行(CTDE)制度的集中培训中探索基于价值的多智能体强化学习(MARL)任务解决方案。然而,VDN和QMIX是代表性的例子,它将联合行动 - 价值函数的因子分解为分散执行的个体化。 VDN和QMIX仅解决可分解的MARL任务的分数,因为它们在诸如可加性和单调性之类的因素中具有结构约束。在本文中,我们提出了一种新的MARL分解方法,即QTRAN,它没有这种结构约束,并采用了一种新的方法将原始的联合作用 - 值函数转换为易于分解的函数,具有相同的优化。 QTRAN保证比VDN或QMIX更通用的因子分解,因此比以前的方法覆盖了更广泛的MARL任务类。多域Gaussian-squeeze和modifiedpredator-prey任务的Ourexperiments展示了QTRAN在游戏中的特殊大规模优越性能,其收益更加积极地惩罚非合作行为。
translated by 谷歌翻译
我们介绍了一种用于物体检测的新型无监督域自适应方法。我们的目标是同时缓解像素级别的不完美翻译问题,以及特征性差异的源偏差判别问题。我们的方法由两个阶段组成,即域多样化(DD)和多域不变表示学习(MRL)。在DD阶段,我们通过从源域生成各种不同的移位域来使标记数据的分布多样化。在MRL阶段,我们应用具有多域鉴别器的对抗性学习来鼓励在域之间难以区分的特征。 DD解决了资源偏向的歧视性问题,而MRL减轻了不完美的图像翻译。我们为学习范式构建了一个结构化的域适应框架,并介绍了DD实现的实用方法。在各种数据集中,我们的方法在平均精度(mAP)的3%~11%间隔范围内优于最先进的方法。
translated by 谷歌翻译
随着各种先进驾驶辅助系统(ADAS)平台的发展,自动驾驶系统的设计变得越来越复杂和安全。自动驾驶系统同时激活多个ADAS功能;因此,协调各种ADAS功能至关重要。本文提出了一种随机对抗模仿学习(RAIL)方法,该方法模仿配备先进传感器的自动驾驶汽车的协调。 RAIL政策通过衍生自由优化对协调适当的ADAS功能的决策者进行训练,例如,智能巡航控制和车道保持系统。特别是,所提出的方法还能够处理LIDAR数据并在复杂的多车道高速公路和多代理环境中做出决策。
translated by 谷歌翻译
我们在卷积神经网络(CNN)中显示隐式滤波器级稀疏性表现,其使用批量归一化和ReLU激活,并且利用自适应梯度下降技术和L2正则化或权重衰减来训练。通过广泛的实证研究(Mehta et al。,2019),我们假设了稀疏化过程背后的机制,并发现与文献中提出的某些过滤器稀疏化启发式相关联。选择性特征的出现和随后的修剪被认为是有贡献的机制之一,导致特征稀疏性比某些明确的稀疏/修剪方法更好或更好。在本研讨会文章中,我们总结了我们的研究结果,并指出了选择性特征化的推论,这些推论也可以用作过滤修剪的启发式方法。
translated by 谷歌翻译
在本文中,我们提出了在编码器 - 解码器结构(EDiED)内包含小编码器 - 解码器的T-Net。 T-Net克服了U-Net只能在编码器和解码器块之间只有一组连接层的限制。更准确地说,U-Net对称地形成了连接层,因此编码器的低级特征连接到解码器的部分,并且高级特征连接到解码器的开始。 T-Net在编码器处理过程中适当地安排合并和上采样,同样在解码过程中,在单个块中获得各种尺寸的特征图。因此,所有特征从低级到高级 - 从编码器提取的电平从解码器的开始传送以预测更准确的掩模。我们评估了T-Net在冠状动脉造影图像中分割三个主要血管的问题。该实验包括在相同条件下对U-Net和T-Nets进行比较,以及针对主要血管分割的优化T-Net。结果,T-Net记录的DiceSimilarity系数得分(DSC)为0.815,比U-Net高0.095,优化的T-Net记录的DSC为0.890,比U-Net高0.170。此外,我们可视化T-Net和U-Net的卷积层的重量激活,以显示T-Net实际上预测了早期解码器的掩码。因此,我们期望T-Net可以有效地应用于其他类似的医学图像分割问题。
translated by 谷歌翻译