张量分解已成为知识图谱完成(KGC)的一种越来越流行的方法,KGC是自动预测知识图中的缺陷事件的任务。然而,即使使用像CANDECOMP / PARAFAC(CP)张量分解这样的简单模型,现有知识图上的KGC在资源有限的环境中也是不实际的,因为需要大量存储器来存储表示为32位或64位浮点数的参数。随着已经巨大的现有知识图表在规模上保持稳定增长,预计这种限制将变得更加严格。为了减少存储器需求,我们提出了一种通过将量化函数引入优化问题来对CP张量分解的参数进行二值化的方法。此方法在训练后用二进制参数替换浮点值参数,这大大减少了运行时的模型大小。我们研究了几个KGC基准数据集的张量分解模型的质量和大小之间的权衡。在我们的实验中,所提出的方法成功地将模型尺寸减小了一个数量级,同时保持了任务性能。此外,可以通过逐位操作开发快速得分计算技术。
translated by 谷歌翻译
本文提出了深度学习辅助迭代检测算法形成超载多输入多输出(MIMO)系统,其中发射天线的数量$ n(\ gg 1)$大于接收天线$ m $的数量。由于所提出的算法基于具有可训练参数的投影梯度下降方法,因此将其命名为可训练的投影梯度检测器(TPG-检测器)。可以使用标准深度学习技术(例如后向传播和随机梯度下降算法)来优化诸如步长参数之类的可训练内部参数。这种方法被认为是数据驱动的调整带来了所提出的方案的显着优点,例如快速收敛。 TPG检测器的主要迭代过程包括矩阵向量乘积运算,需要$ O(m n)$ - 时间的迭代步骤。此外,TPG探测器中可训练参数的数量与天线数$ n $和$ m $无关。 TPG探测器的这些特征导致其快速和稳定的训练过程以及对大型系统的合理可扩展性。数值模拟表明,所提出的检测器实现了与用于大规模过载MIMO信道的已知算法(例如,最先进的IW-SOAV检测器)的检测性能相当,具有较低的计算成本。
translated by 谷歌翻译
由于以下几个原因,分类可能不可靠:数据中的噪声,输入信息不足,分布重叠以及类的清晰定义。面对几种可能性,如果不进行分类消除不可能的类,则在这种情况下神经网络也可能是有用的。消除器可以使用分类器来构造,该分类器将新箱分配给几个类的池而不是仅仅一个获胜类。可以使用modifiederror函数在几个分类器的帮助下完成消除。提出了神经网络的实际医学应用,说明了消除的有用性。
translated by 谷歌翻译
在本文中,我们从理论的角度研究高斯过程回归的随机子采样,这是最简单的近似基线之一。尽管子采样丢弃了很大一部分训练数据,但我们对预测均值/方差的准确性及其广义化能力进行了证明。 。为了进行分析,我们考虑将内核矩阵嵌入到图形中,它封装了样本大小的差异,并且能够以统一的方式评估逼近和泛化误差。实验结果表明,子采样近似在精度和运行时间方面取得了较好的权衡。 Nystr \“{o} m和randomFourier扩展方法。
translated by 谷歌翻译
结构照明已广泛用于光学切片和3D表面恢复。在典型的实施方式中,使用非均匀图案照射下的多个图像来恢复单个物体部分。需要对样品或物镜进行轴向扫描以获取3D体积数据。在这里,我们演示了轴向移位模式光照(asPI)在没有轴向扫描的虚拟体积共聚焦成像中的应用。在报道的方法中,我们以相对于检测光学系统的倾斜角度投射照明图案。这样,照明模式在不同的z部分横向移动,并且可以基于捕获的2D图像恢复不同z部分的样本信息。我们通过稀释牛奶通过扩散层和水下3D成像来演示报告的虚拟共聚焦成像方法。我们证明,我们可以在~1s内获得整个共焦体积,吞吐量为每秒420megapixels。我们的方法可以为在恶化的视觉环境中开发共焦光测距和检测系统提供新的见解。
translated by 谷歌翻译
本文介绍了基于变换自动编码器(VAE)的语音转换(VC)的WaveNet声码器的改进框架,它减少了训练数据和测试数据之间不匹配引起的质量失真。传统的WaveNet声码器采用自然声学特征进行训练,但对VC转换阶段的转换特征进行了调节,这种不匹配通常会导致显着的质量和相似性降低。在这项工作中,我们利用VAE的特定结构来改进具有由VAE生成的自重构特征的WaveNet声码器,其具有与转换的特征类似的特征,同时具有与目标训练数据相同的数据长度。换句话说,我们提出的方法不需要任何对齐。客观和主观的实验结果证明了我们提出的框架的有效性。
translated by 谷歌翻译
本文介绍了一种使用不成对数据训练端到端自动语音识别(ASR)模型的方法。尽管端到端方法消除了对诸如发音词典之类的专业知识的需求以构建ASR系统,但它仍然需要大量的配对数据,即语音话语和它们的转录。最近提出循环一致性损失作为缓解有限配对数据问题的一种方法。这些方法构成了一种具有给定变换的逆向操作,例如,具有ASR的文本到语音(TTS),以构建仅需要的损失。无监督数据,本例中的语音。将循环一致性应用于ASR模型是不重要的,因为在中间文本瓶颈中丢失了诸如说话者特征之类的基本信息。为了解决这个问题,这项工作提出了一个基于语音编码器状态序列而不是原始语音信号的方法。这是通过训练文本到编码器模型并基于编码器重建误差定义高压来实现的。在LibriSpeech语料库上的实验结果表明,所提出的循环一致性训练使用100小时配对数据训练的初始模型将单词错误率降低了14.7%,使用额外的360小时音频数据而没有转录。我们还研究了纯文本数据的使用,主要用于语言建模,进一步提高了不成对数据训练场景中的性能。
translated by 谷歌翻译
我们提出了一种基于深度神经网络(DNN)的源增强训练方法,以增加客观声音质量评估(OSQA)得分,例如语音质量的感知评估(PESQ)。在许多传统研究中,DNN已被用作映射函数来估计时间 - 频率掩模并且训练以最小化可分析易处理的目标函数,例如均方误差(MSE)。由于OSQA得分已广泛应用于质量评估,因此构建DNN以提高OSQA得分将比使用最小MSE创建高质量输出信号更好。但是,由于大多数OSQA得分在分析上不易处理,因此\ textit {ie}它们是黑盒子,通过简单地应用反向传播不能计算目标函数的梯度。为了计算基于OSQA的目标函数的梯度,我们在\ textit {black-box optimization}的基础上制定了DNN优化方案,用于训练玩游戏的计算机。对于黑盒优化方案,我们采用政策梯度法在抽样算法的基础上计算梯度。为了使用采样算法模拟输出信号,DNN用于估计输出信号的概率密度函数,以最大化OSQA分数。 OSQA分数是根据模拟的输出信号计算的,并且训练DNN以增加生成模拟输出信号的概率,从而获得高OSQA分数。通过几个实验,我们发现OSQA得分通过应用所提出的方法显着增加,即使MSE未被最小化。
translated by 谷歌翻译
目前,作为将关注机制引入二元关系建模的方法,biaffine分类器一直备受关注。例如,在依赖解析领域,Dozatand Manning的Deep Biaffine Parser在英国Penn Treebank和CoNLL 2017共享任务上作为基于图形的依赖性解析器实现了最先进的性能。另一方面,据报道,具有O(n ^ 2)个参数的biaffine分类器中的权重矩阵中的参数冗余导致过拟合(n是维数)。在本文中,我们试图通过假设权重矩阵的对称性或圆度来减少参数冗余。在我们对CoNLL 2017共享任务数据集的实验中,我们模拟了大多数树库的更好或相当的准确度,参数减少超过16%。
translated by 谷歌翻译
非负矩阵分解(NMF)是一种用于许多领域的知识发现方法,此外,其变分推理和吉布斯采样方法也是众所周知的。然而,变分近似精度尚未阐明,因为NMF在统计上不是规则的,并且在变分贝叶斯NMF(VBNMF)中使用的先验具有零点或发散点。在本文中,使用代数几何方法,我们在理论上分析VBNMF和贝叶斯NMF之间的负对数证据/边际可能性(自由能)的差异,并渐近地给出近似准确度的下界。结果定量地显示了VBNMF算法与贝叶斯NMF的近似程度。
translated by 谷歌翻译