我们考虑Nachmani等人最近提出的加权置信传播(WBP)解码器。其中为每个Tanner图表引入了不同的权重,并使用机器学习技术进行了优化。我们的重点是简单缩放模型,这些模型在某些边缘使用相同的权重,以减少存储和计算负担。主要贡献是表明,使用少量参数进行简单缩放通常可以获得与完全参数化相同的增益。此外,提出了WBP的若干培训改进。例如,已经表明,在比特误码率(BER)和新的“软BER”损失方面,最小化平均二进制交叉熵最不是最优的,这可以导致更好的性能。我们还研究参数适配器网络(PAN),它们了解信噪比和WBP参数之间的关系。例如,对于具有高度冗余奇偶校验矩阵的(32,16)Reed-Muller码,训练具有软BER损失的PAN,假设仅使用三个参数进行简单缩放,则提供近似最大似然性能。
translated by 谷歌翻译
过去十年中机器学习的快速改进开始产生深远的影响。对于通信,具有有限的domainexpertise的工程师现在可以使用现成的学习包来设计基于模拟的高性能系统。在机器学习的当前革命之前,大多数通信工程师都非常清楚可以使用随机梯度下降来学习系统参数(例如滤波器系数)。然而,一点也不清楚,系统架构中更复杂的部分也可以学习。在本文中,我们讨论了机器学习技术在双通信问题中的应用,并着重于从结果系统中学到的东西。我们惊喜地发现,在一个例子中观察到的收益有一个简单的解释,事后才明白。从本质上讲,深度学习发现了一种简单而有效的策略,这种策略以前没有被考虑过。
translated by 谷歌翻译
我们提出了一种用于数字反向传播的低复杂度子带级DSP架构,其中使用简单的去除元件来补偿离散效应。对于模拟的96-Gbaud信号和2500 km光链路,我们的方法在线性均衡方面实现了2.8 dB的SNR改善。
translated by 谷歌翻译
我们考虑使用机器学习技术联合优化和量化的色散滤波器进行时域数字反向传播。与基线实现相比,我们在28-nm CMOS中显示出改善的BER性能和> 40%的功耗降低。
translated by 谷歌翻译
任务机器学习预测时间序列的片段需要使用来自时间序列的输入/输出对来估计ML模型的参数。使用统计数据同化和监督机器学习之间的等价,我们重新审视了这个任务。机器的训练方法利用精确退火方法来识别动作的全局最小值(-log [P])。通过这种方式,我们能够确定在时间序列中产生良好概括(预测)所需的训练对的数量。我们从标量时间序列$ s(t_n)开始; t_n = t_0 + n \ Delta t $并使用非线性时间序列分析的方法显示如何产生$ D_E> 1 $维度时间延迟嵌入空间,其中时间序列没有假邻居,观察到的$ s(t_n)$时间也是如此系列。在$ D_E $ -dimensional空间中,我们探索使用前馈多层感知器作为在$ D_E $ -dimensional输入和生成$ D_E $ -dimensional输出上运行的网络模型。
translated by 谷歌翻译
众所周知,深度神经网络容易受到对抗性攻击。这将它们暴露在安全敏感应用程序中的潜在漏洞中,并强调它们缺乏健壮性。本文使用变分自动编码器(VAE)来抵御图像分类任务的对抗性攻击。这种VAE防御有一些很好的特性:(1)它非常灵活,随机性的使用使其更难攻击; (2)它可以学习防止模糊重建的解开的代表; (3)使用贴片式VAE防御策略,不需要对不同尺寸的图像进行再训练。对于中度到严重的攻击,该系统的性能优于JPEG压缩,并具有最佳的质量参数。通过培训,它还具有更大的灵活性和改进潜力。
translated by 谷歌翻译
语言提供了将普遍知识传达给其他人的简单方法(例如,“鸟飞”,“约翰徒步”,“火使烟”)。尽管在每种语言中都有发现并且在发展的早期出现,但普遍化的语言在语言上令人费解并且抵制了精确的形式化。在这里,我们提出了关于人类理解的定量预测的一般化语言的第一个正式说明。我们在三个不同的领域中测试我们的模型:关于类别(通用语言),事件(习惯语言)和原因(因果语言)的概括。该模型通过简单的真值条件语义理论和关于属性的不同信念之间的相互作用来解释人类认可的渐进性。这项工作为精确理解抽象知识如何从语言中学习打开了大门。
translated by 谷歌翻译
由于学习技术的进步,问题回答最近得到了人工智能社区的高度关注。早期的问答模式使用了基于规则的方法,并采用统计方法来解决大量可用的信息。然而,统计方法在处理动态性质和语言变化方面表现不佳。因此,学习模型已经显示出处理动态性质和语言变化的能力。许多深思熟虑的方法已被引入问答。与机器学习和统计方法相比,大多数深度学习方法都显示出更高的成果。语言的动态性质得益于深度学习中的非线性学习。这已经创造了突出的成功和问答的工作激增。本文讨论了在这些挑战中使用的问答系统和技术的问题和挑战。
translated by 谷歌翻译
动态回归器选择(DRS)系统通过从集合中选择最有能力的回归量来估计给定测试模式的目标值。这种能力通常使用测试模式周围特征空间的局部区域中的回归量的性能来量化。然而,选择最佳度量以正确地计算能力水平并不是直截了当的。动态分类法的文献提出了各种各样的能力测量,不能用于DRS。在本文中,我们回顾了与回归问题一起使用的八种度量,并使它们适应于测试文献中发现的DRS算法的性能。这些测量是从测试模式周围的特征空间的局部区域提取的,称为能力区域,因此是能力测量。为了更好地比较能力测量,我们进行了15个回归数据集的综合实验。将三个DRS系统与使用Mean和Median的个体回归和静态系统进行比较,以组合来自整体的压力的输出。对DRS系统进行了评估,改变了能力措施。我们的研究结果表明,DRS系统优于单个压缩机和静态系统,但能力测量的选择取决于问题。
translated by 谷歌翻译
基于机器学习的方法在对象分类和检测中实现了令人印象深刻的结果。在训练阶段期间利用视觉世界的代表性数据对于利用这种数据驱动方法实现良好性能是至关重要的。然而,并不总是可以访问无偏差数据集,对于有偏见的数据的鲁棒性是学习系统的理想特性。最近已经引入了胶囊网络,并且它们对偏置数据的容忍度很少受到关注。本文旨在填补这一空白,并提出两个实验场景,以评估对不平衡训练数据的容忍度,并确定具有不熟悉的仿射变换的模型的泛化性能。本文评估了基于动态路由和EM路由的胶囊网络,并在两个测试场景中提出了与卷积神经网络的比较。所提出的结果为胶囊网络的行为提供了新的见解。
translated by 谷歌翻译