我们考虑Nachmani等人最近提出的加权置信传播(WBP)解码器。其中为每个Tanner图表引入了不同的权重,并使用机器学习技术进行了优化。我们的重点是简单缩放模型,这些模型在某些边缘使用相同的权重,以减少存储和计算负担。主要贡献是表明,使用少量参数进行简单缩放通常可以获得与完全参数化相同的增益。此外,提出了WBP的若干培训改进。例如,已经表明,在比特误码率(BER)和新的“软BER”损失方面,最小化平均二进制交叉熵最不是最优的,这可以导致更好的性能。我们还研究参数适配器网络(PAN),它们了解信噪比和WBP参数之间的关系。例如,对于具有高度冗余奇偶校验矩阵的(32,16)Reed-Muller码,训练具有软BER损失的PAN,假设仅使用三个参数进行简单缩放,则提供近似最大似然性能。
translated by 谷歌翻译
过去十年中机器学习的快速改进开始产生深远的影响。对于通信,具有有限的domainexpertise的工程师现在可以使用现成的学习包来设计基于模拟的高性能系统。在机器学习的当前革命之前,大多数通信工程师都非常清楚可以使用随机梯度下降来学习系统参数(例如滤波器系数)。然而,一点也不清楚,系统架构中更复杂的部分也可以学习。在本文中,我们讨论了机器学习技术在双通信问题中的应用,并着重于从结果系统中学到的东西。我们惊喜地发现,在一个例子中观察到的收益有一个简单的解释,事后才明白。从本质上讲,深度学习发现了一种简单而有效的策略,这种策略以前没有被考虑过。
translated by 谷歌翻译
我们提出了一种用于数字反向传播的低复杂度子带级DSP架构,其中使用简单的去除元件来补偿离散效应。对于模拟的96-Gbaud信号和2500 km光链路,我们的方法在线性均衡方面实现了2.8 dB的SNR改善。
translated by 谷歌翻译
我们考虑使用机器学习技术联合优化和量化的色散滤波器进行时域数字反向传播。与基线实现相比,我们在28-nm CMOS中显示出改善的BER性能和> 40%的功耗降低。
translated by 谷歌翻译
任务机器学习预测时间序列的片段需要使用来自时间序列的输入/输出对来估计ML模型的参数。使用统计数据同化和监督机器学习之间的等价,我们重新审视了这个任务。机器的训练方法利用精确退火方法来识别动作的全局最小值(-log [P])。通过这种方式,我们能够确定在时间序列中产生良好概括(预测)所需的训练对的数量。我们从标量时间序列$ s(t_n)开始; t_n = t_0 + n \ Delta t $并使用非线性时间序列分析的方法显示如何产生$ D_E> 1 $维度时间延迟嵌入空间,其中时间序列没有假邻居,观察到的$ s(t_n)$时间也是如此系列。在$ D_E $ -dimensional空间中,我们探索使用前馈多层感知器作为在$ D_E $ -dimensional输入和生成$ D_E $ -dimensional输出上运行的网络模型。
translated by 谷歌翻译
众所周知,深度神经网络容易受到对抗性攻击。这将它们暴露在安全敏感应用程序中的潜在漏洞中,并强调它们缺乏健壮性。本文使用变分自动编码器(VAE)来抵御图像分类任务的对抗性攻击。这种VAE防御有一些很好的特性:(1)它非常灵活,随机性的使用使其更难攻击; (2)它可以学习防止模糊重建的解开的代表; (3)使用贴片式VAE防御策略,不需要对不同尺寸的图像进行再训练。对于中度到严重的攻击,该系统的性能优于JPEG压缩,并具有最佳的质量参数。通过培训,它还具有更大的灵活性和改进潜力。
translated by 谷歌翻译
语言提供了将普遍知识传达给其他人的简单方法(例如,“鸟飞”,“约翰徒步”,“火使烟”)。尽管在每种语言中都有发现并且在发展的早期出现,但普遍化的语言在语言上令人费解并且抵制了精确的形式化。在这里,我们提出了关于人类理解的定量预测的一般化语言的第一个正式说明。我们在三个不同的领域中测试我们的模型:关于类别(通用语言),事件(习惯语言)和原因(因果语言)的概括。该模型通过简单的真值条件语义理论和关于属性的不同信念之间的相互作用来解释人类认可的渐进性。这项工作为精确理解抽象知识如何从语言中学习打开了大门。
translated by 谷歌翻译
据我们所知,我们报告了生成对抗网络(GAN)的第一次端到端应用,用于合成视网膜的光学相干断层扫描(OCT)图像。在给定数据类型的采样时,生成模型已经获得了他们可以合成的越来越逼真的图像的最近的注意力。在本文中,我们将GAN应用于视网膜OCT的采样分布。我们观察到现实OCT图像的合成,描绘了可识别的病理学,例如黄斑裂孔,脉络膜血管膜,近视变性,黄斑囊样水肿和中心性视网膜病变等。这是其第一次这样的报道。这项新技术的潜在应用包括手术模拟,治疗计划,疾病预测,以及加速开发新药和治疗视网膜疾病的外科手术。
translated by 谷歌翻译
对于许多应用来说,标记数据的收集是费力的。在训练期间开发未标记的数据因此是机器学习的长期目标。自我监督学习通过提供大量可用数据的辅助任务(不同但与监督任务相关)来解决这个问题。在本文中,我们展示了如何将排名用作某些回归问题的aproxy任务。作为另一个贡献,我们为连体网络提出了有效的反向传播技术,该技术可以防止多分支网络架构引入的冗余计算。我们将框架应用于两个回归问题:图像质量评估(IQA)和人群计数。对于这两者,我们展示了如何从未标记的数据自动生成排序的图像集。我们的研究结果表明,经过训练的网络可以回归标记数据的地面真实目标,并同时学习对标记数据进行排序,从而获得明显更好的,最先进的IQA和人群计数结果。此外,我们表明,在自我监督代理任务中测量网络不确定性是衡量未标记数据信息量的一个很好的指标。这可用于驱动主动学习算法,并表明这可以减少标签工作量高达50%。
translated by 谷歌翻译
在这里,我们确定了分布式约束优化(DCOPs)中的一种隐私问题,尽管它在应用领域具有重要性和影响:分离约束优化(DCOPs),但在文献中尚未涉及:隐私存在的隐私。科学只有在明确定义度量和假设的情况下才开始。分布式约束优化的领域出现在多智能体系统社区和约束规划的交叉点上。对于多智能体社区,约束优化问题是表达交易和分布式机器人中出现的许多问题的一种优雅方式。对于理论约束规划社区,DCOP是其主要研究对象的自然延伸,即约束满足问题。因此,对DCOP框架的理解已经根据两个社区的需求进行了改进,但有时没有正式拼写新的假设,因此难以比较技术。在这里,我们指导了在这一领域构建概念的努力。
translated by 谷歌翻译