建议制度,依靠历史观察数据来模仿用户和物品之间的复杂关系,取得了巨大的成功,在现实世界中取得了巨大的成功。选择偏见是现有的现有观测数据基于方法的最重要问题之一,其实际上是由多种类型的不观察室的暴露策略引起的(例如促销和假期效应)。虽然已经提出了各种方法来解决这个问题,但它们主要依赖于隐含的脱叠技术,但没有明确建立未观察的曝光策略。通过明确重建曝光策略(简称休息),我们将推荐问题正式化为反事实推理,并提出了脱叠的社会推荐方法。在休息时,我们假设项目的曝光由潜在曝光策略,用户和项目控制。基于上述生成过程,首先通过识别分析提供我们方法的理论保证。其次,在社交网络和项目的帮助下,我们采用了变分自动编码器来重建潜在的曝光策略。第三,我们通过利用回收的曝光策略制定基于反事实推理的建议算法。四个现实世界数据集的实验,包括三个已发布的数据集和一个私人微信官方帐户数据集,展示了几种最先进的方法的显着改进。
translated by 谷歌翻译
一滴联合学习(FL)最近被出现为有希望的方法,允许中央服务器在单个通信中学习模型。尽管通信成本低,但现有的一次性的单次方法大多是不切实际或面临的固有限制,例如,需要公共数据集,客户的型号是同质的,需要上传其他数据/型号信息。为了克服这些问题,我们提出了一种更实用的无数据方法,名为FEDSYN的一枪框架,具有异质性。我们的Fedsyn通过数据生成阶段和模型蒸馏阶段列出全球模型。据我们所知,FEDSYN是由于以下优点,FEDSYN可以实际应用于各种实际应用程序的方法:(1)FEDSYN不需要在客户端之间传输的其他信息(模型参数除外)服务器; (2)FEDSYN不需要任何用于培训的辅助数据集; (3)FEDSYN是第一个考虑FL中的模型和统计异质性,即客户的数据是非IID,不同的客户端可能具有不同的模型架构。关于各种现实世界数据集的实验表明了我们的Fedsyn的优越性。例如,当数据是非IID时,FEDSYN在CIFAR10数据集中优于CEFAR10数据集的最佳基线方法FED-ADI的最佳基准方法。
translated by 谷歌翻译
最近的工作表明,二值化的神经网络(BNN)能够大大降低计算成本和内存占用空间,促进在资源受限设备上进行模型部署。然而,与其全精密对应物相比,BNN患有严重的精度降解。旨在降低这种精度差距的研究已经很大程度上主要集中在具有少量或没有1x1卷积层的特定网络架构上,标准二值化方法不起作用。由于1x1卷积在现代架构的设计中是常见的(例如,Googlenet,Reset,DenSenet),开发一种方法以有效地为BNN进行更广泛采用的方法是至关重要的。在这项工作中,我们提出了一个“弹性链路”(EL)模块,通过自适应地将实值的输入特征自适应地添加到后续卷积输出功能来丰富了BNN内的信息流。所提出的EL模块很容易实现,并且可以与BNN的其他方法结合使用。我们证明将EL添加到BNNS对挑战大规模想象数数据集产生显着改进。例如,我们将二值化resnet26的前1个精度从57.9%提高到64.0%。 EL也有助于培训二值化Mobilenet的趋同,为此实现了56.4%的前1个精度。最后,随着RESTNET的整合,它产生了新的最新的最新性,最新的171.9%的前1个精度。
translated by 谷歌翻译
在本文中,我们研究了深神经网络中的动态感知对抗攻击问题。大多数现有的对抗性攻击算法是在基本假设下设计的 - 网络架构在整个攻击过程中都是固定的。然而,这种假设不适用于许多最近提出的网络,例如最近提出的网络。 3D稀疏卷积网络,其中包含输入相关的执行,以提高计算效率。它导致严重问题的滞后梯度,由于架构之后的架构而导致当前步骤的学习攻击无效。为了解决这个问题,我们提出了一种带有铅梯度法(LGM)并显示出滞后梯度的显着影响。更具体地说,我们重新制定了梯度,以了解网络架构的潜在动态变化,使得学习攻击更好地“引导”的下一步,而是当网络架构动态变化时的动态 - 不知道方法。关于各种数据集的广泛实验表明,我们的LGM在语义细分和分类上实现了令人印象深刻的性能。与动态无知的方法相比,LGM在SCANNET和S3DIS数据集上均达到约20%的MIOU。 LGM还优于最近的点云攻击。
translated by 谷歌翻译
在联合优化的设置中,在周期性地聚合全局模型的情况下,当参与者通过完全利用其计算资源进行模型训练时,将发生步骤异步。很好地承认,在非i.i.d下,STEP异步导致客观不一致。数据,降低了模型精度。为了解决这个问题,我们提出了一种新的算法\ texttt {fedagrac},它将本地方向校准到预测的全球方向。采取估计取向的优势,我们保证,聚合模型不会过度偏离预期的方向,同时充分利用更快的节点的本地更新。理论上,我们证明\ texttt {fedagrac}保持比最先进的方法的收敛速度提高,并消除了步骤异步的负效应。经验结果表明,我们的算法加速了培训并增强了最终的准确性。
translated by 谷歌翻译
图像级弱监督的语义分割(WSSS)是一个基本但具有挑战性的计算机视觉任务,促进了场景理解和自动驾驶。大多数现有方法都采用基于分类的类激活地图(CAM)作为初始伪标签进行播放,倾向于关注分割任务的定制特征。为了减轻这个问题,我们提出了一种新的激活调制和重新校准(AMR)方案,它利用聚光灯分支和补偿分支来获得加权凸轮,可以提供可重新校准和特定于任务的概念。具体地,用于重新排列来自信道空间顺序透视的特征重要性的分布,这有助于明确地模拟通道 - 方向的相互依赖性和空间编码,以自适应地调制面向分割的激活响应。此外,我们向双分支引入交叉伪监督,这可以被视为对互动两个分支的语义类似的正则化。广泛的实验表明,AMR在Pascal VOC 2012年数据集上建立了新的最先进的性能,不仅超越了当前方法培训的监督图像水平,而且一些方法依赖于更强的监督,如显着性标签。实验还揭示了我们的计划是即插即用的,可以与其他促进其性能的其他方法合并。
translated by 谷歌翻译
最近,卷积神经网络(CNN)在分类任务中取得了良好的性能。众所周知,CNN被认为是“黑匣子”,这很难理解预测机制并调试错误的预测。开发了一些模型调试和解释工作,用于解决上述缺点。然而,这些方法专注于解释和诊断模型预测的可能原因,基于研究人员手动处理以下模型优化的模型预测。在本文中,我们提出了第一个完全自动模型诊断和治疗工具,称为模型医生。基于两个发现,每个类别只与稀疏和特定的卷积核相关,而2)在特征空间中逐次地隔离2)对逆势样本,设计了一个简单的聚合梯度约束,以便有效地诊断和优化CNN分类器。聚合渐变策略是用于主流CNN分类器的多功能模块。广泛的实验表明,拟议的模型医生适用于所有现有的CNN分类器,并提高16美元主流CNN分类器的准确性1%-5%。
translated by 谷歌翻译
人工智能和神经科学都深受互动。人工神经网络(ANNS)是一种多功能的工具,用于研究腹侧视觉流中的神经表现,以及神经科学中的知识返回激发了ANN模型,以提高任务的性能。但是,如何将这两个方向合并到统一模型中较少研究。这里,我们提出了一种混合模型,称为深度自动编码器,具有神经响应(DAE-NR),其将来自视觉皮质的信息包含在ANN中,以实现生物和人造神经元之间的更好的图像重建和更高的神经表示相似性。具体地,对小鼠脑和DAE-NR的输入相同的视觉刺激(即自然图像)。 DAE-NR共同学会通过映射函数将编码器网络的特定层映射到腹侧视觉流中的生物神经响应,并通过解码器重建视觉输入。我们的实验表明,如果只有在联合学习,DAE-NRS可以(i)可以提高图像重建的性能,并且(ii)增加生物神经元和人工神经元之间的代表性相似性。 DAE-NR提供了一种关于计算机视觉和视觉神经科学集成的新视角。
translated by 谷歌翻译
批量标准化(BN)等归一化是一个里程碑技术,用于将深度学习中中间层的分布标准化,从而实现更快的培训和更好的泛化精度。然而,在保真图像超分辨率(SR)中,据信归一化层通过归一化特征来摆脱范围灵活性,并且它们被从现代SR网络中删除。在本文中,我们定量和定性地研究了这种现象。我们发现,在归一化层后,残差特征的标准偏差会缩小,这导致SR网络中的性能下降。标准偏差反映了像素值的变化量。当变化变小时,边缘将变得较少识别网络来解决。为了解决这个问题,我们提出了一种自适应偏差调制器(ADADM),其中自适应地预测调制因子以放大像素偏差。为了更好的泛化性能,我们使用所提出的Adadm在最先进的SR网络中应用BN。同时,ADADM中的偏差放大策略使得更可区分的特征中的边缘信息。因此,具有BN和我们的ADAD的SR网络可以在基准数据集中获得实质性的性能改进。已经进行了广泛的实验以表明我们方法的有效性。
translated by 谷歌翻译
电报是全球最常用的即时消息传递应用之一。其成功之所以在于提供高隐私保护和社交网络,如频道 - 虚拟房间,其中只有管理员可以发布和广播到所有订户的消息。然而,这些相同的功能促成了边界活动的出现,并且与在线社交网络一样常见,假账户的沉重存在。通过引入频道的验证和诈骗标记,电报开始解决这些问题。不幸的是,问题远未解决。在这项工作中,我们通过收集35,382个不同的渠道和超过130,000,000消息来进行大规模分析电报。我们研究电报标记为验证或骗局的渠道,突出显示类比和差异。然后,我们转到未标记的频道。在这里,我们发现一些臭名昭着的活动也存在于虚拟网络的隐私保存服务,例如梳理,共享非法成人和版权保护内容。此外,我们还确定并分析了另外两种类型的渠道:克隆和假货。克隆是发布另一个频道确切内容的频道,以获得订阅者和促进服务。相反,假货是试图冒充名人或知名服务的渠道。即使是最先进的用户甚至很难确定。要自动检测假频道,我们提出了一种机器学习模型,可以以86%的准确性识别它们。最后,我们研究了Sabmyk,这是一种阴谋理论,即利用假货和克隆在达到超过1000万用户的平台上迅速传播。
translated by 谷歌翻译