回声状态网络（ESN）是一种特殊类型的复发性神经网络，用于处理时间序列数据集。然而，受代理顺序样本之间的强相关的强烈相关性，基于ESN的策略控制算法难以使用递归最小二乘（RLS）算法来更新ESN的参数。为了解决这个问题，我们提出了两种新颖的政策控制算法，esnrls-q和esnrls-sarsa。首先，为了减少训练样本的相关性，我们使用泄漏的积分器ESN和迷你批量学习模式。其次，为了使RLS适用于迷你批量模式的训练ESN，我们提出了一种用于更新RLS相关矩阵的新平均近似方法。第三，为了防止ESN过度拟合，我们使用L1正则化技术。最后，为了防止目标状态动作价值高估，我们采用了MOLLMAX方法。仿真结果表明，我们的算法具有良好的收敛性能。
translated by 谷歌翻译
最近，已经研究了各种视图合成失真估计模型以更好地为3-D视频编码服务。然而，它们可以在不同水平的深度变化，纹理变性和视图合成失真（VSD）中数量地定量地模拟关系，这对于速率失真优化和速率分配至关重要。在本文中，开发了一种基于自动加权层表示的视图合成失真估计模型。首先，根据深度变化和它们相关的纹理变性，定义子VSD（S-VSD）。之后，一组理论衍生证明VSD可以大致分解成乘以其相关权重的S-VSD。为了获得S-VSD，开发了一种基于层的S-VSD表示，其中具有相同深度变化级别的所有像素用层表示，以在层级别实现高效的S-VSD计算。同时，学习非线性映射函数以准确地表示VSD和S-VSD之间的关系，在VSD估计期间自动为S-VSD提供权重。要了解此类功能，构建了VSD的数据集及其关联的S-VSD。实验结果表明，在其相关的S-VSD可用后，可以通过由非线性映射函数的重量进行准确地估计VSD。所提出的方法以准确性和效率优于相关的最先进方法。该方法的数据集和源代码将在https://github.com/jianjin008/处提供。
translated by 谷歌翻译
结肠直肠癌（CRC）是世界上最常见的致命癌症之一。果切除术可以有效地中断腺瘤的进展到腺癌，从而降低了CRC发育的风险。结肠镜检查是找到结肠息肉的主要方法。然而，由于息肉的不同尺寸和息肉和周围的粘膜之间的阴影不明确，因此精确地对分段息肉挑战。为了解决这个问题，我们设计了一个用于精确的息肉分割的边界分布引导网络（BDG-Net）。具体地，在理想边界分布图（BDM）的监督下，我们使用边界分布生成模块（BDGM）来聚合高级功能并生成BDM。然后，BDM被发送到边界分布引导解码器（BDGD）作为互补空间信息以引导息肉分割。此外，BDGD采用了多尺度特征交互策略，以提高不同尺寸的息肉的分割精度。广泛的定量和定性评估展示了我们模型的有效性，这在五个公共息肉数据集上显着优于最先进的模型，同时保持低计算复杂性。
translated by 谷歌翻译
K-Core Deconnosition是一个常用的指标来分析图形结构或研究节点在复杂图中的相对重要性。近年来，图表的规模迅速增长，特别是在工业环境中。例如，我们的工业伙伴以数十亿用户运行流行的社交应用程序，并且能够收集丰富的用户数据。因此，对大型图形的k核分解应用于学术界和行业的越来越多的关注。处理大图的简单但有效的方法是在分布式设置中训练它们，并且还提出了一些分布式k核分解算法。尽管他们有效性，我们在实验和理论上观察到这些算法消耗了太多资源，并在超大型图表上变得不稳定，特别是当给定的资源有限时。在本文中，我们处理那些超大型图形，并在分布式K核分解算法的顶部提出了分行和征服策略。我们在三个大图中评估我们的方法。实验结果表明，资源的消耗可以显着降低，大规模图的计算比现有方法更稳定。例如，分布式K-Core分解算法可以缩放到具有1360亿边缘的大图，而不会与我们的分行和征服技术丢失正确性。
translated by 谷歌翻译
一滴联合学习（FL）最近被出现为有希望的方法，允许中央服务器在单个通信中学习模型。尽管通信成本低，但现有的一次性的单次方法大多是不切实际或面临的固有限制，例如，需要公共数据集，客户的型号是同质的，需要上传其他数据/型号信息。为了克服这些问题，我们提出了一种更实用的无数据方法，名为FEDSYN的一枪框架，具有异质性。我们的Fedsyn通过数据生成阶段和模型蒸馏阶段列出全球模型。据我们所知，FEDSYN是由于以下优点，FEDSYN可以实际应用于各种实际应用程序的方法：（1）FEDSYN不需要在客户端之间传输的其他信息（模型参数除外）服务器; （2）FEDSYN不需要任何用于培训的辅助数据集; （3）FEDSYN是第一个考虑FL中的模型和统计异质性，即客户的数据是非IID，不同的客户端可能具有不同的模型架构。关于各种现实世界数据集的实验表明了我们的Fedsyn的优越性。例如，当数据是非IID时，FEDSYN在CIFAR10数据集中优于CEFAR10数据集的最佳基线方法FED-ADI的最佳基准方法。
translated by 谷歌翻译
受益于生成对抗性网络（GAN）的发展，面部操纵最近在学术界和工业中取得了重大进展。它激发了越来越多的娱乐应用，但也遭到对个人隐私甚至政治安全的严重威胁。为了减轻这种风险，已经提出了许多对策。然而，大多数方法以被动方式设计，这是为了检测它们在广泛传播之后是否篡改了面部图像或视频。这些基于检测的方法具有致命的限制，即它们仅适用于前后的取证，但不能阻止对恶意行为的发挥作用。为了解决限制，在本文中，我们提出了一种新颖的倡议防御框架，以降低恶意用户控制的面部操纵模型的性能。基本思想是在操纵之前将难以察觉的毒液纳入目标面部数据。为此，我们首先使用替代模型模仿目标操纵模型，然后设计毒药扰动发生器以获得所需的毒液。交替的培训策略进一步利用以培训代理模型和扰动发生器。两个典型的面部操纵任务：面部属性编辑和面部重新制定，在我们的倡议防御框架中考虑。广泛的实验证明了我们在不同环境中框架的有效性和稳健性。最后，我们希望这项工作能够在针对更多对抗方案的主动对策上阐明一些灯。
translated by 谷歌翻译
在联合优化的设置中，在周期性地聚合全局模型的情况下，当参与者通过完全利用其计算资源进行模型训练时，将发生步骤异步。很好地承认，在非i.i.d下，STEP异步导致客观不一致。数据，降低了模型精度。为了解决这个问题，我们提出了一种新的算法\ texttt {fedagrac}，它将本地方向校准到预测的全球方向。采取估计取向的优势，我们保证，聚合模型不会过度偏离预期的方向，同时充分利用更快的节点的本地更新。理论上，我们证明\ texttt {fedagrac}保持比最先进的方法的收敛速度提高，并消除了步骤异步的负效应。经验结果表明，我们的算法加速了培训并增强了最终的准确性。
translated by 谷歌翻译
基于多利息框架的顺序推荐将用户最近的交互序列模拟到多个不同的兴趣向量中，因为单个低维向量不能完全代表用户兴趣的分集。然而，大多数现有模型只拦截用户最近的交互行为作为训练数据，丢弃大量的历史相互作用序列。这可能会提出两个问题。一方面，缺少反映用户多重兴趣的数据;另一方面，历史用户项交互中的项目之间的共同发生不会完全探索。为了解决这两个问题，本文提出了一种名为“全局交互感知多息框架的新型顺序推荐模型，用于顺序推荐（Gimirec）”。具体地，首先提出了一种全局上下文提取模块而不引入任何外部信息，该外部信息基于每个项目对的受约束的共生发生号码和它们的时间间隔从所有用户的历史交互序列的时间间隔计算加权共生发生矩阵通过使用简化的图形卷积获得每个项目的全局上下文嵌入。其次，捕获每个项目对最近的每个用户的交互序列的时间间隔并与全局上下文项嵌入以获取个性化项目嵌入的全局上下文项。最后，应用了一种基于自我关注的多息框架来学习用户对顺序推荐的不同兴趣。在亚马逊书籍的三个现实世界数据集上进行了广泛的实验，淘宝买和亚马逊 - 混合动力表明，Gimirec在召回，NDCG和命中率指标上的表现明显优于最先进的方法。此外，所提出的全局上下文提取模块可以很容易地移植到大多数顺序推荐模型。
translated by 谷歌翻译
人类或语言模型创建的文本内容通常被对手被盗或滥用。跟踪文本出处可以帮助索取文本内容的所有权，或者标识分发误导内容的恶意用户，如机器生成的假新闻。有一些尝试实现这一目标，主要基于水印技术。具体而言，传统文本水印方法通过略微改变文本格式，如线间距和字体略微改变，但是，这是易碎的跨媒体传输，如OCR。考虑到这一点，自然语言水印方法通过用手工杂志资源（例如Wordnet）的同义词替换原始句子中的单词来代表水印，但他们不考虑替换对整体句子的意义的影响。最近，提出了一种基于变换器的网络来通过修改不引人注意的单词（例如，功能词）来嵌入水印，这也损害了句子的逻辑和语义连贯性。此外，一个训练有素的网络在其他不同类型的文本内容上都会失败。为了解决上述限制，我们提出了一种基于背景感知词汇替代（LS）的自然语言水印方案。具体而言，我们使用BERT来推断候选人与原句与原始句子之间的语义相关性建议LS候选。基于此，进一步设计了在同步性和替代性方面的选择策略，以测试一个单词是否完全适合于携带水印信号。广泛的实验表明，在客观和主观度量下，我们的水印方案可以很好地保持原始句子的语义完整性，并且具有比现有方法更好的可转换性。此外，拟议的LS方法优于斯坦福词语替代基准测试的最先进的方法。
translated by 谷歌翻译
无数据知识蒸馏（DFKD）最近一直吸引了研究社区的越来越关注，归因于其仅使用合成数据压缩模型的能力。尽管取得了令人鼓舞的成果，但最先进的DFKD方法仍然患有数据综合的低效率，使得无数据培训过程非常耗时，因此可以对大规模任务进行不适当的。在这项工作中，我们介绍了一个被称为FastDFKD的有效方案，使我们能够将DFKD加速到数量级。在我们的方法中，我们的方法是一种重用培训数据中共享共同功能的新策略，以便综合不同的数据实例。与先前的方法独立优化一组数据，我们建议学习一个Meta合成器，该综合仪寻求常见功能作为快速数据合成的初始化。因此，FastDFKD仅在几个步骤内实现数据综合，显着提高了无数据培训的效率。在CiFAR，NYUV2和Imagenet上的实验表明，所提出的FastDFKD实现了10美元\时代$甚至100美元\倍$加速，同时保持与现有技术的表现。
translated by 谷歌翻译