受卷积神经网络(CNN)启发的图形神经网络(GNN)汇总了节点邻居的信息和结构信息,以获取节点分类,图形分类和链接预测的节点的表达性表示。先前的研究表明,GNN容易受到会员推理攻击(MIA)的攻击,这些攻击(MIAS)推断出节点是否在GNNS的训练数据中,并泄漏了节点的私人信息,例如患者的疾病史。以前的MIA的实现利用了模型的概率输出,如果GNN仅提供输入的预测标签(仅标签),则是不可行的。在本文中,我们在GNNS的柔性预测机制(例如,即使邻居的信息不可用,也可以获得一个节点的预测标签,借助GNNS的灵活预测机制,即使获得一个节点的预测标签,我们提出了针对GNNS的标签MIA。对于大多数数据集和GNN模型,我们的攻击方法实现了曲线(AUC)下60 \%的准确性,精度和区域,其中一些模型比我们在我们的下实施的基于最新概率的MIA具有竞争力甚至更好环境和设置。此外,我们分析了采样方法,模型选择方法和过度拟合水平对仅标签MIA攻击性能的影响。这两个因素都会影响攻击性能。然后,我们考虑有关对手的附加数据集(影子数据集)的假设以及有关目标模型的额外信息的情况。即使在这种情况下,我们仅使用标签的MIA在大多数情况下都能取得更好的攻击性能。最后,我们探讨了可能的防御能力,包括辍学,正则化,归一化和跳跃知识。这四个防御都没有完全阻止我们的攻击。
translated by 谷歌翻译
随着Covid-19的爆发,近年来已经出现了大量相关研究。我们提出了一个基于肺CT扫描图像的自动COVID-19诊断框架,即PVT-COV19D。为了适应图像输入的不同维度,我们首先使用变压器模型对图像进行了分类,然后根据正常分布对数据集中进行采样,并将采样结果馈送到修改的PVTV2模型中以进行训练。COV19-CT-DB数据集上的大量实验证明了该方法的有效性。
translated by 谷歌翻译
移动对象(DATMO)的检测和跟踪是自动驾驶环境感知的重要组成部分。虽然使用环绕视图摄像机的3D检测器只是蓬勃发展,但越来越多的趋势是使用不同的基于变压器的方法从透视图的2D特征图中学习3D空间中的查询。本文提出了稀疏的R-CNN 3D(SRCN3D),这是一种新颖的两阶段全横向卷积映射管道,用于环绕视图摄像机检测和跟踪。 SRCN3D采用了级联结构,具有固定数量的提案盒和提案潜在功能的双轨更新。预计提案框可以透视视图,以汇总感兴趣的区域(ROI)本地特征。基于此,提案功能通过动态实例交互式头部进行完善,然后生成分类,并应用于原始边界框。与先前的艺术相比,我们的稀疏功能采样模块仅利用本地2D功能来调整每个相应的3D提案盒,从而导致完整的稀疏范式。提案功能和外观特征均在数据关联过程中采用多刺激性3D多对象跟踪方法。 Nuscenes数据集的广泛实验证明了我们提出的SRCN3D检测器和跟踪器的有效性。代码可在https://github.com/synsin0/srcn3d上找到。
translated by 谷歌翻译
压缩视频动作识别最近引起了人们的注意,因为它通过用稀疏采样的RGB帧和压缩运动提示(例如运动向量和残差)替换原始视频来大大降低存储和计算成本。但是,这项任务严重遭受了粗糙和嘈杂的动力学以及异质RGB和运动方式的融合不足。为了解决上面的两个问题,本文提出了一个新颖的框架,即具有运动增强的细心跨模式相互作用网络(MEACI-NET)。它遵循两流体系结构,即一个用于RGB模式,另一个用于运动模态。特别是,该运动流采用带有denoising模块的多尺度块来增强表示表示。然后,通过引入选择性运动补充(SMC)和跨模式增强(CMA)模块来加强两条流之间的相互作用,其中SMC与时空上的局部局部运动相互补充,CMA和CMA进一步将两种模态与两种模态相结合。选择性功能增强。对UCF-101,HMDB-51和Kinetics-400基准的广泛实验证明了MEACI-NET的有效性和效率。
translated by 谷歌翻译
已被证明在改善神经电机翻译(NMT)系统方面有效的深度编码器,但是当编码器层数超过18时,它达到了翻译质量的上限。更糟糕的是,更深的网络消耗了很多内存,使其无法实现有效地训练。在本文中,我们呈现了共生网络,其包括完整的网络作为共生主网络(M-Net)和另一个具有相同结构的共享子网,但层数较少为共生子网(S-Net)。我们在变压器深度(M-N)架构上采用共生网络,并在NMT中定义M-Net和S-Net之间的特定正则化损耗$ \ mathcal {l} _ {\ tau} $。我们对共生网络进行联合培训,并旨在提高M净性能。我们拟议的培训策略在CMT'14 en-> De,De-> EN和EN-> FR任务的经典培训下将变压器深(12-6)改善了0.61,0.49和0.69 BLEU。此外,我们的变压器深(12-6)甚至优于经典变压器深度(18-6)。
translated by 谷歌翻译
最近,非自动增加(NAT)模型并行地预测输出,与自回归(AT)模型相比,实现了产生速度的大量改进。在对原始数据上表现更差的同时,大多数NAT模型都被培训为在教师模型生成的蒸馏数据上的学生模型,称为序列级知识蒸馏。提高模型性能的有效培训策略是自蒸馏混合(SDM)培训,预先训练原始数据模型,通过预先训练的模型本身产生蒸馏数据,最后重新列举模型原始数据和蒸馏数据的组合。在这项工作中,我们的目标是查看NAT模型的SDM,但发现直接采用SDM到NAT模型在翻译质量方面没有改进。通过仔细分析,我们观察失效与教师模型与NAT学生模型的建模和确认偏差相关。基于这些发现,我们提出了一种增强的策略,通过向经典SDM添加两个阶段来提高名为SDMRT的策略:一个是在自蒸馏数据上进行预重磅,另一个是对滤波后的教师蒸馏数据进行微调。我们的结果在多个NAT模型上以0.6至1.2 bleu表示基础。作为另一个奖励,对于迭代细化NAT模型,我们的方法可以在半迭代号内倾斜基线,这意味着2x加速度。
translated by 谷歌翻译
自回归(AR)和非自动增加(NAR)模型对性能和延迟具有自己的优势,将它们与一个模型相结合,可能会利用两者。目前的组合框架更多地关注多个解码范例的集成,具有统一的生成模型,例如,屏蔽语言模型。然而,由于训练目标和推理之间的差距,概括可能对性能有害。在本文中,我们的目标是通过在统一框架下保留AR和NAR的原始目标来缩小差距。具体地,我们通过将AR和NAR共同建模(左右,左右和直)与新引入的方向变量来提出定向变压器(Diformer),这通过控制每个的预测令牌在那方面有特定的依赖关系。通过方向实现的统一成功地保留了AR和NAR中使用的原始依赖性假设,保留了泛化和性能。 4 WMT基准测试的实验表明,Diformer优于当前的联合建模工作,适用于AR和NAR解码的1.5个以上的BLEU积分,也对最先进的独立AR和NAR模型具有竞争力。
translated by 谷歌翻译
新颖性检测旨在自动识别分销(OOD)数据,而无需任何先验知识。它是数据监视,行为分析和其他应用程序中的关键步骤,帮助在现场中保持不断学习。常规的OOD检测方法对数据或特征的集合进行多变化分析,通常诉诸于数据的监督,以提高准确性。实际上,这种监督是不切实际的,因为人们不能预料到异常数据。在本文中,我们提出了一种小说,自我监督的方法,不依赖于任何预定义的OOD数据:(1)新方法评估梯度之间的分布和OOD数据之间的Mahalanobis距离。 (2)通过自我监督的二进制分类器辅助,以指导标签选择以生成梯度,并最大化Mahalanobis距离。在具有多个数据集的评估中,例如CiFar-10,CiFar-100,SVHN和TINIMAGENET,所提出的方法始终如一地优于接收器操作特征(AUROC)和区域下的区域内的最先进的监督和无监督的方法在精密召回曲线(AUPR)度量下。我们进一步证明,该探测器能够在持续学习中准确地学习一个OOD类。
translated by 谷歌翻译
几乎所有场景文本发现(检测和识别)方法依赖于昂贵的框注释(例如,文本线框,单词级框和字符级框)。我们首次证明培训场景文本发现模型可以通过每个实例的单点的极低成本注释来实现。我们提出了一种端到端的场景文本发现方法,将场景文本拍摄作为序列预测任务,如语言建模。给予图像作为输入,我们将所需的检测和识别结果作为一系列离散令牌制定,并使用自动回归变压器来预测序列。我们在几个水平,多面向和任意形状的场景文本基准上实现了有希望的结果。最重要的是,我们表明性能对点注释的位置不是很敏感,这意味着它可以比需要精确位置的边界盒更容易地注释并自动生成。我们认为,这种先锋尝试表明了场景文本的重要机会,比以前可能的比例更大的比例更大。
translated by 谷歌翻译
在所提出的Sehybridsn模型中,使用密集块来重用浅特征,并旨在更好地利用分层空间谱特征。随后的深度可分离卷积层用于区分空间信息。通过通道注意方法实现了空间谱特征的进一步改进,该方法在每个3D卷积层和每个2D卷积层后面进行。实验结果表明,我们所提出的模型使用很少的训练数据了解更多辨别的空间谱特征。Sehybridsn使用仅0.05和0.01个标记的训练数据,获得了非常令人满意的性能。
translated by 谷歌翻译