多变量时间序列(MTS)预测在智能应用的自动化和优化中起着重要作用。这是一个具有挑战性的任务,因为我们需要考虑复杂的变量依赖关系和可变间依赖关系。现有的作品仅在单个可变依赖项的帮助下学习时间模式。然而,许多真实世界MTS中有多种时间模式。单个可变间依赖项使模型更倾向于学习一种类型的突出和共享的时间模式。在本文中,我们提出了一个多尺度自适应图形神经网络(MOLDN)来解决上述问题。 MOLDN利用多尺度金字塔网络,以在不同的时间尺度上保留潜在的时间依赖关系。由于可变间依赖关系可以在不同的时间尺度下不同,所以自适应图学习模块被设计为在没有预先定义的前沿的情况下推断规模特定的可变依赖关系。鉴于多尺度特征表示和规模特定的可变间依赖关系,引入了一个多尺度的时间图神经网络,以共同模拟帧内依赖性和可变间依赖性。之后,我们开发一个尺度明智的融合模块,以在不同时间尺度上有效地促进协作,并自动捕获贡献的时间模式的重要性。四个真实数据集的实验表明,Magnn在各种设置上表明了最先进的方法。
translated by 谷歌翻译
多变量时间序列(MTS)预测在许多智能应用中引起了很多关注。它不是一个琐碎的任务,因为我们需要考虑一个可变的依赖关系和可变间依赖关系。但是,现有的作品是针对特定场景设计的,需要很多域知识和专家努力,这难以在不同的场景之间传输。在本文中,我们提出了一种尺度意识的神经结构,用于MTS预测(SNAS4MTF)的搜索框架。多尺度分解模块将原始时间序列转换为多尺度子系列,可以保留多尺度的时间模式。自适应图形学习模块在没有任何先前知识的情况下,在不同的时间尺度下递送不同的变量间依赖关系。对于MTS预测,搜索空间旨在在每次尺度上捕获可变的可变依赖性和可变间依赖关系。在端到端框架中共同学习多尺度分解,自适应图学习和神经架构搜索模块。两个现实世界数据集的大量实验表明,与最先进的方法相比,SNAS4MTF实现了有希望的性能。
translated by 谷歌翻译
作为混合成像技术,光声显微镜(PAM)成像由于激光强度的最大允许暴露,组织中超声波的衰减以及换能器的固有噪声而受到噪声。去噪是降低噪声的后处理方法,并且可以恢复PAM图像质量。然而,之前的去噪技术通常严重依赖于数学前导者以及手动选择的参数,导致对不同噪声图像的不令人满意和慢的去噪能,这极大地阻碍了实用和临床应用。在这项工作中,我们提出了一种基于深度学习的方法,可以从PAM图像中除去复杂的噪声,没有数学前导者,并手动选择不同输入图像的设置。注意增强的生成对抗性网络用于提取图像特征并去除各种噪声。在合成和实际数据集上证明了所提出的方法,包括幻影(叶静脉)和体内(小鼠耳血管和斑马鱼颜料)实验。结果表明,与先前的PAM去噪方法相比,我们的方法在定性和定量上恢复图像时表现出良好的性能。此外,为256次\ times256 $像素的图像实现了0.016 s的去噪速度。我们的方法对于PAM图像的去噪有效和实用。
translated by 谷歌翻译
混合是一种数据增强方法,通过混合一对输入数据来生成新数据点。虽然混合通常会改善预测性能,但它有时会降低性能。在本文中,我们首先通过理论上和经验分析混合算法来确定这种现象的主要原因。要解决此问题,我们提出了一种简单但有效的重定标记算法,专为混合而提出了Genlabel。特别是,GenLabel通过使用生成模型学习类条件数据分布,帮助混合算法正确标记混合样本。通过广泛的理论和实证分析,我们表明混合,当与Genlabel一起使用时,可以有效地解决上述现象,从而提高泛化性能和对抗鲁棒性。
translated by 谷歌翻译
作为3D数据的流行表示,点云可能包含噪声,并且需要在使用前过滤。现有点云过滤方法不能在滤波输出中保留尖锐的功能或导致不均匀的点分布。为了解决这个问题,本文介绍了一种点云过滤方法,在过滤期间考虑点分布和功能保存。关键的想法是将排斥项包含在能量最小化中的数据项。排斥项负责点分布,而数据项是在保留几何特征的同时近似噪声表面。该方法能够处理具有微尺度特征和尖锐功能的型号。广泛的实验表明,我们的方法在几秒钟内以更均匀的点分布产生更好的结果,更均匀的点分布(5.8美元\ times10 ^ {5} $倒角距离)。
translated by 谷歌翻译
一种感染细菌和古代的原核病毒是微生物社区的关键球员。预测原核病毒的宿主有助于破译微生物之间的动态关系。虽然存在用于宿主鉴定的实验方法,但它们是劳动密集型或需要培养宿主细胞,从而产生对计算宿主预测的需求。尽管结果有一些有希望的结果,但计算宿主预测仍然是挑战,因为通过高通量测序技术通过有限的已知的相互作用和纯粹的测序量。最先进的方法只能在物种级别达到43%的精度。这项工作呈现樱桃,该工具配制主机预测作为知识图中的链路预测。作为病毒原核相互作用预测工具,可以应用樱桃以预测新发现病毒的宿主以及感染抗生素抗菌细菌的病毒。我们展示了樱桃对既有应用的效用,并将其性能与不同情景中的最先进的方法进行了比较。为了我们最好的知识,樱桃在识别病毒 - 原核互动方面具有最高的准确性。它优于物种水平的所有现有方法,精度增加37%。此外,樱桃的性能比其他工具更短的Contig。
translated by 谷歌翻译
预先接受的语言模型实现了最先进的导致各种自然语言处理(NLP)任务。 GPT-3表明,缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架,以预先培训大型知识增强型号,并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现,我们培养了百卢比的3.0泰坦参数型号,在PaddlePaddle平台上有高达260亿参数的泰坦。此外,我们设计了一种自我监督的对抗性损失和可控语言建模损失,以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放,我们向Ernie 3.0泰坦提出了一个在线蒸馏框架,教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明,Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。
translated by 谷歌翻译
已被证明在改善神经电机翻译(NMT)系统方面有效的深度编码器,但是当编码器层数超过18时,它达到了翻译质量的上限。更糟糕的是,更深的网络消耗了很多内存,使其无法实现有效地训练。在本文中,我们呈现了共生网络,其包括完整的网络作为共生主网络(M-Net)和另一个具有相同结构的共享子网,但层数较少为共生子网(S-Net)。我们在变压器深度(M-N)架构上采用共生网络,并在NMT中定义M-Net和S-Net之间的特定正则化损耗$ \ mathcal {l} _ {\ tau} $。我们对共生网络进行联合培训,并旨在提高M净性能。我们拟议的培训策略在CMT'14 en-> De,De-> EN和EN-> FR任务的经典培训下将变压器深(12-6)改善了0.61,0.49和0.69 BLEU。此外,我们的变压器深(12-6)甚至优于经典变压器深度(18-6)。
translated by 谷歌翻译
最近,非自动增加(NAT)模型并行地预测输出,与自回归(AT)模型相比,实现了产生速度的大量改进。在对原始数据上表现更差的同时,大多数NAT模型都被培训为在教师模型生成的蒸馏数据上的学生模型,称为序列级知识蒸馏。提高模型性能的有效培训策略是自蒸馏混合(SDM)培训,预先训练原始数据模型,通过预先训练的模型本身产生蒸馏数据,最后重新列举模型原始数据和蒸馏数据的组合。在这项工作中,我们的目标是查看NAT模型的SDM,但发现直接采用SDM到NAT模型在翻译质量方面没有改进。通过仔细分析,我们观察失效与教师模型与NAT学生模型的建模和确认偏差相关。基于这些发现,我们提出了一种增强的策略,通过向经典SDM添加两个阶段来提高名为SDMRT的策略:一个是在自蒸馏数据上进行预重磅,另一个是对滤波后的教师蒸馏数据进行微调。我们的结果在多个NAT模型上以0.6至1.2 bleu表示基础。作为另一个奖励,对于迭代细化NAT模型,我们的方法可以在半迭代号内倾斜基线,这意味着2x加速度。
translated by 谷歌翻译
自回归(AR)和非自动增加(NAR)模型对性能和延迟具有自己的优势,将它们与一个模型相结合,可能会利用两者。目前的组合框架更多地关注多个解码范例的集成,具有统一的生成模型,例如,屏蔽语言模型。然而,由于训练目标和推理之间的差距,概括可能对性能有害。在本文中,我们的目标是通过在统一框架下保留AR和NAR的原始目标来缩小差距。具体地,我们通过将AR和NAR共同建模(左右,左右和直)与新引入的方向变量来提出定向变压器(Diformer),这通过控制每个的预测令牌在那方面有特定的依赖关系。通过方向实现的统一成功地保留了AR和NAR中使用的原始依赖性假设,保留了泛化和性能。 4 WMT基准测试的实验表明,Diformer优于当前的联合建模工作,适用于AR和NAR解码的1.5个以上的BLEU积分,也对最先进的独立AR和NAR模型具有竞争力。
translated by 谷歌翻译