我们为神经机翻译(NMT)提供了一个开源工具包。新工具包主要基于拱形变压器(Vaswani等,2017)以及下面详述的许多其他改进,以便创建一个独立的,易于使用,一致和全面的各个领域的机器翻译任务框架。它是为了支持双语和多语言翻译任务的工具,从构建各个语料库的模型开始推断新的预测或将模型打包给提供功能的JIT格式。
translated by 谷歌翻译
Automatic term extraction plays an essential role in domain language understanding and several natural language processing downstream tasks. In this paper, we propose a comparative study on the predictive power of Transformers-based pretrained language models toward term extraction in a multi-language cross-domain setting. Besides evaluating the ability of monolingual models to extract single- and multi-word terms, we also experiment with ensembles of mono- and multilingual models by conducting the intersection or union on the term output sets of different language models. Our experiments have been conducted on the ACTER corpus covering four specialized domains (Corruption, Wind energy, Equitation, and Heart failure) and three languages (English, French, and Dutch), and on the RSDO5 Slovenian corpus covering four additional domains (Biomechanics, Chemistry, Veterinary, and Linguistics). The results show that the strategy of employing monolingual models outperforms the state-of-the-art approaches from the related work leveraging multilingual models, regarding all the languages except Dutch and French if the term extraction task excludes the extraction of named entity terms. Furthermore, by combining the outputs of the two best performing models, we achieve significant improvements.
translated by 谷歌翻译
The introduction of high-quality image generation models, particularly the StyleGAN family, provides a powerful tool to synthesize and manipulate images. However, existing models are built upon high-quality (HQ) data as desired outputs, making them unfit for in-the-wild low-quality (LQ) images, which are common inputs for manipulation. In this work, we bridge this gap by proposing a novel GAN structure that allows for generating images with controllable quality. The network can synthesize various image degradation and restore the sharp image via a quality control code. Our proposed QC-StyleGAN can directly edit LQ images without altering their quality by applying GAN inversion and manipulation techniques. It also provides for free an image restoration solution that can handle various degradations, including noise, blur, compression artifacts, and their mixtures. Finally, we demonstrate numerous other applications such as image degradation synthesis, transfer, and interpolation.
translated by 谷歌翻译
语义分割是开发医学图像诊断系统的重要任务。但是,构建注释的医疗数据集很昂贵。因此,在这种情况下,半监督方法很重要。在半监督学习中,标签的质量在模型性能中起着至关重要的作用。在这项工作中,我们提出了一种新的伪标签策略,可提高用于培训学生网络的伪标签的质量。我们遵循多阶段的半监督训练方法,该方法在标记的数据集上训练教师模型,然后使用训练有素的老师将伪标签渲染用于学生培训。通过这样做,伪标签将被更新,并且随着培训的进度更加精确。上一个和我们的方法之间的关键区别在于,我们在学生培训过程中更新教师模型。因此,在学生培训过程中,提高了伪标签的质量。我们还提出了一种简单但有效的策略,以使用动量模型来提高伪标签的质量 - 训练过程中原始模型的慢复制版本。通过应用动量模型与学生培训期间的重新渲染伪标签相结合,我们在五个数据集中平均达到了84.1%的骰子分数(即Kvarsir,CVC-ClinicdB,Etis-laribpolypdb,cvc-colondb,cvc-colondb,cvc-colondb和cvc-300)和CVC-300)只有20%的数据集用作标记数据。我们的结果超过了3%的共同实践,甚至在某些数据集中取得了完全监督的结果。我们的源代码和预培训模型可在https://github.com/sun-asterisk-research/online学习SSL上找到
translated by 谷歌翻译
尽管大多数微型机器人在坚固耐用的地形上都面临困难,但甲虫可以在复杂的底物上平稳行走而不会滑倒或粘在地面上,因为它们的刚度可变可变的塔西(Tarsi)和可在塔西(Tarsi)的尖端上伸展的钩子。在这项研究中,我们发现甲虫会积极弯曲并定期扩大爪子以在网状表面上自由爬行。受甲虫的爬行机制的启发,我们设计了一个8厘米的微型攀岩机器人,以与天然甲虫相同的循环方式打开和弯曲的人造爪。机器人可以在网格表面上以可控步态自由攀爬,陡峭的斜角60 {\ deg},甚至过渡表面。据我们所知,这是第一个可以同时攀登网格表面和悬崖倾斜的微型机器人。
translated by 谷歌翻译
识别息肉对于在计算机辅助临床支持系统中自动分析内窥镜图像的自动分析具有挑战性。已经提出了基于卷积网络(CNN),变压器及其组合的模型,以分割息肉以有希望的结果。但是,这些方法在模拟息肉的局部外观方面存在局限性,或者在解码过程中缺乏用于空间依赖性的多层次特征。本文提出了一个新颖的网络,即结肠形式,以解决这些局限性。 Colonformer是一种编码器架构,能够在编码器和解码器分支上对远程语义信息进行建模。编码器是一种基于变压器的轻量级体系结构,用于在多尺度上建模全局语义关系。解码器是一种层次结构结构,旨在学习多层功能以丰富特征表示。此外,添加了一个新的Skip连接技术,以完善整体地图中的息肉对象的边界以进行精确分割。已经在五个流行的基准数据集上进行了广泛的实验,以进行息肉分割,包括Kvasir,CVC-Clinic DB,CVC-ColondB,CVC-T和Etis-Larib。实验结果表明,我们的结肠构造者在所有基准数据集上的表现优于其他最先进的方法。
translated by 谷歌翻译
本文旨在研究入侵攻击,然后为区块链网络开发新的网络攻击检测框架。具体来说,我们首先在实验室设计和实施区块链网络。该区块链网络将实现两个目的,即为我们的学习模型生成真实的流量数据(包括正常数据和攻击数据),并实施实时实验,以评估我们建议的入侵检测框架的性能。据我们所知,这是第一个在区块链网络中用于网络攻击的实验室中合成的数据集。然后,我们提出了一个新颖的协作学习模型,该模型允许区块链网络中的有效部署来检测攻击。提出的学习模型的主要思想是使区块链节点能够积极收集数据,从其数据中分享知识,然后与网络中的其他区块链节点交换知识。这样,我们不仅可以利用网络中所有节点的知识,而且还不需要收集所有原始数据进行培训,以便在常规的集中学习解决方案等集中式节点上进行培训。这样的框架还可以避免暴露本地数据的隐私以及过多的网络开销/拥堵的风险。密集模拟和实时实验都清楚地表明,我们提出的基于协作的入侵检测框架可以在检测攻击方面达到高达97.7%的准确性。
translated by 谷歌翻译
寻找合适的工作和狩猎符合条件的候选人对求职和人力资源机构来说很重要。通过关于职位描述的广泛信息,员工和雇主需要帮助,以根据职位描述文本自动检测职位标题。在本文中,我们提出了用于预测作业描述文本的相关职位标题的多标签分类方法,并实现具有不同预先训练的语言模型的BI-GRU-LSTM-CNN来申请作业标题预测问题。具有多语言预先训练模型的伯特获得了开发和测试集的F1分数的最高结果,该组在开发集中为62.20%,测试集47.44%。
translated by 谷歌翻译
命名实体识别(ner)是一种信息提取技术,其旨在在文档中定位和分类为预定义类别的文档中的命名实体(例如,组织,位置,......)。正确识别这些短语在简化信息访问方面发挥着重要作用。但是,它仍然是一项艰巨的任务,因为命名实体(NES)具有多种形式,它们是上下文相关的。虽然上下文可以通过上下文特征来表示,但是这些模型通常误解了全局关系。在本文中,我们提出了从图形卷积网络(GCN)的XLNET和全局特征的上下文特征的组合来增强NER性能。在一个广泛使用的数据集,2003年的实验,展示了我们战略的好处,结果与现有技术(SOTA)竞争。
translated by 谷歌翻译
联邦学习(FL)最近成为网络攻击检测系统的有效方法,尤其是在互联网上(物联网)网络。通过在IOT网关中分配学习过程,FL可以提高学习效率,降低通信开销并增强网络内人检测系统的隐私。在这种系统中实施FL的挑战包括不同物联网中的数据特征的标记数据和不可用的不可用。在本文中,我们提出了一种新的协作学习框架,利用转移学习(TL)来克服这些挑战。特别是,我们开发一种新颖的协作学习方法,使目标网络能够有效地和快速学习来自拥有丰富标记数据的源网络的知识。重要的是,最先进的研究要求网络的参与数据集具有相同的特征,从而限制了入侵检测系统的效率,灵活性以及可扩展性。但是,我们所提出的框架可以通过在各种深度学习模型中交换学习知识来解决这些问题,即使他们的数据集具有不同的功能。关于最近的真实网络安全数据集的广泛实验表明,与基于最先进的深度学习方法相比,拟议的框架可以提高超过40%。
translated by 谷歌翻译