本文描述了针对机器翻译(MT),实体发现和链接(EDL)以及文本和语音中的情景帧(SF文本和语音)的检测的低资源人类语言技术(LoReHLT)2018评估的ARIEL-CMU提交。
translated by 谷歌翻译
输入法是提供文本建议的每个移动和桌面设备上的基本服务。它将顺序键盘输入转换为目标语言中的字符,这对于日本和中国用户来说是必不可少的。由于目标设备的关键资源限制和有限的网络带宽,不能探索将神经模型应用于输入法。在这项工作中,我们将基于LSTM的语言模型应用于输入方法,并使用日语BCCWJ语料库评估其预测和转换任务的性能。我们清楚地表明瓶颈是转换过程中缓慢的softmaxcomputation。为了解决这个问题,我们提出了Increalsoftmax近似方法,该方法使用选定的子集词汇表计算softmax,并在词汇表更新未知步骤时修复陈旧概率。我们将此方法称为增量选择性softmax。结果显示,当转换具有大词汇量的日本输入序列时,softmax计算的两阶加速,达到商品CPU的实时速度。我们还利用模型压缩潜力实现92%的模型尺寸减小而不会降低精度。
translated by 谷歌翻译
为低资源语言开发实用的语音识别器是具有挑战性的,不仅因为语言的(可能是未知的)属性,而且因为测试数据可能不是与可用训练数据来自相同的域。在本文中,我们关注使用基于序列的标准训练的系统的后一挑战,即域失配。我们证明了使用预训练的英语识别器的有效性,这种识别器对于这种不匹配的条件是健壮的,作为低资源语言的域规范化特征提取器。在我们的示例中,我们使用TurkishConversational语音和广播新闻数据。这使得语音识别器能够快速开发,可以轻松适应任何领域。在各种跨域方案中,我们实现了对音素错误率的25%的相对改进,对于某些域,改进率约为50%。
translated by 谷歌翻译
多形性胶质母细胞瘤(GBM)是一种头部肿瘤,具有非常复杂的治疗过程。存活期通常为14-16个月,2年存活率约为26%-33%。 GBM的假性进展(PsP)和真实肿瘤进展(TTP)的临床治疗策略是不同的,因此准确区分这两种情况具有特别重要的意义。由于GBM的PsP和TTP在形状和其他特征上相似,因此很难区分这两种形式。精确。为了准确区分它们,本文介绍了一种基于生成对抗网络的特征学习方法:DC-Al GAN。 GAN由两种架构组成:发电机和鉴别器。 Alexnet在这项工作中被用作鉴别者。由于发生器和鉴别器之间的对抗性和竞争性关系,后者在训练期间提取高度协调的特征。在DC-Al GAN中,在最终分类阶段从特征网中提取特征,并且它们的高性质对分类精度有积极贡献。通过添加三个卷积,通过深度卷积生成对抗网络(DCGAN)修改DC-AlGAN中的生成器。层。这有效地生成了更高分辨率的样本图像。特征融合用于将高层特征与低层特征相结合,允许创建和使用更精确的特征进行分类。实验结果证实,DC-Al GAN对用于PsP和TTP图像分类的GBM数据集具有高精度,优于其他最先进的方法。
translated by 谷歌翻译
尽管深度学习取得了巨大成功,但我们对如何训练凸凸神经网络的理解仍然相当有限。大多数现有的理论工作只涉及具有一个隐藏层的神经网络,而且对于多层神经网络知之甚少。递归神经网络(RNN)是在自然语言处理应用中广泛使用的特殊多层网络。与前馈网络相比,它们特别难以分析,因为权重参数在整个时间范围内重复使用。我们可以说是对训练RNN的收敛速度的第一个理论上的理解。具体来说,当神经元的数量足够大时 - 意味着训练数据大小和时间范围内的多项式 - 以及随机初始化权重时,我们表明梯度下降和随机梯度下降都可以最小化线性收敛中的训练损失率,即$ \ varepsilon \ proptoe ^ { - \ Omega(T)} $。
translated by 谷歌翻译
最近,卷积神经网络(CNN)在面部检测方面取得了巨大成功。然而,由于尺度,姿势,遮挡,表现,外观和照明的高度可变性,它对于当前的面部检测方法仍然是一个具有挑战性的问题。在本文中,我们提出了一种名为Dual Shot人脸检测器(DSFD)的人脸检测网络,该网络继承了SSD的体系结构,并引入了一个特征增强模块(FEM),用于传输原始特征图以扩展单镜头检测双镜头检测器。特别地,采用两组锚点计算的渐进锚杆损失(PAL)来有效地促进这些特征。另外,我们提出了一种改进的锚点匹配(IAM)方法,通过在DSFD中集成新的数据增强技术和锚点设计策略,为回归者。流行基准测试的广泛实验:WIDER FACE(简单:$ 0.966 $,中:$ 0.957 $,硬:$ 0.904 $)和FDDB(不连续:$ 0.991 $,连续:$ 0.862 $)展示了DSFD优于最先进的技术面部检测器(例如,PyramidBox和SRN)。代码将在发布时提供。
translated by 谷歌翻译
Residential transformer population is a critical type of asset that many electric utility companies have been attempting to manage proactively and effectively to reduce unexpected transformer failures and life loss that are often caused by overloading. Within the typical power asset portfolio, the residential transformer asset is often large in population, has the lowest reliability design, lacks transformer loading data and is susceptible to customer loading behaviors, such as adoption of distributed energy resources and electric vehicles. On the bright side, the availability of more residential service operation data along with the advancement of data analytics techniques has provided a new path to further our understanding of residential transformer overloading risk statistically. This research developed a new data-driven method that combines a transformer temperature rise and insulation life loss simulation model with clustering analysis technique. It quantitatively and statistically assesses the overloading risk of residential transformer population in one area and suggests proper risk management measures according to the assessment results. Multiple application examples for a Canadian utility company have been presented and discussed in detail to demonstrate the applicability and usefulness of the proposed method. Index Terms-power system reliability, clustering methods, transformers, life estimation, unsupervised learning. Ming Dong (S ' 08 , M ' 13, SM'18) received his doctoral degree from in 2013. Since graduation, he has been working in various roles in two major electric utility companies in West Canada as a Professional Engineer (P.Eng.) and Senior Engineer for more than 5 years. In 2017, he received the Certificate of Data Science and Big Data Analytics from Massachusetts Institute of Technology. He is also a regional officer of Alberta Artificial Intelligence Association. His research interests include applications of artificial intelligence and big data technologies in power system planning and operation, power quality data analytics, power equipment testing and system grounding. Alexandre Nassif (S'05, M'09, SM'13) is a specialist engineer in ATCO Electric. He published more than 50 technical papers in international journals and conferences in the areas of power quality, DER, microgrids and power system protection and stability. Before joining ATCO, he simultaneously worked for Hydro One as a protection planning engineer and Ryerson University as a post-doctoral research fellow. He holds a doctoral degree from the University of Alberta and is a Professional Engineer in Alberta. Benzhe Li (M'18) received his Master's degree from Department of Electrical and Computer Engineering, University of Alberta, Canada in 2015. He is currently an electrical engineer with Energy Ottawa. His research interests include advanced power quality data analytics and equipment condition monitoring.
translated by 谷歌翻译
对抗性的例子 - 对输出引起输出变化的模型输入的扰动 - 已经被证明是一种有效的方法来评估序列到序列(seq2seq)模型的稳健性。然而,这些扰动仅表明模型中的弱点,如果它们没有如此显着地改变输入以至于它合理地导致预期输出的变化。在对相关文献的生长主体的评估中,这一事实在很大程度上被忽略了。使用非目标攻击机器翻译(MT)的例子,我们提出了一个新的seq2seq模型上的adversarialattacks评估框架,它考虑了前置和后置扰动输入的语义等价性。使用这个框架,我们证明了一般的方法可能无法保留意义,打破了上述假设,即源侧扰动不应导致预期输出的变化。我们进一步使用这个框架来证明在攻击中增加额外的约束允许更具意义保留的对抗性扰动,但是仍然在很大程度上改变了输出序列。最后,我们表明,在不损害测试性能的情况下,使用保持意义的攻击执行非目标对抗训练有利于模型的对抗鲁棒性。我们的评估框架的工具是通过以下网址发布的://github.com/pmichel31415/teapot-nlp。
translated by 谷歌翻译
在标准卷积神经网络(CNN)中,每层中人工神经元的感受野被设计成共享相同的大小。在神经科学界众所周知,视觉皮层神经元的感受野大小受到刺激的调节,这在构建CNN时很少被考虑。我们提出了一种动态选择机制,它允许每个神经元根据多种输入信息尺度自适应地调整其感受野大小。设计了一个称为选择性核(SK)单元的构建块,其中使用由这些分支中的信息引导的softmax注意来融合具有不同内核大小的多个分支。对这些分支的不同关注产生了融合层中神经元的有效感受区域的不同大小。多个SK单元被堆叠到称为Selective KernelNetworks(SKNets)的深层网络中。在ImageNet和CIFAR基准测试中,我们凭经验证明SKNet优于现有的具有较低模型复杂性的最先进架构。详细分析表明,SKNet中的神经元可以捕获具有不同尺度的目标对象,从而验证神经元根据输入自适应地调整其重复字段大小的能力。代码和模型可在https://github.com/implus/SKNet获得。 。
translated by 谷歌翻译
训练和测试领域之间的差异是机器学习技术概括的一个基本问题。最近,已经提出了几种通过深度学习来学习域不变特征表示的方法。然而,标签转移,其中每个类在域之间的数据百分比不同,受到的关注较少。 Labelshift自然会在许多情况下出现,特别是在行为自由选择的行为研究中。在这项工作中,我们提出了一种称为目标转移的域对手网(DATS)的方法,以解决标签转移,同时学习域不变表示。这是通过使用分布匹配来估计盲测试集中的标签比例来实现的。我们通过开发最类似于目标域的方案toupweight源域来扩展此框架以处理多个域。实证结果表明,该框架在合成和实验实验中的大标签转换下表现良好,证明了实际的重要性。
translated by 谷歌翻译