在实践中,非常苛刻,有时无法收集足够大的标记数据数据集以成功培训机器学习模型,并且对此问题的一个可能解决方案是转移学习。本研究旨在评估如何可转让的时间序列数据和哪些条件下的不同域之间的特征。在训练期间,在模型的预测性能和收敛速度方面观察到转移学习的影响。在我们的实验中,我们使用1,500和9,000个数据实例的减少数据集来模仿现实世界的条件。使用相同的缩小数据集,我们培训了两组机器学习模型:那些随着转移学习的培训和从头开始培训的机器学习模型。使用四台机器学习模型进行实验。在相同的应用领域(地震学)以及相互不同的应用领域(地震,语音,医学,金融)之间进行知识转移。我们在训练期间遵守模型的预测性能和收敛速度。为了确认所获得的结果的有效性,我们重复了实验七次并应用了统计测试以确认结果的重要性。我们研究的一般性结论是转移学习可能会增加或不会对模型的预测性能或其收敛速度产生负面影响。在更多细节中分析收集的数据,以确定哪些源域和目标域兼容以用于传输知识。我们还分析了目标数据集大小的效果和模型的选择及其超参数对转移学习的影响。
translated by 谷歌翻译
地下模拟使用计算模型来预测流体(例如油,水,气体)通过多孔介质的流动。这些模拟在工业应用(例如石油生产)中至关重要,在这些应用中,需要快速,准确的模型来进行高级决策,例如,进行井安置优化和现场开发计划。经典的有限差数数值模拟器需要大量的计算资源来对大规模现实世界的水库进行建模。另外,通过依靠近似物理模型,流线模拟器和数据驱动的替代模型在计算上更有效,但是它们不足以在大规模上对复杂的储层动力学进行建模。在这里,我们介绍了混合图网络模拟器(HGNS),这是一个数据驱动的替代模型,用于学习3D地下流体流的储层模拟。为了模拟局部和全球尺度上的复杂储层动力学,HGN由地下图神经网络(SGNN)组成,以建模流体流的演化和3D-U-NET,以建模压力的演变。 HGNS能够扩展到每个时间步长数百万个单元的网格,比以前的替代模型高两个数量级,并且可以准确地预测流体流量数十亿个时间步长(未来几年)。使用带有110万个单元的行业标准地下流数据集(SPE-10),我们证明HGNS能够将推理时间降低到与标准地下模拟器相比,最高18次,并且通过降低基于学习的模型,它可以优于其他基于学习的模型长期预测错误高达21%。
translated by 谷歌翻译
大型预用屏蔽语言模型已成为许多NLP问题的最先进的解决方案。虽然研究表明,单晶模型产生比多语言模型产生更好的结果,但训练数据集必须足够大。我们培训了立陶宛,拉脱维亚语和英语的三种语言Litlat Bert样模型,以及爱沙尼亚的单语Est-Roberta模型。我们在四个下游任务中评估它们的性能:命名实体识别,依赖解析,词语标记和单词类比。为了分析对单一语言的重要性以及大型培训集的重要性,我们将创建的模型与爱沙尼亚,拉脱维亚和立陶宛人进行了现有的单语和多语言伯特模型。结果表明,新创建的Litlat Bert和Est-Roberta模型在大多数情况下改善了所有测试任务的现有模型的结果。
translated by 谷歌翻译
作为神经网络(NNS)越来越多地引入安全关键域,在部署之前越来越需要在部署之前正式验证NNS。在这项工作中,我们专注于NN等效的正式验证问题,其旨在证明两个NNS(例如原件和压缩版本)显示等效行为。已经提出了两种方法:混合整数线性编程和间隔传播。虽然第一种方法缺乏可扩展性,但后者仅适用于结构性相似的NN,其重量变化很小。我们纸张的贡献有四个部分。首先,我们通过证明epsilon-andatience问题是突出的,我们表现出理论结果。其次,我们扩展了Tran等人。单个NN几何路径枚举算法以多个NN的设置。在第三步中,我们实现了扩展算法,用于等价验证,评估其实际使用所需的优化。最后,我们执行比较评估,显示我们的方法优于前一种最先进的现有技术,两者,用于等效验证以及反例查找。
translated by 谷歌翻译
政治上通知的公民对威力发展的民主是必不可少的。虽然美国政府追求开放数据的政策,但这些努力在实现开放政府方面不足以实现技术和领域知识的人可以访问数据中的信息。在这项工作中,我们进行用户面试以确定利益相关者之间的需求和需求。我们进一步使用此信息来绘制功能政治信息系统的基础要求。
translated by 谷歌翻译
当在条件属性上以某种方式相关的实例时,发生预测问题的不一致不会遵循决策属性的相同关系。例如,在具有单调性约束的序数分类中,当在条件属性上占据另一个实例的实例已经分配给更糟糕的决策类时,会发生它。它通常出现在由不完全知识(缺少属性)或通过数据生成期间发生的随机效果引起的数据的扰动(在决策属性值的评估中的不稳定性)引起的数据中的扰动。可以使用符号方法如粗糙集理论等象征方法处理和涉及优化方法的统计/机器学习方法,处理相对于清晰的预购关系(表达实例之间的差异或实例之间的无漏能格)不一致。模糊粗糙集也可以被视为对模糊关系处理不一致的象征性方法。在本文中,我们介绍了一种新的机器学习方法,用于对模糊预订关系进行不一致处理。新颖的方法是由用于清脆关系的现有机器学习方法的激励。我们为IT提供统计基础,并开发可用于消除不一致的优化程序。本文还证明了重要的财产,并载有这些程序的教学例子。
translated by 谷歌翻译
组合设计提供了一个有趣的优化问题来源。其中,给出了在电力线通信,闪存和块密码中的应用程序的应用特别感兴趣。本文通过开发迭代方法来解决进化算法(EA)的排列码的设计。从单个随机排列开始,通过使用基于置换的ea来逐渐增加满足最小距离约束的新排列。我们调查了针对四种不同的健身功能的方法,针对不同级别的细节的最小距离要求,并有两种不同的关于代码扩展和修剪的政策。我们比较我们的EA方法实现的结果,即简单的随机搜索,答案既没有用问题大小衡量。
translated by 谷歌翻译
raphracrasing是一种有用的自然语言处理任务,可以为更多样化的生成或翻译文本做出贡献。自然语言推论(NLI)和释义分享一些相似之处,可以从联合方法中受益。我们提出了一种新的方法,用于从NLI数据集中提取释放数据集并清洁现有的释义数据集。我们的方法是基于双向征报;即,如果两个句子可以相互矛盾,则它们是释义。我们在单声道和交叉旋转设置中使用几种大型佩带的变压器语言模型来评估我们的方法。结果显示了高质量的提取释放数据集,以及两个现有的释义数据集中的令人惊讶的高噪声水平。
translated by 谷歌翻译
我们与压缩神经语音增强(SE)下降到最佳配置基于神经加速器的新一代低功耗微控制器的目的(microNPU的)探讨网络稀疏化战略。我们研究了三个独特的稀疏结构:重修剪,修剪块和单位修剪;当应用于SE讨论他们的优点和缺点。我们专注于计算吞吐量,内存占用和模型质量之间的相互作用。我们的方法支持所有三种结构之上,共同学习整数,稀疏一起量化权重。此外,我们证明整数离线幅度修剪基于量化模型的性能基准。虽然高效的语音增强是一个活跃的研究领域,我们的工作是第一个块修剪适用于SE和第一个地址SE车型压缩microNPU的背景下。使用重修剪,我们表明,我们能够通过的42X的一个因素,从3.7MB压缩本已紧凑型的内存占用87KB,而只有在性能上失去0.1分贝SDR。我们也表现出与6.7倍使用块修剪只0.59分贝SDR的相应的SDR下降的计算加速。
translated by 谷歌翻译
使用最后一英里无线连接的终端设备的数量随着智能基础设施的上升而大大增加,并且需要可靠的功能来支持平滑和高效的业务流程。为了有效地管理此类大规模无线网络,需要更先进和准确的网络监控和故障检测解决方案。在本文中,我们使用复制图和克朗尼亚角场进行无线异常检测的基于图像的表示技术的第一次分析,并提出了一种启用精确异常检测的新的深度学习架构。我们详细阐述了开发资源意识架构的设计考虑因素,并使用时间序列提出新模型以使用复制图来实现图像转换。我们表明,所提出的模型a)以最多14个百分点的基于语法角字段优异的型号,b)使用动态时间翘曲高达24个百分点,c)优于24个百分点的典型ML模型,C)优于或与主流架构相表现出如AlexNet和VGG11的同时具有<10倍的权重和高达$ \其计算复杂度的8倍,而d)优于各个应用面积的最新状态高达55个百分点。最后,我们还在随机选择的示例上解释了分类器如何决定。
translated by 谷歌翻译