本文介绍了一种用于开发面向控制的建筑物的散热模型的数据驱动建模方法。这些型号是通过降低能耗成本的目标而开发的,同时控制建筑物的室内温度,在所需的舒适度限制内。结合白/灰盒物理模型的可解释性和神经网络的表现力,我们提出了一种物理知识的神经网络方法,用于这种建模任务。除了测量的数据和构建参数之外,我们将通过管理这些建筑物的热行为的底层物理编码神经网络。因此,实现了由物理学引导的模型,有助于建模室温和功耗的时间演化以及隐藏状态,即建筑物热质量的温度。这项工作的主要研究贡献是:(1)我们提出了两种物理学的变种信息,为机构的控制定向热建模任务提供了通知的神经网络架构,(2)我们展示这些架构是数据效率的,需要更少培训数据与传统的非物理知识的神经网络相比,(3)我们表明这些架构比传统的神经网络实现更准确的预测,用于更长的预测视野。我们使用模拟和实际字数据测试所提出的架构的预测性能,以演示(2)和(3),并显示所提出的物理知识的神经网络架构可以用于该控制导向的建模问题。
translated by 谷歌翻译
本文介绍了伯特嵌入法和图形卷积神经网络的新方法。采用这种组合来解决文本分类问题。最初,我们将BERT嵌入方法应用于文本(在BBC新闻数据集和IMDB电影评论数据集)中,以便将所有文本转换为数字向量。然后,图形卷积神经网络将应用于这些数字向量,以将这些文本分类为其AP的兴趣类/标签。实验表明,图形卷积神经网络模型的性能优于具有CLAS-SICE机器学习模型的BERT嵌入方法的组合的性能。
translated by 谷歌翻译
介词经常出现多元化词。歧义歧义在语义角色标记,问题应答,文本征报和名词复合释义中,歧义是至关重要的。在本文中,我们提出了一种新颖的介词意义消费者(PSD)方法,其不使用任何语言工具。在监督设置中,机器学习模型提出有句子,其中介词已经用感测量注释。这些感官是ID所谓的介词项目(TPP)。我们使用预先训练的BERT和BERT VARIANTS的隐藏层表示。然后使用多层Perceptron将潜在的表示分为正确的感测ID。用于此任务的数据集来自Semeval-2007任务-6。我们的方法理解为86.85%,比最先进的更好。
translated by 谷歌翻译
本文探讨了贝尔视觉变压器预训练的更好的码本。最近的工作成功地转移了从NLP到视野领域的BERT预训练。它直接采用一个简单的离散VAE作为视觉销售器,但尚未考虑由此产生的视觉令牌的语义水平。相比之下,NLP字段中的离散令牌是自然的高度语义。这种差异激励我们学习一个感知码本。我们惊奇地找到了一个简单而有效的想法:在DVAE训练期间强制执行感知相似性。我们证明,所提出的感知码本生成的视觉令牌确实表现出更好的语义含义,随后有助于预训练在各种下游任务中实现卓越的转移性能。例如,我们在Imagenet-1K上实现了84.5前1个精度,vit-B骨干,优于竞争方法Beit +1.3,具有相同的训练纪元。它还可以通过+1.3框AP和+1.0掩模AP,在ADE20K上的语义细分,在ADE20K上提高对象检测和分割任务的性能,+1.0 miou,代码和型号将在\ url {https:// github.com/microsoft/peco}。
translated by 谷歌翻译
鉴于将语言模型转移到NLP任务的成功,我们询问全BERT模型是否始终是最好的,并且它存在一个简单但有效的方法,可以在没有的最先进的深神经网络中找到获胜的票复杂的计算。我们构建了一系列基于BERT的模型,具有不同的大小,并对8个二进制分类任务进行比较。结果表明,真正存在的较小的子网比完整模型更好。然后我们提供进一步的研究,并提出一种简单的方法在微调之前适当地收缩斜率。一些扩展实验表明,我们的方法可以省略甚至没有准确性损失的时间和存储开销。
translated by 谷歌翻译
情绪分析的主要方法是基于规则的方法和MA-CHINE学习,特别是具有伯特架构的跨前架构的深神经网络模型,包括伯特。神经网络模型在情感分析任务中的性能优于基于规则的方法的性能。由于深度神经网络模型的可辨运性差,这种情况的原因仍不明确。理解两种方法之间的基本差异的主要键之一是在神经网络模型中考虑情绪词典的分析。为此,我们研究了俄语rubert模型的注意力矩阵。我们在情感文本语料库上进行微调rubert,并比较注意力和中性词典的注意力分布。事实证明,与中性的相比,平均而言,各种模型Var-IANTS的3/4的头部统计上会更加关注情绪词典。
translated by 谷歌翻译
近年来,情感分析方法的表现大大增加。这是由于基于变压器架构的各种模型,特别是伯特。然而,深度神经网络模型难以训练和可解释不佳。一种替代方法是使用情绪词典的基于规则的方法。它们快速,不需要培训,并被解释得很好。但最近,由于深入学习的广泛使用,基于词汇的方法已经退出了背景。本文的目的是研究SO-CAL和Sentistrength Lexicon的方法,适用于俄语。我们已经测试了这些方法,以及rubert神经网络模型,16个文本语料库,并分析了他们的结果。Rubert平均优于基于词汇的方法,但So-Cal超过了16个Corea的Rubert超过16。
translated by 谷歌翻译
在计算机系统中生成的系统日志是指同时收集的大规模数据,并用作确定简单错误和检测外部对抗侵入或内部人士异常行为的基本数据。系统日志异常检测的目的是迅速识别异常,同时最大限度地减少人为干预,这是行业的一个关键问题。先前的研究通过解析器将各种形式的日志数据转换为标准化模板后,通过算法进行异常检测。这些方法涉及生成模板,用于精制日志键。特别地,应该预先定义对应于特定事件的模板,以便对日志密钥中的信息可能会丢失的所有日志数据来预先定义。在本研究中,我们提出Lanobert,一个使用的解析器免费系统日志异常检测方法BERT模型,表现出出色的自然语言处理性能。所提出的方法Lanobert通过屏蔽语言建模来学习模型,这是一种基于BERT的预训练方法,并在推断过程中使用屏蔽语言建模丢失功能进行无监督的基于学习的异常检测。与先前的方法在使用基准日志数据集,HDF和BGL进行的实验中相比,Lanobert实现了更好的性能,并且还与某些受监督的学习的模型相比。
translated by 谷歌翻译
无监督的对话结构学习是自然语言处理中的一个重要而有意义的任务。提取的对话结构和过程可以帮助分析人类对话,并在对话系统的设计和评估中发挥重要作用。传统的对话系统要求专家手动设计对话结构,这是非常昂贵的。但通过无监督的对话结构学习,可以自动获得对话结构,降低开发人员构建对话过程的成本。学习的对话结构可用于促进下游任务系统的对话生成,提高对话机器人回复的逻辑和一致性。在本文中,我们提出了一种基于伯特的无监督对话结构学习算法Dsbert(对话结构伯特)。与以前的SOTA型号VRNN和SVRNN不同,我们组合BERT和AutoEncoder,可以有效地组合上下文信息。为了更好地防止模型落入本地最佳解决方案并使对话状态分布更加均匀,合理,我们还提出了三个可用于对话结构学习的均衡损失功能。实验结果表明,Dsbert可以产生更接近真实结构的对话结构,可以将句子与不同的语义区分开到不同的隐藏状态。
translated by 谷歌翻译
社交媒体的普及创造了仇恨言论和性别歧视等问题。社交媒体中性别歧视的识别和分类是非常相关的任务,因为它们允许建立更健康的社会环境。尽管如此,这些任务很挑战。这项工作提出了一种使用多语种和单晶的BERT和数据点转换和与英语和西班牙语分类的策略的系统来使用多语种和单语的BERT和数据点转换和集合策略。它在社交网络中的性别歧视的背景下进行了2021年(存在2021年)任务,由Iberian语言评估论坛(Iberlef)提出。描述了所提出的系统及其主要组件,并进行深入的超公数分析。观察到的主要结果是:(i)该系统比基线模型获得了更好的结果(多语种伯爵); (ii)集合模型比单声道模型获得了更好的结果; (iii)考虑所有单独模型和最佳标准化值的集合模型获得了两个任务的最佳精度和F1分数。这项工作在两个任务中获得的第一名,最高的精度(任务1和任务2的0.658.780)和F1分数(对于任务1的任务1和F1-宏为0.780的F1二进制)。
translated by 谷歌翻译