对比学习已成为图形结构数据的自我监督学习方法的关键组成部分。然而,尽管取得了成功,但是现有的图形对比学习方法对于节点表示或其下游任务无能为力地定量,这限制了它们在高赌场域中的应用。在本文中,我们提出了一种新颖的贝叶斯视角,曲线图对比学习方法,显示随机增强导致随机编码器。结果,我们所提出的方法通过将每个节点嵌入到确定性矢量的现有技术对比潜空间中的分布来表示每个节点。通过学习分配表示,我们在下游图分析任务中提供不确定性估计,并提高预测模型的表现力。此外,我们提出了一个贝叶斯框架,以推断对比模型的每种视图中扰动的概率,消除了对普通参数调谐的计算昂贵的搜索需要。与在多个基准数据集上的现有最先进方法相比,我们经验凭经验显示了相当大的性能。
translated by 谷歌翻译
为了克服多个对象跟踪任务中的挑战,最近的算法将交互线索与运动和外观特征一起使用。这些算法使用图形神经网络或变压器来提取导致高计算成本的交互功能。在本文中,提出了一种基于几何特征的新型交互提示,旨在检测遮挡和重新识别计算成本低的丢失目标。此外,在大多数算法中,摄像机运动被认为可以忽略不计,这是一个强有力的假设,并不总是正确的,并且导致目标转换或目标不匹配。在本文中,提出了一种测量相机运动和删除其效果的方法,可有效地降低相机运动对跟踪的影响。该算法在MOT17和MOT20数据集上进行了评估,并在MOT20上实现了MOT17的最先进性能和可比较的结果。该代码也可以公开使用。
translated by 谷歌翻译
基于BERT的微调模型在内存,计算和时间上是资源密集的。尽管许多先前的工作旨在通过压缩技术(例如修剪)提高推论效率,但这些作品并未明确解决培训对下游任务的计算挑战。我们介绍了学习者模块和启动,新颖的方法,以利用预训练的语言模型的过度参数化,以获得收敛速度和资源利用率的好处。学习者模块通过微调参数的微调来导航1)有效训练的双结合,以及2)通过确保快速收敛和高度度量得分有效训练。我们在Distilbert上的结果表明,学习者在与基础方面的表现或超过基线。学习者训练7倍的参数比胶水上的最新方法少。在可乐方面,学习者快速调整20%,并且资源利用率显着降低。
translated by 谷歌翻译
深度学习模型的计算复杂性不断增加,使他们在各种云和边缘平台上的培训和部署变得困难。用低位整数算术代替浮点算术是一种有希望的方法,可节省能量,记忆足迹和深度学习模型的延迟。因此,量化引起了近年来研究人员的注意。但是,没有详细研究使用整数数字形成功能齐全的整数训练管道,包括前进,后传播和随机梯度下降。我们的经验和数学结果表明,整数算术足以训练深度学习模型。与最近的建议不同,我们直接切换计算的数字表示。我们的新型训练方法形成了完全整数训练管道,与浮点相比,它不会改变损失和准确性的轨迹,也不需要任何特殊的超参数调整,分配调整或梯度剪辑。我们的实验结果表明,我们提出的方法在各种任务(包括视觉变压器),对象检测和语义分割等多种任务中有效。
translated by 谷歌翻译
在环境和水文研究中检测两个时间序列之间的关系非常重要。可以应用几种参数和非参数方法来检测关系。这些技术通常对平稳性假设敏感。在这项研究中,引入了一种新的基于COPULA的方法,以检测两个胞体时间序列与分数布朗运动(FBM)误差之间的关系。数值研究验证了引入方法的性能。
translated by 谷歌翻译
根据诊断各种疾病的胸部X射线图像的可观增长,以及收集广泛的数据集,使用深神经网络进行了自动诊断程序,已经占据了专家的思想。计算机视觉中的大多数可用方法都使用CNN主链来获得分类问题的高精度。然而,最近的研究表明,在NLP中成为事实上方法的变压器也可以优于许多基于CNN的模型。本文提出了一个基于SWIN变压器的多标签分类深模型,作为实现最新诊断分类的骨干。它利用了头部体系结构来利用多层感知器(也称为MLP)。我们评估了我们的模型,该模型称为“ Chest X-Ray14”,最广泛,最大的X射线数据集之一,该数据集由30,000多名14例著名胸部疾病的患者组成100,000多个额叶/背景图像。我们的模型已经用几个数量的MLP层用于头部设置,每个模型都在所有类别上都达到了竞争性的AUC分数。胸部X射线14的全面实验表明,与以前的SOTA平均AUC为0.799相比,三层头的平均AUC得分为0.810,其平均AUC得分为0.810。我们建议对现有方法进行公平基准测试的实验设置,该设置可以用作未来研究的基础。最后,我们通过确认所提出的方法参与胸部的病理相关区域,从而跟进了结果。
translated by 谷歌翻译
分析来自湍流流动模拟的大规模数据是内存密集型,需要大量资源。这一主要挑战强调了对数据压缩技术的需求。在这项研究中,我们应用基于矢量量化的物理知识的深度学习技术,以产生来自三维湍流流的模拟的离散,低维表示数据。深度学习框架由卷积层组成,并将物理限制融合在流量上,例如保留速度梯度的不可压缩性和全局统计特征。使用基于比较的相似性和物理学的度量来评估模型的准确性。训练数据集是由不可压缩,统计静止,各向同性的各向同性湍流的直接数值模拟产生的。该损失数据压缩方案的性能不仅通过静止,各向同性湍流流动的看不见的数据评估,而且还评估了来自衰减各向同性湍流的数据和泰勒 - 绿色涡流的数据。将压缩比(CR)定义为原始数据大小与压缩的比率,结果表明我们的基于向量量化的模型可以提供CR $ = 85 $与$ O的均线错误(MSE)提供CR $ = 85 $(10 ^ {-3})$,以及忠实地重现流程统计数据的预测,除了有一些损失的最小尺度。与最近基于传统的AutoEncoder的研究相比,其中压缩在连续空间中进行压缩,我们的模型将CR提高了30多美元,并按一大阶数减少了MSE。我们的压缩模​​型是一种有吸引力的解决方案,适用于需要快速,高质量和低开销编码和大数据的解码。
translated by 谷歌翻译
大规模的暗网(DW)平台的自动监测是发展主动网络威胁情报(CTI)的第一步。虽然有高效的方法用于从表面纤维网收集数据,但大规模的暗网络数据收集通常受到防爬爬措施的阻碍。特别是,基于文本的CAPTCHA是暗网中最普遍的和禁止这些措施的最普遍和禁止的类型。基于文本的CAPTCHA通过强制用户输入难以识别的字母数字字符的组合来识别和阻止自动爬虫。在暗网中,CAPTCHA图像被精心设计,具有额外的背景噪声和可变性格长度,以防止自动验证码断裂。现有的自动CAPTCHA断裂方法难以克服这些暗网挑战。因此,解决基于暗网络文本的CAPTCHA一直依赖于人类参与,这是劳动密集型且耗时的人。在这项研究中,我们提出了一种新颖的框架,用于自动破坏暗网CAPTCHA,以促进暗网络数据收集。该框架包括一种新的生成方法,可以识别基于黑色的Web文本的CAPTCHA,其中包含嘈杂的背景和可变字符长度。为了消除对人类参与的需求,所提出的框架利用生成的对抗网络(GaN)来抵消暗网背景噪声并利用增强的字符分割算法来处理具有可变字符长度的CAPTCHA图像。我们提出的框架DW-GaN在多个暗网络CAPTCHA测试台上进行了系统地评估。 DW-GaN在所有数据集中大大表现出最先进的基准方法,在仔细收集的真实世界黑色网络数据集中实现了超过94.4%的成功率......
translated by 谷歌翻译
作为人类,我们通过我们所有的感官来驾驭世界,使用每个人从每个人纠正其他人。我们介绍了Merlot Reserve,一个模型,该模型是联合随着时间的推移而表示视频的模型 - 通过从音频,字幕和视频帧学习的新培训目标。给出了一个视频,我们用掩模令牌替换文本和音频的片段;该模型通过选择正确的蒙版片段来学习。我们的目标比替代方面更快地学习,并在规模上表现良好:我们预先逼近2000万YouTube视频。经验结果表明,Merlot Reserve学会通过所有组成模式的视频的强烈陈述。在FineTuned时,它在VCR和TVQA上为VCR和TVQA进行了新的最先进,优先于前勤工作分别为5%和7%。消融表明,两个任务都受益于音频预制 - 甚至录像机,围绕图像中心的QA任务(没有声音)。此外,我们的客观使开箱即用的预测,揭示了强大的多式联合致辞理解。在一个完全零拍摄的环境中,我们的模型在四个视频理解任务中获得竞争结果,甚至优于最近提出的定位推理(星)基准的监督方法。我们分析为什么包含音频导致更好的视觉语言表示,这表明未来研究的重要机会。我们通过讨论多式联运预测的道德和社会影响来得出结论。
translated by 谷歌翻译
作为自然现象的地震,历史上不断造成伤害和人类生活的损失。地震预测是任何社会计划的重要方面,可以增加公共准备,并在很大程度上减少损坏。然而,由于地震的随机特征以及实现了地震预测的有效和可靠模型的挑战,迄今为止努力一直不足,需要新的方法来解决这个问题。本文意识到​​这些问题,提出了一种基于注意机制(AM),卷积神经网络(CNN)和双向长短期存储器(BILSTM)模型的新型预测方法,其可以预测数量和最大幅度中国大陆各地区的地震为基于该地区的地震目录。该模型利用LSTM和CNN具有注意机制,以更好地关注有效的地震特性并产生更准确的预测。首先,将零阶保持技术应用于地震数据上的预处理,使得模型的输入数据更适当。其次,为了有效地使用空间信息并减少输入数据的维度,CNN用于捕获地震数据之间的空间依赖性。第三,使用Bi-LSTM层来捕获时间依赖性。第四,引入了AM层以突出其重要的特征来实现更好的预测性能。结果表明,该方法具有比其他预测方法更好的性能和概括能力。
translated by 谷歌翻译