虽然最先进的视觉变压器模型实现了图像分类的有希望的结果,但它们是非常昂贵的并且需要许多GFLOPS。尽管可以通过减少网络中的令牌数量来降低视觉变压器的GFLOPS,但是没有对所有输入图像的最佳设置。因此,在这项工作中,我们引入了可分辨率的无参数自适应令牌采样(ATS)模块,可以插入任何现有的视觉变压器架构。通过评分和自适应采样重要令牌,在视觉变压器上实现视觉变压器。结果,令牌的数量不再静态,但是每个输入图像都变化。通过将ATS集成为当前变压器块内的附加层,我们可以将它们转换为具有自适应令牌的更高效的视觉变压器。由于ATS是一种无参数模块,因此它可以作为即插即用模块添加到从货架上的预制视觉变压器中,从而在没有任何额外训练的情况下减少他们的GFLOP。但是,由于其可分辨动的设计,人们还可以培训配有ATS的视觉变压器。通过将其添加到多个最先进的视觉变压器,我们在想象成数据集上进行评估。我们的评估表明,通过将计算成本(GFLOPS)降低37%,在保留准确性时,该模块通过降低了37%,提高了最先进的模块。
translated by 谷歌翻译
特征回归是将大型神经网络模型蒸馏到较小的功能回归。我们表明,随着网络架构的简单变化,回归可能会优于自我监督模型的知识蒸馏更复杂的最先进方法。令人惊讶的是,即使仅在蒸馏过程中仅使用并且在下游任务中丢弃时,将多层的Perceptron头部添加到CNN骨架上是有益的。因此,更深的非线性投影可以使用在不改变推理架构和时间的情况下准确地模仿老师。此外,我们利用独立的投影头来同时蒸馏多个教师网络。我们还发现,使用与教师和学生网络的输入相同的弱增强图像辅助蒸馏。Imagenet DataSet上的实验证明了各种自我监督蒸馏环境中提出的变化的功效。
translated by 谷歌翻译
我们对自我监督,监督或半监督设置的代表学习感兴趣。在应用自我监督学习的平均移位思想的事先工作,通过拉动查询图像来概括拜尔的想法,不仅更接近其其他增强,而且还可以到其他增强的最近邻居(NNS)。我们认为,学习可以从选择远处与查询相关的邻居选择遥远的邻居。因此,我们建议通过约束最近邻居的搜索空间来概括MSF算法。我们显示我们的方法在SSL设置中优于MSF,当约束使用不同的图像时,并且当约束确保NNS具有与查询相同的伪标签时,在半监控设置中优于培训资源的半监控设置中的爪子。
translated by 谷歌翻译
各种研究中的主要研究目标是使用观察数据集,并提供一种可以产生因果改进的新的反事准则。人动态治疗制度(DTRS)被广泛研究以正规化此过程。然而,在寻找最佳DTR中的可用方法通常依赖于现实世界应用(例如,医学决策或公共政策)违反的假设,特别是当(a)不可忽视未观察到的混乱时,并且(b)未观察到的混乱是时变(例如,受前一个行动的影响)。当违反这种假设时,人们经常面临关于所需的潜在因果模型来获得最佳DTR的歧视。这种歧义是不可避免的,因为无法从观察到的数据中理解未观察到的混血者的动态及其对观察到的数据的因果影响。通过案例研究,为在移植后接受伴随医院移植的患者的患者寻找卓越的治疗方案,并在移植后遇到称为新的发病糖尿病(NODAT),我们将DTR扩展到一个新阶级,被称为暧昧的动态治疗制度(ADTR) ,其中根据潜在因果模型的“云”评估治疗方案的随意影响。然后,我们将Adtrs连接到Saghafian(2018)提出的暧昧部分可观察标记决策过程(APOMDPS),并开发了两种加强学习方法,称为直接增强V-Learning(DAV-Learning)和安全增强V-Learning(SAV-Learning),其中使用观察到的数据能够有效地学习最佳治疗方案。我们为这些学习方法制定理论结果,包括(弱)一致性和渐近正常性。我们进一步评估了这些学习方法在案例研究和仿真实验中的性能。
translated by 谷歌翻译
现代深度神经网络必须展示最先进的准确性,同时表现出低延迟和能耗。因此,在生成新架构时,神经结构搜索(NAS)算法将这两个约束考虑在内。但是,诸如延迟的效率度量通常是依赖于需要NAS算法来测量或预测架构延迟的硬件。测量每个评估架构的延迟增加了NAS过程的大量时间。在这里,我们将微处理器提出了一个先验的延迟估计枫木,其不依赖于传输学习或域适应,而是通过在训练期间结合先前的硬件特征来推广到新硬件。枫木利用新的定量策略来通过测量相关的硬件性能度量来表征底层微处理器,产生细粒度和富有效应硬件描述符。此外,所提出的枫木从CPU和GPU之间的紧密耦合I / O以及它们在从CPU中测量GPU硬件的微处理器性能硬件计数器时预测GPU上的DNN延迟的依赖性。通过这种定量策略作为硬件描述符,Maple可以通过一些镜头适应策略概括到新硬件,其中少于3个样本,它具有超过最先进的方法的3%改进,需要多达10个样品。实验结果表明,随着最先进的方法,增加了几次喷射适应样品到10提高了精度12%。此外,据证明,与任何数量适应样品的相关基线相比,枫木呈现出8-10%的精度,平均相比。
translated by 谷歌翻译
初始故障检测和诊断是提高车辆运行效率,安全性和稳定性的迫切措施。近年来,许多研究已经调查了使用可用的车辆数据改善车辆诊断过程的数据驱动方法。此外,采用数据驱动方法来增强客户服务代理交互。在这项研究中,我们展示了一种机器学习管道,以改善自动化车辆诊断。首先,自然语言处理(NLP)用于自由文本故障报告中提取至关重要的信息(在客户对服务部门的呼叫中生成)。然后,采用深度学习算法来验证服务请求并过滤模糊或误导性索赔。最终,实现了不同的分类算法以对服务请求进行分类,以便可以针对相关的服务部门进行有效的服务请求。拟议的模型 - 双向短期内存(BILSTM)以及卷积神经网络(CNN) - 显示了与技术人员的能力相比验证服务请求的18倍以上的准确性提高。此外,在预处理和特征提取阶段使用基于域的NLP技术以及基于CNN-BILSTM的请求验证提高了精度($> 25 \%$),灵敏度($> 39 \%$),特异性($> 11 \%$),精度($> 11 \%$)渐变树升压(GTB)服务分类模型。曲线下(ROC-AUC)下的接收器操作特征区域达到0.82。
translated by 谷歌翻译
在过去的几十年中,已经进行了许多尝试来解决从其相应的低分辨率(LR)对应物中恢复高分辨率(HR)面部形象的问题,这是通常被称为幻觉的任务。尽管通过位置补丁和基于深度学习的方法实现了令人印象深刻的性能,但大多数技术仍然无法恢复面孔的特定特定功能。前一组算法通常在存在更高水平的降解存在下产生模糊和过天气输出,而后者产生的面部有时绝不使得输入图像中的个体类似于个体。在本文中,将引入一种新的面部超分辨率方法,其中幻觉面被迫位于可用训练面跨越的子空间中。因此,与大多数现有面的幻觉技术相比,由于这种面部子空间之前,重建是为了回收特定人的面部特征,而不是仅仅增加图像定量分数。此外,通过最近的3D面部重建领域的进步启发,还呈现了一种有效的3D字典对齐方案,通过该方案,该算法能够处理在不受控制的条件下拍摄的低分辨率面。在几个众所周知的面部数据集上进行的广泛实验中,所提出的算法通过生成详细和接近地面真理结果来显示出色的性能,这在定量和定性评估中通过显着的边距来实现了最先进的面部幻觉算法。
translated by 谷歌翻译
电液动力学 - 喷射(电子喷射)印刷技术能够实现复杂软电子设备的高分辨率印刷。因此,它具有可比的电位,用于成为打印软电子设备的传统技术。在该研究中,研究了电子喷射印刷电路的电导率作为关键印刷参数的函数(喷嘴速度,墨水流量和电压)。然后使用收集的实验数据集来训练机器学习算法,以建立能够实时预测印刷电路特性的模型。比较精度参数以评估监督分类模型。由于决策树方法无法提高高于71%的准确性,因此在我们的数据集上执行更高级的算法,以提高模型的精度。根据F测量值,K-NN模型(K = 10)和随机森林是分类电极电导率的最佳方法。 Adaboost Ensemble学习的最高准确性导致了10-15棵树(87%)。
translated by 谷歌翻译
由于低资源域名,新任务以及需要大量培训数据的大规模神经网络的普及,最近,数据增强最近看到了对NLP的兴趣增加。尽管最近的高潮,但由于语言数据的离散性质所带来的挑战,这一领域仍然相对望远欠了。在本文中,我们通过以结构化方式概述文献来展示对NLP的全面和统一对NLP的数据。我们首先介绍和激励NLP的数据增强,然后讨论主要的方法论代表性方法。接下来,我们突出显示用于流行NLP应用程序和任务的技术。我们通过概述当前挑战和未来研究的指示来结束。总体而言,我们的论文旨在澄清现有文学的景观,以便NLP的数据增强,并激励该领域的其他工作。我们还提供了一个GitHub存储库,纸张列表将在https://github.com/styfeng/dataaug4nlp上不断更新
translated by 谷歌翻译
在没有对其相对姿势的准确估计的情况下,无法正确融合来自两个传感器的数据,这可以通过外部校准的过程来确定。当两个或更多个传感器能够产生自己的eGomotion估计(即,通过环境测量它们的轨迹),可以采用“手眼”外部校准的制定。在本文中,我们将最近的工作扩展到凸优化方法,以便手眼校准到一个传感器不能观察其翻译运动的比例(例如,观察未拍摄环境的单眼摄像机)。我们证明我们的技术能够为手眼校准的已知和未知级别的变体提供认真的全球最佳解决方案,只要测量噪声被界定。这里,我们专注于问题的理论方面,展示了我们解决方案的密封性和稳定性,并通过合成数据的实验展示了我们算法的最优性和速度。
translated by 谷歌翻译