远程光学电瓶描绘(RPPG),其目的在没有任何接触的情况下从面部视频测量心脏活动和生理信号,在许多应用中具有很大的潜力(例如,远程医疗保健和情感计算)。最近的深度学习方法专注于利用具有有限时空接收领域的卷积神经网络进行微妙的RPPG线索,这忽略了RPPG建模的远程时空感知和相互作用。在本文中,我们提出了Physformer,基于端到端的视频变换器的架构,以自适应地聚合用于RPPG表示增强的本地和全局时空特征。作为Physformer中的关键模块,时间差异变压器首先提高了具有时间差异引导的全局关注的准周期性RPPG特征,然后优化了局部时空表示免于干扰。此外,我们还提出了标签分配学习和课程学习激发了频域中的动态约束,这为Phyformer和缓解过度装备提供了精心制造的监控。在四个基准数据集上执行综合实验,以显示我们在内部和交叉数据集测试中的卓越性能。一个突出显示的是,与大多数变压器网络不同于大规模数据集预先预订,所提出的Physformer可以从RPPG数据集上从头开始培训,这使得它作为RPPG社区的新型变压器基线。该代码将在https://github.com/zitongyu/physformer释放。
translated by 谷歌翻译
由于难以获得地面真理标签,从虚拟世界数据集学习对于像语义分割等现实世界的应用非常关注。从域适应角度来看,关键挑战是学习输入的域名签名表示,以便从虚拟数据中受益。在本文中,我们提出了一种新颖的三叉戟架构,该架构强制执行共享特征编码器,同时满足对抗源和目标约束,从而学习域不变的特征空间。此外,我们还介绍了一种新颖的训练管道,在前向通过期间能够自我引起的跨域数据增强。这有助于进一步减少域间隙。结合自我培训过程,我们在基准数据集(例如GTA5或Synthia适应城市景观)上获得最先进的结果。Https://github.com/hmrc-ael/trideadapt提供了代码和预先训练的型号。
translated by 谷歌翻译
用于单视网型3D重建(SVR)的神经网络(NN)已经获得了普及。最近的工作指出,对于SVR,大多数尖端NNS在重建看不见的对象时具有有限的性能,因为它们主要依赖于识别(即,基于分类的方法)而不是形状重建。要深入了解这个问题,我们对NNS更倾向识别重建的何时以及为什么提供系统的研究,反之亦然。我们的发现表明,确定识别与重建的主要因素是如何分散训练数据。因此,我们介绍了一个新的数据驱动度量的分散评分,以量化这种前导因素并研究其对NNS的影响。我们假设当训练图像更加分散时,NNS朝向识别偏置,并且训练形状较少分散。支持我们的假设,通过我们的合成和基准数据集的实验证明了分散评分。我们表明,拟议的指标是分析重建质量的主要方法,并提供除了传统的重建分数之外的新颖信息。
translated by 谷歌翻译
用于压缩神经网络的非均匀量化策略通常实现的性能比其对应于对应物,即统一的策略,因为其优越的代表性能力。然而,许多非均匀量化方法在实现不均匀量化的权重/激活时忽略了复杂的投影过程,这在硬件部署中引起了不可忽略的时间和空间开销。在这项研究中,我们提出了非均匀致均匀的量化(N2UQ),一种方法,其能够保持非均匀方法的强表示能力,同时硬件友好且有效地作为模型推理的均匀量化。我们通过学习灵活的等距输入阈值来实现这一目标,以更好地拟合潜在的分布,同时将这些实值输入量化为等距输出电平。要使用可学习的输入阈值训练量化网络,我们将广义直通估计器(G-STE)介绍,用于难以应答的后向衍生计算W.r.t.阈值参数。此外,我们考虑熵保持正则化,以进一步降低重量量化的信息损失。即使在这种不利约束的施加均匀量化的重量和激活的情况下,我们的N2UQ也经历了最先进的非均匀量化方法,在想象中达到了0.7〜1.8%,展示了N2UQ设计的贡献。代码将公开可用。
translated by 谷歌翻译
以准确的,稳健和快速的方式拟合人体,手或面对稀疏输入信号的参数模型,这具有重要的是在AR和VR场景中显着改善浸入。解决这些问题的系统中的一个常见的第一步是直接从输入数据重新分配参数模型的参数。这种方法是快速,稳健的,并且是迭代最小化算法的良好起点。后者搜索最小的能量函数,通常由编码关于问题的结构的知识的数据项和前沿组成。虽然这无疑是一个非常成功的食谱,但前锋往往是手工定义的启发式,发现不同术语之间的正确平衡,以实现高质量的结果是一个非琐碎的任务。此外,转换和优化这些系统以表现方式运行,需要定制实现,要求从工程师和域专家进行大量时间投资。在这项工作中,我们建立了近期学习优化的进步,并提出了由Classic Levenberg-Marquardt算法启发的更新规则。我们展示了所提出的神经优化器对从2D地标的头戴式装置和面部配件的3D体表估计问题的有效性。我们的方法可以很容易地应用于新的模型拟合问题,并提供竞争替代方案,在准确性和速度方面都提供了良好的调谐“传统”模型拟合管道。
translated by 谷歌翻译
段4K或6K超高分辨率图像需要在图像分割中考虑额外的计算考虑。常见的策略,如淡化采样,补丁裁剪和级联模型,不能妥善解决精度和计算成本之间的余额问题。由人类在粗糙到精确水平中连续地区分物体的影响,我们提出了用于超高分辨率分割任务的连续细化模型〜(CRM)。CRM连续将特征映射与细化目标保持一致,并聚合要重建这些图像的细节。此外,我们的CRM表明其具有填补低分辨率培训图像和超高分辨率测试之间的分辨率差距的重要概括能力。我们展示了定量的绩效评估和可视化,以表明我们的提出方法在图像分割细化方面是快速有效的。代码将在https://github.com/dvlab-research/entity发布。
translated by 谷歌翻译
陆地温度(LST)是监控土地面过程时的关键参数。然而,云污染和空间和时间分辨率之间的权衡大大妨碍了对高质量的热红外(TIR)遥感数据的访问。尽管采取了巨大的努力来解决这些困境,但仍然难以通过并发空间完整性和高时空分辨率产生LST估计。陆地表面模型(LSM)可用于模拟高度的时间分辨率的Genpless LST,但这通常具有低空间分辨率。在本文中,我们向卫星观察和LSM模拟LST数据提供了一个集成的温度融合框架,以通过60米的空间分辨率和半小时时间分辨率映射Gapless LST。全局线性模型(GLOLM)模型和昼夜陆地表面温度周期(DTC)模型分别作为预处理步骤进行传感器和不同LST数据之间的时间归一化。然后使用基于滤波器的时空集成融合模型融合Landsat LST,适度分辨率成像光谱仪(MODIS)LST和社区土地模型5.0(CLM 5.0)-SIMUTION LST。在一个城市主导地区(中国武汉市)和自然主导地区(中国海河流域)实施了评估,在准确性,空间可变性和日颞动力学方面。结果表明,熔融LST与实际LANDSAT LST数据(原位LST测量)高于Pearson相关系数,在0.94(0.97-0.99)方面,平均绝对误差为0.71-0.98k(0.82-3.17 k )和根平均误差为0.97-1.26 k(1.09-3.97 k)。
translated by 谷歌翻译
最近关于多领域面部图像翻译的研究取得了令人印象深刻的结果。现有方法通常提供具有辅助分类器的鉴别器,以施加域转换。但是,这些方法忽略了关于域分布匹配的重要信息。为了解决这个问题,我们提出了一种与更自适应的鉴别器结构和匹配的发电机具有更自适应的鉴别器结构和匹配的发电机之间的开关生成的对抗网络(SwitchGan),以在多个域之间执行精密图像转换。提出了一种特征切换操作以在我们的条件模块中实现特征选择和融合。我们展示了我们模型的有效性。此外,我们还引入了发电机的新功能,该功能代表了属性强度控制,并在没有定制培训的情况下提取内容信息。在视觉上和定量地显示了Morph,RAFD和Celeba数据库的实验,表明我们扩展的SwitchGan(即,门控SwitchGan)可以实现比Stargan,Attgan和Staggan更好的翻译结果。使用培训的Reset-18模型实现的属性分类准确性和使用ImageNet预先预订的Inception-V3模型获得的FIC分数也定量展示了模型的卓越性能。
translated by 谷歌翻译
差异隐私(DP)是保留隐私的基本技术。有发现,用于隐私保留的大型模型比较较小的模型更糟糕(例如,RESET50比RENET18更糟糕)。为了更好地理解这种现象,我们从泛化的观点来看高维DP学习。从理论上讲,对于简单的高斯模型具有甚至小的DP噪声,如果维度足够大,则分类错误可以像随机猜测一样糟糕。然后,我们提出了一个特征选择方法,以减少模型的大小,基于新的指标,它交易分类准确性和隐私保留。实验对真实数据支持我们的理论结果,并证明了所提出的方法的优势。
translated by 谷歌翻译
亚洲巨大的大黄蜂(AGH)出现在华盛顿州,似乎具有生物侵入的潜在危险。华盛顿州收集了公众照片和检测到的昆虫的视频,以进行验证和进一步调查。在本文中,我们分析了使用数据分析,统计,离散数学和深度学习技术来处理数据的数据分析,统计技术来处理数据。首先,我们可视化华盛顿州昆虫的地理分布。然后,我们将昆虫群体调查到今年的不同月和一个月不同的日子。第三,我们采用小波分析来检查AGH的周期性蔓延。第四,我们应用普通微分方程以检查不同自然生长率和反应速度的AGH数字,输出电位传播系数。接下来,我们利用蜂窝自动机结合潜在的传播系数来模拟改变电位传播下的地理差异。要更新模型,我们使用延迟微分方程来模拟人为干预。我们使用检测时间和提交时间之间的时间差来确定延迟时间的时间单位。之后,我们构建一个名为Sheeezenet的轻量级CNN,并评估其分类性能。然后,我们涉及几个非参考图像质量指标,包括NIQE,图像梯度,熵,对比度和Topsis来判断错误分类的原因。此外,我们建立一个随机林分类器,仅基于图像质量来识别正面和阴性样本。我们还显示了该特征重要性并进行错误分析。此外,我们呈现敏感性分析以验证模型的稳健性。最后,我们展示了我们模型的优势和缺点,并得出了结论。
translated by 谷歌翻译