远程光学电瓶描绘(RPPG),其目的在没有任何接触的情况下从面部视频测量心脏活动和生理信号,在许多应用中具有很大的潜力(例如,远程医疗保健和情感计算)。最近的深度学习方法专注于利用具有有限时空接收领域的卷积神经网络进行微妙的RPPG线索,这忽略了RPPG建模的远程时空感知和相互作用。在本文中,我们提出了Physformer,基于端到端的视频变换器的架构,以自适应地聚合用于RPPG表示增强的本地和全局时空特征。作为Physformer中的关键模块,时间差异变压器首先提高了具有时间差异引导的全局关注的准周期性RPPG特征,然后优化了局部时空表示免于干扰。此外,我们还提出了标签分配学习和课程学习激发了频域中的动态约束,这为Phyformer和缓解过度装备提供了精心制造的监控。在四个基准数据集上执行综合实验,以显示我们在内部和交叉数据集测试中的卓越性能。一个突出显示的是,与大多数变压器网络不同于大规模数据集预先预订,所提出的Physformer可以从RPPG数据集上从头开始培训,这使得它作为RPPG社区的新型变压器基线。该代码将在https://github.com/zitongyu/physformer释放。
translated by 谷歌翻译
正规化可以通过引入感应偏压来减轻训练与推理之间的泛化差距。现有的作品已经提出了各种视角的各种归纳偏见。然而,据我们所知,他们都没有探讨各种神经元的类依赖性响应分布的视角探讨归纳偏见。在本文中,我们对这种分布的特征进行了大量分析。基于分析结果,我们阐明了神经元稳定性假设:具有与同一类别的情况相似的神经元导致更好的概括。因此,我们提出了一种新的正则化方法,称为神经元稳定正则化,以减少神经元内响应方差。我们在多层的Perceptron,卷积神经网络和图形神经网络上进行了广泛的实验,具有不同域的流行基准数据集,这表明我们的神经元稳定性正则化始终优于Vanilla版本的模型,具有显着增益和低额外的开销。
translated by 谷歌翻译
域概括(DG)最近引起了人的重新识别(REID)的巨大关注。它旨在使在多个源域上培训的模型概括到未经看不见的目标域。虽然实现了有前进的进步,但现有方法通常需要要标记的源域,这可能是实际REID任务的重大负担。在本文中,我们通过假设任何源域都有任何标签可以调查Reid的无监督域泛化。为了解决这个具有挑战性的设置,我们提出了一种简单高效的域特定的自适应框架,并通过设计在批处理和实例归一化技术上的自适应归一化模块实现。在此过程中,我们成功地产生了可靠的伪标签来实现培训,并根据需要增强模型的域泛化能力。此外,我们表明,我们的框架甚至可以应用于在监督域泛化和无监督域适应的环境下改进人员Reid,展示了关于相关方法的竞争性能。对基准数据集进行了广泛的实验研究以验证所提出的框架。我们的工作的重要性在于它表明了对人Reid的无监督域概括的潜力,并为这一主题进一步研究了一个强大的基线。
translated by 谷歌翻译
最近的进展表明,可以通过像欧妮线方程等物理限制来实现半监督隐式表示学习。然而,由于其空间不同的稀疏性,该方案尚未成功地用于LiDAR点云数据。在本文中,我们开发了一种新颖的制定,条件在局部形状嵌入上的半监督隐式功能。它利用稀疏卷积网络的强大表示力,以产生形状感知密集特征卷,同时仍允许半监控符号函数学习,而不知道自由空间的确切值。具有广泛的定量和定性结果,我们证明了这种新的学习系统的内在属性及其在现实世界道路场景中的用途。值得注意的是,我们在Semantickitti将iou从26.3%到51.0%。此外,我们探索了两个范式来集成语义标签预测,实现隐式语义完成。可以在https://github.com/open-air-sun/sisc访问代码和模型。
translated by 谷歌翻译
从欧几里德绿色的功能重建光谱函数是许多身体物理中的重要逆问题。然而,在具有嘈杂的绿色功能的现实系统中证明了反演。在这封信中,我们提出了一种自动分化(AD)框架作为来自传播者可观察到的光谱重建的通用工具。利用神经网络的正则化作为光谱功能的非局部平滑度调节器,我们代表神经网络的光谱功能,并使用传播者的重建误差来优化无限制的网络参数。在培训过程中,除了光谱函数的正面明确形式外,没有嵌入到神经网络中的其他显式物理前沿。通过相对熵和均方误差来评估重建性能,对于两个不同的网络表示。与最大熵方法相比,广告框架在大噪声情况下实现了更好的性能。注意,引入非局部正则化的自由是本框架的固有优势,并且可能导致求解逆问题的显着改进。
translated by 谷歌翻译
在动态网络修剪中广泛探索了门控模块,以降低深神经网络的运行时间计算成本,同时保留特征的表示。尽管取得了实质性,但现有方法仍然忽略了特征和门分布之间的一致性,这可能导致所门控功能的失真。在本文中,我们提出了一种特征栅极耦合(FGC)方法,其旨在对准特征和栅极的分布。 FGC是一个即插即用模块,它包括以迭代自我监督方式进行的两个步骤组成。在第一步中,FGC利用了特征空间中的$ k $ -nearest邻居方法来探索实例邻域关系,该关系被视为自我监控信号。在第二步中,FGC利用对比学习以产生具有生成的自我监控信号的选通模块,导致特征和栅极空间内的实例邻域关系的对齐。实验结果验证了所提出的FGC方法改善了基线方法,具有显着的边缘,优于最先进的最先进的准确性计算权衡。代码是公开的。
translated by 谷歌翻译
多任务学习(MTL)是深度学习中的一个活动字段,其中我们通过利用任务之间的关系来共同学习多项任务。已经证明,与独立学习每个任务时,MTL有助于该模型共享任务之间的学习功能并增强预测。我们为2任务MTL问题提出了一个新的学习框架,它使用一个任务的预测作为另一个网络的输入来预测其他任务。我们定义了由循环一致性损失和对比学习,对齐和跨任务一致性损失的两个新的损失术语。这两个损耗都旨在实施模型以对准多个任务的预测,以便模型一致地预测。理论上我们证明,两次损失都帮助模型更有效地学习,并且在与直接预测的对齐方面更好地了解跨任务一致性损失。实验结果还表明,我们的拟议模型在基准城市景观和NYU数据集上实现了显着性能。
translated by 谷歌翻译
用于深度卷积神经网络的视频插值的现有方法,因此遭受其内在限制,例如内部局限性核心权重和受限制的接收领域。为了解决这些问题,我们提出了一种基于变换器的视频插值框架,允许内容感知聚合权重,并考虑具有自我关注操作的远程依赖性。为避免全球自我关注的高计算成本,我们将当地注意的概念引入视频插值并将其扩展到空间域。此外,我们提出了一个节省时间的分离策略,以节省内存使用,这也提高了性能。此外,我们开发了一种多尺度帧合成方案,以充分实现变压器的潜力。广泛的实验证明了所提出的模型对最先进的方法来说,定量和定性地在各种基准数据集上进行定量和定性。
translated by 谷歌翻译
我们考虑基于多天线信道状态信息(CSI)的分布式基站(BSS)的未来毫米波无线网络中的移动定位问题。对于此问题,我们提出了一个半监督的TDistRibuted随机邻居嵌入(ST-SNE)算法,直接将高维CSI样本嵌入到2D地理地图中。我们评估ST-SNE在模拟城市户外毫米波无线电接入网络中的性能。我们的研究结果表明,ST-SNE在200×200m ^ 2区域中达到6.8米的平均定位误差,只有5%的标记为CSI样本,带有光线跟踪通道模型。ST-SNE不需要在多个BS之间准确同步,并且很有希望未来大规模的毫米波本地化。
translated by 谷歌翻译
基于Xornet的低功耗控制器是一种流行的技术,可以减少基于扫描的测试中的电路过渡。然而,现有解决方案构造Xordet均匀用于扫描链控制,并且可能导致次优溶液而没有任何设计指导。在本文中,我们提出了一种具有进化学习的新型可测试性感知的低功率控制器。从所提出的遗传算法(GA)产生的XorNET可以根据其使用,使扫描链的自适应控制能够显着提高XorNET编码容量,从而减少了ATPG的故障情况的数量和降低测试数据量。实验结果表明,在相同的控制比特下,我们的GA引导的Xornet设计可以将故障覆盖率提高至2.11%。所提出的GA引导的XorNET还允许降低控制比特的数量,并且总测试时间平均降低20.78%,与现有设计相比,在不牺牲测试覆盖的情况下相比,相比,高达47.09%。
translated by 谷歌翻译