Multivariate time series forecasting (MTSF) is a fundamental problem in numerous real-world applications. Recently, Transformer has become the de facto solution for MTSF, especially for the long-term cases. However, except for the one forward operation, the basic configurations in existing MTSF Transformer architectures were barely carefully verified. In this study, we point out that the current tokenization strategy in MTSF Transformer architectures ignores the token uniformity inductive bias of Transformers. Therefore, the vanilla MTSF transformer struggles to capture details in time series and presents inferior performance. Based on this observation, we make a series of evolution on the basic architecture of the vanilla MTSF transformer. We vary the flawed tokenization strategy, along with the decoder structure and embeddings. Surprisingly, the evolved simple transformer architecture is highly effective, which successfully avoids the over-smoothing phenomena in the vanilla MTSF transformer, achieves a more detailed and accurate prediction, and even substantially outperforms the state-of-the-art Transformers that are well-designed for MTSF.
translated by 谷歌翻译
全向图像和视频可以在虚拟现实(VR)环境中提供真实世界场景的沉浸式体验。我们在本文中介绍了一项感知全向图像质量评估(IQA)研究,因为在VR环境下提供良好的经验非常重要。我们首先建立一个全向IQA(OIQA)数据库,其中包括16个源图像和320个失真的图像,这些图像被4种通常遇到的失真类型降解,即JPEG压缩,JPEG2000压缩,高斯模糊和高斯噪声。然后,在VR环境中的OIQA数据库上进行了主观质量评估研究。考虑到人类只能在VR环境中的一个运动中看到场景的一部分,因此视觉注意力变得极为重要。因此,我们还在质量评级实验过程中跟踪头部和眼动数据。原始和扭曲的全向图像,主观质量评级以及头部和眼动数据构成了OIQA数据库。在OIQA数据库上测试了最先进的全参考(FR)IQA测量,并进行了一些与传统IQA不同的新观察结果。
translated by 谷歌翻译
深度学习的快速发展在分割方面取得了长足的进步,这是计算机视觉的基本任务之一。但是,当前的细分算法主要取决于像素级注释的可用性,这些注释通常昂贵,乏味且费力。为了减轻这一负担,过去几年见证了越来越多的关注,以建立标签高效,深度学习的细分算法。本文对标签有效的细分方法进行了全面的审查。为此,我们首先根据不同类型的弱标签提供的监督(包括没有监督,粗略监督,不完整的监督和嘈杂的监督和嘈杂的监督),首先开发出一种分类法来组织这些方法,并通过细分类型(包括语义细分)补充,实例分割和全景分割)。接下来,我们从统一的角度总结了现有的标签有效的细分方法,该方法讨论了一个重要的问题:如何弥合弱监督和密集预测之间的差距 - 当前的方法主要基于启发式先导,例如交叉像素相似性,跨标签约束,跨视图一致性,跨图像关系等。最后,我们分享了对标签有效深层细分的未来研究方向的看法。
translated by 谷歌翻译
世界模型学习基于视觉的交互式系统中动作的后果。但是,在诸如自动驾驶之类的实际情况下,通常存在独立于动作信号的不可控制的动态,因此很难学习有效的世界模型。为了解决这个问题,我们提出了一种新颖的增强学习方法,名为Iso-Dream,该方法在两个方面改善了梦境到控制框架。首先,通过优化逆动力学,我们鼓励世界模型学习隔离状态过渡分支的时空变化的可控和不可控制的来源。其次,我们优化了代理在世界模型的潜在想象中的行为。具体而言,为了估算状态值,我们将不可控制状态推出到未来,并将其与当前可控状态相关联。这样,动态来源的隔离可以极大地使代理商的长期决策受益,例如一种自动驾驶汽车,可以通过预测其他车辆的移动来避免潜在的风险。实验表明,ISO-Dream可以有效地解耦混合动力学,并且在广泛的视觉控制和预测域中明显优于现有方法。
translated by 谷歌翻译
深度学习显示了建模复杂粒子系统(例如流体)的物理动力学的巨大潜力。但是,现有方法需要监督连续的粒子特性,包括位置和速度。在本文中,我们考虑了一种被称为流体动力学接地的部分可观察的方案,即从流体表面的顺序视觉观察中推断出流体粒子系统中的状态过渡和相互作用。我们提出了一个名为Neurofluid的可区分的两阶段网络。我们的方法由(i)粒子驱动的神经渲染器组成,该神经渲染器涉及流体物理特性到体积渲染函数中,以及(ii)优化的粒子过渡模型,以减少渲染和观察到的图像之间的差异。 Neurofluid通过共同训练这两个模型,为无监督学习基于粒子流体动力学的学习提供了第一种解决方案。显示出具有不同初始形状,粘度和密度不同的流体的基础物理学。
translated by 谷歌翻译
虽然深度神经网络的最近进步使得可以呈现高质量的图像,产生照片 - 现实和个性化的谈话头部仍然具有挑战性。通过给定音频,解决此任务的关键是同步唇部运动,同时生成头部移动和眼睛闪烁等个性化属性。在这项工作中,我们观察到输入音频与唇部运动高度相关,而与其他个性化属性的较少相关(例如,头部运动)。受此启发,我们提出了一种基于神经辐射场的新颖框架,以追求高保真和个性化的谈话。具体地,神经辐射场将唇部运动特征和个性化属性作为两个解除态条件采用,其中从音频输入直接预测唇部移动以实现唇部同步的生成。同时,从概率模型采样个性化属性,我们设计了从高斯过程中采样的基于变压器的变差自动码器,以学习合理的和自然的头部姿势和眼睛闪烁。在几个基准上的实验表明,我们的方法比最先进的方法达到了更好的结果。
translated by 谷歌翻译
组合优化(CO)是一个长期存在的具有挑战性的任务,不仅是其固有的复杂性(例如NP-Hard),而且还具有对输入条件的可能敏感性。在本文中,我们主动开发对抗性攻击和对组合优化求解器的防御的机制,由此求解器被视为黑盒功能和原始问题的底层图形结构(通常可用并与问题相关联实例,例如DAG,TSP)在给定的预算下受到攻击。特别是,我们提出了一种简单而有效的防御策略来修改图形结构,以增加求解器的稳健性,这表明其跨任务和求解器的普遍效率。
translated by 谷歌翻译
在图像中恢复任意缺失区域的合理和现实内容是一个重要而挑战性的任务。尽管最近的图像批量模型在生动的视觉细节方面取得了重大进展,但它们仍然可以导致纹理模糊或由于在处理更复杂的场景时由于上下文模糊而导致的结构扭曲。为了解决这个问题,我们提出了通过学习来自特定借口任务的多尺度语义代理的想法激励的语义金字塔网络(SPN)可以大大使图像中局部缺失内容的恢复极大地利益。 SPN由两个组件组成。首先,它将语义前视图从托管模型蒸馏到多尺度特征金字塔,实现对全局背景和局部结构的一致了解。在现有的学习者内,我们提供了一个可选模块,用于变分推理,以实现由各种学习的前沿驱动的概率图像染色。 SPN的第二组件是完全上下文感知的图像生成器,其在与(随机)先前金字塔一起自适应地和逐渐地改进低级视觉表示。我们将先前的学习者和图像发生器培训为统一模型,而无需任何后处理。我们的方法在多个数据集中实现了本领域的最先进,包括在确定性和概率的侵略设置下,包括Parket2,Paris Streetview,Celeba和Celeba-HQ。
translated by 谷歌翻译
域概括人员重新识别旨在将培训的模型应用于未经看明域。先前作品将所有培训域中的数据组合以捕获域不变的功能,或者采用专家的混合来调查特定域的信息。在这项工作中,我们争辩说,域特定和域不变的功能对于提高重新ID模型的泛化能力至关重要。为此,我们设计了一种新颖的框架,我们命名为两流自适应学习(tal),同时模拟这两种信息。具体地,提出了一种特定于域的流以捕获具有批量归一化(BN)参数的训练域统计,而自适应匹配层被设计为动态聚合域级信息。同时,我们在域不变流中设计一个自适应BN层,以近似各种看不见域的统计信息。这两个流自适应地和协作地工作,以学习更广泛的重新ID功能。我们的框架可以应用于单源和多源域泛化任务,实验结果表明我们的框架显着优于最先进的方法。
translated by 谷歌翻译
我们考虑将人体网格重建模型调整为域外流媒体视频的新问题,其中现有的基于SMPL的模型的性能受到不同相机参数,骨长,背景和闭塞的分布换档的显着影响。我们通过在线适应来解决这个问题,逐渐在测试期间纠正模型偏差。有两个主要挑战:首先,缺乏3D注释增加了培训难度并导致3D模糊。其次,非静止数据分布使得难以在拟合常规帧和硬样之间的平衡,具有严重的闭塞或戏剧性的变化。为此,我们提出了动态Bilevel在线适应算法(Dynaboa)。它首先介绍了用于补偿不可用的3D注释的时间约束,并利用BileVel优化过程来解决多目标之间的冲突。 Dynaboa通过使用类似的来源示例提供了额外的3D指导,尽管分布换档。此外,它可以自适应地调整各个帧上的​​优化步骤的数量,以完全适合硬样品并避免过度拟合常规帧。 Dynaboa在三个域名人网格重建基准上实现最先进的结果。
translated by 谷歌翻译