AI Illustrator旨在自动设计具有视觉吸引力的图像,以激发丰富的思想和情感。为了实现这一目标,我们提出了一个框架,将具有复杂语义的原始描述转换为语义相应的图像。主要的挑战在于原始描述语义的复杂性,可能很难可视化(\ textit {e}。通常,它对现有方法构成了处理此类描述的挑战。为了解决这个问题,我们建议基于rompt \ textbf {c} ross- \ textbf {m} odal generation \ textbf {frame} work(pcm-frame)利用两个强大的预培养模型,,包括剪辑和Stylegan。我们的框架由两个组件组成:\ textIt {textIt嵌入} s到\ textit {image嵌入} s的投影模块,基于提示以及一个构建的适应图像生成模块,该模块构建了\ textit {image嵌入{image Embedding} s作为输入并受到共同语义一致性损失的训练。为了弥合现实图像和插图设计之间的差距,我们进一步采用了风格化模型作为后处理,以获得更好的视觉效果。受益于预先训练的模型,我们的方法可以处理复杂的描述,并且不需要外部配对数据进行培训。此外,我们已经建立了一个由200个原始描述组成的基准。我们进行了一项用户研究,以证明我们对复杂文本的竞争方法的优势。我们在https://github.com/researchmm/ai \ _illustrator} {https://github.com/researchmem/researchmm/ai \_illustrator上发布代码
translated by 谷歌翻译
现有的视频框架插值方法只能在给定的中间时间步骤中插值框架,例如1/2。在本文中,我们旨在探索一种更广泛的视频框架插值,该视频框架在任意时步。为此,我们考虑在元学习的帮助下以统一的方式处理不同的时间阶段。具体而言,我们开发了一个双元学习的帧插值框架,以通过上下文信息和光流的指导以及将时间步长为附带信息,将中间框架合成中间框架。首先,构建了一个内容感知的元学习流程模块,以提高基于输入帧的下采样版本的光流估计的准确性。其次,以精致的光流和时间步长为输入,运动吸引的元学习框架插值模块为在粗翘曲版本的特征图上使用的每个像素生成卷积内核,以生成输入的特征图上的每个像素生成预测帧的帧。广泛的定性和定量评估以及消融研究表明,通过以如此精心设计的方式在我们的框架中引入元学习,我们的方法不仅可以实现优于先进的框架插值方法,还可以实现优越的性能还拥有在任意时间步长以支持插值的扩展能力。
translated by 谷歌翻译
镜像检测旨在识别给定输入图像中的镜像区域。现有作品主要集中于整合语义特征和结构特征,以挖掘镜像和非摩尔区域之间的相似性和不连续性,或者引入深度信息以帮助分析镜像的存在。在这项工作中,我们观察到一个真实的对象通常与镜子中的相应反射形成松散的对称关系,这有助于区分镜子和真实对象。基于此观察结果,我们提出了一个基于双路对称性变压器的镜像检测网络(SATNET),其中包括两个新型模块:对称性吸引注意的注意模块(SAAM)以及对比度和融合解码器模块(CFDM)。具体而言,我们首先引入了变压器主干,以模拟图像中的全局信息聚合,并在两条路径中提取多尺度特征。然后,我们将高级双路径特征喂给Saams以捕获对称关系。最后,我们融合了双路径功能,并使用CFDM逐渐完善我们的预测图,以获得最终的镜面掩码。实验结果表明,在所有可用的镜像检测数据集上,Satnet优于RGB和RGB-D镜检测方法。
translated by 谷歌翻译
深度学习已成为火星探索的强大工具。火星地形细分是一项重要的火星愿景任务,它是漫游者自动计划和安全驾驶的基础。但是,现有的基于深度学习的地形细分方法遇到了两个问题:一个是缺乏足够的详细和高信心注释,另一个是模型过度依赖于注释的培训数据。在本文中,我们从联合数据和方法设计的角度解决了这两个问题。我们首先提出了一个新的火星地形细分数据集,该数据集包含6K高分辨率图像,并根据置信度稀疏注释,以确保标签的高质量。然后从这些稀疏的数据中学习,我们为火星地形细分的基于表示的学习框架,包括一个自我监督的学习阶段(用于预训练)和半监督的学习阶段(用于微调)。具体而言,对于自我监督的学习,我们设计了一个基于掩盖图像建模(MIM)概念的多任务机制,以强调图像的纹理信息。对于半监督的学习,由于我们的数据集很少注释,因此我们鼓励该模型通过在线生成和利用伪标签来挖掘每个图像中未标记的区域的信息。我们将数据集和方法命名为MARS(S $^{5} $ MARS)的自我监督和半监督分割。实验结果表明,我们的方法可以超越最先进的方法,并通过很大的边距提高地形分割性能。
translated by 谷歌翻译
人重新识别(RE-ID)是视频监视系统中的一项关键技术,在监督环境中取得了重大成功。但是,由于可用源域和看不见的目标域之间的域间隙,很难将监督模型直接应用于任意看不见的域。在本文中,我们提出了一种新颖的标签分布学习(LDL)方法,以解决可推广的多源人员重新ID任务(即,有多个可用的源域,并且在培训期间看不到测试域),旨在旨在探索不同类别的关系,并减轻跨不同域的域转移,以改善模型的歧视并同时学习域不变特征。具体而言,在培训过程中,我们通过在线方式生产标签分布来挖掘不同类别的关系信息,因此它有益于提取判别特征。此外,对于每个类别的标签分布,我们进一步对其进行了修改,以更多和同等的关注该类不属于的其他域,这可以有效地减少跨不同域的域间隙并获得域不变特征。此外,我们还提供了理论分析,以证明所提出的方法可以有效地处理域转移问题。在多个基准数据集上进行的广泛实验验证了所提出的方法的有效性,并表明所提出的方法可以胜过最先进的方法。此外,进一步的分析还揭示了所提出的方法的优越性。
translated by 谷歌翻译
在本文中,我们使第一个基准测试精力阐述在低光增强中使用原始图像的优越性,并开发一种以更灵活和实用的方式利用原始图像的新颖替代路线。通过对典型图像处理管道进行充分考虑的启发,我们受到启发,开发了一种新的评估框架,分解增强模型(FEM),它将原始图像的属性分解成可测量的因素,并提供了探索原始图像属性的工具凭经验影响增强性能。经验基金基准结果表明,在元数据中记录的数据和曝光时间的线性起作用最关键的作用,这在将SRGB图像作为输入中的方法采取各种措施中提出了不同的性能增益。通过从基准测试结果中获得的洞察力,开发了一种原始曝光增强网络(REENET),这在实际应用中的实际应用中的优缺点与仅在原始图像中的原始应用中的优点和可接近之间的权衡培训阶段。 Reenet将SRGB图像投影到线性原域中,以应用相应的原始图像的约束,以减少建模培训的难度。之后,在测试阶段,我们的reenet不依赖于原始图像。实验结果不仅展示了Reenet到最先进的SRGB的方法以及原始指导和所有组件的有效性。
translated by 谷歌翻译
将基于深学习视频编码已经吸引了大量的关注它的巨大潜力排挤视频序列的时空冗余。本文提出了一种高效的编解码器,即双路径生成对抗性的基于网络的视频编解码器(DGVC)。首先,我们提出了一个双通道的增强与生成对抗网络(DPEG)重建压缩视频的详细信息。所述DPEG由一个$ \阿尔法$自动编码器和卷积长短期记忆(ConvLSTM),它具有大的感受域和多帧的引用,和$ \测试$利于结构特征重构的-path - 残余关注块的路径,这有利于局部纹理特征的重建。两条路径融合,并通过生成对抗性的流程协同训练。其次,我们重用两个运动补偿和质量增强模块,这是与运动估计进一步结合DPEG网络,并在我们的DGVC框架熵编码模块。第三,我们采用深视频压缩和提高了联合训练,进一步提高率失真(RD)性能。与X265 LDP非常快的方式相比,我们的DGVC由39.39%/ 54.92%在相同的PSNR / MS-SSIM,其通过一个胜过国家的本领域深视频编解码器降低平均比特每像素(BPP)相当幅度。
translated by 谷歌翻译
自我跟踪可以提高人们对他们不健康的行为的认识,为行为改变提供见解。事先工作探索了自动跟踪器如何反映其记录数据,但它仍然不清楚他们从跟踪反馈中学到多少,以及哪些信息更有用。实际上,反馈仍然可以压倒,并简明扼要可以通过增加焦点和减少解释负担来改善学习。为了简化反馈,我们提出了一个自动跟踪反馈显着框架,以定义提供反馈的特定信息,为什么这些细节以及如何呈现它们(手动引出或自动反馈)。我们从移动食品跟踪的实地研究中收集了调查和膳食图像数据,并实施了Salientrack,一种机器学习模型,以预测用户从跟踪事件中学习。使用可解释的AI(XAI)技术,SalientRack识别该事件的哪些特征是最突出的,为什么它们导致正面学习结果,并优先考虑如何根据归属分数呈现反馈。我们展示了用例,并进行了形成性研究,以展示Salientrack的可用性和有用性。我们讨论自动跟踪中可读性的影响,以及如何添加模型解释性扩大了提高反馈体验的机会。
translated by 谷歌翻译
视觉变压器(VIT)在视觉识别方面达到了最先进的性能,而变体的本地视觉变压器则取得了进一步的改进。本地视觉变压器的主要组成部分,本地注意力,在小型本地窗户上分别表现出注意力。我们将局部关注重新为渠道,以渠道局部连接,并从两个网络正规化的方式分析它,稀疏的连接性和权重共享以及重量计算。稀疏连接:跨通道没有连接,每个位置都连接到一个小型本地窗口中的位置。重量共享:一个位置的连接权重跨通道或每个频道内共享。动态重量:根据每个图像实例,可以动态预测连接权重。我们指出,本地注意力类似于深度卷积及其在稀疏连接中的动态版本。主要区别在于重量共享 - 深度卷积分享连接权重(内核权重)跨空间位置。我们从经验上观察到,基于深度卷积和具有较低计算复杂性的动态变体的模型与Swin Transformer(局部视觉变压器的实例),用于ImagEnet分类,可可对象检测和ADE Sentical,具有较低的计算复杂性的动态变体。分割。这些观察结果表明,本地视觉变压器利用两种正则化形式和动态重量来增加网络容量。代码可在https://github.com/atten4vis/demystifylocalvit上找到。
translated by 谷歌翻译
We present HetNet (Multi-level \textbf{Het}erogeneous \textbf{Net}work), a highly efficient mirror detection network. Current mirror detection methods focus more on performance than efficiency, limiting the real-time applications (such as drones). Their lack of efficiency is aroused by the common design of adopting homogeneous modules at different levels, which ignores the difference between different levels of features. In contrast, HetNet detects potential mirror regions initially through low-level understandings (\textit{e.g.}, intensity contrasts) and then combines with high-level understandings (contextual discontinuity for instance) to finalize the predictions. To perform accurate yet efficient mirror detection, HetNet follows an effective architecture that obtains specific information at different stages to detect mirrors. We further propose a multi-orientation intensity-based contrasted module (MIC) and a reflection semantic logical module (RSL), equipped on HetNet, to predict potential mirror regions by low-level understandings and analyze semantic logic in scenarios by high-level understandings, respectively. Compared to the state-of-the-art method, HetNet runs 664$\%$ faster and draws an average performance gain of 8.9$\%$ on MAE, 3.1$\%$ on IoU, and 2.0$\%$ on F-measure on two mirror detection benchmarks.
translated by 谷歌翻译