Video super-resolution is one of the most popular tasks on mobile devices, being widely used for an automatic improvement of low-bitrate and low-resolution video streams. While numerous solutions have been proposed for this problem, they are usually quite computationally demanding, demonstrating low FPS rates and power efficiency on mobile devices. In this Mobile AI challenge, we address this problem and propose the participants to design an end-to-end real-time video super-resolution solution for mobile NPUs optimized for low energy consumption. The participants were provided with the REDS training dataset containing video sequences for a 4X video upscaling task. The runtime and power efficiency of all models was evaluated on the powerful MediaTek Dimensity 9000 platform with a dedicated AI processing unit capable of accelerating floating-point and quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 500 FPS rate and 0.2 [Watt / 30 FPS] power consumption. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
成功的材料选择对于设计和制造产品的设计自动化至关重要。设计师通过通过性能，制造性和可持续性评估选择最合适的材料来利用他们的知识和经验来创建高质量的设计。智能工具可以通过提供从先前的设计中学到的建议来帮助具有不同专业知识的设计师。为了实现这一目标，我们介绍了一个图表表示学习框架，该框架支持组装中身体的物质预测。我们将材料选择任务作为节点级预测任务，对CAD模型的汇编图表示，并使用图形神经网络（GNN）对其进行处理。在Fusion 360画廊数据集上执行的三个实验协议的评估表明我们的方法的可行性，达到了0.75 TOP-3 Micro-F1分数。提出的框架可以扩展到大型数据集，并将设计师的知识纳入学习过程。这些功能使该框架可以作为设计自动化的推荐系统以及未来工作的基准，从而缩小了人类设计师与智能设计代理之间的差距。
translated by 谷歌翻译
在这项研究中，我们深入研究了半监督对象检测〜（SSOD）所面临的独特挑战。我们观察到当前的探测器通常遭受3个不一致问题。 1）分配不一致，传统的分配策略对标记噪声很敏感。 2）子任务不一致，其中分类和回归预测在同一特征点未对准。 3）时间不一致，伪Bbox在不同的训练步骤中差异很大。这些问题导致学生网络的优化目标不一致，从而恶化了性能并减慢模型收敛性。因此，我们提出了一个系统的解决方案，称为一致的老师，以补救上述挑战。首先，自适应锚分配代替了基于静态的策略，该策略使学生网络能够抵抗嘈杂的psudo bbox。然后，我们通过设计功能比对模块来校准子任务预测。最后，我们采用高斯混合模型（GMM）来动态调整伪盒阈值。一致的老师在各种SSOD评估上提供了新的强大基线。只有10％的带注释的MS-Coco数据，它可以使用Resnet-50骨干实现40.0 MAP，该数据仅使用伪标签，超过了4个地图。当对完全注释的MS-Coco进行其他未标记的数据进行培训时，性能将进一步增加到49.1 MAP。我们的代码将很快开源。
translated by 谷歌翻译
本文回顾了AIM 2022上压缩图像和视频超级分辨率的挑战。这项挑战包括两条曲目。轨道1的目标是压缩图像的超分辨率，轨迹〜2靶向压缩视频的超分辨率。在轨道1中，我们使用流行的数据集DIV2K作为培训，验证和测试集。在轨道2中，我们提出了LDV 3.0数据集，其中包含365个视频，包括LDV 2.0数据集（335个视频）和30个其他视频。在这一挑战中，有12支球队和2支球队分别提交了赛道1和赛道2的最终结果。所提出的方法和解决方案衡量了压缩图像和视频上超分辨率的最先进。提出的LDV 3.0数据集可在https://github.com/renyang-home/ldv_dataset上找到。此挑战的首页是在https://github.com/renyang-home/aim22_compresssr。
translated by 谷歌翻译
视频识别是由端到端学习范式主导的 - 首先初始化具有预审预周化图像模型的视频识别模型，然后对视频进行端到端培训。这使视频网络能够受益于验证的图像模型。但是，这需要大量的计算和内存资源，以便在视频上进行填充以及直接使用预审计的图像功能的替代方案，而无需填充图像骨架会导致结果不足。幸运的是，在对比视力语言预训练（剪辑）方面的最新进展为视觉识别任务的新途径铺平了道路。这些模型在大型开放式图像文本对数据上进行了预测，以丰富的语义学习强大的视觉表示。在本文中，我们介绍了有效的视频学习（EVL） - 一种有效的框架，用于直接训练具有冷冻剪辑功能的高质量视频识别模型。具体来说，我们采用轻型变压器解码器并学习查询令牌，从剪辑图像编码器中动态收集帧级空间特征。此外，我们在每个解码器层中采用局部时间模块，以发现相邻帧及其注意力图的时间线索。我们表明，尽管有效地使用冷冻的骨干训练，但我们的模型在各种视频识别数据集上学习了高质量的视频表示。代码可在https://github.com/opengvlab/feld-video-rencognition上找到。
translated by 谷歌翻译
细颗粒的对象检索旨在学习判别性表示以检索视觉上相似的对象。但是，现有的表现最佳作品通常在语义嵌入空间上施加成对的相似性，以在有限数据方面不断调整整个模型，从而使次优溶液易于收敛。在本文中，我们开发了细粒度的检索提示调整（FRPT），该调整引导了一个冷冻的预训练模型，从样本提示和功能适应的角度从样本提示的角度执行精细颗粒的检索任务。具体而言，FRPT只需要在提示中学习更少的参数和适应性，而不是对整个模型进行微调，从而解决了通过微调整个模型引起的次优溶液的收敛性。从技术上讲，随着样本提示，引入结构扰动提示（SPP）以缩放甚至夸大了一些像素，从而通过内容感知到的不均匀采样操作为类别预测做出了贡献。这样，SPP可以通过在原始预训练期间接近已解决的任务的扰动提示来帮助您的精细颗粒检索任务。此外，提出了特定于类别的意识头并将其视为特征适应，它可以使用实例归一化在预训练模型提取的特征中消除物种差异，因此仅使优化的功能仅包括子类别之间的差异。广泛的实验表明，我们的FRPT具有较少的可学习参数，可以在三个广泛使用的细粒数据集上实现最先进的性能。
translated by 谷歌翻译
随着经济和社会的增长，企业，尤其是在金融科技行业中，对客户收集，市场营销，反欺诈电话等对客户的需求不断增加。但是，大部分重复性和机械工作都占据了人类代理商的大部分时间，因此企业的设备和劳动力成本正在增加。同时，随着过去几十年来人工智能技术的发展，公司使用大数据和人工智能等新技术来增强呼叫业务的能力已变得非常普遍。智能出站机器人是人工智能技术在出站呼叫业务领域的典型应用。它主要用于与客户交流以实现某个目标。它具有低成本，高额重用和易于合规性的特征，这引起了行业的更多关注。目前，该行业有两种智能出站机器人，但他们俩仍然为改进留下了巨大的空间。其中一种是基于有限状态机，该机器依赖于跳跃条件和基于手动体验的相应节点的配置。这种智能出站机器人也称为基于流的机器人。例如，图\ ref {图：标签}中显示了基于流的机器人的工作模型的示意图。在每个回合中，机器人将用与每个节点相对应的单词回复用户。
translated by 谷歌翻译
视觉世界自然地展现了一个长尾的开放类分布，这对现代视觉系统带来了巨大挑战。现有方法可以执行类重新平衡策略或直接改进网络模块以解决问题。然而，他们仍然用有限一套预定义标签训练模型，限制了他们的监督信息并限制了他们对新颖实例的可转移性。新途径上的大型对比视觉普瑞宁普雷宁闪光灯的最新进展，可视识别。利用开放词汇监督，预先染色的对比视觉语言模型学习强大的多模式表示，这是对处理数据缺陷和看不见的概念。通过计算视觉和文本输入之间的语义相似性，可视识别被转换为vision语言匹配问题。灵感来自于此，我们提出了民谣，利用了对比尾识别的对比视觉模型。我们首先通过对特定的长尾目标数据集进行对比学习继续预先预留视觉语言骨干。之后，我们冻结了骨干，进一步采用了额外的适配器层，以增强通过重新采样策略构建的平衡训练样本上的尾级课程的表示。已经在三个流行的长尾识别基准测试中进行了广泛的实验。因此，我们简单有效的方法设定了新的最先进的表演，优于具有大边距的竞争基础。代码在https://github.com/gaopengcuhk/ballad发布。
translated by 谷歌翻译
本文回顾了关于压缩视频质量增强质量的第一个NTIRE挑战，重点是拟议的方法和结果。在此挑战中，采用了新的大型不同视频（LDV）数据集。挑战有三个曲目。Track 1和2的目标是增强HEVC在固定QP上压缩的视频，而Track 3旨在增强X265压缩的视频，以固定的位速率压缩。此外，轨道1和3的质量提高了提高保真度（PSNR）的目标，以及提高感知质量的2个目标。这三个曲目完全吸引了482个注册。在测试阶段，分别提交了12个团队，8支球队和11支球队，分别提交了轨道1、2和3的最终结果。拟议的方法和解决方案衡量视频质量增强的最先进。挑战的首页：https：//github.com/renyang-home/ntire21_venh
translated by 谷歌翻译
LIDAR数据的实时语义分割对于自动驾驶车辆至关重要，这通常配备有嵌入式平台并具有有限的计算资源。直接在点云上运行的方法使用复杂的空间聚合操作，这非常昂贵，难以优化嵌入式平台。因此，它们不适用于嵌入式系统的实时应用。作为替代方案，基于投影的方法更有效并且可以在嵌入式平台上运行。然而，目前基于最先进的投影的方法不会达到与基于点的方法相同的准确性并使用数百万个参数。因此，我们提出了一种基于投影的方法，称为多尺度交互网络（Minet），这是非常有效和准确的。该网络使用具有不同尺度的多个路径并余额尺度之间的计算资源。尺度之间的额外密集相互作用避免了冗余计算并使网络高效。在准确度，参数数量和运行时，所提出的网络以基于点为基础的基于图像和基于投影的方法。此外，网络处理在嵌入式平台上每秒超过24个扫描，该嵌入式平台高于激光雷达传感器的帧。因此，网络适用于自动车辆。
translated by 谷歌翻译