Video super-resolution is one of the most popular tasks on mobile devices, being widely used for an automatic improvement of low-bitrate and low-resolution video streams. While numerous solutions have been proposed for this problem, they are usually quite computationally demanding, demonstrating low FPS rates and power efficiency on mobile devices. In this Mobile AI challenge, we address this problem and propose the participants to design an end-to-end real-time video super-resolution solution for mobile NPUs optimized for low energy consumption. The participants were provided with the REDS training dataset containing video sequences for a 4X video upscaling task. The runtime and power efficiency of all models was evaluated on the powerful MediaTek Dimensity 9000 platform with a dedicated AI processing unit capable of accelerating floating-point and quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 500 FPS rate and 0.2 [Watt / 30 FPS] power consumption. A detailed description of all models developed in the challenge is provided in this paper.
translated by 谷歌翻译
准确,快速的双核细胞(BC)检测在预测白血病和其他恶性肿瘤的风险中起着重要作用。但是,手动显微镜计数是耗时的,缺乏客观性。此外,由于bc显微镜整体幻灯片图像(WSIS)的染色质量和多样性的限制,传统的图像处理方法是无助的。为了克服这一挑战,我们提出了一种基于深度学习的结构启发的两阶段检测方法,该方法是基于深度学习的,该方法是在斑块级别的WSI-Level和细粒度分类处实施BCS粗略检测的级联。粗糙检测网络是基于用于细胞检测的圆形边界框的多任务检测框架,以及用于核检测的中心关键点。圆的表示降低了自由度,与通常的矩形盒子相比,减轻周围杂质的影响,并且在WSI中可能是旋转不变的。检测细胞核中的关键点可以帮助网络感知,并在后来的细粒分类中用于无监督的颜色层分割。精细的分类网络由基于颜色层掩模的监督和基于变压器的关键区域选择模块组成的背景区域抑制模块,其全局建模能力。此外,首先提出了无监督和未配对的细胞质发生器网络来扩展长尾分配数据集。最后,在BC多中心数据集上进行实验。拟议的BC罚款检测方法在几乎所有评估标准中都优于其他基准,从而为诸如癌症筛查等任务提供了澄清和支持。
translated by 谷歌翻译
我们提出了一种新的注意机制,称为全球分层注意(GHA),用于3D点云分析。 GHA通过在多个层次结构上进行一系列粗化和插值操作,近似于常规的全局点产生关注。 GHA的优势是两个方面。首先,它相对于点数具有线性复杂性,从而使大点云的处理能够处理。其次,GHA固有地具有归纳性偏见,可以专注于空间接近点,同时保留所有点之间的全球连通性。与前馈网络相结合,可以将GHA插入许多现有的网络体系结构中。我们尝试多个基线网络,并表明添加GHA始终如一地提高不同任务和数据集的性能。对于语义分割的任务,GHA在扫描板上的Minkowskiengine基线增加了1.7%的MIOU。对于3D对象检测任务,GHA将CenterPoint基线提高了Nuscenes数据集上的 +0.5%地图,而3DETR基线将SCANNET上的基线提高到 +2.1%MAP25和 +1.5%MAP50。
translated by 谷歌翻译
对于机器人来说,在人口稠密地区的自主航行仍然是一项艰巨的任务,因为难以确保在非结构化情况下与行人进行安全互动。在这项工作中,我们提出了一个人群导航控制框架,该框架可在自动驾驶汽车上提供连续避免障碍物和接触后控制。我们建议评估指标,以了解自然人群中的会计效率,控制器响应和人群相互作用。我们报告了不同人群类型的110多种试验的结果:稀疏,流量和混合流量,低 - (<0.15 ppsm),中部(<0.65 ppsm)和高 - (<1 ppsm)的行人密度。我们提出了两种低级避免障碍方法与共享控制基线之间的比较结果。结果表明,在最高密度测试上,相对时间下降了10%,没有其他效率度量降低。此外,自主导航显示与共享控制导航相当,相对混蛋较低,命令的流利度明显更高,表明与人群的兼容性很高。我们得出的结论是,反应性控制器履行了对人群导航的快速和连续适应的必要任务,并且应该与高级计划者一起以进行环境和情境意识。
translated by 谷歌翻译
预测未来的世界事件是一项具有挑战性但有价值的任务。对气候,地缘政治冲突,大流行和经济指标的预测有助于塑造政策和决策。在这些领域中,专家人类的判断有助于最佳预测。鉴于语言建模的进步,这些预测可以自动化吗?为此,我们介绍了AutoCast,这是一个包含数千个预测问题和随附的新闻语料库的数据集。问题来自预测锦标赛,确保高质量,现实世界中的重要性和多样性。新闻语料库是按日期组织的,使我们能够精确模拟人类过去的预测(避免将来泄漏)的条件。我们的动机是由于数量级的预测数字的难度(例如,2022年的Covid-19的全球案例),我们还策划了Intervalqa,这是数值问题和校准的数值问题和指标的数据集。我们在预测任务上测试语言模型,并发现绩效远低于人类专家基线。但是,随着新闻语料库中相关信息的合并,绩效提高了绩效。总而言之,AutoCast对大型语言模型提出了一个新颖的挑战,并提高了性能可能会带来很大的实际收益。
translated by 谷歌翻译
3D牙齿分割是计算机辅助牙齿诊断和治疗的先决条件。但是,将所有牙齿区域分割为主观且耗时。最近,基于深度学习的细分方法产生了令人信服的结果并减少了手动注释的工作,但是它需要大量的基础真相进行培训。据我们所知,3D分割研究几乎没有牙齿数据。在本文中,我们建立了带有牙齿金标准的完全注释的锥束计算机断层扫描数据集。该数据集包含22卷(7363片),并带有经验丰富的射线照相解释者注释的精细牙齿标签。为了确保相对的数据采样分布,数据方差包括在牙齿中,包括缺失的牙齿和牙齿修复。在此数据集上评估了几种最新的分割方法。之后,我们进一步总结并应用了一系列基于3D注意的UNET变体以分割牙齿。这项工作为牙齿体积分割任务提供了新的基准。实验证据证明,3D UNET结构的注意力模块增强了牙齿区域中的反应,并抑制背景和噪声的影响。 3D UNET使用SKNET注意模块实现了最佳性能,分别为88.04 \%骰子和78.71 \%IOU。基于注意力的UNET框架的表现优于Ctooth数据集上的其他最新方法。代码库和数据集已发布。
translated by 谷歌翻译
B扫描超声模式中图像的精确和快速分类对于诊断眼部疾病至关重要。然而,在超声波中区分各种疾病仍然挑战经验丰富的眼科医生。因此,在这项工作中开发了一个新颖的对比度截面网络(CDNET),旨在应对超声图像中眼异常的细粒度图像分类(FGIC)挑战,包括眼内肿瘤(IOT),视网膜脱离(RD),后堆肥葡萄球菌(PSS)和玻璃体出血(VH)。 CDNET的三个基本组成部分分别是弱监督的病变定位模块(WSLL),对比度多Zoom(CMZ)策略和超级性对比度分解损失(HCD-LOSS)。这些组件促进了在输入和输出方面的细粒度识别的特征分离。所提出的CDNET在我们的ZJU Ocular Ultrasound数据集(Zjuuld)上进行了验证,该数据集由5213个样品组成。此外,在两个公共且广泛使用的胸部X射线FGIC基准上验证了CDNET的概括能力。定量和定性结果证明了我们提出的CDNET的功效,该CDNET在FGIC任务中实现了最新的性能。代码可在以下网址获得:https://github.com/zeroonegame/cdnet-for-ous-fgic。
translated by 谷歌翻译
Skull stripping is a crucial prerequisite step in the analysis of brain magnetic resonance images (MRI). Although many excellent works or tools have been proposed, they suffer from low generalization capability. For instance, the model trained on a dataset with specific imaging parameters cannot be well applied to other datasets with different imaging parameters. Especially, for the lifespan datasets, the model trained on an adult dataset is not applicable to an infant dataset due to the large domain difference. To address this issue, numerous methods have been proposed, where domain adaptation based on feature alignment is the most common. Unfortunately, this method has some inherent shortcomings, which need to be retrained for each new domain and requires concurrent access to the input images of both domains. In this paper, we design a plug-and-play shape refinement (PSR) framework for multi-site and lifespan skull stripping. To deal with the domain shift between multi-site lifespan datasets, we take advantage of the brain shape prior, which is invariant to imaging parameters and ages. Experiments demonstrate that our framework can outperform the state-of-the-art methods on multi-site lifespan datasets.
translated by 谷歌翻译
人发现是在人居住环境中导航的移动机器人的至关重要任务。激光雷达传感器在此任务中很有希望,这要归功于其准确的深度测量和较大的视野。存在两种类型的LIDAR传感器:扫描单个平面的2D LIDAR传感器和3D激光雷达传感器,它们扫描多个平面,从而形成体积。他们如何比较人检测任务?为了回答这一点,我们使用公共大规模的Jackrabbot数据集以及最先进的2D和3D激光雷达的人检测器(分别是DR-SPAAM和CenterPoint)进行了一系列实验。我们的实验包括多个方面,从基本性能和速度比较到对距离和场景混乱的本地化精度和鲁棒性的更详细分析。这些实验的见解突出了2D和3D激光雷达传感器的优势和劣势作为人检测的来源,并且对于设计将与周围人类密切运行的移动机器人特别有价值(例如,服务或社交机器人)。
translated by 谷歌翻译
In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译