人员重新识别(RE-ID)由于其对科学和社会保障的重要性,因此成为计算机视觉最重要的应用领域之一。由于相机系统的尺寸和尺寸巨大,因此开发边缘计算重新ID应用是有益的,在这些应用程序中至少可以通过摄像机执行分析的一部分。但是,常规的重新ID在很大程度上依赖于深度学习(DL)计算要求的模型,这些模型不容易适用于边缘计算。在本文中,我们调整了一种最近提出的重新ID方法,该方法将DL人解析与分析特征提取和排名方案相结合,更适合Edge Computing Re-ID。首先,我们比较使用RESNET101,RESNET18,MOBILENETV2和OSNET骨架的解析器,并表明可以使用紧凑的骨架进行足够的精度来进行解析。其次,我们将解析器转移到Google Coral Dev板的张量处理单元(TPU),并表明它可以充当便携式边缘计算重新ID站。我们还在珊瑚CPU上实施了RE-ID方法的分析部分,以确保它可以执行完整的重新ID周期。为了进行定量分析,我们根据解析器主链比较了GPU和珊瑚TPU的推理速度,解析掩模和重新ID准确性。我们还讨论了Re-ID中边缘计算的可能应用方案,这些限制主要与便携式设备的内存和存储空间有关。
translated by 谷歌翻译
近年来,由于其对科学和社会的重要性,人们的重新识别(RE-ID)一直受到越来越多的关注。机器学习,尤其是深度学习(DL)已成为主要的重新ID工具,该工具使研究能够在基准数据集上实现前所未有的精度水平。但是,DL模型的概括性不佳存在已知的问题。也就是说,经过训练以实现一个数据集的模型在另一个数据集上的表现不佳,并且需要重新训练。为了解决这个问题,我们提出了一个没有可训练参数的模型,该模型显示出高概括的巨大潜力。它将完全分析的特征提取和相似性排名方案与用于获得初始子区域分类的基于DL的人解析相结合。我们表明,这种组合在很大程度上消除了现有分析方法的缺点。我们使用可解释的颜色和纹理功能,这些功能具有与之相关的人类可读性相似性度量。为了验证提出的方法,我们在Market1501和CuHK03数据集上进行实验,以达到与DL模型相当的竞争排名1精度。最重要的是,我们证明我们的方法将应用于转移学习任务时,将达到63.9%和93.5%的跨域准确性。它明显高于先前报道的30-50%传输精度。我们讨论添加新功能以进一步改善模型的潜在方法。我们还展示了可解释的功能的优势,用于构建口头描述中的人类生成的查询,以进行无查询图像进行搜索。
translated by 谷歌翻译
可以使用具有快速有效分割网络的深度学习方法来实施医疗图像分割。单板计算机(SBC)由于内存和处理限制而难以用于训练深网。诸如Google Edge TPU之类的特定硬件使其适合使用复杂的预训练网络进行实时预测。在这项工作中,我们研究了两个SBC的性能,具有和不进行硬件加速度进行底面图像分割,尽管这项研究的结论可以通过其他类型的医学图像的深层神经网络应用于分割。为了测试硬件加速的好处,我们使用先前已发布的工作中的网络和数据集,并通过使用具有超声甲状腺图像的数据集进行测试来概括它们。我们在SBC中测量预测时间,并将其与基于云的TPU系统进行比较。结果表明,使用Edge TPU,机器学习加速SBC的可行性可加速光盘和杯赛分段,每图像可获得低于25毫秒的时间。
translated by 谷歌翻译
准确和高效的行人检测对于关于行人安全和移动性的智能运输系统至关重要,例如先进的驾驶员辅助系统和智能行人人行横道系统。在所有行人检测方法中,基于视觉的检测方法被证明是先前研究中最有效的。然而,现有的基于视觉的行人检测算法仍然有两个限制其实现的限制,那些是实时性能以及对环境因素的影响的阻力,例如,低照明条件。为了解决这些问题,本研究提出了一种轻量级的照明和温度感知多光谱网络(IT-MN),用于准确和高效的行人检测。所提出的IT-Mn是一种有效的一级探测器。为了适应环境因素的影响并增强感测的精度,当视觉图像质量有限时,通过所提出的IT-MN融合了热图像数据,以丰富有用的信息。此外,还开发了一种创新和有效的晚期融合策略来优化图像融合性能。为了使所提出的模型可实现用于边缘计算,应用模型量化以减少模型大小,同时显着缩短推测时间。通过使用由车载摄像机收集的公共数据集进行评估,通过将所提出的算法与所选的最先进的算法进行评估。结果表明,该算法在GPU上以14.19%和0.03秒实现了低的错过率和推理时间。此外,量化的IT-Mn在边缘设备上实现每张映像对的推理时间为0.21秒,这还展示了将所提出的边缘设备上的模型部署为高效的行人检测算法的潜力。
translated by 谷歌翻译
这项工作使用水果和叶子的图像提出了一个基于学习的植物性诊断系统。已经使用了五个最先进的卷积神经网络(CNN)来实施该系统。迄今为止,模型的精度一直是此类应用程序的重点,并且尚未考虑模型的模型适用于最终用户设备。两种模型量化技术,例如float16和动态范围量化已应用于五个最新的CNN体系结构。研究表明,量化的GoogleNet模型达到了0.143 MB的尺寸,准确度为97%,这是考虑到大小标准的最佳候选模型。高效网络模型以99%的精度达到了4.2MB的大小,这是考虑性能标准的最佳模型。源代码可在https://github.com/compostieai/guava-disease-detection上获得。
translated by 谷歌翻译
视频分析的图像分割在不同的研究领域起着重要作用,例如智能城市,医疗保健,计算机视觉和地球科学以及遥感应用。在这方面,最近致力于发展新的细分策略;最新的杰出成就之一是Panoptic细分。后者是由语义和实例分割的融合引起的。明确地,目前正在研究Panoptic细分,以帮助获得更多对视频监控,人群计数,自主驾驶,医学图像分析的图像场景的更细致的知识,以及一般对场景更深入的了解。为此,我们介绍了本文的首次全面审查现有的Panoptic分段方法,以获得作者的知识。因此,基于所采用的算法,应用场景和主要目标的性质,执行现有的Panoptic技术的明确定义分类。此外,讨论了使用伪标签注释新数据集的Panoptic分割。继续前进,进行消融研究,以了解不同观点的Panoptic方法。此外,讨论了适合于Panoptic分割的评估度量,并提供了现有解决方案性能的比较,以告知最先进的并识别其局限性和优势。最后,目前对主题技术面临的挑战和吸引不久的将来吸引相当兴趣的未来趋势,可以成为即将到来的研究研究的起点。提供代码的文件可用于:https://github.com/elharroussomar/awesome-panoptic-egation
translated by 谷歌翻译
Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.
translated by 谷歌翻译
Human parsing aims to partition humans in image or video into multiple pixel-level semantic parts. In the last decade, it has gained significantly increased interest in the computer vision community and has been utilized in a broad range of practical applications, from security monitoring, to social media, to visual special effects, just to name a few. Although deep learning-based human parsing solutions have made remarkable achievements, many important concepts, existing challenges, and potential research directions are still confusing. In this survey, we comprehensively review three core sub-tasks: single human parsing, multiple human parsing, and video human parsing, by introducing their respective task settings, background concepts, relevant problems and applications, representative literature, and datasets. We also present quantitative performance comparisons of the reviewed methods on benchmark datasets. Additionally, to promote sustainable development of the community, we put forward a transformer-based human parsing framework, providing a high-performance baseline for follow-up research through universal, concise, and extensible solutions. Finally, we point out a set of under-investigated open issues in this field and suggest new directions for future study. We also provide a regularly updated project page, to continuously track recent developments in this fast-advancing field: https://github.com/soeaver/awesome-human-parsing.
translated by 谷歌翻译
Edge computing is changing the face of many industries and services. Common edge computing models offload computing which is prone to security risks and privacy violation. However, advances in deep learning enabled Internet of Things (IoTs) to take decisions and run cognitive tasks locally. This research introduces a decentralized-control edge model where most computation and decisions are moved to the IoT level. The model aims at decreasing communication to the edge which in return enhances efficiency and decreases latency. The model also avoids data transfer which raises security and privacy risks. To examine the model, we developed SAFEMYRIDES, a scene-aware ridesharing monitoring system where smart phones are detecting violations at the runtime. Current real-time monitoring systems are costly and require continuous network connectivity. The system uses optimized deep learning that run locally on IoTs to detect violations in ridesharing and record violation incidences. The system would enhance safety and security in ridesharing without violating privacy.
translated by 谷歌翻译
深度学习一直是近来最具破坏性的技术进步之一。深度学习模型的高性能以高度计算,存储和功率要求为代价。感知到加速和压缩这些模型以提高设备性能的直接需求,我们引入了Deeplite Neutrino,以便对模型的生产优化和Deeplite运行时进行介绍,以在基于ARM的平台上部署超低位量化模型。我们为ARMV7和ARMV8架构实施低级量化内核,可在32位和64位基于ARM的设备上进行部署。通过使用矢量化,并行化和平铺的有效实现,与具有XNNPACK后端的TensorFlow Lite相比,我们在分类和检测模型上分别实现了高达2倍和2.2倍的速度。与ONNX运行时相比,我们还获得了高达5倍和3.2倍的显着加速,分别用于分类和检测模型。
translated by 谷歌翻译
深度学习技术在各种任务中都表现出了出色的有效性,并且深度学习具有推进多种应用程序(包括在边缘计算中)的潜力,其中将深层模型部署在边缘设备上,以实现即时的数据处理和响应。一个关键的挑战是,虽然深层模型的应用通常会产生大量的内存和计算成本,但Edge设备通常只提供非常有限的存储和计算功能,这些功能可能会在各个设备之间差异很大。这些特征使得难以构建深度学习解决方案,以释放边缘设备的潜力,同时遵守其约束。应对这一挑战的一种有希望的方法是自动化有效的深度学习模型的设计,这些模型轻巧,仅需少量存储,并且仅产生低计算开销。该调查提供了针对边缘计算的深度学习模型设计自动化技术的全面覆盖。它提供了关键指标的概述和比较,这些指标通常用于量化模型在有效性,轻度和计算成本方面的水平。然后,该调查涵盖了深层设计自动化技术的三类最新技术:自动化神经体系结构搜索,自动化模型压缩以及联合自动化设计和压缩。最后,调查涵盖了未来研究的开放问题和方向。
translated by 谷歌翻译
在监控和搜索和救援应用程序中,重要的是在低端设备上实时执行多目标跟踪(MOT)。今天的MOT解决方案采用深度神经网络,往往具有高计算复杂性。识别帧大小对跟踪性能的影响,我们提出了深度,一种模型不可知框架尺寸选择方法,可在现有的全卷积网络基跟踪器之上进行操作,以加速跟踪吞吐量。在培训阶段,我们将可检测性分数纳入单次跟踪器架构,使得DeepScale以自我监督的方式学习不同帧大小的表示估计。在推理期间,它可以根据基于用户控制参数根据视觉内容的复杂性来调整帧大小。为了利用边缘服务器上的计算资源,我们提出了两个计算分区模式,即仅使用自适应帧大小传输和边缘服务器辅助跟踪仅适用于MOT,即边缘服务器。 MOT数据集的广泛实验和基准测试证明了深度的有效性和灵活性。与最先进的追踪器相比,DeepScale ++,DeepScale的变种实现1.57倍加速,仅在一个配置中的MOT15数据集上跟踪准确性。我们已经实现和评估了DeepScale ++,以及由NVIDIA JETSON TX2板和GPU服务器组成的小型测试平台上所提出的计算分区方案。实验显示与仅服务器或智能相机的解决方案相比跟踪性能和延迟之间的非琐碎权衡。
translated by 谷歌翻译
机器学习的进步为低端互联网节点(例如微控制器)带来了新的机会,将情报带入了情报。传统的机器学习部署具有较高的记忆力,并计算足迹阻碍了其在超资源约束的微控制器上的直接部署。本文强调了为MicroController类设备启用机载机器学习的独特要求。研究人员为资源有限的应用程序使用专门的模型开发工作流程,以确保计算和延迟预算在设备限制之内,同时仍保持所需的性能。我们表征了微控制器类设备的机器学习模型开发的广泛适用的闭环工作流程,并表明几类应用程序采用了它的特定实例。我们通过展示多种用例,将定性和数值见解介绍到模型开发的不同阶段。最后,我们确定了开放的研究挑战和未解决的问题,要求仔细考虑前进。
translated by 谷歌翻译
在这项工作中,我们介绍了一种方法,并提出了一种改进的神经工作,以执行产品重新识别,这是全自动产品缺陷检测系统的必要核心功能。我们的方法基于特征距离。它是特征提取神经网络的组合,如vgg16,alexnet,带图像搜索引擎 - vearch。我们用于开发产品重新识别系统的数据集是一个水瓶数据集,由400种液体瓶装组成。这是一个小型数据集,这是我们工作的最大挑战。然而,与vearch的神经网络的组合显示了解决产品重新识别问题的可能性。特别是,我们的新神经网络 - 基于AlexNet改进的神经网络的AlphaalexNet可以通过四个百分点提高生产识别准确性。这表明当可以引入和重新设计的高效特征提取方法时,可以实现理想的生产识别精度,以用于几乎相同产品的图像特征提取。为了解决由数据集的小尺寸造成的最大挑战以及识别彼此几乎没有差异的产品的困难性质。在我们未来的工作中,我们提出了一种新的路线图来解决几乎 - 相同的生产标识:介绍或开发需要很少的图像以训练自己的新算法。
translated by 谷歌翻译
设计在边缘硬件上运行的深神经网络(DNN)仍然是一个挑战。社区已经采用了标准设计来促进神经网络模型的部署。但是,并不是很强调适应网络拓扑以适合硬件约束。在本文中,我们适应了移动硬件平台MobilenetV2的最广泛使用的架构之一,并研究了更改其拓扑结构并应用后培训后量化的影响。我们讨论了改编和模型在嵌入式硬件平台上进行面部检测的影响。
translated by 谷歌翻译
In recent years, deep learning (DL) models have demonstrated remarkable achievements on non-trivial tasks such as speech recognition and natural language understanding. One of the significant contributors to its success is the proliferation of end devices that acted as a catalyst to provide data for data-hungry DL models. However, computing DL training and inference is the main challenge. Usually, central cloud servers are used for the computation, but it opens up other significant challenges, such as high latency, increased communication costs, and privacy concerns. To mitigate these drawbacks, considerable efforts have been made to push the processing of DL models to edge servers. Moreover, the confluence point of DL and edge has given rise to edge intelligence (EI). This survey paper focuses primarily on the fifth level of EI, called all in-edge level, where DL training and inference (deployment) are performed solely by edge servers. All in-edge is suitable when the end devices have low computing resources, e.g., Internet-of-Things, and other requirements such as latency and communication cost are important in mission-critical applications, e.g., health care. Firstly, this paper presents all in-edge computing architectures, including centralized, decentralized, and distributed. Secondly, this paper presents enabling technologies, such as model parallelism and split learning, which facilitate DL training and deployment at edge servers. Thirdly, model adaptation techniques based on model compression and conditional computation are described because the standard cloud-based DL deployment cannot be directly applied to all in-edge due to its limited computational resources. Fourthly, this paper discusses eleven key performance metrics to evaluate the performance of DL at all in-edge efficiently. Finally, several open research challenges in the area of all in-edge are presented.
translated by 谷歌翻译
人的步态被认为是一种独特的生物识别标识符,其可以在距离处以覆盖方式获取。但是,在受控场景中捕获的现有公共领域步态数据集接受的模型导致应用于现实世界无约束步态数据时的剧烈性能下降。另一方面,视频人员重新识别技术在大规模公共可用数据集中实现了有希望的性能。鉴于服装特性的多样性,衣物提示对于人们的认可不可靠。因此,实际上尚不清楚为什么最先进的人重新识别方法以及他们的工作。在本文中,我们通过从现有的视频人重新识别挑战中提取剪影来构建一个新的步态数据集,该挑战包括1,404人以不受约束的方式行走。基于该数据集,可以进行步态认可与人重新识别之间的一致和比较研究。鉴于我们的实验结果表明,目前在受控情景收集的数据下设计的目前的步态识别方法不适合真实监视情景,我们提出了一种名为Realgait的新型步态识别方法。我们的结果表明,在实际监视情景中识别人的步态是可行的,并且潜在的步态模式可能是视频人重新设计在实践中的真正原因。
translated by 谷歌翻译
2019年冠状病毒疾病(Covid-19)继续自爆发以来对世界产生巨大挑战。为了对抗这种疾病,开发了一系列人工智能(AI)技术,并应用于现实世界的情景,如安全监测,疾病诊断,感染风险评估,Covid-19 CT扫描的病变细分等。 Coronavirus流行病迫使人们佩戴面膜来抵消病毒的传播,这也带来了监控戴着面具的大群人群的困难。在本文中,我们主要关注蒙面面部检测和相关数据集的AI技术。从蒙面面部检测数据集的描述开始,我们调查了最近的进步。详细描述并详细讨论了十三可用数据集。然后,该方法大致分为两类:传统方法和基于神经网络的方法。常规方法通常通过用手工制作的特征升高算法来训练,该算法占少比例。基于神经网络的方法根据处理阶段的数量进一步归类为三个部分。详细描述了代表性算法,与一些简要描述的一些典型技术耦合。最后,我们总结了最近的基准测试结果,讨论了关于数据集和方法的局限性,并扩大了未来的研究方向。据我们所知,这是关于蒙面面部检测方法和数据集的第一次调查。希望我们的调查可以提供一些帮助对抗流行病的帮助。
translated by 谷歌翻译
在室外和室内环境中的精确定位是一个具有挑战性的问题,目前构成了几种实际应用的重要限制。超宽带(UWB)本地化技术代表了解决该问题的宝贵低成本解决方案。然而,特定无线电环境的非视线(NLOS)条件和复杂性很容易在范围测量中引入正偏见,从而导致高度不准确和不令人满意的位置估计。鉴于此,我们利用了深神网络优化技术的最新进步及其在超低功率微控制器上的实施,以引入有效的范围错误缓解解决方案,该解决方案可在NLOS或LOS条件下提供校正,并具有几兆瓦的功率。我们广泛的实验认可了我们的低成本和力量效率方法的优势和改进。
translated by 谷歌翻译
正在投入大量努力,将最新的分类和认可到具有极端资源限制(内存,速度和缺乏GPU支持)的边缘设备。在这里,我们演示了第一个用于声学识别的深层网络,该网络小,灵活且适合压缩,但实现了原始音频分类的最新性能。我们没有手工制作一次性解决方案,而是提出了一条通用管道,该管道通过压缩和量化自动将大型深卷积网络转换为资源破裂的边缘设备的网络。在引入ACDNET(在ESC-10(96.65%),ESC-50(87.10%),Urbansound8K(84.45%)和AudioEvent(92.57%)上产生的ACDNET之后,我们描述了压缩管道和压缩管道和AudioEvent(92.57%)证明它使我们能够降低97.22%的尺寸和减少97.28%的失败,同时保持接近最先进的准确性96.25%,83.65%,78.27%和89.69%的掉落。我们描述了对标准现成的微控制器的成功实现,除了实验室基准测试之外,还报告了对现实世界数据集的成功测试。
translated by 谷歌翻译