我们的商品设备中的大量传感器为传感器融合的跟踪提供了丰富的基板。然而，当今的解决方案无法在实用的日常环境中提供多个代理商的强大和高跟踪精度，这是沉浸式和协作应用程序未来的核心。这可以归因于这些融合解决方案利用多样性的有限范围，从而阻止它们迎合准确性，鲁棒性（不同的环境条件）和可伸缩性（多个试剂）的多个维度。在这项工作中，我们通过将双层多样性的概念引入多代理跟踪中的传感器融合问题来朝着这一目标迈出重要的一步。我们证明，互补跟踪方式的融合，被动/亲戚（例如，视觉探测法）和主动/绝对跟踪（例如，基础架构辅助的RF定位）提供了一个关键的多样性第一层，可带来可伸缩性，而第二层的多样性则是多样性的。在于融合的方法论，我们将算法（鲁棒性）和数据驱动（用于准确性）方法汇集在一起​​。 Rovar是这种双层多样性方法的实施例，使用算法和数据驱动技术智能地参与跨模式信息，共同承担着准确跟踪野外多种代理的负担。广泛的评估揭示了Rovar在跟踪准确性（中位数），鲁棒性（在看不见的环境中），轻重量（在移动平台上实时运行，例如Jetson Nano/tx2），以启用实用的多功能多多数，以启用实用的多功能，以实用代理在日常环境中的沉浸式应用。

Semantic segmentation works on the computer vision algorithm for assigning each pixel of an image into a class. The task of semantic segmentation should be performed with both accuracy and efficiency. Most of the existing deep FCNs yield to heavy computations and these networks are very power hungry, unsuitable for real-time applications on portable devices. This project analyzes current semantic segmentation models to explore the feasibility of applying these models for emergency response during catastrophic events. We compare the performance of real-time semantic segmentation models with non-real-time counterparts constrained by aerial images under oppositional settings. Furthermore, we train several models on the Flood-Net dataset, containing UAV images captured after Hurricane Harvey, and benchmark their execution on special classes such as flooded buildings vs. non-flooded buildings or flooded roads vs. non-flooded roads. In this project, we developed a real-time UNet based model and deployed that network on Jetson AGX Xavier module.

通过各种物体学习各种灵巧的操纵行为仍然是一个开放的巨大挑战。虽然政策学习方法为攻击此问题提供了强大的途径，但它们需要大量的每任务工程和算法调整。本文试图通过开发预先保证的灵巧操纵（PGDM）框架来逃避这些约束，从而在没有任何特定于任务的推理或超级参数调整的情况下会产生各种灵活的操纵行为。 PGD​​M的核心是一种众所周知的机器人构建体，即pre grasps（即用于对象相互作用的手工置序）。这种简单的原始性足以诱导有效的探索策略来获取复杂的灵巧操纵行为。为了详尽地验证这些主张，我们介绍了TCDM，这是根据多个对象和灵巧的操纵器定义的50个不同操纵任务的基准。 TCDM的任务是使用来自各种来源（动画师，人类行为等）的示例对象轨迹自动定义的，而无需任何执行任务工程和/或监督。我们的实验验证了PGDM的探索策略，该策略是由令人惊讶的简单成分（单个预抓姿势）引起的，与先前方法的性能相匹配，这些方法需要昂贵的每任意功能/奖励工程，专家监督和高参数调整。有关动画可视化，训练有素的策略和项目代码，请参阅：https：//pregrasps.github.io/

我们考虑主人想要在$ n $ Workers上运行分布式随机梯度下降（SGD）算法的设置，每个算法都有一个数据子集。分布式SGD可能会遭受散乱者的影响，即导致延迟的缓慢或反应迟钝的工人。文献中研究的一种解决方案是在更新模型之前等待每次迭代的最快$ k <n $工人的响应，其中$ k $是固定的参数。 $ k $的价值的选择提供了SGD的运行时（即收敛率）与模型错误之间的权衡。为了优化误差折衷，我们研究了在整个算法的运行时，以自适应〜$ k $（即不同的$ k $）调查分布式SGD。我们首先设计了一种自适应策略，用于改变$ k $，该策略根据我们得出的墙壁通行时间的函数，基于上限的上限来优化这种权衡。然后，我们建议并实施一种基于统计启发式的自适应分布式SGD的算法。我们的结果表明，与非自适应实现相比，分布式SGD的自适应版本可以在更少的时间内达到较低的误差值。此外，结果还表明，自适应版本是沟通效率的，其中主人与工人之间所需的通信量小于非自适应版本的沟通量。

深度神经网络（DNN）已被广泛使用，并在计算机视觉和自动导航领域起着重要作用。但是，这些DNN在计算上是复杂的，并且在没有其他优化和自定义的情况下，它们在资源受限平台上的部署很困难。在本手稿中，我们描述了DNN体系结构的概述，并提出了降低计算复杂性的方法，以加速培训和推理速度，以使其适合具有低计算资源的边缘计算平台。

已经提出了高效和自适应计算机视觉系统以使计算机视觉任务，例如图像分类和对象检测，针对嵌入或移动设备进行了优化。这些解决方案最近的起源，专注于通过设计具有近似旋钮的自适应系统来优化模型（深神经网络，DNN）或系统。尽管最近的几项努力，但我们表明现有解决方案遭受了两个主要缺点。首先，系统不考虑模型的能量消耗，同时在制定要运行的模型的决定时。其次，由于其他共同居民工作负载，评估不考虑设备上的争用的实际情况。在这项工作中，我们提出了一种高效和自适应的视频对象检测系统，这是联合优化的精度，能量效率和延迟。底层Virtuoso是一个多分支执行内核，它能够在精度 - 能量 - 延迟轴上的不同运行点处运行，以及轻量级运行时调度程序，以选择最佳的执行分支以满足用户要求。要与Virtuoso相当比较，我们基准于15件最先进的或广泛使用的协议，包括更快的R-CNN（FRCNN），YOLO V3，SSD，培训台，SELSA，MEGA，REPP，FastAdapt和我们的内部FRCNN +，YOLO +，SSD +和高效+（我们的变体具有增强的手机效率）的自适应变体。通过这种全面的基准，Virtuoso对所有上述协议显示出优势，在NVIDIA Jetson Mobile GPU上的每一项效率水平上引领精度边界。具体而言，Virtuoso的准确性为63.9％，比一些流行的物体检测模型高于10％，51.1％，yolo为49.5％。

具有早期退出机制的最先进的神经网络通常需要大量的培训和微调，以通过低计算成本来实现良好的性能。我们提出了一种新颖的早期出口技术，基于样本的类手段，提前出口课程（E $^2 $ cm）。与大多数现有方案不同，E $^2 $ cm不需要基于梯度的内部分类器培训，并且不会通过任何方式修改基本网络。这使其对于低功率设备的神经网络培训特别有用，如无线边缘网络。我们评估了E $^2 $ cm的性能和间接费用，例如MobileNetV3，EdgisterNet，Resnet和数据集，例如CIFAR-100，Imagenet和KMNIST。我们的结果表明，鉴于固定的培训时间预算，与现有的早期退出机制相比，E $^2 $ cm的准确性更高。此外，如果培训时间预算没有限制，则可以将E $^2 $ cm与现有的早期退出计划相结合，以提高后者的性能，从而在计算成本和网络准确性之间取得更好的权衡。我们还表明，E $^2 $ cm可用于降低无监督学习任务中的计算成本。