In this paper, a Kinect-based distributed and real-time motion capture system is developed. A trigonometric method is applied to calculate the relative position of Kinect v2 sensors with a calibration wand and register the sensors' positions automatically. By combining results from multiple sensors with a nonlinear least square method, the accuracy of the motion capture is optimized. Moreover, to exclude inaccurate results from sensors, a computational geometry is applied in the occlusion approach, which discovers occluded joint data. The synchronization approach is based on an NTP protocol that synchronizes the time between the clocks of a server and clients dynamically, ensuring that the proposed system is a real-time system. Experiments for validating the proposed system are conducted from the perspective of calibration, occlusion, accuracy, and efficiency. Furthermore, to demonstrate the practical performance of our system, a comparison of previously developed motion capture systems (the linear trilateration approach and the geometric trilateration approach) with the benchmark OptiTrack system is conducted, therein showing that the accuracy of our proposed system is $38.3\%$ and 24.1% better than the two aforementioned trilateration systems, respectively.
translated by 谷歌翻译
This paper proposes a novel application system for the generation of three-dimensional (3D) character animation driven by markerless human body motion capturing. The entire pipeline of the system consists of five stages: 1) the capturing of motion data using multiple cameras, 2) detection of the two-dimensional (2D) human body joints, 3) estimation of the 3D joints, 4) calculation of bone transformation matrices, and 5) generation of character animation. The main objective of this study is to generate a 3D skeleton and animation for 3D characters using multi-view images captured by ordinary cameras. The computational complexity of the 3D skeleton reconstruction based on 3D vision has been reduced as needed to achieve frame-by-frame motion capturing. The experimental results reveal that our system can effectively and efficiently capture human actions and use them to animate 3D cartoon characters in real-time.
translated by 谷歌翻译
由于它们过去证明的准确性较低,因此对3D摄像机进行步态分析的使用受到了高度质疑。本文介绍的研究的目的是提高机器人安装在人体步态分析中的估计的准确性,通过应用监督的学习阶段。 3D摄像头安装在移动机器人中,以获得更长的步行距离。这项研究表明,通过使用从认证的Vicon系统获得的数据训练的人工神经网络对相机的原始估计进行后处理,从而改善了运动步态信号和步态描述符的检测。为此,招募了37名健康参与者,并使用ORBBEC ASTRA 3D摄像头收集了207个步态序列的数据。有两种基本的训练方法:使用运动学步态信号并使用步态描述符。前者试图通过减少误差并增加相对于Vicon系统的相关性来改善运动步态信号的波形。第二个是一种更直接的方法,专注于直接使用步态描述符训练人工神经网络。在训练之前和之后测量了3D摄像头的精度。在两种训练方法中,都观察到了改进。运动步态信号显示出较低的错误和相对于地面真理的较高相关性。检测步态描述符的系统的准确性也显示出很大的改进,主要是运动学描述符,而不是时空。在比较两种训练方法时,不可能定义哪个是绝对最好的。因此,我们认为,培训方法的选择将取决于要进行的研究的目的。这项研究揭示了3D摄像机的巨大潜力,并鼓励研究界继续探索他们在步态分析中的使用。
translated by 谷歌翻译
位置敏感探测器(PSDS)提供了高精度跟踪单个活动标记的两个(或三个)自由(DOF)位置,同时具有高更新频率和低延迟的快速响应时间,所有使用非常简单的信号处理电路。然而,由于缺乏方向测量,有限的跟踪范围和对环境变化的敏感性,它们并不特别适用于6-DOF对象姿势跟踪系统。我们提出了一种新颖的6-DOF姿势跟踪系统,用于需要单个有效标记的刚性物体跟踪。所提出的系统使用立体声的PSD对和多个惯性测量单元(IMU)。这是基于实用的方法来识别和控制红外发光二极管(IR-LED)有源标记的功率,目的是增加跟踪工作空间并降低功耗。我们所提出的跟踪系统用三种不同的工作空间尺寸验证,使用具有三种不同动态运动模式的机器人臂操纵器进行静态和动态位置精度。结果表明,静态位置根均方(RMS)误差为0.6mm。动态位置rms误差为0.7-0.9mm。方向rms误差在不同动态运动时的0.04和0.9度之间。总的来说,我们所提出的跟踪系统能够在工作空间的中间范围和实验室设置下的所有工作空间的子度准确度下跟踪刚性物体姿势。
translated by 谷歌翻译
使用增强现实(AR)用于导航目的,这表明在手术手术过程中协助医生有益。这些应用通常需要知道外科手术工具和患者的姿势,以提供外科医生在任务执行过程中可以使用的视觉信息。现有的医学级跟踪系统使用放置在手术室内的红外摄像头(OR)来识别感兴趣的对象附加并计算其姿势的复古反射标记。一些市售的AR头式显示器(HMD)使用类似的摄像头进行自定位,手动跟踪和估算对象的深度。这项工作提出了一个使用AR HMD的内置摄像机来准确跟踪复古反射标记的框架,例如在手术过程中使用的标记,而无需集成任何其他组件。该框架还能够同时跟踪多个工具。我们的结果表明,横向翻译的准确度为0.09 +-0.06毫米,可以实现标记的跟踪和检测,纵向翻译的0.42 +-0.32 mm,绕垂直轴旋转的0.80 +-0.39 ver。此外,为了展示所提出的框架的相关性,我们在手术程序的背景下评估了系统的性能。该用例旨在在骨科过程中复制K-Wire插入的场景。为了进行评估,为两名外科医生和一名生物医学研究人员提供了视觉导航,每次都进行了21次注射。该用例的结果提供了与基于AR的导航程序报告的相当精度。
translated by 谷歌翻译
人体步态是指不仅代表活动能力的每日运动,而且还可以用人类观察者或计算机来识别步行者。最近的研究表明,步态甚至传达了有关沃克情绪的信息。不同情绪状态中的个体可能显示出不同的步态模式。各种情绪和步态模式之间的映射为自动情绪识别提供了新的来源。与传统的情绪检测生物识别技术(例如面部表达,言语和生理参数)相比,步态是可以观察到的,更难以模仿,并且需要从该主题中进行较少的合作。这些优势使步态成为情感检测的有前途的来源。本文回顾了有关基于步态的情绪检测的当前研究,尤其是关于步态参数如何受到不同情绪状态的影响以及如何通过不同的步态模式识别情绪状态的研究。我们专注于情感识别过程中应用的详细方法和技术:数据收集,预处理和分类。最后,我们讨论了使用智能计算和大数据的最先进技术的状态来讨论高效有效的基于步态的情感识别的可能发展。
translated by 谷歌翻译
估计六级自由人体姿势的系统已有二十年多了。诸如运动捕获摄像机,高级游戏外围设备以及最近的深度学习技术和虚拟现实系统等技术都显示出令人印象深刻的结果。但是,大多数提供高精度和高精度的系统都是昂贵的,并且不容易操作。最近,已经进行了研究以使用HTC Vive虚拟现实系统估算人体姿势。该系统显示出准确的结果,同时将成本保持在1000美元以下。该系统使用光学方法。通过在接收器硬件上使用照片二极管来跟踪两个发射器设备发射红外脉冲和激光平面。以前开发了使用这些发射器设备与低成本定制接收器硬件结合使用的系统,但需要手动测量发射机设备的位置和方向。这些手动测量可能很耗时,容易出错,并且在特定设置中不可能。我们提出了一种算法,以使用自定义接收器/校准硬件的任何选择的环境中自动校准发射机设备的姿势。结果表明,校准在各种设置中起作用,同时比手动测量所允许的更准确。此外,校准运动和速度对结果的精度没有明显的影响。
translated by 谷歌翻译
安装在微空中车辆(MAV)上的地面穿透雷达是有助于协助人道主义陆地间隙的工具。然而,合成孔径雷达图像的质量取决于雷达天线的准确和精确运动估计以及与MAV产生信息性的观点。本文介绍了一个完整的自动空气缩进的合成孔径雷达(GPSAR)系统。该系统由空间校准和时间上同步的工业级传感器套件组成,使得在地面上方,雷达成像和光学成像。自定义任务规划框架允许在地上控制地上的Stripmap和圆形(GPSAR)轨迹的生成和自动执行,以及空中成像调查飞行。基于因子图基于Dual接收机实时运动(RTK)全局导航卫星系统(GNSS)和惯性测量单元(IMU)的测量值,以获得精确,高速平台位置和方向。地面真理实验表明,传感器时机为0.8美元,正如0.1美元的那样,定位率为1 kHz。与具有不确定标题初始化的单个位置因子相比,双位置因子配方可提高高达40%,批量定位精度高达59%。我们的现场试验验证了本地化准确性和精度,使得能够相干雷达测量和检测在沙子中埋入的雷达目标。这验证了作为鸟瞰着地图检测系统的潜力。
translated by 谷歌翻译
低成本毫米波(MMWAVE)通信和雷达设备的商业可用性开始提高消费市场中这种技术的渗透,为第五代(5G)的大规模和致密的部署铺平了道路(5G) - 而且以及6G网络。同时,普遍存在MMWAVE访问将使设备定位和无设备的感测,以前所未有的精度,特别是对于Sub-6 GHz商业级设备。本文使用MMWAVE通信和雷达设备在基于设备的定位和无设备感应中进行了现有技术的调查,重点是室内部署。我们首先概述关于MMWAVE信号传播和系统设计的关键概念。然后,我们提供了MMWaves启用的本地化和感应方法和算法的详细说明。我们考虑了在我们的分析中的几个方面,包括每个工作的主要目标,技术和性能,每个研究是否达到了一定程度的实现,并且该硬件平台用于此目的。我们通过讨论消费者级设备的更好算法,密集部署的数据融合方法以及机器学习方法的受过教育应用是有前途,相关和及时的研究方向的结论。
translated by 谷歌翻译
3D姿势估计对于分析和改善人体机器人相互作用的人体工程学和降低肌肉骨骼疾病的风险很重要。基于视觉的姿势估计方法容易出现传感器和模型误差以及遮挡,而姿势估计仅来自相互作用的机器人的轨迹,却遭受了模棱两可的解决方案。为了从两种方法的优势中受益并改善了它们的弊端,我们引入了低成本,非侵入性和遮挡刺激性多感应3D姿势估计算法中的物理人类手机相互作用。我们在单个相机上使用openpose的2D姿势,以及人类执行任务时相互作用的机器人的轨迹。我们将问题建模为部分观察的动力学系统,并通过粒子滤波器推断3D姿势。我们介绍了远程操作的工作,但可以将其推广到其他人类机器人互动的其他应用。我们表明,我们的多感官系统比仅使用机器人的轨迹仅使用openpose或姿势估计的姿势估计来更好地解决人运动冗余。与金标准运动捕获姿势相比,这将提高估计姿势的准确性。此外,当使用Rula评估工具进行姿势评估时,我们的方法也比其他单一感觉方法更好。
translated by 谷歌翻译
我们引入了一种新型技术和相关的高分辨率数据集,旨在精确评估基于无线信号的室内定位算法。该技术实现了基于增强的现实(AR)定位系统,该系统用于注释具有高精度位置数据的无线信号参数数据样本。我们在装饰有AR标记的区域中跟踪实用且低成本的可导航相机设置和蓝牙低能(BLE)信标的位置。我们通过使用冗余数字标记来最大程度地提高基于AR的本地化的性能。相机捕获的视频流经过一系列标记识别,子集选择和过滤操作,以产生高度精确的姿势估计。我们的结果表明,我们可以将AR定位系统的位置误差降低到0.05米以下的速率。然后,将位置数据用于注释BLE数据,这些数据由驻扎在环境中的传感器同时捕获,因此,构建具有接地真相的无线信号数据集,该数据集允许准确评估基于无线信号的本地化系统。
translated by 谷歌翻译
社会偏移和温度筛选已被广泛用于抵消Covid-19大流行,从全世界的学术界,工业和公共主管部门引发极大的兴趣。虽然大多数解决方案分别处理了这些方面,但它们的组合将极大地利用对公共空间的持续监测,并有助于触发有效的对策。这项工作介绍了毫米杀虫雷达和红外成像传感系统,在室内空间中进行了不引人注目的和隐私,在室内空间中进行了不显眼和隐私。 Millitrace-IR通过强大的传感器融合方法,MM波雷达和红外热摄像机结合。它通过在热摄像机图像平面和雷达参考系统中的人体运动中共同跟踪受试者的面,实现了偏移和体温的完全自动测量。此外,毫米itrace-IR执行接触跟踪:热相机传感器可靠地检测体温高的人,随后通过雷达以非侵入方式追踪大型室内区域。进入新房间时,通过深神经网络从雷达反射计算与雷达反射的步态相关的特征,并使用加权的极端学习机作为最终重新识别工具,在其他人之间重新识别一个主题。从实际实施中获得的实验结果,从毫米 - IR的实际实施中展示了距离/轨迹估计的排入量级精度,个人间距离估计(对受试者接近0.2米的受试者有效),以及精确的温度监测(最大误差0.5 {\ deg} c)。此外,毫米itrace-IR通过高精度(95%)的人重新识别,在不到20秒内提供接触跟踪。
translated by 谷歌翻译
在本文中,我们推导了机器人来测量相对方向或到达角度(AOA)的新能力,以在非视线和未映射的环境中运行的其他机器人,而无需外部基础架构。我们通过捕获WiFi信号在从发送到接收机器人时遍历的所有路径来这样做,这是我们术语AOA简档。当机器人在3D空间中移动时,关键直觉是“在空中模拟空气中的天线阵列”,一种类似于合成孔径雷达(SAR)的方法。主要贡献包括i)一个框架,以适应任意3D轨迹的框架,以及所有机器人的持续移动性,而计算AOA配置文件和II)随附的分析,其提供了作为机器人轨迹的函数的AOA估计方差的较低限制基于Cramer Rao绑定的几何。这是一个关键的区别与先前的SAR的工作,限制机器人移动到规定的运动模式,不概括到3D空间,和/或在数据采集时段期间需要将机器人发送到静态。我们的方法导致更准确的AOA配置文件,从而更好地估计,并正式地将该观察表征为轨迹的信息性;我们推导出封闭形式的可计算量。所有理论发展都是通过广泛的模拟和硬件实验证实的。我们还表明,我们的配方可以与现成的轨迹估计传感器一起使用。最后,我们展示了我们系统对多机器人动态集合任务的表现。
translated by 谷歌翻译
视觉的触觉传感器由于经济实惠的高分辨率摄像机和成功的计算机视觉技术而被出现为机器人触摸的有希望的方法。但是,它们的物理设计和他们提供的信息尚不符合真实应用的要求。我们提供了一种名为Insight的强大,柔软,低成本,视觉拇指大小的3D触觉传感器:它不断在其整个圆锥形感测表面上提供定向力分布图。围绕内部单眼相机构造,传感器仅在刚性框架上仅成型一层弹性体,以保证灵敏度,鲁棒性和软接触。此外,Insight是第一个使用准直器将光度立体声和结构光混合的系统来检测其易于更换柔性外壳的3D变形。通过将图像映射到3D接触力的空间分布(正常和剪切)的深神经网络推断力信息。洞察力在0.4毫米的总空间分辨率,力量幅度精度约为0.03 n,并且对于具有不同接触面积的多个不同触点,在0.03-2 n的范围内的5度大约5度的力方向精度。呈现的硬件和软件设计概念可以转移到各种机器人部件。
translated by 谷歌翻译
由于扭曲钻的结构复杂,因此对于其同轴误差测量是艰难和挑战的。本文提出了一种新颖的扭转钻头同轴误差测量的新机理,框架和方法。该机构包括编码器,PLC控制器,线结构传感器和高精度转盘。首先,当钻头转动PLC的控制时,通过线结构光传感器收集扭转钻头的轮廓点云数据。其次,研究了基于GMM的基于GMM的基于GMM的点云分割算法,基于局部深度特征来提取刀片背面数据。为了提高测量精度,设计统计滤波器以在目标区域提取期间去除异常值。然后,根据同轴性误差的两个特征,提出了一种基于轴对称轮廓差异的正交合成的轴重建方法,便于预先定位钻轴的最大偏差横截面。最后,通过在预先定位的最大偏差位置拟合基准轴和轴来测量同轴误差。最后,进行了大量实验,并表明我们的方法是准确性和鲁棒性。
translated by 谷歌翻译
在这项工作中,我们通过混合现实(MR)应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统,包括:在商业头部安装显示器(HMD)上进行自定义MR视频通行证实现,我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构,以交流使用HMD分割服务器。为了验证这项技术,我们设计了一种身临其境的VR体验,用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的:虚拟手,带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知,这是首次旨在评估基于视频的自我avatar的用户研究,以代表用户在MR场景中。结果表明,不同身体表示在存在方面没有显着差异,虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明,就整个身体感知和整体分割质量而言,深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论,以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界,因此在达到成熟之前仍有改进的空间。但是,该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
几十年来,机器人和手眼校准都一直是研究的目的。尽管当前方法能够精确,可靠地识别机器人运动模型的参数,但它们仍然依赖于外部设备,例如校准对象,标记和/或外部传感器。本文没有试图将记录的测量结果适合已知对象的模型,而是将机器人校准视为离线大满贯问题,其中扫描姿势通过移动的运动学链将扫描姿势链接到空间中的固定点。因此,提出的框架允许使用任意眼睛深度传感器的机器人校准,从而无需任何外部工具就可以实现完全自主的自主校准。我的新方法是利用迭代最接近点算法的修改版本来运行多个3D记录的捆绑调整,以估计运动模型的最佳参数。对系统的详细评估显示在带有各种附着的3D传感器的真实机器人上。提出的结果表明,该系统以其成本的一小部分达到了与专用外部跟踪系统相当的精度。
translated by 谷歌翻译
可靠地定量自然和人为气体释放(例如,从海底进入海洋的自然和人为气体释放(例如,Co $ _2 $,甲烷),最终是大气,是一个具有挑战性的任务。虽然船舶的回声探测器允许在水中检测水中的自由气,但是即使从较大的距离中,精确量化需要诸如未获得的升高速度和气泡尺寸分布的参数。光学方法的意义上是互补的,即它们可以提供从近距离的单个气泡或气泡流的高时和空间分辨率。在这一贡献中,我们介绍了一种完整的仪器和评估方法,用于光学气泡流特征。专用仪器采用高速深海立体声摄像机系统,可在部署在渗透网站以进行以后的自动分析时录制泡泡图像的Tbleabytes。对于几分钟的短序列可以获得泡特性,然后将仪器迁移到其他位置,或者以自主间隔模式迁移到几天内,以捕获由于电流和压力变化和潮汐循环引起的变化。除了报告泡沫特征的步骤旁边,我们仔细评估了可达准确性并提出了一种新颖的校准程序,因为由于缺乏点对应,仅使用气泡的剪影。该系统已成功运营,在太平洋高达1000万水深,以评估甲烷通量。除了样品结果外,我们还会报告在开发期间汲取的故障案例和经验教训。
translated by 谷歌翻译
人类身份是对日常生活中许多应用的关键要求,例如个性化服务,自动监视,连续身份验证和大流行期间的接触跟踪等。这项工作研究了跨模式人类重新识别(REID)的问题,对跨摄像机允许区域(例如街道)和摄像头限制区域(例如办公室)的常规人类运动的反应。通过利用新出现的低成本RGB-D摄像机和MMWave雷达,我们提出了同时跨模式多人REID的首个视觉RF系统。首先,为了解决基本模式间差异,我们提出了一种基于人体观察到的镜面反射模型的新型签名合成算法。其次,引入了有效的跨模式深度度量学习模型,以应对在雷达和相机之间由非同步数据引起的干扰。通过在室内和室外环境中进行的广泛实验,我们证明了我们所提出的系统能够达到约92.5%的TOP-1准确性,而在56名志愿者中,〜97.5%的前5位精度。我们还表明,即使传感器的视野中存在多个主题,我们提出的系统也能够重新识别受试者。
translated by 谷歌翻译
本文介绍了多传感器用户界面的开发,以促进电弧焊接任务的指导。获得手眼协调能力的传统方法通常是通过一对一的指导来进行的,学员必须戴着保护头盔并进行多项测试。这种方法效率低下,因为电弧从电弧发出的有害光阻止了对过程的密切监测。从业者只能观察到一个小的亮点。为了解决这些问题,最近的培训方法利用虚拟现实来安全地模拟该过程并可视化工件的几何形状。但是,这些类型的仿真平台的合成性质降低了它们的有效性,因为它们无法构成与环境的实际焊接相互作用,从而阻碍了受训者的学习过程。为了为用户提供真正的焊接体验,我们开发了一个新的多传感器扩展现实平台,用于弧焊接训练。我们的系统由:(1)HDR摄像头,实时监视真实的焊接位; (2)深度传感器,捕获场景的3D几何形状; (3)头部安装的VR显示屏,可以安全地可视化过程。我们的创新平台为用户提供了“机器人培训师”,接缝几何形状的虚拟提示,自动点跟踪和性能得分。为了验证平台的可行性,我们通过几项焊接培训任务进行了广泛的实验。我们表明,与传统的培训实践和最近的虚拟现实方法相比,我们的自动多传感器方法在准确性,学习曲线和有效性方面取得了更好的性能。
translated by 谷歌翻译