每天,越来越多的人正在转向在线学习,这改变了我们的传统课堂方法。录音讲座一直是在线教育者的正常任务,并且在疫情中最近变得更加重要,因为实际的课程仍在推迟在几个国家。录制讲座时,由于其与计算机接口的便携性和能力,图形平板电脑是一个很大的白板替代白板。然而,这种图形平板电脑对于大多数教师来说太昂贵了。在本文中,我们向教师和教育工作者提出了一种基于计算机视觉的图形平板电脑,这主要以与图形平板电脑相同的方式,而只是需要笔,纸张和笔记本电脑的网络摄像头。我们称之为“自己为自己的图形标签”或“DIY图形选项卡”。我们的系统在由摄像机获取的纸上收到一系列人员写作作为输入的纸张,并输出包含纸张写入内容的屏幕。由于人的手,由于人的手,随机运动,纸张,照明条件不佳,由于视角,透视失真等诸如遮挡等许多障碍物而言。一种管道通过我们的系统,在生成适当的输出之前,进行实例分段和预处理。我们还从教师和学生进行了用户体验评估,并在本文中审查了他们的回复。
translated by 谷歌翻译
近年来,虚拟学习已成为传统课堂教学的替代方法。学生参与虚拟学习可能会对满足学习目标和计划辍学风险产生重大影响。在虚拟学习环境中,有许多专门针对学生参与度(SE)的测量工具。在这项关键综述中,我们分析了这些作品,并从不同的参与定义和测量量表上突出了不一致之处。现有研究人员之间的这种多样性在比较不同的注释和构建可推广的预测模型时可能会出现问题。我们进一步讨论了有关参与注释和设计缺陷的问题。我们根据我们定义的七个参与注释的七个维度分析现有的SE注释量表,包括来源,用于注释的数据模式,注释发生的时间,注释发生的时间段,抽象,组合和组合水平的时间段,定量。令人惊讶的发现之一是,在SE测量中,很少有审查的数据集使用了现有的精神法法学验证量表中的注释中。最后,我们讨论了除虚拟学习以外的其他一些范围,这些量表具有用于测量虚拟学习中SE的潜力。
translated by 谷歌翻译
折射率是最常见的眼睛障碍,是可更正视觉障碍的关键原因,造成了美国近80%的视觉障碍。可以使用多种方法诊断折射误差,包括主观折射,视网膜镜检查和自动磨蚀器。尽管主观折射是黄金标准,但它需要患者的合作,因此不适合婴儿,幼儿和发育迟缓的成年人。视网膜镜检查是一种客观折射方法,不需要患者的任何输入。但是,视网膜镜检查需要镜头套件和训练有素的检查员,这限制了其用于大规模筛查的使用。在这项工作中,我们通过将智能手机连接到视网膜镜和录制视网膜镜视频与患者戴着定制的纸框架来自动化自动化。我们开发了一个视频处理管道,该管道将视网膜视频视为输入,并根据我们提出的视网膜镜检查数学模型的扩展来估算净屈光度错误。我们的系统减轻了对镜头套件的需求,可以由未经培训的检查员进行。在一项185只眼睛的临床试验中,我们的灵敏度为91.0%,特异性为74.0%。此外,与主观折射测量相比,我们方法的平均绝对误差为0.75 $ \ pm $ 0.67D。我们的结果表明,我们的方法有可能用作现实世界中医疗设置中的基于视网膜镜检查的折射率筛选工具。
translated by 谷歌翻译
技术的改进与时间和时间相关的问题线性相关。已经看到,随着时间的推移,人类面临的问题数量也会增加。然而,解决这些问题的技术也往往会改善。最早的现有问题之一开始于车辆的发明内容是停车位。多年来,使用技术的易于解决这个问题已经发展,但停车问题仍然仍未解决。这背后的主要原因是停车不仅涉及一个问题,而且它包括一系列问题。其中一个问题是分布式停车生态系统中停车槽的占用检测。在分布式系统中,用户将找到优选的停车位,而不是随机停车位。在本文中,我们将基于Web的应用提出了一种用于在不同停车位停车空间检测的解决方案。该解决方案基于计算机视觉(CV),并使用Python 3.0中编写的Django框架构建。解决方案用于解决占用检测问题以及提供用户基于可用性和偏好确定块的选项。我们提出的系统的评估结果是有前途和有效的。所提出的系统也可以与不同的系统集成,并用于解决其他相关停车问题。
translated by 谷歌翻译
研究的目的:在生物社区,可见人类的特征是普遍和可行的验证和识别移动设备上。然而,驾驶员能够通过创造假人和人工生物识别来欺骗系统来欺骗这些特征。可见的生物识别系统遭遇了呈现攻击的高安全性风险。方法:在此期间,基于挑战的方法,特别是视线跟踪和瞳孔动态似乎比别人接触生物系统更加安全的方法。我们审查了探索凝视跟踪和瞳孔动态活力检测的现有工作。主要结果:本研究分析了视线跟踪和瞳孔动态演示攻击的各个方面,如国家的最先进的活跃度检测算法,各种文物,公共数据库的可访问性和标准化的在这方面的总结。此外,我们讨论了未来的工作和开放挑战,以基于基于挑战的系统创造安全的活力检测。
translated by 谷歌翻译
在这项工作中,我们通过混合现实(MR)应用中的视频传球来探讨自幻想的创建。我们介绍了我们的端到端系统,包括:在商业头部安装显示器(HMD)上进行自定义MR视频通行证实现,我们基于深度学习的实时egpocentric身体细分算法以及我们优化的卸载体系结构,以交流使用HMD分割服务器。为了验证这项技术,我们设计了一种身临其境的VR体验,用户必须在活跃的火山火山口中穿过狭窄的瓷砖路径。这项研究是在三个身体表示条件下进行的:虚拟手,带有颜色的全身分割的视频传递以及深度学习全身分割的视频通行。这种身临其境的经历由30名女性和28名男性进行。据我们所知,这是首次旨在评估基于视频的自我avatar的用户研究,以代表用户在MR场景中。结果表明,不同身体表示在存在方面没有显着差异,虚拟手和全身表示之间的某些实施方案中等改善。视觉质量结果表明,就整个身体感知和整体分割质量而言,深入学习算法的结果更好。我们提供了一些关于使用基于视频的自我幻想的讨论,以及对评估方法的一些思考。提出的E2E解决方案处于最新技术状态的边界,因此在达到成熟之前仍有改进的空间。但是,该溶液是新型MR分布式溶液的关键起点。
translated by 谷歌翻译
由于Covid-19的大流行,许多大学课程不得不突然转变以实现远程教学。在嵌入式系统和微控制器上调整课程是非常具有挑战性的,因为与真实硬件的互动是它们不可或缺的一部分。我们首先将我们的经验与教学嵌入式系统的四个基本替代方案进行比较:1)在学校与硬件进行交互,2)远程访问硬件,3)向学生借给学生进行家庭工作和4)虚拟化硬件。之后,我们详细评估了我们从传统的离线户外硬件编程课程到使用实验室中存在的真实硬件的快速过渡的经验。事实证明,这种不寻常的远程硬件访问方法是教授嵌入式系统的完全可行的替代方法,从而实现了相对较低的过渡。我们的设置基于现有的解决方案和稳定的开放技术,而无需使用需要高维护的定制应用程序。我们评估了学生和老师的经验,并评估了未来课程的凝结外卖。特定的环境设置可在线获得,作为他人的灵感。
translated by 谷歌翻译
眼目光分析是计算机视觉和人类计算机相互作用领域的重要研究问题。即使在过去十年中取得了显着进展,由于眼睛外观,眼头相互作用,遮挡,图像质量和照明条件的独特性,自动凝视分析仍然具有挑战性。有几个开放的问题,包括在没有先验知识的情况下,在不受限制的环境中解释凝视方向的重要提示以及如何实时编码它们。我们回顾了一系列目光分析任务和应用程序的进展,以阐明这些基本问题,确定凝视分析中的有效方法并提供可能的未来方向。我们根据其优势和报告的评估指标分析了最近的凝视估计和分割方法,尤其是在无监督和弱监督的领域中。我们的分析表明,强大而通用的凝视分析方法的开发仍然需要解决现实世界中的挑战,例如不受限制的设置和学习,并减少了监督。最后,我们讨论了设计现实的目光分析系统的未来研究方向,该系统可以传播到其他领域,包括计算机视觉,增强现实(AR),虚拟现实(VR)和人类计算机交互(HCI)。项目页面:https://github.com/i-am-shreya/eyegazesurvey} {https://github.com/i-am-shreya/eyegazesurvey
translated by 谷歌翻译
由于COVID-19,许多学校通过视频会议软件在线考试已经采用了许多学校。虽然方便,但教师要同时显示的学生变焦窗口监督在线考试是具有挑战性的。在本文中,我们提出了IEXAM,这是一种智能的在线考试监测和分析系统,不仅可以使用面部检测来帮助监护人实时学生识别,而且还可以检测到常见的异常行为(包括面部消失,旋转的面部,旋转的面部,旋转,,旋转,并在考试期间用另一个人替换)通过基于面部识别后的外观后视频分析。为了建立这样的新型系统,我们克服了三个挑战。首先,我们发现了一种轻巧的方法来捕获考试视频流并实时分析它们。其次,我们利用每个学生的变焦窗口上显示的左角名称,并提出了改进的OCR(光学角色识别)技术来自动收集具有动态位置的学生面孔的地面真相。第三,我们进行了几次实验比较和优化,以有效缩短教师PC所需的训练时间和测试时间。我们的评估表明,IEXAM可以实现高精度,实时面部检测为90.4%,后验后面部识别率为98.4%,同时保持可接受的运行时性能。我们已经在https://github.com/vprlab/iexam上提供了IEXAM的源代码。
translated by 谷歌翻译
Hololens(Microsoft Corp.,WA Redmond,WA)是一款头饰,光学透明的增强现实展示,是最近提高医学增强现实研究的主要参与者。在医疗环境中,HoloLens使医生能够立即了解患者信息,直接与他们对临床方案的看法,医学生,可以更好地了解复杂的解剖学或程序,甚至可以通过执行治疗任务。改进,沉浸式指导。在这篇系统的综述中,我们提供了有关医疗领域第一代霍洛伦斯在2016年3月发布到2021年的全面使用的全面概述,一直关注其继任者霍洛伦斯2号。通过系统搜索PubMed和Scopus数据库确定了171个相关出版物。我们分析了这些出版物的预期用例,注册和跟踪的技术方法,数据源,可视化以及验证和评估。我们发现,尽管已经显示出在各种医学场景中使用Hololens的可行性,但在精确,可靠性,可用性,工作流程和感知方面的努力增加了在临床实践中建立AR。
translated by 谷歌翻译
Video, as a key driver in the global explosion of digital information, can create tremendous benefits for human society. Governments and enterprises are deploying innumerable cameras for a variety of applications, e.g., law enforcement, emergency management, traffic control, and security surveillance, all facilitated by video analytics (VA). This trend is spurred by the rapid advancement of deep learning (DL), which enables more precise models for object classification, detection, and tracking. Meanwhile, with the proliferation of Internet-connected devices, massive amounts of data are generated daily, overwhelming the cloud. Edge computing, an emerging paradigm that moves workloads and services from the network core to the network edge, has been widely recognized as a promising solution. The resulting new intersection, edge video analytics (EVA), begins to attract widespread attention. Nevertheless, only a few loosely-related surveys exist on this topic. A dedicated venue for collecting and summarizing the latest advances of EVA is highly desired by the community. Besides, the basic concepts of EVA (e.g., definition, architectures, etc.) are ambiguous and neglected by these surveys due to the rapid development of this domain. A thorough clarification is needed to facilitate a consensus on these concepts. To fill in these gaps, we conduct a comprehensive survey of the recent efforts on EVA. In this paper, we first review the fundamentals of edge computing, followed by an overview of VA. The EVA system and its enabling techniques are discussed next. In addition, we introduce prevalent frameworks and datasets to aid future researchers in the development of EVA systems. Finally, we discuss existing challenges and foresee future research directions. We believe this survey will help readers comprehend the relationship between VA and edge computing, and spark new ideas on EVA.
translated by 谷歌翻译
从多个相机角度捕获事件可以为观众提供该事件最完整,最有趣的图片。为了适合广播,人类导演需要决定在每个时间点显示什么。随着摄像头的数量,这可能会变得笨拙。全向或广角摄像机的引入使事件更加完整地捕获,这使导演更加困难。在本文中,提出了一个系统,即鉴于事件的多个超高分辨率视频流,可以生成视觉上令人愉悦的镜头序列,以遵循事件的相关动作。由于算法是通用的,因此可以应用于以人类为特征的大多数情况。当需要实时广播时,提出的方法允许在线处理,以及当优先级的相机操作质量时,离线处理。对象检测用于检测输入流中人类和其他感兴趣的对象。检测到的感兴趣的人以及基于电影惯例的一组规则,用于确定要显示哪个视频流以及该流的哪一部分实际上是构造的。用户可以提供许多确定这些规则如何解释的设置。该系统能够通过消除镜头扭曲来处理不同广角视频流的输入。对于多种不同的情况,使用用户研究表明,提议的自动导演能够以美学上令人愉悦的视频构图和类似人类的镜头切换行为来捕获事件。
translated by 谷歌翻译
在线众包平台使对算法输出进行评估变得容易,并提出诸如“哪个图像更好,A或B?”之类的问题的调查,在视觉和图形研究论文中的这些“用户研究”的扩散导致了增加匆忙进行的研究充其量是草率且无知的,并且可能有害和误导。我们认为,在计算机视觉和图形论文中的用户研究的设计和报告需要更多关注。为了提高从业者的知识并提高用户研究的可信度和可复制性,我们提供了用户体验研究(UXR),人类计算机互动(HCI)和相关领域的方法论的概述。我们讨论了目前在计算机视觉和图形研究中未利用的基础用户研究方法(例如,需要调查),但可以为研究项目提供宝贵的指导。我们为有兴趣探索其他UXR方法的读者提供了进一步的指导。最后,我们描述了研究界的更广泛的开放问题和建议。我们鼓励作者和审稿人都认识到,并非每项研究贡献都需要用户研究,而且根本没有研究比不小心进行的研究更好。
translated by 谷歌翻译
VirtualCube系统是一个尝试克服传统技术的一些限制的3D视频会议系统。关键的成分是VirtualCube,一种用RGBD摄像机录制的现实世界隔间的抽象表示,用于捕获用户的3D几何和纹理。我们设计VirtualCube,以便数据捕获的任务是标准化和显着简化的,并且所有内容都可以使用现成的硬件构建。我们将VirtualCubes用作虚拟会议环境的基本构建块,我们为每个VirtualCube用户提供一个周围的显示,显示远程参与者的寿命型视频。为了实现远程参与者的实时渲染,我们开发了V-Cube视图算法,它使用多视图立体声进行更精确的深度估计和Lumi-Net渲染,以便更好地渲染质量。 VirtualCube系统正确保留了参与者之间的相互眼睛凝视,使他们能够建立目光接触并意识到谁在视觉上关注它们。该系统还允许参与者与远程参与者具有侧面讨论,就像他们在同一个房间一样。最后,系统揭示了如何支持如何支持工作项的共享空间(例如,文档和应用程序),并跟踪参与者的视觉注意工作项目。
translated by 谷歌翻译
该研究使用数学建模和人类对象实验,探讨了新兴网络摄像头可能在多大程度上泄漏了可识别的文本和图形信息,从网络摄像头捕获的眼镜反射中闪闪发光。我们工作的主要目标是衡量,计算和预测随着网络摄像头技术在未来发展的可识别性因素,限制和阈值。我们的工作探索并表征了基于光学攻击的可行威胁模型,该模型使用视频帧序列上的多帧超级分辨率技术。我们在受控实验室设置中的模型和实验结果表明,可以重建和识别超过75%的屏幕文本,其高度高达10毫米,并使用720p网络摄像头进行重建和识别。我们进一步将此威胁模型应用于具有不同攻击者功能的Web文本内容,以找到可以识别文本的阈值。我们与20名参与者的用户研究表明,当今的720p网络摄像头足以让对手在大芬特网站上重建文本内容。我们的模型进一步表明,向4K摄像机的演变将使文本泄漏的阈值倾斜到流行网站上大多数标题文本的重建。除文本目标外,还针对具有720p网络摄像头的Alexa前100个网站的封闭世界数据集的案例研究显示,即使没有使用机器学习模型,也没有10个参与者的最高识别精度为94%。我们的研究提出了近期缓解,包括用户可以用来模糊视频流的眼镜区域的软件原型。对于可能的长期防御,我们主张采用个人反思测试程序来评估各种环境下的威胁,并证明遵循最少特权原则对隐私敏感的情况的重要性。
translated by 谷歌翻译
近期和快速转变为大流行迅速的数字学习,也受到数字工具和平台无处不在的可用性的影响,使数字学习更加接近。扩展数字学习和教学中最困难的部分中的一个积分和一个是能够评估学习者的知识和能力。教育者可以录制讲座或创造数字内容,可以传递到数千名学习者,但评估学习者是非常耗时的。在本文中,我们提出了基于人工智能(AI)的解决方案,即VidVersityQG,用于自动从预先记录的视频讲座产生问题。基于从视频推断的上下文和语义信息,该解决方案可以自动生成不同类型的评估问题(包括短答案,多项选择,真/假并填写空白问题)。所提出的解决方案采用以人为本的方法,其中教师提供了修改/编辑任何AI生成的问题的能力。这种方法鼓励教师参与教育的使用和实施教育。评估了基于AI的解决方案,以便通过我们的行业合作伙伴Vidversity提供给我们的多个域名的经验丰富的教学专业人员和117名教育视频的准确性。 VidVersityQG解决方案显示有希望自动从视频产生高质量问题,从而大大减少了在手动问题中为教育工作者的时间和精力。
translated by 谷歌翻译
The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.
translated by 谷歌翻译
我们提出了一种新的四管齐下的方法,在文献中首次建立消防员的情境意识。我们构建了一系列深度学习框架,彼此之叠,以提高消防员在紧急首次响应设置中进行的救援任务的安全性,效率和成功完成。首先,我们使用深度卷积神经网络(CNN)系统,以实时地分类和识别来自热图像的感兴趣对象。接下来,我们将此CNN框架扩展了对象检测,跟踪,分割与掩码RCNN框架,以及具有多模级自然语言处理(NLP)框架的场景描述。第三,我们建立了一个深入的Q学习的代理,免受压力引起的迷失方向和焦虑,能够根据现场消防环境中观察和存储的事实来制定明确的导航决策。最后,我们使用了一种低计算无监督的学习技术,称为张量分解,在实时对异常检测进行有意义的特征提取。通过这些临时深度学习结构,我们建立了人工智能系统的骨干,用于消防员的情境意识。要将设计的系统带入消防员的使用,我们设计了一种物理结构,其中处理后的结果被用作创建增强现实的投入,这是一个能够建议他们所在地的消防员和周围的关键特征,这对救援操作至关重要在手头,以及路径规划功能,充当虚拟指南,以帮助迷彩的第一个响应者恢复安全。当组合时,这四种方法呈现了一种新颖的信息理解,转移和综合方法,这可能会大大提高消防员响应和功效,并降低寿命损失。
translated by 谷歌翻译
自动检测飞行无人机是一个关键问题,其存在(特别是未经授权)可以造成风险的情况或损害安全性。在这里,我们设计和评估了多传感器无人机检测系统。结合常见的摄像机和麦克风传感器,我们探索了热红外摄像机的使用,指出是一种可行且有希望的解决方案,在相关文献中几乎没有解决。我们的解决方案还集成了鱼眼相机,以监视天空的更大部分,并将其他摄像机转向感兴趣的对象。传感溶液与ADS-B接收器,GPS接收器和雷达模块相辅相成,尽管由于其有限的检测范围,后者未包含在我们的最终部署中。即使此处使用的摄像机的分辨率较低,热摄像机也被证明是与摄像机一样好的可行解决方案。我们作品的另外两个新颖性是创建一个新的公共数据集的多传感器注释数据,该数据与现有的类别相比扩大了类的数量,以及对探测器性能的研究作为传感器到传感器的函数的研究目标距离。还探索了传感器融合,表明可以以这种方式使系统更强大,从而减轻对单个传感器的虚假检测
translated by 谷歌翻译
自动化驾驶系统(广告)开辟了汽车行业的新领域,为未来的运输提供了更高的效率和舒适体验的新可能性。然而,在恶劣天气条件下的自主驾驶已经存在,使自动车辆(AVS)长时间保持自主车辆(AVS)或更高的自主权。本文评估了天气在分析和统计方式中为广告传感器带来的影响和挑战,并对恶劣天气条件进行了解决方案。彻底报道了关于对每种天气的感知增强的最先进技术。外部辅助解决方案如V2X技术,当前可用的数据集,模拟器和天气腔室的实验设施中的天气条件覆盖范围明显。通过指出各种主要天气问题,自主驾驶场目前正在面临,近年来审查硬件和计算机科学解决方案,这项调查概述了在不利的天气驾驶条件方面的障碍和方向的障碍和方向。
translated by 谷歌翻译