傅立叶Ptychographic显微镜(FPM)是一种成像过程,它通过计算平均值克服了传统的传统显微镜空间带宽产品(SBP)的限制。它利用使用低数值孔径(NA)物镜捕获的多个图像,并通过频域缝线实现高分辨率相成像。现有的FPM重建方法可以广泛地分为两种方法:基于迭代优化的方法,这些方法基于正向成像模型的物理学以及通常采用馈送深度学习框架的数据驱动方法。我们提出了一个混合模型驱动的残留网络,该网络将远期成像系统的知识与深度数据驱动的网络相结合。我们提出的架构LWGNET将传统的电线流优化算法展开为一种新型的神经网络设计,该设计通过复杂的卷积块增强了梯度图像。与其他传统的展开技术不同,LWGNET在PAR上执行时使用的阶段较少,甚至比现有的传统和深度学习技术更好,尤其是对于低成本和低动态范围CMOS传感器。低位深度和低成本传感器的性能提高有可能显着降低FPM成像设置的成本。最后,我们在收集到的实际数据上显示出始终提高的性能。
translated by 谷歌翻译
Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
There is a global aging population requiring the need for the right tools that can enable older adults' greater independence and the ability to age at home, as well as assist healthcare workers. It is feasible to achieve this objective by building predictive models that assist healthcare workers in monitoring and analyzing older adults' behavioral, functional, and psychological data. To develop such models, a large amount of multimodal sensor data is typically required. In this paper, we propose MAISON, a scalable cloud-based platform of commercially available smart devices capable of collecting desired multimodal sensor data from older adults and patients living in their own homes. The MAISON platform is novel due to its ability to collect a greater variety of data modalities than the existing platforms, as well as its new features that result in seamless data collection and ease of use for older adults who may not be digitally literate. We demonstrated the feasibility of the MAISON platform with two older adults discharged home from a large rehabilitation center. The results indicate that the MAISON platform was able to collect and store sensor data in a cloud without functional glitches or performance degradation. This paper will also discuss the challenges faced during the development of the platform and data collection in the homes of older adults. MAISON is a novel platform designed to collect multimodal data and facilitate the development of predictive models for detecting key health indicators, including social isolation, depression, and functional decline, and is feasible to use with older adults in the community.
translated by 谷歌翻译
我们考虑无上行赠款非正交多访问(NOMA)中的多用户检测(MUD)问题,其中访问点必须确定活动互联网(IoT)设备的总数和正确的身份他们传输的数据。我们假设IoT设备使用复杂的扩散序列并以随机访问的方式传输信息,按照爆发 - 距离模型,其中一些物联网设备以高概率在多个相邻的时间插槽中传输其数据,而另一些物联网设备在帧中仅传输一次。利用时间相关性,我们提出了一个基于注意力的双向长期记忆(BILSTM)网络来解决泥浆问题。 Bilstm网络使用前向和反向通过LSTM创建设备激活历史记录的模式,而注意机制为设备激活点提供了基本背景。通过这样做,遵循了层次途径,以在无拨款方案中检测主动设备。然后,通过利用复杂的扩散序列,对估计的活动设备进行了盲数据检测。所提出的框架不需要对设备稀疏水平和执行泥浆的通道的先验知识。结果表明,与现有的基准方案相比,提议的网络的性能更好。
translated by 谷歌翻译
在手术室(OR)中,活动通常与其他典型的工作环境不同。特别是,外科医生经常受到多种心理组织的约束,可能会对他们的健康和表现造成负面影响。这通常归因于相关的认知工作量(CWL)的增加,该工作量是由于处理意外和重复性任务以及大量信息以及潜在风险的认知超载而导致的。在本文中,建议在多种四个不同的手术任务中对CWL的多模式识别提出了两种机器学习方法。首先,使用基于转移学习概念的模型来确定外科医生是否经历任何CWL。其次,卷积神经网络(CNN)使用此信息来识别与每个手术任务相关的不同类型的CWL。建议的多模式方法考虑来自脑电图(EEG),功能近红外光谱(FNIRS)和瞳孔眼直径的相邻信号。信号的串联允许在时间(时间)和通道位置(空间)方面进行复杂的相关性。数据收集是由多种感应的AI环境来执行的,用于在Harms Lab开发的手术任务$ \&$角色优化平台(Maestro)。为了比较拟议方法的性能,已经实施了许多最先进的机器学习技术。测试表明,所提出的模型的精度为93%。
translated by 谷歌翻译
如今,使用微创手术(MIS)进行了更多的手术程序。这是由于其许多好处,例如最小的术后问题,较少的出血,较小的疤痕和快速的康复。但是,MIS的视野,小手术室和对操作场景的间接查看可能导致手术工具发生冲突并可能损害人体器官或组织。因此,通过使用内窥镜视频饲料实时检测和监视手术仪器,可以大大减少MIS问题,并且可以提高手术程序的准确性和成功率。在本文中,研究,分析和评估了对Yolov5对象检测器的一系列改进,以增强手术仪器的检测。在此过程中,我们进行了基于性能的消融研究,探索了改变Yolov5模型的骨干,颈部和锚固结构元素的影响,并注释了独特的内窥镜数据集。此外,我们将消融研究的有效性与其他四个SOTA对象探测器(Yolov7,Yolor,Scaled-Yolov4和Yolov3-SPP)进行了比较。除了Yolov3-SPP(在MAP中具有98.3%的模型性能和相似的推理速度)外,我们的所有基准模型(包括原始的Yolov5)在使用新的内窥镜数据集的实验中超过了我们的顶级精制模型。
translated by 谷歌翻译
在过去的十年中,基于深度学习的算法在遥感图像分析的不同领域中广泛流行。最近,最初在自然语言处理中引入的基于变形金刚的体系结构遍布计算机视觉领域,在该字段中,自我发挥的机制已被用作替代流行的卷积操作员来捕获长期依赖性。受到计算机视觉的最新进展的启发,遥感社区还见证了对各种任务的视觉变压器的探索。尽管许多调查都集中在计算机视觉中的变压器上,但据我们所知,我们是第一个对基于遥感中变压器的最新进展进行系统评价的人。我们的调查涵盖了60多种基于变形金刚的60多种方法,用于遥感子方面的不同遥感问题:非常高分辨率(VHR),高光谱(HSI)和合成孔径雷达(SAR)图像。我们通过讨论遥感中变压器的不同挑战和开放问题来结束调查。此外,我们打算在遥感论文中频繁更新和维护最新的变压器,及其各自的代码:https://github.com/virobo-15/transformer-in-in-remote-sensing
translated by 谷歌翻译
本文提出了一种延时3D细胞分析的方法。具体而言,我们考虑了准确定位和定量分析亚细胞特征的问题,以及从延时3D共聚焦细胞图像堆栈跟踪单个细胞的问题。细胞的异质性和多维图像的体积提出了对细胞形态发生和发育的完全自动化分析的主要挑战。本文是由路面细胞生长过程和构建定量形态发生模型的动机。我们提出了一种基于深度特征的分割方法,以准确检测和标记每个细胞区域。基于邻接图的方法用于提取分段细胞的亚细胞特征。最后,提出了使用多个单元格特征的基于强大的图形跟踪算法在不同的时间实例中关联单元格。提供了广泛的实验结果,并证明了所提出的方法的鲁棒性。该代码可在GitHub上获得,该方法可通过Bisque Portal作为服务可用。
translated by 谷歌翻译
最近在视觉跟踪中成功的关键因素之一是专用基准的可用性。尽管对跟踪研究有很大的受益,但现有的基准并没有与以前相同的难度,而最近的跟踪器的性能则主要是由于(i)引入了更复杂的基于变形金刚的方法,并且(ii)缺乏各种情况,因此缺乏各种情况。不良的可见性,例如恶劣的天气条件,伪装和成像效应。我们介绍了Avist,这是一个专门的基准,用于在具有不良可见性的不同情况下进行视觉跟踪。 Avist包括120个具有80k注释框架的具有挑战性的序列,涵盖了18种不同的方案,这些场景大致分为五个具有42个对象类别的属性。远景的主要贡献是涵盖恶劣天气条件的多样化和挑战性的情况,例如浓雾,大雨和沙尘暴;阻塞效应,包括火,阳光和溅水;不利成像效应,例如,低光;目标效应,包括小目标和干扰物对象以及伪装。我们进一步基准了17个关于Avist的流行和最新跟踪器,对它们跨属性的跟踪性能进行了详细分析,这表明了性能改善的巨大空间。我们认为,远景可以通过补充现有的基准,开发新的创意跟踪解决方案,以继续推动最先进的界限,从而极大地使跟踪社区受益。我们的数据集以及完整的跟踪性能评估可在以下网址提供:https://github.com/visionml/pytracking
translated by 谷歌翻译
近年来,虚拟学习已成为传统课堂教学的替代方法。学生参与虚拟学习可能会对满足学习目标和计划辍学风险产生重大影响。在虚拟学习环境中,有许多专门针对学生参与度(SE)的测量工具。在这项关键综述中,我们分析了这些作品,并从不同的参与定义和测量量表上突出了不一致之处。现有研究人员之间的这种多样性在比较不同的注释和构建可推广的预测模型时可能会出现问题。我们进一步讨论了有关参与注释和设计缺陷的问题。我们根据我们定义的七个参与注释的七个维度分析现有的SE注释量表,包括来源,用于注释的数据模式,注释发生的时间,注释发生的时间段,抽象,组合和组合水平的时间段,定量。令人惊讶的发现之一是,在SE测量中,很少有审查的数据集使用了现有的精神法法学验证量表中的注释中。最后,我们讨论了除虚拟学习以外的其他一些范围,这些量表具有用于测量虚拟学习中SE的潜力。
translated by 谷歌翻译