食管障碍的发病机制与食管壁力学有关。因此,要了解各种食管障碍背后的潜在基本机制,将基于食管壁力学的参数映射到与改变的推注途径和超级性IBP对应的生理和病理生理学条件至关重要。在这项工作中,我们提出了一种混合框架,将流体力学和机器学习结合,以识别各种食管障碍的底层物理,并将它们映射到我们称之为虚拟疾病景观(VDL)的参数空间上。一维逆模型处理来自食道诊断装置的输出,称为内窥镜功能腔成像探针(endoflip)来估计食道的机械“健康”,通过预测一组基于机械基的参数,例如食道壁刚度,肌肉收缩食管墙的模式和活跃放松。然后使用基于机械基的参数来训练由改变空间(VAE)组成的神经网络,其产生潜在空间和侧面网络,该侧面网络预测用于估计食道古代结动性的机械工作度量。潜在的矢量以及一组基于基于机械的参数定义VDL并形成与各种食管疾病相对应的簇。 VDL不仅区分不同的疾病,而且还可用于预测疾病进展及时。最后,我们还证明了该框架的临床适用性,用于估算治疗后治疗和追踪患者状况的有效性。
translated by 谷歌翻译
Massive data corpora like WebText, Wikipedia, Conceptual Captions, WebImageText, and LAION have propelled recent dramatic progress in AI. Large neural models trained on such datasets produce impressive results and top many of today's benchmarks. A notable omission within this family of large-scale datasets is 3D data. Despite considerable interest and potential applications in 3D vision, datasets of high-fidelity 3D models continue to be mid-sized with limited diversity of object categories. Addressing this gap, we present Objaverse 1.0, a large dataset of objects with 800K+ (and growing) 3D models with descriptive captions, tags, and animations. Objaverse improves upon present day 3D repositories in terms of scale, number of categories, and in the visual diversity of instances within a category. We demonstrate the large potential of Objaverse via four diverse applications: training generative 3D models, improving tail category segmentation on the LVIS benchmark, training open-vocabulary object-navigation models for Embodied AI, and creating a new benchmark for robustness analysis of vision models. Objaverse can open new directions for research and enable new applications across the field of AI.
translated by 谷歌翻译
As aerial robots are tasked to navigate environments of increased complexity, embedding collision tolerance in their design becomes important. In this survey we review the current state-of-the-art within the niche field of collision-tolerant micro aerial vehicles and present different design approaches identified in the literature, as well as methods that have focused on autonomy functionalities that exploit collision resilience. Subsequently, we discuss the relevance to biological systems and provide our view on key directions of future fruitful research.
translated by 谷歌翻译
神经辐射场(NERF)的最新进展实现了最新的新型视图合成,并促进了场景特性的密集估计。但是,在非常稀疏的视图下捕获的大型无界场景通常会失败,而场景内容集中在远离相机的情况下,这是典型的现场机器人应用程序。特别是,NERF风格的算法的性能很差:(1)当视图不足而呈姿势多样性的情况不足时,(2)当场景包含饱和度和阴影时,以及(3)当对具有精细结构的大型无界场景进行精心采样时,计算中就会大量强度。本文提出了克隆器,它通过允许从稀疏输入传感器视图中观察到的大型户外驾驶场景来对NERF进行显着改善。这是通过将NERF框架内的占用和颜色学习分离成分别使用LIDAR和相机数据训练的单独的多层感知器(MLP)来实现的。此外,本文提出了一种新的方法,可以在NERF模型旁边构建可区分的3D占用网格图(OGM),并利用此占用网格来改进沿射线的点采样,以在度量空间中进行体积渲染。通过在Kitti数据集的场景上进行的广泛定量和定性实验,本文表明,在新的视图合成和密集的深度预测任务上对稀疏输入数据培训时,所提出的方法在新型视图合成和密集的深度预测任务上都优于最先进的NERF模型。
translated by 谷歌翻译
队列研究越来越多地使用加速度计进行体育活动和久坐行为估计。这些设备往往比自我报告易于错误,可以全天捕获活动,并且是经济的。但是,在自由生活的情况下和受试者对象变化下,基于髋关节wor的数据估算久坐行为的先前方法通常是无效的或次优的。在本文中,我们提出了一个本地马尔可夫切换模型,该模型考虑了这种情况,并引入了一种姿势分类和久坐行为分析的一般程序,该程序自然适合该模型。我们的方法在时间序列中具有更改点检测方法,也是一个两个阶段分类步骤,将数据标记为3类(坐着,站立,步进)。通过严格的训练测试范例,我们表明我们的方法达到了80%的精度。此外,我们的方法是强大的,易于解释。
translated by 谷歌翻译
眼目光信息的收集为人类认知,健康和行为的许多关键方面提供了一个窗口。此外,许多神经科学研究补充了从眼睛跟踪中获得的行为信息,以及脑电图(EEG)提供的高时间分辨率和神经生理学标记。必不可少的眼睛跟踪软件处理步骤之一是将连续数据流的分割为与扫视,固定和眨眼等眼睛跟踪应用程序相关的事件。在这里,我们介绍了Detrtime,这是一个新颖的时间序列分割框架,该框架创建了不需要额外记录的眼睛跟踪模式并仅依靠脑电图数据的眼部事件检测器。我们的端到端基于深度学习的框架将计算机视觉的最新进展带到了脑电图数据的《时代》系列分割的最前沿。 Detr Time在各种眼睛追踪实验范式上实现眼部事件检测中的最新性能。除此之外,我们还提供了证据表明我们的模型在脑电图阶段分割的任务中很好地概括了。
translated by 谷歌翻译
Accurate uncertainty quantification is a major challenge in deep learning, as neural networks can make overconfident errors and assign high confidence predictions to out-of-distribution (OOD) inputs. The most popular approaches to estimate predictive uncertainty in deep learning are methods that combine predictions from multiple neural networks, such as Bayesian neural networks (BNNs) and deep ensembles. However their practicality in real-time, industrial-scale applications are limited due to the high memory and computational cost. Furthermore, ensembles and BNNs do not necessarily fix all the issues with the underlying member networks. In this work, we study principled approaches to improve uncertainty property of a single network, based on a single, deterministic representation. By formalizing the uncertainty quantification as a minimax learning problem, we first identify distance awareness, i.e., the model's ability to quantify the distance of a testing example from the training data, as a necessary condition for a DNN to achieve high-quality (i.e., minimax optimal) uncertainty estimation. We then propose Spectral-normalized Neural Gaussian Process (SNGP), a simple method that improves the distance-awareness ability of modern DNNs with two simple changes: (1) applying spectral normalization to hidden weights to enforce bi-Lipschitz smoothness in representations and (2) replacing the last output layer with a Gaussian process layer. On a suite of vision and language understanding benchmarks, SNGP outperforms other single-model approaches in prediction, calibration and out-of-domain detection. Furthermore, SNGP provides complementary benefits to popular techniques such as deep ensembles and data augmentation, making it a simple and scalable building block for probabilistic deep learning. Code is open-sourced at https://github.com/google/uncertainty-baselines
translated by 谷歌翻译
深度自身偏移通常具有监督或对抗的损失,以学习具有所需性质的潜在表示,例如对敏感变量的标签和结果或公平的更大预测性。尽管受到监督和对抗性深度潜在因子模型的难以致力于,但这些方法应该表现出更简单的线性方法在实践中优选的改进。这需要可重复的线性模拟,仍然遵守增强监督或对抗目标。我们通过提出使用监督或对冲目标的主成分分析(PCA)目标的方法来解决该方法论差距,并提供分析和可重复的解决方案。我们在开源Python软件包中实现这些方法,AugmentedPCA,可以生产出色的真实基础。我们证明了这些因子模型在开源的RNA-SEQ癌症基因表达数据集上的效用,表明增强具有监督目标,提高下游分类性能,产生具有更大级别保真度的主要成分,并有助于鉴定对齐的基因利用具有对特定类型癌症的发展的主要数据差异轴。
translated by 谷歌翻译
与人类沟通对AIS有挑战性,因为它需要对世界的共同理解,复杂的语义(例如,隐喻或类似物),并且在多码模态手势(例如,指向手指,或图中的箭头)。我们在基于图案的基础上的绘画和猜测的语境中调查了这些挑战,这对研究界构成了一种新的挑战。在ICONARY中,猜测者试图通过编写图标来识别抽屉绘制的短语,以及抽屉迭代地修改绘图以帮助猜测响应的猜测。这次来回经常使用规范场景,视觉隐喻或图标组成来表达具有挑战性的词语,使其成为AI中混合语言和视觉/象征性通信的理想测试。我们提出模型进行图标,并在人类球员之间的55,000多场比赛中培训。我们的型号是熟练的玩家,能够在语言模型中雇用世界知识,以便在训练期间与看不见的文字一起玩。精英人类球员优于我们的模型,特别是在绘图任务中,留下了未来研究的重要缺口。我们将数据集,代码和评估设置释放为对社区的挑战http://www.github.com/allenai/conary。
translated by 谷歌翻译
我们概述了新兴机会和挑战,以提高AI对科学发现的效用。AI为行业的独特目标与AI科学的目标创造了识别模式中的识别模式与来自数据的发现模式之间的紧张。如果我们解决了与域驱动的科学模型和数据驱动的AI学习机之间的“弥补差距”相关的根本挑战,那么我们预计这些AI模型可以改变假说发电,科学发现和科学过程本身。
translated by 谷歌翻译