我们提出了一种有效的方法,用于从多视图图像观察中联合优化拓扑,材料和照明。与最近的多视图重建方法不同,通常在神经网络中产生纠缠的3D表示,我们将三角形网格输出具有空间不同的材料和环境照明,这些方法可以在任何传统的图形引擎中未修改。我们利用近期工作在可差异化的渲染中,基于坐标的网络紧凑地代表体积纹理,以及可微分的游行四边形,以便直接在表面网上直接实现基于梯度的优化。最后,我们介绍了环境照明的分流和近似的可分辨率配方,以有效地回收全频照明。实验表明我们的提取模型用于高级场景编辑,材料分解和高质量的视图插值,全部以三角形的渲染器(光栅化器和路径示踪剂)的交互式速率运行。
translated by 谷歌翻译
我们介绍DMTET,深度3D条件生成模型,可以使用诸如粗体素的简单用户指南来合成高分辨率3D形状。它通过利用新型混合3D表示来结婚隐式和显式3D表示的优点。与当前隐含的方法相比,培训涉及符号距离值,DMTET直接针对重建的表面进行了优化,这使我们能够用更少的伪像来合成更精细的几何细节。与直接生成诸如网格之类的显式表示的深度3D生成模型不同,我们的模型可以合成具有任意拓扑的形状。 DMTET的核心包括可变形的四面体网格,其编码离散的符号距离函数和可分行的行进Tetrahedra层,其将隐式符号距离表示转换为显式谱图表示。这种组合允许使用在表面网格上明确定义的重建和对抗性损耗来联合优化表面几何形状和拓扑以及生成细分层次结构。我们的方法显着优于来自粗体素输入的条件形状合成的现有工作,培训在复杂的3D动物形状的数据集上。项目页面:https://nv-tlabs.github.io/dmtet/
translated by 谷歌翻译
通过分析多OMICS数据,许多统计机器方法最终可能会突出复杂疾病的病因的新颖特征。然而,当观察到的样品可能被对抗性腐败的异常值(例如,虚构数据分布)可能被污染时,它们对分布的一些偏差敏感。同样,统计进步落后于支持复杂多OMICS数据集成的综合数据驱动分析。我们提出了一种新颖的非线性M估计的方法,“强大的内核机器回归(Robkmr)”,提高统计机器回归的鲁棒性和虚构数据的多样性,以检查多OMIC的高阶综合效果数据集。我们地址稳健的内核中心克矩阵,以准确估计模型参数。我们还提出了一个强大的评分测试,以评估来自多OMICS数据的特征的边缘和关节凸起产品。我们将我们提出的方法应用于来自白种人女性的骨质疏松症(OP)的多OMICS数据集。实验表明,所提出的方法有效地识别了OP的相关危险因素。具有固体证据(p值= 0.00001),生物验证,基于网络的分析,因果推断和药物重新施用,所选三个三胞胎((DKK1,SMTN,DRGX),(MTND5,FastKD2,CSMD3),(MTND5, COG3,CSMD3))是显着的生物标志物,直接涉及BMD。总的来说,前三种选定的基因(DKK1,MTND5,FastKD2)和一个基因(P值下的SIDT1 = 0.001)显着粘合来自30个药物,IBANDRONENT,ALENDRONES和30个候选药物重新培养的候选药物。此外,所提出的方法可以应用于可用多OMICS数据集的任何疾病模型。
translated by 谷歌翻译
膝关节骨关节炎(OA)是最常见的骨关节炎和伤残原因。软骨缺陷被认为是膝关节OA的主要表现,其通过磁共振成像(MRI)可见。因此,对膝关节软骨缺陷的早期检测和评估对于保护膝关节OA患者来说是重要的。通过这种方式,通过将卷积神经网络(CNNS)应用于膝关节MRI,已经在膝关节软骨缺陷评估中进行了许多尝试。然而,软骨的生理特性可能阻碍这种努力:软骨是薄的弯曲层,这意味着只有膝关节MRI中的一小部分体素可以有助于软骨缺陷评估;异构扫描方案进一步挑战CNN在临床实践中的可行性;基于CNN的膝关节软骨评估结果缺乏解释性。为了解决这些挑战,我们将软骨结构和外观模拟到膝关节MRI进入图表表示,该图表能够处理高度多样化的临床数据。然后,由软骨图表示指导,我们设计了一种具有自我关注机制的非欧几里德深度学习网络,提取本地和全局中的软骨功能,并通过可视化结果导出最终评估。我们的综合实验表明,该方法在膝关节软骨缺陷评估中产生了卓越的性能,以及其方便的可解释性3D可视化。
translated by 谷歌翻译
视频理解需要在多种时空分辨率下推理 - 从短的细粒度动作到更长的持续时间。虽然变压器架构最近提出了最先进的,但它们没有明确建模不同的时空分辨率。为此,我们为视频识别(MTV)提供了多视图变压器。我们的模型由单独的编码器组成,表示输入视频的不同视图,以横向连接,以跨视图熔断信息。我们对我们的模型提供了彻底的消融研究,并表明MTV在一系列模型尺寸范围内的准确性和计算成本方面始终如一地表现优于单视对应力。此外,我们在五个标准数据集上实现最先进的结果,并通过大规模预制来进一步提高。我们将释放代码和备用检查点。
translated by 谷歌翻译
如今,Multototors正在享受丰富类型的任务中的重要角色。在这些任务期间,进入狭窄的和狭窄的隧道,即人类几乎无法访问,对于多陆来说是非常具有挑战性的。受限制的空间和重要的自我气流扰动在快速和缓慢的飞行速度下诱导控制问题,同时引起国家估计和感知的问题。因此,安全隧道飞行需要适当速度的平滑轨迹。为了解决这些挑战,在这封信中,提供了一个完整的自主空中系统,可以通过尺寸窄到0.6米的隧道平稳地飞行。该系统包含一个运动规划器,它沿着隧道中心线产生平滑的Mini-Jerk轨迹,该隧道中心线根据地图和欧几里德距离场(EDF)提取,并且通过计算流体动力学(CFD)和飞行获得其实际速度范围数据分析。在四窄隧道内部进行了大量飞行实验,以验证规划框架以及整个系统的鲁棒性。
translated by 谷歌翻译
最近,已经表明,自然语言处理(NLP)模型容易受到一种称为后门攻击的安全威胁,它利用“后门触发器”范例误导模型。最威胁的后门攻击是隐身的后门,它将触发器定义为文本样式或句法。虽然他们已经取得了令人难以置信的高攻击成功率(ASR),但我们发现为ASR的主要因素贡献不是“后门触发”范式。因此,当作为后门攻击分类时,这些隐身后门攻击的能力大得多。因此,为了评估后门攻击的真正攻击力,我们提出了一种称为攻击成功率差异(ASRD)的新度量,从而测量干净状态和毒药状态模型之间的ASR差异。此外,由于对抗隐蔽的后门攻击的防御,我们提出了触发破坏者,包括两个太简单的技巧,可以有效地防御隐秘的后门攻击。关于文本分类任务的实验表明,我们的方法比对隐身后门攻击的最先进的防御方法实现了更好的性能。
translated by 谷歌翻译
在现代电力系统中,关于发电/消耗的实时数据及其相关特征存储在各种分布式方中,包括家用仪表,变压器站和外部组织。为了充分利用这些分布式数据的潜在模式,以进行准确的功率预测,需要联合学习作为协作但隐私保留培训方案。然而,目前的联合学习框架偏振朝向解决数据的水平或垂直分离,并且倾向于忽略两个存在的情况。此外,在主流级联联合学习框架中,仅采用人工神经网络来学习数据模式,与表格数据集的基于树的模型相比,该数据模式被认为是更准确和解释的。为此,我们提出了一种基于XGBoost的混合联合学习框架,用于从实时外部功能的分布式电源预测。除了引入提升的树木以提高准确性和可解释性之外,我们还结合了水平和垂直的联邦学习,以解决特征在当地异构各方分散的场景,并在各种当地地区分散样品。此外,我们设计了动态任务分配方案,使得各方获得公平的信息份额,并且每个方的计算能力可以充分利用促进培训效率。提出了一个后续案例研究,以证明采用拟议框架的必要性。还确认了拟议框架的优点,效率和精度性能。
translated by 谷歌翻译
运动预测是计算机视觉中的经典问题,其旨在预测观察到的姿势序列的未来运动。已经提出了各种深度学习模型,在运动预测上实现了最先进的性能。然而,现有方法通常专注于在姿势空间中建模时间动态。不幸的是,人类运动的复杂和高度的性质带来了动态背景捕获的固有挑战。因此,我们远离传统的基于姿势的表示,并提出采用各个关节的相空间轨迹表示的新方法。此外,目前的方法倾向于仅考虑物理连接的关节之间的依赖性。在本文中,我们介绍了一种小说卷积神经模型,以有效利用明确的运动解剖学知识,并同时捕获关节轨迹动态的空间和时间信息。然后,我们提出了一个全局优化模块,了解各个联合功能之间的隐式关系。经验上,我们的方法在大规模3D人体运动基准数据集(即,Human3.6m,CMU Mocap)上进行评估。这些结果表明,我们的方法在基准数据集中设置了新的最先进状态。我们的代码将在https://github.com/post-group/teid中提供。
translated by 谷歌翻译
视觉地位识别是自主驾驶导航和移动机器人定位等应用的具有挑战性的任务。分散注意力在复杂的场景中呈现的元素经常导致视觉场所的感知偏差。为了解决这个问题,必须将信息与任务相关区域中的信息集成到图像表示中至关重要。在本文中,我们介绍了一种基于视觉变压器的新型整体地点识别模型,TransVPR。它受益于变形金刚的自我关注操作的理想性能,这可以自然地聚合任务相关的特征。从多个级别的变压器的关注,重点关注不同的感兴趣区域,以产生全球图像表示。另外,由熔融注意掩模过滤的变压器层的输出令牌被认为是密钥贴片描述符,用于执行空间匹配以重新排名通过全局图像特征检索的候选。整个模型允许具有单个目标和图像级监控的端到端培训。 TransVPR在几个现实世界基准上实现最先进的性能,同时保持低计算时间和存储要求。
translated by 谷歌翻译