在对地下地震成像的研究中,求解声波方程是现有模型中的关键成分。随着深度学习的发展,神经网络通过学习输入和方程解决方案之间的映射,特别是波动方程式,将神经网络应用于数值求解部分微分方程,因为如果要花很多时间,传统方法可能会很耗时解决了。以前专注于通过神经网络解决波动方程的工作考虑单个速度模型或多个简单速度模型,这在实践中受到限制。因此,受操作员学习的构想的启发,这项工作利用了傅立叶神经操作员(FNO)在可变速度模型的背景下有效地学习频域地震波场。此外,我们提出了一个与傅立叶神经操作员(PFNO)并行的新框架,以有效地训练基于FNO的求解器,给定多个源位置和频率。数值实验证明了OpenFWI数据集中使用复杂速度模型的FNO和PFNO的高精度。此外,跨数据集泛化测试验证了PFNO适应过分速度模型的。同样,在标签中存在随机噪声的情况下,PFNO具有强大的性能。最后,与传统的有限差异方法相比,PFNO在大规模测试数据集上接受了更高的计算效率。上述优势赋予了基于FNO的求解器的潜力,可以为地震波研究建立强大的模型。
translated by 谷歌翻译
在动态环境中,持续增强学习(CRL)的关键挑战是,随着环境在其生命周期的变化,同时最大程度地减少对学习的信息的灾难性忘记,随着环境在其一生中的变化而变化。为了应对这一挑战,在本文中,我们提出了Dacorl,即动态自动持续RL。 Dacorl使用渐进式上下文化学习了上下文条件条件的策略,该策略会逐步将动态环境中的一系列固定任务群集成一系列上下文,并选择一个可扩展的多头神经网络以近似策略。具体来说,我们定义了一组具有类似动力学的任务,并将上下文推理形式化为在线贝叶斯无限高斯混合物集群的过程,这些过程是在环境特征上,诉诸在线贝叶斯推断,以推断上下文的后端分布。在以前的中国餐厅流程的假设下,该技术可以将当前任务准确地分类为先前看到的上下文,或者根据需要实例化新的上下文,而无需依靠任何外部指标来提前向环境变化发出信号。此外,我们采用了可扩展的多头神经网络,其输出层与新实例化的上下文同步扩展,以及一个知识蒸馏正规化项来保留学习任务的性能。作为一个可以与各种深度RL算法结合使用的一般框架,Dacorl在稳定性,整体性能和概括能力方面具有一致的优势,而不是现有方法,这是通过对几种机器人导航和Mujoco Socomotion任务进行的广泛实验来验证的。
translated by 谷歌翻译
自动射线照相报告生成是一项具有挑战性的跨域任务,旨在自动生成准确和语义辅助报告以描述医学图像。尽管该领域最近取得了进展,但至少在以下方面仍然存在许多挑战。首先,射线照相图像彼此非常相似,因此很难像许多现有方法一样,使用CNN作为视觉特征提取器捕获细粒度的视觉差异。此外,语义信息已被广泛应用以提高发电任务的性能(例如图像字幕),但现有方法通常无法提供有效的医学语义功能。为了解决这些问题,在本文中,我们提出了一个记忆启动的稀疏注意区块,利用双线性池来捕获输入细粒图像特征之间的高阶相互作用,同时产生稀疏的注意力。此外,我们介绍了一个新颖的医学概念生成网络(MCGN),以预测细粒的语义概念,并将其纳入报告生成过程中。我们提出的方法在最近发布的最大基准Mimic-CXR上显示出有希望的性能。它的表现优于图像字幕和医疗报告生成中的多种最新方法。
translated by 谷歌翻译
我们提出了一个新颖的范式,该范式是通过单眼视频输入来构建可动画的3D人类代表,以便可以以任何看不见的姿势和观点呈现。我们的方法基于由基于网格的参数3D人类模型操纵的动态神经辐射场(NERF),该模型用作几何代理。以前的方法通常依靠多视频视频或准确的3D几何信息作为其他输入;此外,大多数方法在概括地看不见的姿势时会降解质量。我们确定概括的关键是查询动态NERF的良好输入嵌入:良好的输入嵌入应定义完整量化空间中的注入映射,并在姿势变化下表面网格变形引导。基于此观察结果,我们建议将输入查询嵌入其与局部表面区域的关系,并在网格顶点上跨越一组地球的最近邻居跨越。通过包括位置和相对距离信息,我们的嵌入式定义了距离保存的变形映射,并可以很好地概括为看不见的姿势。为了减少对其他输入的依赖性,我们首先使用现成的工具初始化人均3D网格,然后提出一条管道以共同优化NERF并完善初始网格。广泛的实验表明,我们的方法可以在看不见的姿势和观点下合成合理的人类渲染结果。
translated by 谷歌翻译
在大多数现实世界中的推荐方案中,多种行为(例如,单击,添加到购物车,采购等)的多类型,这对于学习用户的多方面偏好是有益的。由于多种类型的行为明确表现出依赖性,因此有效地对复杂行为依赖性建模对于多行为预测至关重要。最先进的多行为模型以所有历史互动为输入都没有区别地学习行为依赖性。但是,不同的行为可能反映了用户偏好的不同方面,这意味着某些无关的互动可能会像预测目标行为的声音一样发挥作用。为了解决上述局限性,我们向多行为建议介绍了多功能学习。更具体地说,我们提出了一种新颖的粗到五个知识增强的多功能学习(CKML)框架,以学习不同行为的共享和特定于行为的利益。 CKML引入了两个高级模块,即粗粒兴趣提取(CIE)和细粒度的行为相关性(FBC),它们共同起作用以捕获细粒度的行为依赖性。 CIE使用知识感知信息来提取每个兴趣的初始表示。 FBC结合了动态路由方案,以在兴趣之间进一步分配每个行为。此外,我们使用自我注意机制在兴趣水平上将不同的行为信息相关联。三个现实世界数据集的经验结果验证了我们模型在利用多行为数据方面的有效性和效率。进一步的实验证明了每个模块的有效性以及多行为数据共享和特定建模范式的鲁棒性和优越性。
translated by 谷歌翻译
用皮肤镜图像进行深度学习的黑色素瘤分类最近显示出在自动早期黑色素瘤诊断中的巨大潜力。然而,受到明显的数据失衡和明显的外部伪影的限制,即头发和尺子标记,从皮肤镜图像中提取的判别特征提取非常具有挑战性。在这项研究中,我们试图分别解决这些问题,以更好地表示病变特征。具体而言,基于GAN的数据增强(GDA)策略可与拟议的隐式脱糖(IHD)策略一起生成合成黑色素瘤阳性图像。其中,与头发相关的表示通过辅助分类器网络隐式分散,并反向发送到黑色素瘤 - 特征提取主链,以提供更好的黑色素瘤特异性表示学习。此外,为了训练IHD模块,头发的噪音还标记在ISIC2020数据集上,这使其成为第一个带有类似头发伪影的注释的大型皮肤镜数据集。广泛的实验证明了所提出的框架的优势以及每个组件的有效性。改进的数据集可在https://github.com/kirtsy/dermoscopicdataset上公开可用。
translated by 谷歌翻译
步骤函数是深神经网络(DNN)最简单,最自然的激活函数之一。由于它计算为1的正变量,而对于其他变量为0,因此其内在特征(例如不连续性,没有可行的亚级别信息)阻碍了其几十年的发展。即使在设计具有连续激活功能的DNN方面有令人印象深刻的工作,可以被视为步骤功能的替代物,它仍然具有某些优势属性,例如对异常值的完全稳健性并能够达到能力预测准确性的最佳学习理论保证。因此,在本文中,我们的目标是用用作激活函数的步骤函数训练DNN(称为0/1 DNNS)。我们首先将0/1 dnns重新加密为不受约束的优化问题,然后通过块坐标下降(BCD)方法解决它。此外,我们为BCD的子问题及其收敛性获得了封闭式解决方案。此外,我们还将$ \ ell_ {2,0} $ - 正则化整合到0/1 DNN中,以加速培训过程并压缩网络量表。结果,所提出的算法在分类MNIST和时尚数据集方面具有高性能。
translated by 谷歌翻译
博学的无模型离线增强学习(RL)方法的策略通常被限制在数据集的支持范围内,以避免可能的危险危险分发措施或状态,从而使处理不支持的区域挑战。基于模型的RL方法通过使用经过训练的前进或反向动力学模型生成虚构轨迹来提供更丰富的数据集和收益概括。但是,想象的过渡可能不准确,因此降低了基础离线RL方法的性能。在本文中,我们建议通过使用训练有素的双向动力学模型和通过双重检查推出策略来增强离线数据集。我们通过信任前向模型和落后模型一致的样本来介绍保守主义。我们的方法是基于置信度的双向离线模型的想象力,可以生成可靠的样本,并可以与任何无模型的离线RL方法结合使用。 D4RL基准测试的实验结果表明,我们的方法显着提高了现有的无模型离线RL算法的性能,并在基线方法上取得了竞争性或更好的分数。
translated by 谷歌翻译
最近,深度神经网络具有极大的高级无效磁共振图像(MRI)重建,其中大多数研究都遵循单个解剖学中的一个网络时尚,即每个专家网络都经过训练和评估特定解剖结构。除了培训多个独立模型的效率低下之外,此类公约还忽略了各种解剖学的共享脱张知识,这些知识可以彼此受益。为了探索共享知识,一种天真的方法是将来自各种解剖学的所有数据结合起来,以训练全能网络。不幸的是,尽管存在共同的脱氧知识,但我们透露,不同解剖学的独家知识可能会恶化特定的重建目标,从而导致整体绩效降低。在这项研究中观察到这一点,我们提出了一个新型的深MRI重建框架,并具有解剖结构和解剖学特异性的参数化学习者,旨在“寻求共同点,同时解决不同的解剖学差异”。尤其是主要的解剖学共享的学习者是暴露于不同的解剖学上,以模拟蓬勃发展的共同知识,而有效的解剖学特异性学习者则接受了目标解剖结构的培训,以进行独家知识。在两个MRI重建网络中,在我们的框架顶部介绍并探索了四个不同的解剖学学习者实现。关于大脑,膝盖和心脏MRI数据集的全面实验表明,其中三个学习者能够通过多种解剖学协作学习来增强重建性能。
translated by 谷歌翻译
深神经网络(DNN)是医疗应用中有前途的工具。但是,由于通信的能源成本很高,因此在电池供电设备上实施复杂的DNN是具有挑战性的。在这项工作中,开发了卷积神经网络模型,用于检测心电图(ECG)信号的房颤。该模型表明,尽管接受了有限的可变长度输入数据训练,但表现出了高性能。重量修剪和对数定量合并以引入稀疏性并降低模型大小,可以利用这些稀疏性,以减少数据移动和降低计算复杂性。最终模型达到了91.1%的模型压缩率,同时保持高模型精度为91.7%,损失小于1%。
translated by 谷歌翻译