我们提出了一种基于CNN的方法,用于人体的多相机无标记运动捕捉。与首先在个人相机上执行姿态估计并生成3D模型作为后处理的现有方法不同,我们的方法在整个多阶段方法中使用3D推理。这种新颖性允许我们使用人体姿势的临时3D模型来重新思考联接应该位于图像中的位置并从过去的错误中恢复。我们对3D人体姿势进行了原则性的改进,使我们能够利用图像线索,甚至是我们之前错误检测到关节的图像,来完善我们对端到端方法的估计。最后,我们演示了如何将我们的多摄像机设置的高质量输出用作额外的训练源,以提高现有单摄像机模型的准确性。
translated by 谷歌翻译
机器学习正在从艺术和科学转变为可供每个开发人员使用的技术。在不久的将来,每个平台上的每个应用程序都将包含训练有素的模型,以编码开发人员无法创作的基于数据的决策。这提出了一个重要的工程挑战,因为目前数据科学和建模在很大程度上与标准软件开发过程脱钩。这种分离使得在应用程序内部的机器学习能力不必要地变得困难,并且进一步阻碍了开发人员将MLin置于首位。在本文中,我们介绍了ML .NET,这是一个在过去十年中在Microsoft开发的框架,用于应对在大型软件应用程序中轻松发布机器学习模型的挑战。我们提出了它的架构,并阐明了形成它的应用程序需求。具体而言,我们引入了DataView,它是ML .NET的核心数据抽象,它可以有效地,一致地捕获完整的预测管道,并在训练和推理生命周期中进行。我们结束了论文,对ML .NET进行了令人惊讶的有利的性能研究,与更多的接受者相比,并讨论了一些经验教训。
translated by 谷歌翻译
政策梯度算法是强化学习应用于现实世界控制任务的最佳候选者,例如机器人技术中出现的任务。然而,只要学习阶段本身必须在物理系统上执行,这些方法的反复试验性质就会引入安全问题。在本文中,我们讨论了一个特定的安全制定,其中危险被编码在奖励信号中,并且学习者被限制为永远不会恶化其表现。通过从随机优化的角度研究演员专用政策梯度,我们为广泛的参数政策建立了改进保证,在高斯政策上推广了结果。这与政策梯度估计器的方差的新上限一起,允许识别那些保证单调改进具有高概率的参数调度表。两个关键元参数是参数更新的步长和梯度估计器的批量大小。通过对这些元参数的联合,自适应选择,我们获得了一种安全的策略梯度算法。
translated by 谷歌翻译
磁性粒子成像(MPI)数据通常使用在耗时的校准测量中获取的系统矩阵来重建。校准方法与基于模型的重建相比具有重要的优势,它可以将复杂的粒子物理以及系统缺陷纳入计算中。这种益处来自于每当扫描参数,颗粒类型或甚至颗粒环境(例如粘度或温度)改变时系统基质需要被校准的成本。减少校准时间的一种途径是在预期视场的空间位置的子集处对系统矩阵进行采样并采用系统矩阵恢复。最近的方法使用压缩感知(CS)并且实现了高达28的子采样因子,其仍然允许重建具有足够质量的MPI图像。在这项工作中,我们提出了一个带有3d-SystemMatrix恢复网络的新型框架,并演示它可以在不到一分钟的时间内恢复具有64的子采样因子的3d系统矩阵,并在系统矩阵质量,重建图像质量和性能方面优于CS。处理时间。通过重建开放访问MPIdatasets来证明我们方法的优点。该模型进一步显示能够推断不同粒子类型的系统矩阵。
translated by 谷歌翻译
根据神经药物设计和灵敏度预测的最新进展,我们提出了一种新的结构,用于使用基于多模态注意力的卷积编码器来解释预测化合物敏感性。我们的模型基于药物敏感性的三个关键支柱:SMILES序列形式的化合物结构,肿瘤的基因表达谱以及蛋白质 - 蛋白质相互作用网络的细胞内相互作用的先验知识。我们证明我们的多基因卷积注意力(MCA)编码器明显优于摩根指纹训练的基线模型,基于SMILES的编码器选择以及先前报道的用于多模式药物敏感性预测的现有技术(R2 = 0.86和RMSE = 0.89)。此外,通过对注意权重的全面分析证明了我们方法的可解释性。我们表明,有人参与的基因显着富集细胞凋亡过程,并且药物注意力与标准化学结构相似性指数密切相关。最后,我们报告了两种受体酪氨酸激酶(RTK)抑制剂作用于白血病细胞的案例研究,展示了该模型关注两种化合物的信息基因和分子区域的能力。所展示的普遍性和我们模型的可解释性证明了其对未见癌细胞的抗癌化合物功效的硅片内预测的潜力,定位为个性化疗法开发的有效解决方案以及从头药物设计中候选化合物的评估。
translated by 谷歌翻译
杂波中基于物理的操作涉及多个对象之间的复杂交互。在本文中,我们考虑学习的问题,从物理模拟器中的交互,操作技巧来解决现实世界中的这个多步骤顺序决策问题。我们的方法有两个关键属性:(i)使用基于图像的抽象表示来概括(在场景中的对象的形状和数量上),这使得神经网络能够学习有用的特征; (ii)使用物理模拟器进行前瞻计划的能力,这是多步骤问题的必要条件。我们通过模拟和真实的实验(在https://youtu.be/EmkUQfyvwkY上可用的视频)展示,通过学习评估真实世界的基于图像的抽象表示中的动作,机器人可以概括和适应在具有挑战性的现实环境中的物体形状。
translated by 谷歌翻译
这是一份正在进行的工作报告,旨在分享依赖于解析的新的序列到序列模式的初步结果,该模式依赖于BiLSTM和两个指针网络的组合(Vinyals等,2015),其中最后一个softmax函数已被logisticregression取代。通过分别学习“选择”的词汇属性和“可选择性”的词汇属性,两个指针网络合作开发潜在的句法识别。目前并且没有精细调整,解析器实现在EnglishPenn-treebank上获得93.14%的UAS(Marcus等人,1993),注释了斯坦福依赖性:SOTA下2-3%但是作为基线做法。
translated by 谷歌翻译
跨任务转移技能的能力有可能将增强型学习(RL)代理扩展到目前无法实现的环境。最近,基于两个概念,后继特征(SF)和广泛策略改进(GPI)的框架已被引入转移技能的原则性方式。在本文中,我们在两个方面扩展了SF和GPI框架。 SFs和GPI原始公式的基本假设之一是,所有感兴趣的任务的奖励可以计算为固定特征集的线性组合。我们放松了这个约束,并表明支持框架的理论保证可以扩展到只有奖励函数不同的任何一组任务。我们的第二个贡献是,可以使用奖励函数本身作为未来任务的特征,而不会损失任何表现力,从而无需事先指定一组特征。这使得可以以更稳定的方式将SF和GPI与深度学习相结合。我们在acomplex 3D环境中凭经验验证了这一主张,其中观察是来自第一人称视角的图像。我们表明,SF和GPI推动的转移几乎可以立即实现看不见任务的非常好的政策。我们还描述了如何以一种允许将它们添加到代理的技能集中的方式学习专门用于新任务的策略,从而在将来重用。
translated by 谷歌翻译
如今,面部变形在电子身份证件的背景下代表了一个巨大的安全威胁,也是面部识别领域的研究人员面临的一个有趣的挑战。尽管通过最先进的数字图像方法获得了良好的性能,但到目前为止还没有确定令人满意的解决方案来处理跨数据库测试和印刷扫描图像(通常在许多国家用于文档发布)。在这项工作中提出了一种新的方法来训练深度神经网络变形检测:特别是生成模拟印刷扫描图像以及其他数据增强策略和大面部识别数据集的预训练,从而可以达到最先进的精确度,具有挑战性的数据集。异构图像源。
translated by 谷歌翻译
低成本深度传感器获得的面部可以用于捕捉脸部的某些特征细节吗?通常答案是否定的。然而,新深度体系结构可以从在不同模态下获取的数据生成RGB图像,例如深度数据。在本文中,我们提出了一个新的\ textit {Deterministic Conditional GAN},在注释的RGB-D facesatasets上训练,对于从深度到RGB的面对面转换是有效的。虽然网络不能重建未知个体面部的精确体细胞特征,但它能够重建合理的面部; theirappearance足够准确,可用于许多模式识别任务。事实上,我们使用一些\ textit {Perceptual Probes}测试网络能力以产生幻觉,例如面部方面分类或地标检测。尽管存在相应的RGB图像,但由于难以实现亮度条件,因此可以使用深度面。实验结果非常有前途,并且比以前提出的方法更好:这种域转换可以构成利用深度数据的新途径。新的未来应用。
translated by 谷歌翻译