基于注意的蛋白质序列训练的基于注意力的模型在分类和与人工智能驱动的蛋白质设计相关的分类和生成任务方面取得了令人难以置信的成功。但是，我们对非常大规模的模型和数据在有效的蛋白质模型开发中发挥作用。我们介绍了一套名为progen2的蛋白质语言模型的套件，该模型最高为6.4b参数，并在从基因组，宏基因组和免疫曲目数据库中绘制的不同序列数据集上进行了培训。 GEECEN2模型在捕获观察到的进化序列的分布，生成新型的可行序列并预测蛋白质适应性的情况下显示出最先进的性能，而无需额外的芬特。随着蛋白质序列的大型大小和原始数量继续变得更加广泛，我们的结果表明，越来越多的重点需要放在提供给蛋白质序列模型的数据分布上。我们在https://github.com/salesforce/progen上发布了PECEN2模型和代码。
translated by 谷歌翻译
在许多学科中，异质治疗效果（HTE）的估计至关重要，从个性化医学到经济学等等。在随机试验和观察性研究中，随机森林已被证明是一种灵活而有力的HTE估计方法。尤其是Athey，Tibshirani和Wager（2019）引入的“因果森林”，以及包装GRF中的R实施。 Seibold，Zeileis和Hothorn（2018）引入了一种称为“基于模型的森林”的相关方法，该方法旨在随机试验，并同时捕获预后和预测变量的效果，并在R包装模型中进行模块化实现。 。在这里，我们提出了一种统一的观点，它超出了理论动机，并研究了哪些计算元素使因果森林如此成功，以及如何将它们与基于模型的森林的优势融合在一起。为此，我们表明，可以通过相同的参数和L2损耗下加性模型的模型假设来理解这两种方法。这种理论上的见解使我们能够实施“基于模型的因果林”的几种口味，并在计算机中剖析其不同元素。将原始的因果森林和基于模型的森林与基准研究中的新混合版本进行了比较，该研究探讨了随机试验和观察环境。在随机设置中，两种方法都执行了AKIN。如果在数据生成过程中存在混淆，我们发现与相应倾向的治疗指标的局部核心是良好性能的主要驱动力。结果的局部核心不太重要，并且可以通过相对于预后和预测效应的同时拆分选择来代替或增强。
translated by 谷歌翻译
可解释的深度学习模型的最新努力表明，基于概念的解释方法通过标准的端到端模型实现了竞争精度，并能够从图像中提取高级视觉概念的推理和干预，例如识别机翼颜色和喙长度用于鸟类分类。但是，这些概念瓶颈模型依赖于一组必要且充分的预定义概念，这对于诸如视频分类等复杂任务很棘手。对于复杂的任务，标签和视觉元素之间的关系涵盖了许多框架，例如，识别出具有各种抽象水平的鸟类飞行或捕获猎物不必要的概念。为此，我们提出了Codex，这是一个自动概念发现和提取模块，严格地构成了基于概念的视频分类的必要且充分的概念摘要集。 Codex从自然语言解释视频解释中确定了一系列复杂的概念摘要，从而需要预先定义一组无定形的概念集。为了证明我们的方法的生存能力，我们构建了两个新的公共数据集，这些数据集将现有的复杂视频分类数据集与其标签的简短，众包的自然语言解释相结合。我们的方法在自然语言中引发了固有的复杂概念摘要，以将概念 - 底层方法推广到复杂的任务。
translated by 谷歌翻译
2022-06-17
用于估计模型不确定性的线性拉普拉斯方法在贝叶斯深度学习社区中引起了人们的重新关注。该方法提供了可靠的误差线，并接受模型证据的封闭式表达式，从而可以选择模型超参数。在这项工作中，我们检查了这种方法背后的假设，尤其是与模型选择结合在一起。我们表明，这些与一些深度学习的标准工具（构成近似方法和归一化层）相互作用，并为如何更好地适应这种经典方法对现代环境提出建议。我们为我们的建议提供理论支持，并在MLP，经典CNN，具有正常化层，生成性自动编码器和变压器的剩余网络上进行经验验证它们。
translated by 谷歌翻译
捕获一般的变形场景对于许多计算机图形和视觉应用至关重要，当只有单眼RGB视频可用时，这尤其具有挑战性。竞争方法假设密集的点轨道，3D模板，大规模训练数据集或仅捕获小规模的变形。与这些相反，我们的方法UB4D在挑战性的情况下超过了先前的艺术状态，而没有做出这些假设。我们的技术包括两个新的，在非刚性3D重建的背景下，组件，即1）1）针对非刚性场景的基于坐标的和隐性的神经表示，这使动态场景无偏重建，2）新颖的新颖。动态场景流量损失，可以重建较大的变形。我们的新数据集（将公开可用）的结果表明，就表面重建精度和对大变形的鲁棒性而言，对最新技术的明显改善。访问项目页面https://4dqv.mpi-inf.mpg.de/ub4d/。
translated by 谷歌翻译
无线系统应用中深度学习（DL）的成功出现引起了人们对与安全有关的新挑战的担忧。一个这样的安全挑战是对抗性攻击。尽管已经有很多工作证明了基于DL的分类任务对对抗性攻击的敏感性，但是从攻击的角度来看，尚未对无线系统的基于回归的问题进行基于回归的问题。本文的目的是双重的：（i）我们在无线设置中考虑回归问题，并表明对抗性攻击可以打破基于DL的方法，并且（ii）我们将对抗性训练作为对抗性环境中的防御技术的有效性分析并表明基于DL的无线系统对攻击的鲁棒性有了显着改善。具体而言，本文考虑的无线应用程序是基于DL的功率分配，以多细胞大量多输入 - 销售输出系统的下行链路分配，攻击的目的是通过DL模型产生不可行的解决方案。我们扩展了基于梯度的对抗性攻击：快速梯度标志方法（FGSM），动量迭代FGSM和预计的梯度下降方法，以分析具有和没有对抗性训练的考虑的无线应用的敏感性。我们对这些攻击进行了分析深度神经网络（DNN）模型的性能，在这些攻击中，使用白色框和黑盒攻击制作了对抗性扰动。
translated by 谷歌翻译
由于基础物理学的复杂性以及捕获中的复杂遮挡和照明，从稀疏多视频RGB视频中对流体的高保真重建仍然是一个巨大的挑战。现有的解决方案要么假设障碍和照明知识，要么仅专注于没有障碍物或复杂照明的简单流体场景，因此不适合具有未知照明或任意障碍的现实场景。我们提出了第一种通过从稀疏视频的端到端优化中利用管理物理（即，navier -stokes方程）来重建动态流体的第一种方法，而无需采取照明条件，几何信息或边界条件作为输入。我们使用神经网络作为流体的密度和速度解决方案函数以及静态对象的辐射场函数提供连续的时空场景表示。通过将静态和动态含量分开的混合体系结构，与静态障碍物的流体相互作用首次重建，而没有其他几何输入或人类标记。通过用物理知识的深度学习来增强随时间变化的神经辐射场，我们的方法受益于对图像和物理先验的监督。为了从稀疏视图中实现强大的优化，我们引入了逐层增长策略，以逐步提高网络容量。使用具有新的正则化项的逐步增长的模型，我们设法在不拟合的情况下解除了辐射场中的密度彩色歧义。在避免了次优速度之前，将预验证的密度到速度流体模型借用了，该数据低估了涡度，但可以微不足道地满足物理方程。我们的方法在一组代表性的合成和真实流动捕获方面表现出具有放松的约束和强大的灵活性的高质量结果。
translated by 谷歌翻译
由于一系列理想的模型属性，卷积神经网络（CNN）的使用在深度学习中被广泛扩展，这导致了有效有效的机器学习框架。但是，必须将CNN架构定制为特定任务，以结合输入长度，分辨率和尺寸的考虑因素。在这项工作中，我们通过连续的卷积神经网络（CCNN）克服了针对特定问题的CNN体系结构的需求：一个配备了连续卷积内核的单个CNN体系结构，可用于根据任意分辨率，维度，长度和长度的数据进行任务，而无需结构性长度变化。连续的卷积内核在每一层的远距离依赖性模型，并消除当前CNN体系结构中所需的降采样层和任务依赖性深度的需求。我们通过将相同的CCNN应用于顺序（1 $ \ mathrm {d} $）和视觉数据（2 $ \ mathrm {d} $）上的一系列任务来显示我们方法的普遍性。我们的CCNN竞争性能，并且在所有考虑的所有任务中通常都优于当前最新的。
translated by 谷歌翻译
储层计算是一类复发性神经网络，其内部权重随机固定。稳定性与网络状态对扰动的敏感性有关。它是储层计算中的重要属性，因为它直接影响性能。在实践中，希望保持在稳定的政权中，在这种状态下，扰动的效果不会呈指数爆炸，而是靠近储层动力学丰富的混乱边界。如今，关于输入正则化和不连续激活功能的开放问题仍然存在。在这项工作中，我们使用反复的内核极限来了解储层计算中稳定性的新见解。该极限对应于大型储层尺寸，并且已经与几百个神经元的水库相关。我们获得了稳定性和混乱之间边界的定量表征，这可以极大地使高参数调整。从广义上讲，我们的结果有助于理解复发性神经网络的复杂动态。
translated by 谷歌翻译
自主代理可以在新环境中导航而不构建明确的地图吗？对于PointGoal Navigation的任务（“转到$ \ delta x $，$ \ delta y $'），在理想化的设置（否RGB -D和驱动噪声，完美的GPS+Compass）下，答案是一个明确的“是” - 由任务无形组件（CNNS和RNN）组成的无地图神经模型接受了大规模增强学习训练，在标准数据集（Gibson）上取得了100％的成功。但是，对于PointNav在现实环境中（RGB-D和致动噪声，没有GPS+Compass），这是一个悬而未决的问题。我们在本文中解决了一个。该任务的最强成绩是成功的71.7％。首先，我们确定了性能下降的主要原因：GPS+指南针的缺失。带有RGB-D传感和致动噪声的完美GPS+指南针的代理商取得了99.8％的成功（Gibson-V2 Val）。这表明（解释模因）强大的视觉探子仪是我们对逼真的PointNav所需的全部。如果我们能够实现这一目标，我们可以忽略感应和致动噪声。作为我们的操作假设，我们扩展了数据集和模型大小，并开发了无人批准的数据启发技术来训练模型以进行视觉探测。我们在栖息地现实的PointNAV挑战方面的最新状态从71％降低到94％的成功（+23，31％相对）和53％至74％的SPL（+21，40％相对）。虽然我们的方法不饱和或“解决”该数据集，但这种强大的改进与有希望的零射击SIM2REAL转移（到Locobot）相结合提供了与假设一致的证据，即即使在现实环境中，显式映射也不是必需的。 。
translated by 谷歌翻译