最近，几种密集的检索（DR）模型已经证明了在搜索系统中无处不在的基于术语的检索的竞争性能。与基于术语的匹配相反，DR将查询和文档投影到密集的矢量空间中，并通过（大约）最近的邻居搜索检索结果。部署新系统（例如DR）不可避免地涉及其性能方面的权衡。通常，建立的检索系统按照效率和成本（例如查询延迟，索引吞吐量或存储要求）对其进行了良好的理解。在这项工作中，我们提出了一个具有一组标准的框架，这些框架超出了简单的有效性措施，可以彻底比较两个检索系统，并明确目标是评估一个系统的准备就绪，以取代另一个系统。这包括有效性和各种成本因素之间的仔细权衡考虑。此外，我们描述了护栏标准，因为即使是平均而言更好的系统，也可能会对少数查询产生系统性故障。护栏检查某些查询特性和新型故障类型的故障，这些故障仅在密集检索系统中才有可能。我们在网络排名方案上演示了我们的决策框架。在这种情况下，最先进的DR模型的结果令人惊讶，不仅是平均表现，而且通过一系列广泛的护栏测试，表现出不同的查询特性，词汇匹配，概括和回归次数的稳健性。无法预测将来博士是否会变得无处不在，但是这是一种可能的方法是通过重复应用决策过程（例如此处介绍的过程）。
translated by 谷歌翻译
视觉变压器在众多计算机视觉任务上表现出了巨大的成功。然而，由于计算复杂性和记忆足迹是二次的，因此其中心分量（软磁性注意力）禁止视觉变压器扩展到高分辨率图像。尽管在自然语言处理（NLP）任务中引入了线性注意以减轻类似问题，但直接将现有的线性注意力应用于视觉变压器可能不会导致令人满意的结果。我们研究了这个问题，发现与NLP任务相比，计算机视觉任务更多地关注本地信息。基于这一观察结果，我们提出了附近的关注，该关注引入了具有线性复杂性的视觉变压器的局部性偏见。具体而言，对于每个图像补丁，我们根据其相邻贴片测量的2D曼哈顿距离调整了注意力重量。在这种情况下，相邻的补丁比遥远的补丁会受到更大的关注。此外，由于我们的附近注意力要求令牌长度比特征维度大得多，以显示其效率优势，因此我们进一步提出了一个新的附近视觉变压器（VVT）结构，以减少特征维度而不脱离准确性。我们在CIFAR100，ImagEnet1k和ADE20K数据集上进行了广泛的实验，以验证我们方法的有效性。当输入分辨率增加时，与以前的基于变压器和基于卷积的网络相比，GFLOP的增长率较慢。特别是，我们的方法达到了最新的图像分类精度，其参数比以前的方法少50％。
translated by 谷歌翻译
公民科学数据集可能非常大，并且有望改善物种分布建模，但是检测是不完美的，在安装模型时冒着偏见的危险。特别是，观察者可能无法检测到实际存在的物种。占用模型可以估计和纠正此观察过程，并且多种物种的占用模型利用了观察过程中的相似性，这可以改善稀有物种的估计值。但是，目前用于拟合这些模型的计算方法不能扩展到大型数据集。我们开发近似的贝叶斯推理方法，并使用图形处理单元（GPU）将多物种占用模型扩展到非常大的公民科学数据。我们将多物种占用模型拟合到来自eBird项目的一个月数据，该数据由186,811个清单记录组成，其中包括430种鸟类。我们评估了59,338条记录的空间分离测试集的预测，并比较了两种不同的推理方法 - 马尔可夫链蒙特卡洛（MCMC）和变异推理（VI） - 使用最大可能性分别拟合到每个物种的占用模型。我们使用VI将模型拟合到整个数据集中，并使用MCMC将多达32,000个记录拟合。安装在整个数据集中的VI表现最佳，在AUC上表现优于单物种模型（90.4％，而相比88.7％）和对数可能性（-0.080），而不是-0.085）。我们还评估了该模型预测的范围地图与专家图的一致。我们发现建模检测过程大大改善了一致性，并且所得的地图与使用高质量调查数据估计的图表与专家图密切一致。我们的结果表明，多物种占用模型是对大型公民科学数据集建模的令人信服的方法，并且一旦考虑到观察过程，它们就可以准确地对物种分布进行建模。
translated by 谷歌翻译
我们提出了一种将任意样式图像的艺术特征转移到3D场景的方法。在点云或网格上执行3D风格的先前方法对复杂的现实世界场景的几何重建错误敏感。取而代之的是，我们建议对更健壮的辐射场字段表示。我们发现，常用的基于克矩阵的损失倾向于在没有忠实笔触的情况下产生模糊的结果，并引入了最近的基于邻居的损失，该损失非常有效地捕获样式的细节，同时保持多视图一致性。我们还提出了一种新颖的递延后传播方法，以使用在全分辨率渲染图像上定义的样式损失来优化记忆密集型辐射场。我们广泛的评估表明，我们的方法通过产生与样式图像更相似的艺术外观来优于基线。请检查我们的项目页面以获取视频结果和开源实现：https：//www.cs.cornell.edu/projects/arf/。
translated by 谷歌翻译
质量不足的质量生产可能会对工具，生产下降和低质量产品造成极为昂贵的损害。非常需要自动，快速和廉价的策略来估算质量控制，降低风险和故障预测的重要材料特性。在这项工作中，我们分析了高吞吐量的基于钢的产品。目前，使用手动破坏性测试检查材料质量，该测试缓慢，浪费，仅覆盖一小部分材料。为了获得完整的测试覆盖范围，我们的工业合作者开发了一种非接触式，无创的电磁传感器，以实时测量所有材料。我们的贡献是三个方面：1）我们在受控的实验中表明，传感器可以通过故意改变特性区分钢。 2）对48个钢管进行了全面测量，并对样品进行了其他破坏性测试，以作为地面真理。拟合线性模型可从非侵入性测量中预测通常通过破坏性测试获得的两种关键材料特性（屈服强度和拉伸强度）。在剩余的交叉验证中评估性能。 3）所得模型用于分析用非侵入性传感器测量的〜108 km的处理材料的实际生产数据上的材料特性和与记录的产品故障的关系。该模型实现了出色的性能（F3得分为0.95），预测材料的拉伸强度规格不足。模型预测和记录的产品故障的组合表明，如果大量的估计收益应力值不超出规格，则产品故障的风险很高。我们的分析证明了实时质量控制，风险监控和故障检测的有希望的方向。
translated by 谷歌翻译
本文的目的是纠正对卷积神经网络（CNN）的误解。CNN由卷积层组成，由于重量共享，这些卷积层是偏移的。但是，与普遍的看法相反，即使忽略边界效应以及汇集和亚采样不存在，卷积层也不是翻译等效的。这是因为移位均值是一种离散的对称性，而翻译等效性是连续的对称性。这种离散的系统一般不会继承持续的等效性是对模棱两可的深度学习的基本限制。我们讨论了这一事实的两个含义。首先，尽管没有继承其模型的物理系统的翻译等效性，但CNN在图像处理方面取得了成功。其次，使用CNN求解偏微分方程（PDE）不会导致翻译模化求解器。
translated by 谷歌翻译
语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。
translated by 谷歌翻译
研究表明，进化策略（ES）是具有深层神经网络的强化学习（RL）的有前途的方法。但是，高样本复杂性的问题仍然存在于ES对深度RL的应用中。本文是第一个通过新颖的神经进化多任务处理（NUEMT）算法解决当今方法的缺点，该算法旨在将信息从一组（短情节长度）转移到目标（全长）的RL任务。从目标中提取的辅助任务允许代理更新并快速评估较短时间范围的策略。然后转移进化的技能，以指导更长，更艰巨的任务实现最佳政策。我们证明了NUEMT算法达到了数据叶进化RL，从而减少了昂贵的代理环境相互作用数据要求。在这种情况下，我们的主要算法贡献是首次基于统计重要性抽样技术引入多任务技能转移机制。此外，利用自适应资源分配策略将计算资源分配给基于其收集的实用性的辅助任务。关于OpenAI体育馆的一系列连续控制任务的实验证实，与最近的ES基线相比，我们提出的算法有效。
translated by 谷歌翻译
因果推断对于跨业务参与，医疗和政策制定等领域的数据驱动决策至关重要。然而，关于因果发现的研究已经与推理方法分开发展，从而阻止了两个领域方法的直接组合。在这项工作中，我们开发了深层端到端因果推理（DECI），这是一种基于流动的非线性添加噪声模型，该模型具有观察数据，并且可以执行因果发现和推理，包括有条件的平均治疗效果（CATE） ）估计。我们提供了理论上的保证，即DECI可以根据标准因果发现假设恢复地面真实因果图。受应用影响的激励，我们将该模型扩展到具有缺失值的异质，混合型数据，从而允许连续和离散的治疗决策。我们的结果表明，与因果发现的相关基线相比，DECI的竞争性能和（c）在合成数据集和因果机器学习基准测试基准的一千多个实验中，跨数据类型和缺失水平进行了估计。
translated by 谷歌翻译
我们展示了在线转移学习作为数字资产交易代理的应用。该代理使用回波状态网络的形式使用强大的特征空间表示，其输出可用于直接，经常性的强化学习代理。代理商学会交易XBTUSD（比特币与美元）Perpetual Swap衍生品在Bitmex上合同。它学会在五个微微采样的数据上贸易盘中，避免过度交易，捕获资金利润，也能够预测市场的方向。总体而言，我们的加密代理商实现了350％的总回报，交易成本净额超过五年，其中71％是资金利润。它达到的年度信息比率为1.46。
translated by 谷歌翻译