语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
由于存在浓烟或阴霾,从室外视觉环境收集的图像通常会降解。在这些退化的视觉环境(DVE)中,在场景理解中进行研究的关键挑战是缺乏代表性的基准数据集。这些数据集需要评估降级设置中的最新对象识别和其他计算机视觉算法。在本文中,我们通过引入带有朦胧和无雾图像的第一个配对的真实图像基准数据集以及原位的雾化密度测量来解决其中的一些限制。该数据集是在受控的环境中生产的,其专业烟雾产生机器覆盖了整个场景,并由从无人机(UAV)(UAV)和无人接地车(UGV)的角度捕获的图像组成。我们还评估了一组代表性的最先进的飞行方法以及数据集中的对象探测器。本文介绍的完整数据集,包括地面真相对象分类框和雾密度测量值,为社区提供了以下网址评估其算法的信息:https://a2i2-archangel.vision。该数据集的一个子集已用于在CVPR UG2 2022挑战的雾痕中进行对象检测。
translated by 谷歌翻译
我们对解决几个自然学习问题的一通流算法所需的记忆量给出了下限。在$ \ {0,1 \}^d $中的示例的环境中,可以使用$ \ kappa $ bits对最佳分类器进行编码,我们表明,使用近距离数量的示例学习的算法,$ \ tilde o(\ kappa)$,必须使用$ \ tilde \ omega(d \ kappa)$空间。我们的空间界限与问题自然参数化的环境空间的维度相匹配,即使在示例和最终分类器的大小上是二次的。例如,在$ d $ -sparse线性分类器的设置中,$ \ kappa = \ theta(d \ log d)$,我们的空间下限是$ \ tilde \ omega(d^^^ 2)$。我们的边界与流长$ n $优雅地降级,通常具有$ \ tilde \ omega \ left(d \ kappa \ cdot \ frac \ frac {\ kappa} {n} {n} \ right)$。 $ \ omega(d \ kappa)$的形式的界限以学习奇偶校验和有限字段定义的其他问题而闻名。在狭窄的样本量范围内适用的边界也以线性回归而闻名。对于最近学习应用程序中常见的类型的问题,我们的第一个范围是适用于各种输入尺寸的问题。
translated by 谷歌翻译
我们提出了Adios,这是一个用于自我监督学习的遮罩图像模型(MIM)框架,同时使用对抗性目标学习掩盖功能和图像编码器。对图像编码器进行了训练,以最大程度地减少原始图像的表示形式与蒙版图像的表示之间的距离。相反,掩蔽函数旨在最大化此距离。阿迪奥斯(Adios)始终改进有关各种任务和数据集的最先进的自我监督学习(SSL)方法 - 包括Imagenet100和STL10上的分类,CIFAR10/100上的转移学习,Flowers102和Inaturalist,以及鲁棒性在背景挑战中进行了评估(Xiao等,2021) - 同时产生语义意义的面具。与MAE,BEIT和IBOT等现代MIM模型不同,Adios不依赖视觉变压器的图像斑点令牌构造,并且可以用卷积的骨架来实现。我们进一步证明,与对流行MIM模型中使用的掩盖方案相比,阿迪奥斯学到的面具在改善SSL方法的表示方面更有效。
translated by 谷歌翻译
在本文中,我们为Pavlovian信号传达的多方面的研究 - 一个过程中学到的一个过程,一个代理商通过另一个代理商通知决策的时间扩展预测。信令紧密连接到时间和时间。在生成和接收信号的服务中,已知人类和其他动物代表时间,确定自过去事件以来的时间,预测到未来刺激的时间,并且都识别和生成展开时间的模式。我们调查通过引入部分可观察到的决策域来对学习代理之间的影响和信令在我们称之为霜冻空心的情况下如何影响学习代理之间的影响和信令。在该域中,预测学习代理和加强学习代理被耦合到两部分决策系统,该系统可以在避免时间条件危险时获取稀疏奖励。我们评估了两个域变型:机器代理在七态线性步行中交互,以及虚拟现实环境中的人机交互。我们的结果展示了帕夫洛维亚信号传导的学习速度,对药剂 - 代理协调具有不同时间表示(并且不)的影响,以及颞次锯齿对药剂和人毒剂相互作用的影响方式不同。作为主要贡献,我们将Pavlovian信号传导为固定信号范例与两个代理之间完全自适应通信学习之间的天然桥梁。我们进一步展示了如何从固定的信令过程计算地构建该自适应信令处理,其特征在于,通过快速的连续预测学习和对接收信号的性质的最小限制。因此,我们的结果表明了加固学习代理之间的沟通学习的可行建设者的途径。
translated by 谷歌翻译
考虑到人类行为的例子,我们考虑在多种代理决策问题中建立强大但人类的政策的任务。仿制学习在预测人类行为方面有效,但可能与专家人类的实力不符,而自助学习和搜索技术(例如,alphakero)导致强大的性能,但可能会产生难以理解和协调的政策。我们在国际象棋中显示,并通过应用Monte Carlo树搜索产生具有更高人为预测准确性的策略并比仿制政策更强大的kl差异,基于kl发散的正规化搜索策略。然后我们介绍一种新的遗憾最小化算法,该算法基于来自模仿的政策的KL发散规范,并显示将该算法应用于无按压外交产生的策略,使得在基本上同时保持与模仿学习相同的人类预测准确性的策略更强。
translated by 谷歌翻译
3D LIDAR地点识别旨在基于来自旋转3D LIDAR传感器的单个扫描来估计先前看到的环境中的粗糙定位。此问题的现有解决方案包括手工制作点云描述符(例如,Scancontext,M2DP,LIDAR IRIS)和基于深度学习的解决方案(例如,PointNetvlad,PCAN,LPDNET,DAGC,MinkLoC3D)通常仅在累积时进行评估2D来自牛津机器人数据集的扫描。我们介绍了Minkloc3d-Si,一种基于稀疏的基于卷积的解决方案,它利用3D点的球形坐标并处理3D LIDAR测量的强度,提高使用单个3D LIDAR扫描时的性能。我们的方法通过最有效的3D稀疏卷曲(MinkLoc3D)集成了用于手工制作描述符(如scancontext)的典型的改进。我们的实验表明,从3D Lidars(USYD校园数据集)和伟大的泛化能力(Kitti DataSet)的单次扫描的结果有所改善。在累积的2D扫描(RobotCar Intensity数据集)上使用强度信息提高了性能,即使球形表示不会产生明显的改进。结果,Minkloc3D-Si适用于从3D延迟的单次扫描,使其适用于自动车辆。
translated by 谷歌翻译
这项工作提出了一个名为TEG的自我监督的学习框架,探讨学习视频表示中的时间粒度。在TEG中,我们从视频中抽出一个长剪辑,以及在长夹内部的短夹。然后我们提取密集的时间嵌入品。培训目标由两部分组成:一个细粒度的时间学习目的,以最大化短夹和长剪辑中的相应时间嵌入之间的相似性,以及持续的时间学习目标,以将两个剪辑的全局嵌入在一起。我们的研究揭示了时间粒度与三个主要发现的影响。 1)不同的视频任务可能需要不同时间粒度的特征。 2)有趣的是,广泛认为需要时间感知的一些任务实际上可以通过时间持久的功能来解决。 3)TEG的灵活性对8个视频基准测试产生最先进的结果,在大多数情况下优于监督预训练。
translated by 谷歌翻译
燃气轮机发动机是复杂的机器,通常产生大量数据,并且需要仔细监控,以允许具有成本效益的预防性维护。在航空航天应用中,将所有测量数据返回到地面是昂贵的,通常会导致有用,高值,要丢弃的数据。因此,在实时检测,优先级和返回有用数据的能力是至关重要的。本文提出了由卷积神经网络常态模型描述的系统输出测量,实时优先考虑预防性维护决策者。由于燃气轮机发动机时变行为的复杂性,导出精确的物理模型难以困难,并且通常导致预测精度低的模型和与实时执行不相容。数据驱动的建模是一种理想的替代方案,生产高精度,资产特定模型,而无需从第一原理推导。我们提出了一种用于在线检测和异常数据的优先级的数据驱动系统。通过集成到深神经预测模型中的不确定管理,避免了偏离新的操作条件的数据评估。测试是对实际和合成数据进行的,显示对真实和合成故障的敏感性。该系统能够在低功耗嵌入式硬件上实时运行,目前正在部署Rolls-Royce Pearl 15发动机飞行试验。
translated by 谷歌翻译
模型提取攻击已经再次兴趣了解来自查询的神经网络的经典问题。在这项工作中,我们给出了学习任意一个隐藏层神经网络激活的第一个多项式时间算法,提供了对网络的黑盒访问。正式,我们表明,如果$ F $是一个具有Relu激活的任意一个隐藏的层神经网络,则存在一个具有Query复杂性和运行时间的算法,这些复杂性和运行时间在所有参数中输出网络$ f'$实现低平方丢失相对达到高斯措施的$ F $。虽然安全文献中的许多作品已经提出和经验证明了某些算法的有效性,但是,即使对于最坏情况的网络,我们也是最完全多项式时间对效率保证的影响(特别是我们的算法在整个算法中取得成功)环境)。
translated by 谷歌翻译