本文讨论了具有丰富记录数据的域中的政策选择问题,但互动预算有限。解决此问题将在行业,机器人和推荐领域中安全评估和部署离线强化学习政策等。已经提出了几种违规评估(OPE)技术以评估仅使用记录数据的策略的值。然而,OPE的评估与真实环境中的完整在线评估之间仍然存在巨大差距。然而,在实践中通常不可能进行大量的在线互动。为了克服这个问题,我们介绍了\ emph {主动脱机策略选择} - 一种新的顺序决策方法,将记录数据与在线交互相结合,以识别最佳策略。这种方法使用ope估计来热启动在线评估。然后,为了利用有限的环境相互作用,我们决定基于具有表示政策相似性的内核函数的贝叶斯优化方法来评估哪个策略。我们使用大量候选政策的多个基准,以表明所提出的方法提高了最先进的OPE估计和纯在线策略评估。
translated by 谷歌翻译
我们研究如何构建一组可以组成的政策来解决一个加强学习任务的集合。每个任务都是不同的奖励函数,被定义为已知功能的线性组合。我们考虑一下我们呼吁改进政策的特定策略组合(SIPS):给定一套政策和一系列任务,SIP是前者的任何构成,其性能至少与其成分的表现相当好所有任务。我们专注于啜饮的最保守的实例化,Set-Max政策(SMPS),因此我们的分析扩展到任何SIP。这包括已知的策略组合运营商,如广义政策改进。我们的主要贡献是一种策略迭代算法,构建一组策略,以最大限度地提高所得SMP的最坏情况性能。该算法通过连续向集合添加新策略来工作。我们表明,生成的SMP的最坏情况性能严格地改善了每次迭代,并且算法仅在不存在导致改进性能的策略时停止。我们经验在网格世界上进行了验证评估了算法,也是来自DeepMind控制套件的一组域。我们确认了我们关于我们算法的单调性能的理论结果。有趣的是,我们还经验展示了算法计算的政策集是多样的,导致网格世界中的不同轨迹以及控制套件中的非常独特的运动技能。
translated by 谷歌翻译
计算机辅助方法为诊断和预测脑疾病显示了附加的价值,因此可以支持临床护理和治疗计划中的决策。本章将洞悉方法的类型,其工作,输入数据(例如认知测试,成像和遗传数据)及其提供的输出类型。我们将专注于诊断的特定用例,即估计患者的当前“状况”,例如痴呆症的早期检测和诊断,对脑肿瘤的鉴别诊断以及中风的决策。关于预测,即对患者的未来“状况”的估计,我们将缩小用例,例如预测多发性硬化症中的疾病病程,并预测脑癌治疗后患者的结局。此外,根据这些用例,我们将评估当前的最新方法,并强调当前对这些方法进行基准测试的努力以及其中的开放科学的重要性。最后,我们评估了计算机辅助方法的当前临床影响,并讨论了增加临床影响所需的下一步。
translated by 谷歌翻译
当观察结果被截断时,我们仅限于数据集的不完整图片。最近的方法通过转向得分匹配来处理截短的密度估计问题,而不需要访问棘手的归一化常数。我们为Riemannian歧管提供了一个新颖的扩展,以截断得分匹配。在$ \ r^3 $中的二维领域上向von Mises-Fisher和Kent发行版提供了申请,以及美国极端风暴观察的现实应用。在模拟数据实验中,我们的分数匹配估计器能够以较低的估计误差近似于真实的参数值,并显示出比最大似然估计器的改进。
translated by 谷歌翻译
深度学习的最新进展使视频(称为深击)的现实数字变化。这项技术引起了关于虚假和真实性的重要社会关注,使许多深层检测算法的发展充满了动力。同时,培训数据和野外视频数据之间存在显着差异,这可能会破坏其实际功效。我们模拟了数据损坏技术,并检查了FaceForensics ++数据集损坏变体的最先进的深膜检测算法的性能。尽管DeepFake检测模型与与培训时间增加一致的视频损坏相符,但我们发现它们仍然容易受到视频腐败的影响,这些腐败模拟视频质量的降低。的确,在加蓬总统邦戈(Bongo)的新年地址的视频中,自信地验证了原始视频的算法,该视频的高度损坏的变体是伪造的。我们的工作在全球背景下对实用的深层检测进行了探索的技术和道德途径。
translated by 谷歌翻译
推断人类场景接触(HSC)是了解人类如何与周围环境相互作用的第一步。尽管检测2D人类对象的相互作用(HOI)和重建3D人姿势和形状(HPS)已经取得了重大进展,但单个图像的3D人习惯接触的推理仍然具有挑战性。现有的HSC检测方法仅考虑几种类型的预定义接触,通常将身体和场景降低到少数原语,甚至忽略了图像证据。为了预测单个图像的人类场景接触,我们从数据和算法的角度解决了上述局限性。我们捕获了一个名为“真实场景,互动,联系和人类”的新数据集。 Rich在4K分辨率上包含多视图室外/室内视频序列,使用无标记运动捕获,3D身体扫描和高分辨率3D场景扫描捕获的地面3D人体。 Rich的一个关键特征是它还包含身体上精确的顶点级接触标签。使用Rich,我们训练一个网络,该网络可预测单个RGB图像的密集车身场景接触。我们的主要见解是,接触中的区域总是被阻塞,因此网络需要能够探索整个图像以获取证据。我们使用变压器学习这种非本地关系,并提出新的身体场景接触变压器(BSTRO)。很少有方法探索3D接触;那些只专注于脚的人,将脚接触作为后处理步骤,或从身体姿势中推断出无需看现场的接触。据我们所知,BSTRO是直接从单个图像中直接估计3D身体场景接触的方法。我们证明,BSTRO的表现明显优于先前的艺术。代码和数据集可在https://rich.is.tue.mpg.de上获得。
translated by 谷歌翻译
从物体及其在3D空间中的几何形状方面对世界的组成理解被认为是人类认知的基石。促进神经网络中这种表示形式的学习有望实质上提高标记的数据效率。作为朝着这个方向发展的关键步骤,我们在学习3D一致的复杂场景分解的问题上取得了进展,以无监督的方式将复杂场景分解为单个对象。我们介绍对象场景表示变压器(OSRT),这是一个以3D为中心的模型,其中各个对象表示通过新颖的视图合成自然出现。 OSRT比现有方法更为复杂,具有更大的对象和背景的复杂场景。同时,由于其光场参数化和新型的插槽混合器解码器,它在组成渲染时的多个数量级更快。我们认为,这项工作不仅将加速未来的建筑探索和扩展工作,而且还将成为以对象为中心和神经场景表示社区的有用工具。
translated by 谷歌翻译
机器学习(ML)通常被视为一种黑盒回归技术,无法提供相当大的科学见解。 ML模型是通用函数近似器,如果正确使用,则可以提供与用于拟合的地面数据集有关的科学信息。 ML比参数模型的好处是,没有预定义的基础函数限制可以建模的现象。在这项工作中,我们在三个数据集上开发了ML模型:太空环境技术(SET)高精度卫星阻力模型(HASDM)密度数据库,这是Jacchia-Bowman 2008经验热层密度模型(JB2008),Jacchia-Bowman 2008经验的空间端段匹配数据集,以及具有挑战性的Minisatellite有效载荷(Champ)的加速度计衍生的密度数据集。将这些ML模型与海军研究实验室质谱仪和不相互分的散射雷达(NRLMSIS 2.0)模型进行比较,以研究中热层中传感后冷却的存在。我们发现NRLMSIS 2.0和JB2008-ML都不能说明后冷却,因此在强烈的地磁风暴(例如2003年万圣节风暴)之后的时期内表现不佳。相反,HASDM-ML和Champ-ML确实显示了传感后冷却的证据,表明这种现象存在于原始数据集中。结果表明,根据位置和暴风雨强度,速度1-3天的密度降低可能会发生1--3天。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
联合学习中的隐私(FL)以两种不同的粒度进行了研究:项目级,该项目级别保护单个数据点和用户级别,该数据点保护联邦中的每个用户(参与者)。几乎所有的私人文献都致力于研究这两种粒度的隐私攻击和防御。最近,主题级隐私已成为一种替代性隐私粒度,以保护个人(数据主体)的隐私(数据主题),其数据分布在跨索洛FL设置中的多个(组织)用户。对手可能有兴趣通过攻击受过训练的模型来恢复有关这些人(又称emph {data主体})的私人信息。对这些模式的系统研究需要对联邦的完全控制,而实际数据集是不可能的。我们设计了一个模拟器,用于生成各种合成联邦配置,使我们能够研究数据的属性,模型设计和培训以及联合会本身如何影响主题隐私风险。我们提出了\ emph {主题成员推理}的三个攻击,并检查影响攻击功效的联邦中所有因素之间的相互作用。我们还研究了差异隐私在减轻这种威胁方面的有效性。我们的收获概括到像女权主义者这样的现实世界数据集中,对我们的发现赋予了信任。
translated by 谷歌翻译