计算机辅助诊断通常需要分析放射学扫描内的感兴趣区域(ROI),并且ROI可以是器官或子机构。虽然深入学习算法具有优于其他方法的能力,但它们依赖于大量注释数据的可用性。通过解决这一限制的需要,这里提出了一种基于监督和半监督学习的多个器官的定位和检测的方法。它借鉴了作者在CT图像中定位胸椎和腰椎区域的工作者。该方法生成六个感兴趣的器官的边界框,然后将其融合到单个边界框。使用受监督和半监督学习(SSL)在CT图像中的脾脏,左和右肾定位的实验结果证明了与其他状态相比,以更小的数据集和更少的注释来解决数据限制的能力。最新方法。使用三种不同的标记和未标记的数据(即30:70,35:65,40:60)评估SSL性能,分别为腰椎,脾脏左和右肾的每种。结果表明,SSL提供了可行的替代方案,特别是在医学成像中,难以获得注释数据。
translated by 谷歌翻译
数据驱动的设计显示了加速材料发现的希望,但由于搜索化学,结构和合成方法的庞大设计空间的高昂成本,这是具有挑战性的。贝叶斯优化(BO)采用不确定性的机器学习模型来选择有前途的设计来评估,从而降低成本。但是,在材料设计中特别感兴趣的具有混合数值和分类变量的BO尚未得到很好的研究。在这项工作中,我们调查了使用混合变量对机器学习的不确定性量化的常见主义者和贝叶斯方法。然后,我们使用来自每个组的流行代表模型,基于森林的LOLO模型(频繁主义者)和潜在的可变高斯过程模型(贝叶斯)进行了对BO中其表现的系统比较研究。我们研究了这两个模型在数学函数优化的功效以及结构和功能材料的特性,在其中我们观察到与问题维度和复杂性有关的性能差异。通过研究机器学习模型的预测性和不确定性估计功能,我们可以解释观察到的性能差异。我们的结果为在材料设计中的混合变量BO中选择频繁和贝叶斯不确定性的机器学习模型提供了实用的指导。
translated by 谷歌翻译
主动学习是一个非常常见但功能强大的框架,用于与人类在循环中的人类迭代和适应性采样子集,目的是实现标签效率。大多数现实世界数据集在类和切片中都有不平衡,并且相应地,数据集的一部分很少见。结果,在设计挖掘这些罕见数据实例的主动学习方法方面已经有很多工作。大多数方法都假设访问包含这些罕见数据实例的一组种子实例。但是,如果发生更极端的稀有性,可以合理地假设这些罕见的数据实例(类或切片)甚至可能在标记的种子集合中存在,并且对主动学习范式的关键需求是有效地发现这些罕见的数据实例。在这项工作中,我们提供了一个主动数据发现框架,该框架可以使用子管的条件增益和下管有条件的相互信息功能有效地挖掘未知的数据切片和类。我们提供了一个一般的算法框架,该框架在许多情况下都起作用,包括图像分类和对象检测,并与未标记集合中存在的稀有类和稀有切片一起使用。与现有的最新活跃学习方法相比,我们的方法表现出显着的准确性和标记效率提高,以积极发现这些稀有类别和切片。
translated by 谷歌翻译
从图灵(Turing)在1950年的开创性工作开始,人工智能提出,图灵机可以模拟意识。这意味着宇宙是计算机上的模拟的所有事物的潜在理论,该理论引出了一个问题,即我们是否可以证明自己存在于模拟中。在这项工作中,我们构建了一个相对模型的计算模型,其中可计算\ textIt {local}计算机由经典的图灵计算机模拟。我们表明,其全局模拟器的本地计算机计算\ textbf {仿真属性}的问题与停止问题相同。然后,我们表明,计算全局模拟器积累的时间,空间或误差是模拟属性,因此是不可决定的。这些仿真属性在相对模型中产生了特殊的相对论效应,我们用来构建相对教会的 - 杜特施奇论文,其中全球经典的图灵机器为本地机器计算具有与恒定时间的局部计算复杂性的量子力学,在我们的宇宙中经验丰富。
translated by 谷歌翻译
语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
经典的机器学习范式需要在中心位置汇总用户数据,在该位置,机器学习实践者可以预处理数据,计算功能,调整模型并评估性能。这种方法的优点包括利用高性能硬件(例如GPU)以及机器学习实践者在深度数据分析中进行的能力以提高模型性能。但是,这些优势可能是为了支付数据隐私的费用。收集,汇总并存储在集中式服务器上以进行模型开发。数据集中构成风险,包括内部和外部安全事件的风险增加以及意外数据滥用。具有不同隐私的联合学习旨在通过将ML学习步骤带给用户的设备来避免服务器端集中化陷阱。学习是以联合方式完成的,每个移动设备都在模型的本地副本上运行一个训练循环。来自设备模型的更新通过加密通信和通过差异隐私发送到服务器,以改善全局模型。在此范式中,用户的个人数据仍在其设备上。令人惊讶的是,以这种方式培训模型培训的模型性能差异很小。但是,由于其分布式性质,异质计算环境和缺乏数据可见性,联邦学习带来了许多其他挑战。本文探讨了这些挑战,并概述了我们正在探索和测试的建筑设计解决方案,以在元评估中生产联合学习。
translated by 谷歌翻译
高维数据的歧管假设假设数据是通过改变从低维潜在空间获得的一组参数而生成的。深层生成模型(DGM)被广泛用于以无监督的方式学习数据表示。 DGM使用瓶颈体系结构(例如变异自动编码器(VAE))参数化数据空间中的基础低维歧管。 VAE的瓶颈尺寸被视为取决于数据集的超参数,并在广泛调整后在设计时间固定。由于大多数实际数据集的内在维度尚不清楚,因此固有维度与选择为超参数的潜在维度之间存在不匹配。这种不匹配可能会对表示形式学习和样本生成任务的模型性能产生负面影响。本文提出了相关性编码网络(RENS):一种新型的基于VAE的概率VAE框架,该框架在潜在空间中使用自动相关性确定(ARD)来学习数据特定的瓶颈维度。每个潜在维度的相关性是直接从数据以及使用随机梯度下降的其他模型参数以及适合非高斯先验的重新聚集技巧的其他模型参数中学到的。我们利用深处的概念来捕获数据和潜在空间中的置换统计属性,以确定相关性。所提出的框架是一般且灵活的,可用于最先进的VAE模型,该模型利用正规化器在潜在空间中施加特定特征(例如,脱离)。通过对合成和公共图像数据集进行了广泛的实验,我们表明,所提出的模型了解了相关的潜在瓶颈维度,而不会损害样品的表示和发电质量。
translated by 谷歌翻译
几个射击分类(FSC)需要使用几个(通常为1-5个)数据点的培训模型。事实证明,元学习能够通过培训各种其他分类任务来学习FSC的参数化模型。在这项工作中,我们提出了铂金(使用superodular互信息的半监督模型不可思议的元学习),这是一种新型的半监督模型不合理的元学习框架,使用了子模块化信息(SMI)函数来促进FSC的性能。在元训练期间,使用SMI函数在内部和外循环中利用铂金的数据,并获得元测试的更丰富的元学习参数化。我们在两种情况下研究白金的性能 - 1)未标记的数据点属于与某个插曲的标签集相同的类别集,以及2)在存在不属于的分布类别的地方标记的集合。我们在Miniimagenet,Tieredimagenet和几乎没有Shot-CIFAR100数据集的各种设置上评估了我们的方法。我们的实验表明,铂金优于MAML和半监督的方法,例如用于半监视的FSC的pseduo-Labeling,尤其是对于每个类别的标记示例比例很小。
translated by 谷歌翻译
AI的一个关键挑战是构建体现的系统,该系统在动态变化的环境中运行。此类系统必须适应更改任务上下文并持续学习。虽然标准的深度学习系统实现了最先进的静态基准的结果,但它们通常在动态方案中挣扎。在这些设置中,来自多个上下文的错误信号可能会彼此干扰,最终导致称为灾难性遗忘的现象。在本文中,我们将生物学启发的架构调查为对这些问题的解决方案。具体而言,我们表明树突和局部抑制系统的生物物理特性使网络能够以特定于上下文的方式动态限制和路由信息。我们的主要贡献如下。首先,我们提出了一种新颖的人工神经网络架构,该架构将活跃的枝形和稀疏表示融入了标准的深度学习框架中。接下来,我们在需要任务的适应性的两个单独的基准上研究这种架构的性能:Meta-World,一个机器人代理必须学习同时解决各种操纵任务的多任务强化学习环境;和一个持续的学习基准,其中模型的预测任务在整个训练中都会发生变化。对两个基准的分析演示了重叠但不同和稀疏的子网的出现,允许系统流动地使用最小的遗忘。我们的神经实现标志在单一架构上第一次在多任务和持续学习设置上取得了竞争力。我们的研究揭示了神经元的生物学特性如何通知深度学习系统,以解决通常不可能对传统ANN来解决的动态情景。
translated by 谷歌翻译
专家层(MOES)的混合物通过条件计算实现语言模型的高效缩放。本文提出了一个详细的实证研究,自回归鞋语言模型与广泛的设置中的密集模型相比:在域外语言建模,零和少量射击和全部微调。除了微调外,我们发现Moes基本上更加计算效率。在更适度的培训预算下,MOES可以使用$ \ SIM值4倍的计算,符合密集模型的性能。该差距在比例下变窄,但我们最大的MOE模型(1.1T参数)始终如一地优于计算等效的密集模型(6.7b参数)。总体而言,这种表现差距在任务和域中有很大差异,表明MOE和密集模型以不值得研究的方式概括不同的方式。我们使我们的代码和模型公开可用于研究使用。
translated by 谷歌翻译