语言模型既展示了定量的改进,又展示了新的定性功能,随着规模的增加。尽管它们具有潜在的变革性影响,但这些新能力的特征却很差。为了为未来的研究提供信息,为破坏性的新模型能力做准备,并改善社会有害的效果,至关重要的是,我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战,我们介绍了超越模仿游戏基准(Big Bench)。 Big Bench目前由204个任务组成,由132家机构的442位作者贡献。任务主题是多样的,从语言学,儿童发展,数学,常识性推理,生物学,物理学,社会偏见,软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号,Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为,跨越了数百万到数十亿个参数。此外,一个人类专家评估者团队执行了所有任务,以提供强大的基准。研究结果包括:模型性能和校准都随规模改善,但绝对的术语(以及与评估者的性能相比);在模型类中的性能非常相似,尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分,而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标;社交偏见通常会随着含糊不清的环境而随着规模而增加,但这可以通过提示来改善。
translated by 谷歌翻译
在神经元网络中,使用本地信息单独更新,允许完全分散的学习。相反,人工神经网络(ANN)中的元件通常使用中央处理器同时更新。在这里,我们调查最近引入的分散,物理驱动的学习网络中异步学习的可行性和影响。我们表明,在理想化模拟中,Desynchization Learing Processe不会降低各种任务的性能。在实验中,Des同步实际上通过允许系统更好地探索解决方案的离散状态空间来实现性能。我们在随机梯度下降中的异步和迷你批处理之间绘制了类比,并表明它们对学习过程具有类似的影响。 des同步学习过程将物理驱动的学习网络建立为真正完全分布式的学习机器,在部署中提高更好的性能和可扩展性。
translated by 谷歌翻译
当观察结果被截断时,我们仅限于数据集的不完整图片。最近的方法通过转向得分匹配来处理截短的密度估计问题,而不需要访问棘手的归一化常数。我们为Riemannian歧管提供了一个新颖的扩展,以截断得分匹配。在$ \ r^3 $中的二维领域上向von Mises-Fisher和Kent发行版提供了申请,以及美国极端风暴观察的现实应用。在模拟数据实验中,我们的分数匹配估计器能够以较低的估计误差近似于真实的参数值,并显示出比最大似然估计器的改进。
translated by 谷歌翻译
主观认知下降(SCD)是阿尔茨海默氏病(AD)的临床前阶段,甚至在轻度认知障碍(MCI)之前就发生。渐进式SCD将转换为MCI,并有可能进一步发展为AD。因此,通过神经成像技术(例如,结构MRI)对进行性SCD的早期鉴定对于AD的早期干预具有巨大的临床价值。但是,现有的基于MRI的机器/深度学习方法通​​常会遇到小样本大小的问题,这对相关的神经影像学分析构成了巨大挑战。我们旨在解决本文的主要问题是如何利用相关领域(例如AD/NC)协助SCD的进展预测。同时,我们担心哪些大脑区域与进行性SCD的识别更加紧密相关。为此,我们提出了一个注意引导自动编码器模型,以进行有效的跨域适应,以促进知识转移从AD到SCD。所提出的模型由四个关键组成部分组成:1)用于学习不同域的共享子空间表示的功能编码模块,2)用于自动定义大脑中定义的兴趣障碍区域的注意模块,3)用于重构的解码模块原始输入,4)用于鉴定脑疾病的分类模块。通过对这四个模块的联合培训,可以学习域不变功能。同时,注意机制可以强调与脑部疾病相关的区域。公开可用的ADNI数据集和私人CLAS数据集的广泛实验证明了该方法的有效性。提出的模型直接可以在CPU上仅5-10秒进行训练和测试,并且适用于具有小数据集的医疗任务。
translated by 谷歌翻译
在核成像中,有限的分辨率会导致影响图像清晰度和定量准确性的部分体积效应(PVE)。已证明来自CT或MRI的高分辨率解剖信息的部分体积校正(PVC)已被证明是有效的。但是,这种解剖学引导的方法通常需要乏味的图像注册和分割步骤。由于缺乏具有高端CT和相关运动伪像的混合体SPECT/CT扫描仪,因此很难获得准确的分段器官模板,尤其是在心脏SPECT成像中。轻微的错误注册/错误分段将导致PVC后的图像质量严重降解。在这项工作中,我们开发了一种基于深度学习的方法,用于快速心脏SPECT PVC,而无需解剖信息和相关的器官分割。所提出的网络涉及密集连接的多维动态机制,即使网络经过充分训练,也可以根据输入图像对卷积内核进行调整。引入了心脏内血容量(IMBV)作为网络优化的附加临床损失函数。提出的网络表明,使用Technetium-99M标记的红细胞在GE发现NM/CT 570C专用心脏SPECT扫描仪上获得的28个犬类研究表现有希望的表现。这项工作表明,与没有这种机制的同一网络相比,具有密集连接的动态机制的提议网络产生了较高的结果。结果还表明,没有解剖信息的提出的网络可以与解剖学引导的PVC方法产生的图像产生具有统计上可比的IMBV测量的图像,这可能有助于临床翻译。
translated by 谷歌翻译
我们使用来自多种传感模式的数据,即加速度计和全球导航卫星系统(GNSS)来对动物行为进行分类。我们从GNSS数据中提取三个新功能,即距水点,中值和中位数估计的水平位置误差的距离。我们考虑了将加速度计和GNSS数据可用信息组合的两种方法。第一种方法是基于从传感器数据中提取的特征并将串联特征向量馈入多层感知器(MLP)分类器中的串联。第二种方法是基于将两个MLP分类器预测的后验概率融合,每个概率每个都以从一个传感器的数据为输入中提取的功能。我们使用两个通过智能牛领和耳号收集的现实世界数据集评估了开发的多模式动物行为行为分类算法的性能。一对一的动物交叉验证结果表明,这两种方法都可以显着改善分类性能,而仅使用一种传感模式的数据,特别是对于步行和饮酒的不经常但重要的行为。基于两种方法开发的算法都需要相当小的计算和内存资源,因此适合于我们的衣领和耳罩的嵌入式系统实现。但是,基于后验概率融合的多模式动物行为分类算法比基于特征串联的算法更可取,因为它提供了更好的分类精度,具有较低的计算和记忆复杂性,对传感器数据失败更强大,并且享受更好的模块化。 。
translated by 谷歌翻译
单光子发射计算机断层扫描(SPECT)是一种广泛应用的成像方法,用于诊断冠状动脉疾病。从计算机断层扫描(CT)得出的衰减图(U-MAP)用于衰减校正(AC),以提高心脏SPECT的诊断准确性。但是,SPECT和CT是在临床实践中依次获得的,这可能会导致两项扫描之间的误会。卷积神经网络(CNN)是医疗图像注册的强大工具。先前基于CNN的跨模式注册方法直接串联了两个输入模态作为早期特征融合或使用两个单独的CNN模块提取的图像特征,以进行晚期融合。这些方法不能完全提取或融合交叉模式信息。此外,以前尚未对心脏SPECT和CT衍生的U-MAP的深度学习刚性注册进行研究。在本文中,我们提出了一个双分支挤压融合 - 兴奋(DUSFE)模块,用于对心脏SPECT和CT衍生的U-MAP的注册。 Dusfe融合了从多种模态的知识,以重新校准每种模式的通道和空间特征。 Dusfe可以嵌入多个卷积层,以在不同的空间尺寸下实现特征融合。我们使用临床数据的研究表明,嵌入DUSFE的网络比以前的方法产生了较低的注册误差,因此更准确的AC SPECT图像。
translated by 谷歌翻译
通用形态(UNIMORPH)项目是一项合作的努力,可为数百种世界语言实例化覆盖范围的标准化形态拐角。该项目包括两个主要的推力:一种无独立的特征架构,用于丰富的形态注释,并以各种语言意识到该模式的各种语言的带注释数据的类型级别资源。本文介绍了过去几年对几个方面的扩张和改进(自McCarthy等人(2020年)以来)。众多语言学家的合作努力增加了67种新语言,其中包括30种濒危语言。我们已经对提取管道进行了一些改进,以解决一些问题,例如缺少性别和马克龙信息。我们还修改了模式,使用了形态学现象所需的层次结构,例如多肢体协议和案例堆叠,同时添加了一些缺失的形态特征,以使模式更具包容性。鉴于上一个UniMorph版本,我们还通过16种语言的词素分割增强了数据库。最后,这个新版本通过通过代表来自metphynet的派生过程的实例丰富数据和注释模式来推动将衍生物形态纳入UniMorph中。
translated by 谷歌翻译
我们建议和分析一个强化学习原理,该原理仅在测试功能的用户定义空间沿使用它们的有效性来近似钟声方程。我们专注于使用功能近似的无模型离线RL应用程序,我们利用这一原理来得出置信区间以进行非政策评估,并在规定的策略类别中优化了对策略的优化。我们证明了关于我们的政策优化程序的甲骨文不平等,就任意比较策略的价值和不确定性之间的权衡而言。测试功能空间的不同选择使我们能够解决共同框架中的不同问题。我们表征了使用我们的程序从政策转移到政策数据的效率的丧失,并建立了与过去工作中研究的浓缩性系数的连接。我们深入研究了具有线性函数近似的方法的实施,即使贝尔曼关闭不结束,也可以通过多项式时间实现提供理论保证。
translated by 谷歌翻译
心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的,并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务,即进行心肌病理分割(MYOPS)结合三个序列的心脏磁共振(CMR)图像,该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像,允许算法将互补信息与三个CMR序列组合到病理分割。在本文中,我们提供了挑战的详细信息,从十五个参与者的作品调查,并根据五个方面解释他们的方法,即预处理,数据增强,学习策略,模型架构和后处理。此外,我们对不同因素的结果分析了结果,以检查关键障碍和探索解决方案的潜力,以及为未来的研究提供基准。我们得出结论,虽然报告了有前途的结果,但研究仍处于早期阶段,在成功应用于诊所之前需要更深入的探索。请注意,MyOPS数据和评估工具继续通过其主页(www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /)注册注册。
translated by 谷歌翻译