眼底摄影是诊断和监测眼部疾病的诊所的常规检查。但是，对于白内障患者，底眼图像始终会遭受由云晶状体引起的质量降解。降解阻止了眼科医生或计算机辅助系统可靠的诊断。为了提高临床诊断的确定性，已经提出了恢复算法来提高眼底图像的质量。不幸的是，这些算法的部署仍然存在挑战，例如收集足够的培训数据和保存视网膜结构。在本文中，为了规避严格的部署要求，从共享相同结构的合成数据中开发出了针对白内障底底图像的结构一致的恢复网络（SCR-NET）。白内障仿真模型首先是设计用于收集由白内障底面图像共享相同结构的合成性白内障集（SC）的。然后从SCS中提取高频组件（HFC）以约束结构一致性，从而强制执行SCR-NET中的结构保留。该实验证明了SCR-NET与最新方法和后续临床应用的比较中的有效性。该代码可从https://github.com/liamheng/arcnet-medical-image-enhancement获得。
translated by 谷歌翻译
基于方面的情绪分析（ABSA）任务由三个典型的子特点组成：术语术语提取，意见术语提取和情感极性分类。这三个子组织通常是共同执行的，以节省资源并减少管道中的错误传播。但是，大多数现有联合模型只关注编码器共享的福利在子任务之间共享，但忽略差异。因此，我们提出了一个关节ABSA模型，它不仅享有编码器共享的好处，而且还专注于提高模型效率的差异。详细地，我们介绍了双编码器设计，其中一对编码器特别侧重于候选方识对分类，并且原始编码器对序列标记进行注意。经验结果表明，我们的拟议模型显示了鲁棒性，并显着优于前一个基准数据集的先前最先进。
translated by 谷歌翻译
基于深度学习的模型占主导地位的生产推荐系统的当前景观。此外，近年来目睹了模型规模的指数增长 - 从谷歌的2016年模型，最新的Facebook的型号有10亿个参数，具有12万亿参数。型号容量的每次跳跃都有显着的质量增强，这使我们相信100万亿参数的时代即将来临。然而，即使在工业规模数据中心内，这些模型的培训也在挑战。这种困难是从训练计算的惊人的异质性继承 - 模型的嵌入层可以包括总模型尺寸的99.99％，这是极其内存密集的;虽然其余的神经网络越来越多地计算密集型。为支持培训此类巨大模式，迫切需要有效的分布式培训系统。在本文中，我们通过仔细共同设计优化算法和分布式系统架构来解决这一挑战。具体而言，为了确保培训效率和训练精度，我们设计一种新型混合训练算法，其中嵌入层和密集的神经网络由不同的同步机制处理;然后，我们构建一个名为Persia的系统（短暂的并行推荐培训系统，其中包含混合加速），以支持这种混合培训算法。理论上的示范和实证研究均达到100万亿参数，以证明了波斯的系统设计和实施。我们将Pensia公开使用（在https://github.com/persiamml/persia），以便任何人都能够以100万亿参数的规模轻松培训推荐模型。
translated by 谷歌翻译
卷积神经网络（CNNS）在3D医学图像上自动分割器官或病变取得了显着的成功。最近，视觉变压器网络在2D图像分类任务中表现出卓越的性能。与CNN相比，变压器网络由于其自我关注算法而提取远程特征的吸引力。因此，我们提出了一种称为Bitr-UNET的CNN变压器组合模型，对多模态MRI扫描进行脑肿瘤分割的具体修饰。我们的Bitr-UNET在BRATS2021验证数据集中实现了良好的性能，中值骰子得分0.9335,0.9304和0.8899，以及整个肿瘤，肿瘤核心和增强肿瘤的中位Hausdorff距离2.8284,2.2361和1.4142。在BRATS2021测试数据集上，骰子评分的相应结果为0.9257,0.9350和0.8874，对于Hausdorff距离为3,2.2361和1.4142。该代码在https://github.com/justatinydot/bitr-unet上公开使用。
translated by 谷歌翻译
现代生物医学研究通常收集多视图数据，即在同一组对象上测量的多种类型的数据。高维多视图数据分析中的流行模型是将每个视图的数据矩阵分解为跨所有数据视图常见的潜在因子生成的低级常见源矩阵，对应于每个视图的低级别源矩阵和添加剂噪声矩阵。我们提出了一种用于该模型的新型分解方法，称为基于分解的广义规范相关分析（D-GCCA）。与大多数现有方法使用的欧几里德点产品空间相比，D-GCCA严格地定义了随机变量的L2空间的分解，从而能够为低秩矩阵恢复提供估计一致性。此外，为了良好校准共同的潜在因子，我们对独特的潜在因子施加了理想的正交性限制。然而，现有方法不充分考虑这种正交性，因此可能遭受未检测到的共同源变异的大量损失。我们的D-GCCA通过分离规范变量中的共同和独特的组分，同时从主成分分析的角度享受吸引人的解释，进一步逐步进行一步。此外，我们建议使用常见的或独特潜在因子解释的信号方差的可变级别比例，以选择最受影响的变量。我们的D-GCCA方法的一致估计是通过良好的有限样本数性能建立的，并且具有封闭式表达式，导致有效计算，特别是对于大规模数据。 D-GCCA在最先进的方法上的优越性也在模拟和现实世界数据示例中得到证实。
translated by 谷歌翻译
假新闻的广泛传播越来越威胁到个人和社会。在单个领域（例如政治）上自动假新闻发现已做出了巨大的努力。但是，相关性通常存在于多个新闻领域，因此有望同时检测多个域的假新闻。基于我们的分析，我们在多域假新闻检测中提出了两个挑战：1）域转移，是由域，情感，样式等领域之间的差异引起的。世界分类仅输出一个单个领域标签，而不管新闻文章的主题多样性如何。在本文中，我们提出了一个记忆引导的多视图多域假新闻检测框架（M $^3 $ fend），以应对这两个挑战。我们从多视图的角度对新闻作品进行建模，包括语义，情感和风格。具体而言，我们建议一个域存储库来丰富域信息，该信息可以根据可见的新闻和模型域特征来发现潜在的域标签。然后，以丰富的域信息为输入，域适配器可以从各个域中的新闻的多个视图中适应汇总歧视性信息。对英语和中文数据集进行的大量离线实验证明了M $^3 $ fend的有效性，在线测试在实践中验证了其优势。我们的代码可在https://github.com/ictmcg/m3fend上找到。
translated by 谷歌翻译
最终的语言系统旨在在适应各种情况时具有高度的概括和鲁棒性。不幸的是，最近的怀特希望预训练的语言模型（PRLMS）几乎没有从堆叠过多的参数逃脱到过度参数化的变压器体系结构，以实现更高的性能。因此，本文提出了\ textIt {对抗自我注意力}机制（ASA），该机制在对抗性上重建了变压器的注意力，并促进了从受污染的模型结构中进行模型培训，并结合了快速，简单的实现，以实现更好的PRLM构建。我们在预训练和微调阶段进行各种任务进行全面评估。对于预训练，与常规培训相比，ASA会展现出显着的性能增长。为了进行微调，考虑到概括和鲁棒性，ASA授权模型始终超过了天真的模型。
translated by 谷歌翻译
图形离群值检测是一项具有许多应用程序的新兴但至关重要的机器学习任务。尽管近年来算法扩散，但缺乏标准和统一的绩效评估设置限制了它们在现实世界应用中的进步和使用。为了利用差距，我们（据我们所知）（据我们所知）第一个全面的无监督节点离群值检测基准为unod，并带有以下亮点：（1）评估骨架从经典矩阵分解到最新图形神经的骨架的14个方法网络； （2）在现实世界数据集上使用不同类型的注射异常值和自然异常值对方法性能进行基准测试； （3）通过在不同尺度的合成图上使用运行时和GPU存储器使用算法的效率和可扩展性。基于广泛的实验结果的分析，我们讨论了当前渠道方法的利弊，并指出了多个关键和有希望的未来研究方向。
translated by 谷歌翻译
当代人工神经网络（ANN）是经过训练的端到端，共同学习功能和分类器以完成感兴趣的任务。尽管非常有效，但这种范式在组装带注释的特定任务数据集和培训大规模网络方面施加了巨大的成本。我们建议通过引入视觉生物标志物分类的辅助预任务来将特征从下游肺超声任务中学习。我们证明，通过培训模型来预测生物标记标签，可以从超声视频中学习一个内容丰富，简洁和可解释的功能空间。值得注意的是，可以从弱视频尺度监督注释的数据中培训生物标志物功能提取器。这些功能可以由针对各种临床任务的各种下游专家模型（诊断，肺严重程度，S/F比）使用。至关重要的是，特定于任务的专家模型的准确性与直接训练此类目标任务的端到端模型相当，同时训练成本大大降低。
translated by 谷歌翻译
有效的骨干网络对于基于深度学习的可变形医学图像注册（DMIR）很重要，因为它可以提取和匹配两个图像之间的特征，以发现互联网的相互对应。但是，现有的深网关注单图像，并且在配对图像上执行的注册任务有限。因此，我们推进了一个新型的骨干网络Xmorpher，用于DMIR中有效的相应特征表示。 1）它提出了一种新颖的完整变压器体系结构，包括双重平行特征提取网络，通过交叉注意交换信息，从而在逐渐提取相应的特征以逐渐提取最终有效注册时发现了多层次的语义对应。 2）它推进了交叉注意变压器（CAT）块，以建立图像之间的注意机制，该图像能够自动找到对应关系并提示特征在网络中有效融合。 3）它限制了基本窗口和搜索不同尺寸的窗口之间的注意力计算，因此着重于可变形注册的局部转换，并同时提高了计算效率。我们的Xmorpher没有任何铃铛和哨子，可在DSC上提高2.8％的素孔，以证明其对DMIR中配对图像的特征的有效表示。我们认为，我们的Xmorpher在更多配对的医学图像中具有巨大的应用潜力。我们的Xmorpher在https://github.com/solemoon/xmorpher上开放
translated by 谷歌翻译