蛋白质是人类生命的重要组成部分，其结构对于功能和机制分析很重要。最近的工作表明了AI驱动方法对蛋白质结构预测的潜力。但是，新模型的开发受到数据集和基准测试培训程序的限制。据我们所知，现有的开源数据集远不足以满足现代蛋白质序列相关研究的需求。为了解决这个问题，我们介绍了具有高覆盖率和多样性的第一个百万级蛋白质结构预测数据集，称为PSP。该数据集由570K真实结构序列（10TB）和745K互补蒸馏序列（15TB）组成。此外，我们还提供了该数据集上SOTA蛋白结构预测模型的基准测试训练程序。我们通过参与客串比赛验证该数据集的实用程序进行培训，我们的模特赢得了第一名。我们希望我们的PSP数据集以及培训基准能够为AI驱动的蛋白质相关研究提供更广泛的AI/生物学研究人员社区。
translated by 谷歌翻译
训练大型神经网络（NN）模型需要广泛的记忆资源，而激活压缩训练（ACT）是减少训练记忆足迹的一种有前途的方法。本文介绍了GACT，这是一个ACT框架，旨在支持具有有限域知识的通用NN体系结构的广泛机器学习任务。通过分析ACT近似梯度的线性化版本，我们证明了GACT的收敛性，而没有有关操作员类型或模型体系结构的先验知识。为了使训练保持稳定，我们提出了一种算法，该算法通过估计运行时对梯度的影响来决定每个张量的压缩比。我们将GACT实施为Pytorch库，很容易适用于任何NN体系结构。GACT将卷积NN，变压器和图形NNS的激活记忆降低到8.1倍，从而使4.2倍至24.7倍的训练能够较大，而精度损失可忽略不计。
translated by 谷歌翻译
通用事件边界检测（GEBD）任务旨在检测通用的，无分类的事件边界，将整个视频分为块。在本文中，我们应用蒙版的自动编码器来提高GEBD任务上的算法性能。我们的方法主要采用了对GEBD任务进行微调的蒙面自动编码器的合奏，并将其作为其他基本模型的自我监督的学习者。此外，我们还使用半监督的伪标签方法来充分利用训练时丰富的未标记动力学-400数据。此外，我们提出了一种软标签方法，以部分平衡正面和负样本，并减轻此任务中模棱两可的标记问题。最后，实施了一个棘手的分割对准策略，以完善我们的模型预测到更准确的位置的边界。通过我们的方法，我们在动力学-GEBD测试集上的F1得分上获得了85.94％的成绩，与2021 Kinetics-GEBD挑战的获胜者相比，F1得分提高了2.31％。我们的代码可从https://github.com/contentandmaterialportortait/mae-gebd获得。
translated by 谷歌翻译
社交机器人被称为社交网络上的自动帐户，这些帐户试图像人类一样行事。尽管图形神经网络（GNNS）已大量应用于社会机器人检测领域，但大量的领域专业知识和先验知识大量参与了最先进的方法，以设计专门的神经网络体系结构，以设计特定的神经网络体系结构。分类任务。但是，在模型设计中涉及超大的节点和网络层，通常会导致过度平滑的问题和缺乏嵌入歧视。在本文中，我们提出了罗斯加斯（Rosgas），这是一种新颖的加强和自我监督的GNN Architecture搜索框架，以适应性地指出了最合适的多跳跃社区和GNN体系结构中的层数。更具体地说，我们将社交机器人检测问题视为以用户为中心的子图嵌入和分类任务。我们利用异构信息网络来通过利用帐户元数据，关系，行为特征和内容功能来展示用户连接。 Rosgas使用多代理的深钢筋学习（RL）机制来导航最佳邻域和网络层的搜索，以分别学习每个目标用户的子图嵌入。开发了一种用于加速RL训练过程的最接近的邻居机制，Rosgas可以借助自我监督的学习来学习更多的判别子图。 5个Twitter数据集的实验表明，Rosgas在准确性，训练效率和稳定性方面优于最先进的方法，并且在处理看不见的样本时具有更好的概括。
translated by 谷歌翻译
本文研究了与参数服务器的个人任意交流模式的异步联合学习（FL）。我们提出了FedMobile，这是一种新的异步FL算法，可利用移动FL系统的移动性属性来提高学习性能。关键想法是利用移动网络中的随机客户对客户通信，通过上传和下载继电器与服务器创建其他间接通信机会。我们证明了FedMobile实现了收敛率$ o（\ frac {1} {\ sqrt {nt}}）$，其中$ n $是客户端的数量，$ t $是通信插槽的数量，并显示该显示的是最佳设计涉及在接力的最佳时机上进行有趣的权衡。我们的分析表明，随着迁移率的增加，异步FL使用FEDMOBILE会更快地收敛。实验结果在合成数据集和两个现实世界数据集上验证了我们的理论发现。
translated by 谷歌翻译
如今，提出了几种深度学习方法来应对癫痫发作预测的挑战。但是，由于其大型硬件和相应的高功率消耗，这些方法仍然无法作为可植入或有效的可穿戴设备的一部分实现。他们通常需要复杂的功能提取过程，用于存储高精度参数的大存储器和复杂的算术计算，从而大大增加了所需的硬件资源。此外，可用的预测性能差，因为它们直接从图像识别应用程序中采用网络体系结构无法准确考虑EEG信号的特征。我们在本文中提出了一个适合二进制卷积神经网络（BSDCNN）的硬件友好网络，用于癫痫发作预测。 BSDCNN利用1D卷积内核来提高预测性能。除了第一层外，所有参数均已二进制以减少所需的计算和存储。在美国癫痫社会癫痫发作预测挑战（AES）数据集和CHB-MIT方面，曲线，灵敏度和虚假预测率的总面积达到0.915、89.26％，0.117/h和0.970，94.69％，0.095/h。所提出的体系结构的表现优于最新作品，同时提供了7.2和25.5倍的参数和计算大小。
translated by 谷歌翻译
为了使3D人的头像广泛可用，我们必须能够在任意姿势中产生各种具有不同身份和形状的多种3D虚拟人。由于衣服的身体形状，复杂的关节和由此产生的丰富，随机几何细节，这项任务是挑战的挑战。因此，目前代表3D人的方法不提供服装中的人的全部生成模型。在本文中，我们提出了一种新的方法，这些方法可以学习在具有相应的剥皮重量的各种衣服中产生详细的3D形状。具体而言，我们设计了一个多主题前进的剥皮模块，这些模块只有几个受试者的未预装扫描。为了捕获服装中高频细节的随机性，我们利用对抗的侵害制定，鼓励模型捕获潜在统计数据。我们提供了经验证据，这导致了皱纹的局部细节的现实生成。我们表明我们的模型能够产生佩戴各种和详细的衣服的自然人头像。此外，我们表明我们的方法可以用于拟合人类模型到原始扫描的任务，优于以前的最先进。
translated by 谷歌翻译
结肠直肠癌（CRC）是世界上最常见的致命癌症之一。果切除术可以有效地中断腺瘤的进展到腺癌，从而降低了CRC发育的风险。结肠镜检查是找到结肠息肉的主要方法。然而，由于息肉的不同尺寸和息肉和周围的粘膜之间的阴影不明确，因此精确地对分段息肉挑战。为了解决这个问题，我们设计了一个用于精确的息肉分割的边界分布引导网络（BDG-Net）。具体地，在理想边界分布图（BDM）的监督下，我们使用边界分布生成模块（BDGM）来聚合高级功能并生成BDM。然后，BDM被发送到边界分布引导解码器（BDGD）作为互补空间信息以引导息肉分割。此外，BDGD采用了多尺度特征交互策略，以提高不同尺寸的息肉的分割精度。广泛的定量和定性评估展示了我们模型的有效性，这在五个公共息肉数据集上显着优于最先进的模型，同时保持低计算复杂性。
translated by 谷歌翻译
K-Core Deconnosition是一个常用的指标来分析图形结构或研究节点在复杂图中的相对重要性。近年来，图表的规模迅速增长，特别是在工业环境中。例如，我们的工业伙伴以数十亿用户运行流行的社交应用程序，并且能够收集丰富的用户数据。因此，对大型图形的k核分解应用于学术界和行业的越来越多的关注。处理大图的简单但有效的方法是在分布式设置中训练它们，并且还提出了一些分布式k核分解算法。尽管他们有效性，我们在实验和理论上观察到这些算法消耗了太多资源，并在超大型图表上变得不稳定，特别是当给定的资源有限时。在本文中，我们处理那些超大型图形，并在分布式K核分解算法的顶部提出了分行和征服策略。我们在三个大图中评估我们的方法。实验结果表明，资源的消耗可以显着降低，大规模图的计算比现有方法更稳定。例如，分布式K-Core分解算法可以缩放到具有1360亿边缘的大图，而不会与我们的分行和征服技术丢失正确性。
translated by 谷歌翻译
一滴联合学习（FL）最近被出现为有希望的方法，允许中央服务器在单个通信中学习模型。尽管通信成本低，但现有的一次性的单次方法大多是不切实际或面临的固有限制，例如，需要公共数据集，客户的型号是同质的，需要上传其他数据/型号信息。为了克服这些问题，我们提出了一种更实用的无数据方法，名为FEDSYN的一枪框架，具有异质性。我们的Fedsyn通过数据生成阶段和模型蒸馏阶段列出全球模型。据我们所知，FEDSYN是由于以下优点，FEDSYN可以实际应用于各种实际应用程序的方法：（1）FEDSYN不需要在客户端之间传输的其他信息（模型参数除外）服务器; （2）FEDSYN不需要任何用于培训的辅助数据集; （3）FEDSYN是第一个考虑FL中的模型和统计异质性，即客户的数据是非IID，不同的客户端可能具有不同的模型架构。关于各种现实世界数据集的实验表明了我们的Fedsyn的优越性。例如，当数据是非IID时，FEDSYN在CIFAR10数据集中优于CEFAR10数据集的最佳基线方法FED-ADI的最佳基准方法。
translated by 谷歌翻译