In the field of antibody engineering, an essential task is to design a novel antibody whose paratopes bind to a specific antigen with correct epitopes. Understanding antibody structure and its paratope can facilitate a mechanistic understanding of its function. Therefore, antibody structure prediction from its sequence alone has always been a highly valuable problem for de novo antibody design. AlphaFold2, a breakthrough in the field of structural biology, provides a solution to predict protein structure based on protein sequences and computationally expensive coevolutionary multiple sequence alignments (MSAs). However, the computational efficiency and undesirable prediction accuracy of antibodies, especially on the complementarity-determining regions (CDRs) of antibodies limit their applications in the industrially high-throughput drug design. To learn an informative representation of antibodies, we employed a deep antibody language model (ALM) on curated sequences from the observed antibody space database via a transformer model. We also developed a novel model named xTrimoABFold to predict antibody structure from antibody sequence based on the pretrained ALM as well as efficient evoformers and structural modules. The model was trained end-to-end on the antibody structures in PDB by minimizing the ensemble loss of domain-specific focal loss on CDR and the frame-aligned point loss. xTrimoABFold outperforms AlphaFold2 and other protein language model based SOTAs, e.g., OmegaFold, HelixFold-Single, and IgFold with a large significant margin (30+\% improvement on RMSD) while performing 151 times faster than AlphaFold2. To the best of our knowledge, xTrimoABFold achieved state-of-the-art antibody structure prediction. Its improvement in both accuracy and efficiency makes it a valuable tool for de novo antibody design and could make further improvements in immuno-theory.

在模板和搜索区域之间学习强大的功能匹配对于3D暹罗跟踪至关重要。暹罗功能匹配的核心是如何在模板和搜索区域之间的相应点上分配高特征相似性，以进行精确的对象本地化。在本文中，我们提出了一个新颖的点云登记驱动的暹罗跟踪框架，直觉是空间对齐相应点（通过3D注册）倾向于实现一致的特征表示。具体而言，我们的方法由两个模块组成，包括特定于特定的非局部注册模块和一个注册辅助的sindhorn模板 - 特征聚合模块。登记模块在模板和搜索区域之间的精确空间对齐中进行目标。提出了跟踪特异性的空间距离约束，以优化非局部模块中的交叉注意权重，以进行判别特征学习。然后，我们使用加权SVD来计算模板和搜索区域之间的刚性转换，并对齐它们以实现所需的空间对齐相应点。对于特征聚合模型，我们将转换模板和搜索区域之间的特征匹配作为最佳传输问题，并利用Sinkhorn优化来搜索异常型匹配匹配解决方案。同样，建造了登记辅助空间距离图，以改善无法区分的区域（例如光滑的表面）的匹配鲁棒性。最后，在获得的功能匹配地图的指导下，我们将目标信息从模板中汇总到搜索区域中以构建特定于目标的特征，然后将其馈送到一个类似中心点的检测头中以进行对象定位。关于Kitti，Nuscenes和Waymo数据集的广泛实验验证了我们提出的方法的有效性。

无监督的域对点云语义分割的适应性引起了极大的关注，因为它在没有标记的数据中学习有效性。大多数现有方法都使用全局级特征对齐方式将知识从源域转移到目标域，这可能会导致特征空间的语义歧义。在本文中，我们提出了一个基于图形的框架，以探索两个域之间的局部特征对齐，可以在适应过程中保留语义歧视。具体而言，为了提取本地级特征，我们首先在两个域上动态构建本地特征图，并使用来自源域的图形构建存储库。特别是，我们使用最佳传输来生成图形匹配对。然后，基于分配矩阵，我们可以将两个域之间的特征分布与基于图的本地特征损失对齐。此外，我们考虑了不同类别的特征之间的相关性，并制定了类别引导的对比损失，以指导分割模型以学习目标域上的区分特征。对不同的合成到现实和真实域的适应情景进行了广泛的实验表明，我们的方法可以实现最先进的性能。

基于AI的蛋白质结构预测管道（例如AlphaFold2）已达到了几乎实验的准确性。这些高级管道主要依赖于多个序列比对（MSA）和模板作为输入来从同源序列中学习共进化信息。但是，从蛋白质数据库中搜索MSA和模板很耗时，通常需要数十分钟。因此，我们尝试通过仅使用蛋白质的主要序列来探索快速蛋白质结构预测的极限。提出了Helixfold单一的形式将大规模蛋白质语言模型与AlphaFold2的优质几何学习能力相结合。我们提出的方法，Helixfold单个，首先预先培训是一种大规模蛋白质语言模型（PLM），使用了数以千计的主要序列利用自我监督的学习范式，将用作MSA和模板的替代方法共同进化信息。然后，通过将预训练的PLM和AlphaFold2的必需组件组合在一起，我们获得了一个端到端可区分模型，以仅从主要序列预测原子的3D坐标。 Helixfold-Single在数据集CASP14和Cameo中得到了验证，通过基于MSA的方法，具有大型同源家庭的基于MSA的方法，从而实现了竞争精度。此外，与主流管道进行蛋白质结构预测相比，Helixfold单个的时间比主流管道的时间少得多，这表明其在需要许多预测的任务中的潜力。 HelixFold-Single的守则可在https://github.com/paddlepaddle/paddlehelix/tree/dev/dev/pprotein_folding/helixfold-single上获得，我们还在https://paddlehelix.baidu.com上提供稳定的Web服务。 /app/drug/protein-single/prevast。

对比学习在图表学习领域表现出了巨大的希望。通过手动构建正/负样本，大多数图对比度学习方法依赖于基于矢量内部产品的相似性度量标准来区分图形表示样品。但是，手工制作的样品构建（例如，图表的节点或边缘的扰动）可能无法有效捕获图形的固有局部结构。同样，基于矢量内部产品的相似性度量标准无法完全利用图形的局部结构来表征图差。为此，在本文中，我们提出了一种基于自适应子图生成的新型对比度学习框架，以实现有效且强大的自我监督图表示学习，并且最佳传输距离被用作子绘图之间的相似性度量。它的目的是通过捕获图的固有结构来生成对比样品，并根据子图的特征和结构同时区分样品。具体而言，对于每个中心节点，通过自适应学习关系权重与相应邻域的节点，我们首先开发一个网络来生成插值子图。然后，我们分别构建来自相同和不同节点的子图的正和负对。最后，我们采用两种类型的最佳运输距离（即Wasserstein距离和Gromov-Wasserstein距离）来构建结构化的对比损失。基准数据集上的广泛节点分类实验验证了我们的图形对比学习方法的有效性。

基于暹罗网络的跟踪器将3D单一对象跟踪作为模板和搜索区域的点特征之间的互相关学习。由于跟踪过程中模板和搜索区域之间的外观差异很大，因此如何学习它们之间的稳健跨相关性以识别搜索区域中的潜在目标仍然是一个挑战性的问题。在本文中，我们明确使用变压器形成一个3D Siamese变压器网络，以学习模板和点云的搜索区域之间的强大互相关。具体来说，我们开发了一个暹罗点变压器网络，以了解目标的形状上下文信息。它的编码器使用自我注意力来捕获点云的非本地信息来表征对象的形状信息，而解码器则利用交叉注意来提取歧视点特征。之后，我们开发了一个迭代的粗到加密相关网络，以了解模板与搜索区域之间的稳健跨相关性。它通过交叉注意将模板与搜索区域中的潜在目标联系起来，制定了交叉功能的增强。为了进一步增强潜在目标，它采用了自我功能增强，该增强功能将自我注意力应用于特征空间的本地K-NN图来汇总目标特征。 Kitti，Nuscenes和Waymo数据集的实验表明，我们的方法在3D单一对象跟踪任务上实现了最先进的性能。

现有的自我监督的单眼估计方法可以摆脱昂贵的注释并获得令人鼓舞的结果。但是，当直接采用接受固定分辨率训练的模型以评估其他不同决议时，这些方法会遭受严重的性能降解。在本文中，我们通过学习场景深度的规模不变性，提出了一个分辨率自适应自我监督的单眼估计方法（RA-DEPTH）。具体而言，我们提出了一种简单而有效的数据增强方法，以生成具有任意尺度的同一场景的图像。然后，我们开发了一个双重高分辨率网络，该网络使用具有密集交互的多路径编码器和解码器来汇总多尺度特征，以进行准确的深度推理。最后，为了明确了解场景深度的规模不变性，我们在具有不同尺度的深度预测上制定了跨尺度的深度一致性损失。对Kitti，Make3D和NYU-V2数据集进行了广泛的实验表明，RA-DEPTH不仅可以实现最新的性能，而且还表现出很好的解决能力。

基于草图的3D形状检索是一项具有挑战性的任务，这是由于草图和3D形状之间的较大域差异。由于现有方法是在相同类别上进行培训和评估的，因此他们无法有效地识别培训期间未使用的类别。在本文中，我们建议用于基于零素描的3D检索的新型域分解生成对抗网络（DD-GAN），该域可以检索训练过程中未访问的不看到的类别。具体而言，我们首先通过删除草图和3D形状的学习特征来生成域不变的特征和特定于域特异性特征，在该特征中，域，域，不变的特征用于与相应的单词嵌入在一起。然后，我们开发了一个生成的对抗网络，该网络将所见类别的特定域特征与对齐的域不变特征结合在一起，以合成样品，在其中使用相应的单词嵌入式生成了看不见类别的合成样本。最后，我们使用看不见类别的综合样本与可见类别的真实样本相结合来训练网络进行检索，以便可以识别出看不见的类别。为了减少域移位问题，我们利用未看到的未见样本来增强歧视者的歧视能力。通过鉴别器将生成的样品与未看到的看不见的样品区分开，生成器可以生成更现实的看不见的样品。 SHEREC'13和SHEREC'14数据集的广泛实验表明，我们的方法显着提高了看不见类别的检索性能。

由于动态环境中LIDAR点的稀缺性，3D对象跟踪仍然是一个具有挑战性的问题。在这项工作中，我们提出了一个暹罗体素到BEV跟踪器，可以显着提高稀疏3D点云中的跟踪性能。具体地，它包括暹罗形状感知特征学习网络和体素到BEV目标本地化网络。暹罗形式感知特征学习网络可以捕获对象的3D形状信息以学习对象的辨别特征，使得可以识别来自稀疏点云中的背景的潜在目标。为此，我们首先执行模板特征嵌入以将模板的特征嵌入到电位目标中，然后生成密集的3D形状以表征潜在目标的形状信息。为了本地化跟踪目标，Voxel-to-BeV目标本地化网络以无密集的鸟瞰图（BEV）特征图，将目标的2D中心和$ Z $ -Axis中心以无锚的方式回归。具体地，我们通过MAX池沿Z $ -axis压缩了Voxelized Point云，以获得密集的BEV特征图，其中可以更有效地执行2D中心和$ Z $ -Axis中心的回归。对基蒂和NUSCENES数据集的广泛评估表明，我们的方法通过大边距显着优于当前最先进的方法。

Deep learning on graph structures has shown exciting results in various applications. However, few attentions have been paid to the robustness of such models, in contrast to numerous research work for image or text adversarial attack and defense. In this paper, we focus on the adversarial attacks that fool the model by modifying the combinatorial structure of data. We first propose a reinforcement learning based attack method that learns the generalizable attack policy, while only requiring prediction labels from the target classifier. Also, variants of genetic algorithms and gradient methods are presented in the scenario where prediction confidence or gradients are available. We use both synthetic and real-world data to show that, a family of Graph Neural Network models are vulnerable to these attacks, in both graph-level and node-level classification tasks. We also show such attacks can be used to diagnose the learned classifiers.