Estimating the structure of directed acyclic graphs (DAGs) of features (variables) plays a vital role in revealing the latent data generation process and providing causal insights in various applications. Although there have been many studies on structure learning with various types of data, the structure learning on the dynamic graph has not been explored yet, and thus we study the learning problem of node feature generation mechanism on such ubiquitous dynamic graph data. In a dynamic graph, we propose to simultaneously estimate contemporaneous relationships and time-lagged interaction relationships between the node features. These two kinds of relationships form a DAG, which could effectively characterize the feature generation process in a concise way. To learn such a DAG, we cast the learning problem as a continuous score-based optimization problem, which consists of a differentiable score function to measure the validity of the learned DAGs and a smooth acyclicity constraint to ensure the acyclicity of the learned DAGs. These two components are translated into an unconstraint augmented Lagrangian objective which could be minimized by mature continuous optimization techniques. The resulting algorithm, named GraphNOTEARS, outperforms baselines on simulated data across a wide range of settings that may encounter in real-world applications. We also apply the proposed approach on two dynamic graphs constructed from the real-world Yelp dataset, demonstrating our method could learn the connections between node features, which conforms with the domain knowledge.

In the field of antibody engineering, an essential task is to design a novel antibody whose paratopes bind to a specific antigen with correct epitopes. Understanding antibody structure and its paratope can facilitate a mechanistic understanding of its function. Therefore, antibody structure prediction from its sequence alone has always been a highly valuable problem for de novo antibody design. AlphaFold2, a breakthrough in the field of structural biology, provides a solution to predict protein structure based on protein sequences and computationally expensive coevolutionary multiple sequence alignments (MSAs). However, the computational efficiency and undesirable prediction accuracy of antibodies, especially on the complementarity-determining regions (CDRs) of antibodies limit their applications in the industrially high-throughput drug design. To learn an informative representation of antibodies, we employed a deep antibody language model (ALM) on curated sequences from the observed antibody space database via a transformer model. We also developed a novel model named xTrimoABFold to predict antibody structure from antibody sequence based on the pretrained ALM as well as efficient evoformers and structural modules. The model was trained end-to-end on the antibody structures in PDB by minimizing the ensemble loss of domain-specific focal loss on CDR and the frame-aligned point loss. xTrimoABFold outperforms AlphaFold2 and other protein language model based SOTAs, e.g., OmegaFold, HelixFold-Single, and IgFold with a large significant margin (30+\% improvement on RMSD) while performing 151 times faster than AlphaFold2. To the best of our knowledge, xTrimoABFold achieved state-of-the-art antibody structure prediction. Its improvement in both accuracy and efficiency makes it a valuable tool for de novo antibody design and could make further improvements in immuno-theory.

大多数图形神经网络（GNN）通过学习输入图和标签之间的相关性来预测看不见的图的标签。但是，通过对具有严重偏见的训练图进行图形分类调查，我们发现GNN始终倾向于探索伪造的相关性以做出决定，即使因果关系始终存在。这意味着在此类偏见的数据集中接受培训的现有GNN将遭受概括能力差。通过在因果观点中分析此问题，我们发现从偏见图中解开和去偏置因果和偏见的潜在变量对于偏见至关重要。在此鼓舞下，我们提出了一个普遍的分解GNN框架，分别学习因果子结构和偏见子结构。特别是，我们设计了一个参数化的边蒙版生成器，以将输入图明确分为因果和偏置子图。然后，分别由因果/偏见感知损失函数监督的两个GNN模块进行培训，以编码因果关系和偏置子图表中的相应表示。通过分离的表示，我们合成了反事实无偏的训练样本，以进一步脱离因果变量和偏见变量。此外，为了更好地基于严重的偏见问题，我们构建了三个新的图形数据集，这些数据集具有可控的偏置度，并且更容易可视化和解释。实验结果很好地表明，我们的方法比现有基线实现了优越的概括性能。此外，由于学习的边缘面膜，该拟议的模型具有吸引人的解释性和可转让性。代码和数据可在以下网址获得：https：//github.com/googlebaba/disc。

在本文中，研究了无线网络的联合学习（FL）。在每个通信回合中，选择一部分设备以有限的时间和能量参与聚合。为了最大程度地减少收敛时间，在基于Stackelberg游戏的框架中共同考虑了全球损失和延迟。具体而言，在Leader级别上，将基于信息的设备选择（AOI）选择为全球损失最小化问题，而子渠道分配，计算资源分配和功率分配在追随者级别被视为延迟最小化问题。通过将追随者级别的问题分为两个子问题，追随者的最佳响应是通过基于单调优化的资源分配算法和基于匹配的子渠道分配算法获得的。通过得出收敛速率的上限，重新制定了领导者级别的问题，然后提出了基于列表的设备选择算法来实现Stackelberg平衡。仿真结果表明，所提出的设备选择方案在全球损失方面优于其他方案，而开发的算法可以显着降低计算和通信的时间消耗。

尖峰神经网络是一种神经形态计算，据信可以提高智能水平，并为量子计算提供了前提。在这项工作中，我们通过设计一个光学尖峰神经网络来解决此问题，并证明它可以用于加速计算速度，尤其是在组合优化问题上。在这里，尖峰神经网络是由反对称耦合的退化光学参数振荡器脉冲和耗散脉冲构建的。选择非线性转移函数以减轻幅度不均匀性，并根据峰值神经元的动态行为破坏所得的局部最小值。从数值上证明，尖峰神经网络协会机器在组合优化问题上具有出色的性能，预计将为神经计算和光学计算提供新的应用程序。

受到远见与语言之间的牢固联系的启发，我们的论文旨在探索文本中的3D人类全身动作的产生，以及其互惠任务，分别用于文本2Motion和Motion2Text， 。为了应对现有的挑战，尤其是为了使同一文本产生多个不同的动作，并避免了不良生产的琐碎的静止姿势序列，我们提出了使用运动令牌（一种离散和紧凑的运动表示）的使用。当将动作和文本信号视为运动和文本令牌时，这提供了一个级别的游戏地面。此外，我们的Motion2Text模块被整合到我们的文本2Motion训练管道的反对准过程中，在该管道中，合成文本与输入文本的显着偏差将受到较大的培训损失的惩罚；从经验上讲，这证明可以有效地提高性能。最后，通过将神经模型调整为机器翻译（NMT）的两种动作方式和文本之间的映射，可以促进。离散运动令牌上分布的这种自回归建模进一步使来自输入文本的姿势序列（可变长度）的非确定性产生。我们的方法是灵活的，可以用于Text2Motion和Motion2Text任务。在两个基准数据集上进行的经验评估证明了我们在这两个任务上的卓越性能在各种最新方法上。项目页面：https：//ericguo5513.github.io/tm2t/

在异质图上的自我监督学习（尤其是对比度学习）方法可以有效地摆脱对监督数据的依赖。同时，大多数现有的表示学习方法将异质图嵌入到欧几里得或双曲线的单个几何空间中。这种单个几何视图通常不足以观察由于其丰富的语义和复杂结构而观察到异质图的完整图片。在这些观察结果下，本文提出了一种新型的自我监督学习方法，称为几何对比度学习（GCL），以更好地表示监督数据是不可用时的异质图。 GCL同时观察了从欧几里得和双曲线观点的异质图，旨在强烈合并建模丰富的语义和复杂结构的能力，这有望为下游任务带来更多好处。 GCL通过在局部局部和局部全球语义水平上对比表示两种几何视图之间的相互信息。在四个基准数据集上进行的广泛实验表明，在三个任务上，所提出的方法在包括节点分类，节点群集和相似性搜索在内的三个任务上都超过了强基础，包括无监督的方法和监督方法。

建议图表神经网络（GNNS）在不考虑训练和测试图之间的不可知分布的情况下，诱导GNN的泛化能力退化在分布外（OOD）设置。这种退化的根本原因是大多数GNN是基于I.I.D假设开发的。在这种设置中，GNN倾向于利用在培训中存在的微妙统计相关性用于预测，即使它是杂散的相关性。然而，这种杂散的相关性可能在测试环境中改变，导致GNN的失败。因此，消除了杂散相关的影响对于稳定的GNN来说是至关重要的。为此，我们提出了一个普遍的因果代表框架，称为稳定凝球。主要思想是首先从图数据中提取高级表示，并诉诸因因果推理的显着能力，以帮助模型摆脱虚假相关性。特别是，我们利用图形池化层以提取基于子图的表示作为高级表示。此外，我们提出了一种因果变量区别，以纠正偏置训练分布。因此，GNN将更多地集中在稳定的相关性上。对合成和现实世界ood图数据集的广泛实验良好地验证了所提出的框架的有效性，灵活性和可解释性。

我们的目标是从规定的行动类别中解决从规定的行动类别创造多元化和自然人动作视频的有趣但具有挑战性的问题。关键问题在于能够在视觉外观中综合多种不同的运动序列。在本文中通过两步过程实现，该两步处理维持内部3D姿势和形状表示，Action2Motion和Motion2Video。 Action2Motion随机生成规定的动作类别的合理的3D姿势序列，该类别由Motion2Video进行处理和呈现，以形成2D视频。具体而言，Lie代数理论从事人类运动学的物理法之后代表自然人动作;开发了一种促进输出运动的分集的时间变化自动编码器（VAE）。此外，给定衣服人物的额外输入图像，提出了整个管道以提取他/她的3D详细形状，并在视频中呈现来自不同视图的合理运动。这是通过改进从单个2D图像中提取3D人类形状和纹理，索引，动画和渲染的现有方法来实现这一点，以形成人类运动的2D视频。它还需要3D人类运动数据集的策策和成果进行培训目的。彻底的经验实验，包括消融研究，定性和定量评估表现出我们的方法的适用性，并展示了解决相关任务的竞争力，其中我们的方法的组成部分与最先进的方式比较。

尽管图形神经网络（GNNS）已经取得了显着的准确性，但结果是否值得信赖仍未开发。以前的研究表明，许多现代神经网络对预测过度充满信心，然而，令人惊讶的是，我们发现GNN主要呈相反方向，即，GNN是不受自信的。因此，非常需要GNN的置信度校准。在本文中，我们通过设计拓扑知识的后HOC校准函数提出了一种新型值得信赖的GNN模型。具体而言，我们首先验证图形中的置信度分布具有同眼性的财产，而且这一发现激发了我们设计校准GNN模型（CAGCN）以学习校准功能。 CAGCN能够从GNN的Logits对每个节点的校准置信度获得独特的变换，同时，这种变换能够在类之间保留课程之间的顺序，满足精度保留的属性。此外，我们将校准GNN应用于自培训框架，表明可以通过校准的置信度获得更可靠的伪标签，并进一步提高性能。广泛的实验证明了我们所提出的模型在校准和准确性方面的有效性。