The success of deep learning heavily relies on large-scale data with comprehensive labels, which is more expensive and time-consuming to fetch in 3D compared to 2D images or natural languages. This promotes the potential of utilizing models pretrained with data more than 3D as teachers for cross-modal knowledge transferring. In this paper, we revisit masked modeling in a unified fashion of knowledge distillation, and we show that foundational Transformers pretrained with 2D images or natural languages can help self-supervised 3D representation learning through training Autoencoders as Cross-Modal Teachers (ACT). The pretrained Transformers are transferred as cross-modal 3D teachers using discrete variational autoencoding self-supervision, during which the Transformers are frozen with prompt tuning for better knowledge inheritance. The latent features encoded by the 3D teachers are used as the target of masked point modeling, wherein the dark knowledge is distilled to the 3D Transformer students as foundational geometry understanding. Our ACT pretrained 3D learner achieves state-of-the-art generalization capacity across various downstream benchmarks, e.g., 88.21% overall accuracy on ScanObjectNN. Codes will be released at https://github.com/RunpeiDong/ACT.

Current natural language processing (NLP) models such as BERT and RoBERTa have achieved high overall performance, but they often make systematic errors due to bias or certain difficult features to learn. Thus research on slice detection models (SDM) which automatically identifies underperforming groups of datapoints has gradually caught more attention, which aims at both understanding model behaviors and providing insights for future model training and designing. However, there is little systematic research on SDM and quantitative evaluation of its assessment for NLP models. Our paper fills this gap by proposing "Discover, Explanation, Improvement" framework that discovers coherent and underperforming groups of datapoints and unites datapoints of each slice under human-understandable concepts; it also provides comprehensive evaluation tasks and the corresponding quantitative metrics, which enable convenient comparison for future works. Results show that our framework can accurately select error-prone datapoints with informative semantic features that summarize error patterns, based on which it directly boosts model performance by an average of 2.85 points based on trained models without tuning any parameters across multiple datasets.

预训练的语言模型在对话任务上取得了长足的进步。但是，这些模型通常在表面对话文本上进行训练，因此被证明在理解对话环境的主要语义含义方面是薄弱的。我们研究抽象含义表示（AMR）作为预训练模型的明确语义知识，以捕获预训练期间对话中的核心语义信息。特别是，我们提出了一个基于语义的前训练框架，该框架通过三个任务来扩展标准的预训练框架（Devlin等，2019）。根据AMR图表示。关于聊天聊天和面向任务的对话的理解的实验表明了我们的模型的优势。据我们所知，我们是第一个利用深层语义表示进行对话预训练的人。

我们为致密氢的方程式提供了基于深层生成模型的变化自由能方法。我们采用归一化流网络来对质子玻尔兹曼分布和费米子神经网络进行建模，以在给定的质子位置对电子波函数进行建模。通过共同优化两个神经网络，我们达到了与先前的电子蒙特卡洛计算相当的变异自由能。我们的结果表明，与先前的蒙特卡洛和从头算分子动力学数据相比，行星条件下的氢甚至更浓密，这远离经验化学模型的预测。获得可靠的密集氢状态方程，尤其是直接进入熵和自由能，为行星建模和高压物理学研究开辟了新的机会。

机器学习辅助建模的原子势能表面（PES）正在彻底改变分子模拟的领域。随着高质量电子结构数据的积累，可以在所有可用数据上鉴定的模型，并在下游任务上以较小的额外努力进行填充，这将使该领域进入新阶段。在这里，我们提出了DPA-1，这是一种具有新颖的注意机制的深层潜在模型，该模型非常有效地表示原子系统的构象和化学空间并学习PES。我们在许多系统上测试了DPA-1，并且与现有基准相比，观察到了卓越的性能。当在包含56个元素的大规模数据集上进行预估计时，DPA-1可以成功应用于各种下游任务，并有很大的提高样品效率。令人惊讶的是，对于不同的元素，学习的类型嵌入参数在潜在空间中形成$螺旋$，并具有自然对应的元素性表位，显示了预审预周化的DPA-1模型的有趣解释性。

深度学习的成功通常伴随着神经网络深度的增长。但是，传统培训方法仅在最后一层监督神经网络并逐层传播，这导致了优化中间层的困难。最近，已经提出了深层监督，以在深神经网络的中间层中添加辅助分类器。通过通过监督任务损失优化这些辅助分类器，可以将监督直接应用于浅层层。但是，深层监督与众所周知的观察结果冲突，即浅层学习低级特征，而不是任务偏向的高级语义特征。为了解决这个问题，本文提出了一个名为“对比深度监督”的新型培训框架，该框架通过基于增强的对比学习来监督中间层。具有11个模型的九个流行数据集的实验结果证明了其对监督学习，半监督学习和知识蒸馏中一般图像分类，细粒度的图像分类和对象检测的影响。代码已在Github发布。

最近，机器学习（ML）电位的发展使得以量子力学（QM）模型的精度进行大规模和长期分子模拟成为可能。但是，对于高水平的QM方法，例如在元gga级和/或具有精确交换的密度函数理论（DFT），量子蒙特卡洛等，生成足够数量的用于训练的数据由于其高成本，计算挑战性。在这项工作中，我们证明了基于ML的DFT模型Deep Kohn-Sham（Deepks）可以在很大程度上缓解这个问题。 DeepKS采用计算高效的基于神经网络的功能模型来构建在廉价DFT模型上添加的校正项。在训练后，DeepKs提供了与高级QM方法相比，具有紧密匹配的能量和力，但是所需的训练数据的数量是比训练可靠的ML潜力所需的数量级要小。因此，DeepKs可以用作昂贵的QM型号和ML电位之间的桥梁：一个人可以生成相当数量的高准确性QM数据来训练DeepKs模型，然后使用DeepKs型号来标记大量的配置以标记训练ML潜力。该周期系统方案在DFT软件包算盘中实施，该计划是开源的，可以在各种应用程序中使用。

Quasiparticle有效质量$ M ^ \ AST $互动电子是Fermi液体理论中的基本量。然而，在几十年后，均匀电子气体的有效质量仍然难以捉摸。新开发的神经规范变换方法Arxiv：2105.08644提供了通过直接计算低温热熵来提取电子气体的有效质量的原则方法。该方法使用两种生成神经网络模拟变分许多电子密度矩阵：用于电坐标的动量占用和标准化流动的自回归模型。我们的计算揭示了二维旋转偏振电子气中有效质量的抑制，其比在低密度强耦合区域中的先前报告更加明显。该预测要求在二维电子气体实验中验证。

结肠直肠癌（CRC）是世界上最常见的致命癌症之一。果切除术可以有效地中断腺瘤的进展到腺癌，从而降低了CRC发育的风险。结肠镜检查是找到结肠息肉的主要方法。然而，由于息肉的不同尺寸和息肉和周围的粘膜之间的阴影不明确，因此精确地对分段息肉挑战。为了解决这个问题，我们设计了一个用于精确的息肉分割的边界分布引导网络（BDG-Net）。具体地，在理想边界分布图（BDM）的监督下，我们使用边界分布生成模块（BDGM）来聚合高级功能并生成BDM。然后，BDM被发送到边界分布引导解码器（BDGD）作为互补空间信息以引导息肉分割。此外，BDGD采用了多尺度特征交互策略，以提高不同尺寸的息肉的分割精度。广泛的定量和定性评估展示了我们模型的有效性，这在五个公共息肉数据集上显着优于最先进的模型，同时保持低计算复杂性。

量化的神经网络通常需要较小的内存占用和较低的计算复杂性，这对于有效部署至关重要。然而，量化不可避免地导致原始网络的分布分发，这通常会降低性能。为了解决这个问题，已经制定了大规模的努力，但大多数现有方法缺乏统计因素，依赖于几种手动配置。在本文中，我们提出了一种自适应映射量化方法，以学习模型内固有的最佳潜在子分布，并用混凝土高斯混合物（GM）平稳地近似。特别地，网络权重被符合GM - 近似的子分布。该子分布随着直接任务客观优化引导的共同调整模式中的重量更新而发展。在各种现代架构上的图像分类和物体检测的充分实验证明了所提出的方法的有效性，泛化性能和可转移性。此外，开发了用于移动CPU的有效部署流，在Octa-Core ARM CPU上实现高达7.46 $ \ Times $推理加速。代码在https://github.com/runpeidong/dgms公开发布。