Oxidation states are the charges of atoms after their ionic approximation of their bonds, which have been widely used in charge-neutrality verification, crystal structure determination, and reaction estimation. Currently only heuristic rules exist for guessing the oxidation states of a given compound with many exceptions. Recent work has developed machine learning models based on heuristic structural features for predicting the oxidation states of metal ions. However, composition based oxidation state prediction still remains elusive so far, which is more important in new material discovery for which the structures are not even available. This work proposes a novel deep learning based BERT transformer language model BERTOS for predicting the oxidation states of all elements of inorganic compounds given only their chemical composition. Our model achieves 96.82\% accuracy for all-element oxidation states prediction benchmarked on the cleaned ICSD dataset and achieves 97.61\% accuracy for oxide materials. We also demonstrate how it can be used to conduct large-scale screening of hypothetical material compositions for materials discovery.

Uncertainty quantification (UQ) has increasing importance in building robust high-performance and generalizable materials property prediction models. It can also be used in active learning to train better models by focusing on getting new training data from uncertain regions. There are several categories of UQ methods each considering different types of uncertainty sources. Here we conduct a comprehensive evaluation on the UQ methods for graph neural network based materials property prediction and evaluate how they truly reflect the uncertainty that we want in error bound estimation or active learning. Our experimental results over four crystal materials datasets (including formation energy, adsorption energy, total energy, and band gap properties) show that the popular ensemble methods for uncertainty estimation is NOT the best choice for UQ in materials property prediction. For the convenience of the community, all the source code and data sets can be accessed freely at \url{https://github.com/usccolumbia/materialsUQ}.

自我监督的神经语言模型最近在有机分子和蛋白质序列的生成设计中发现了广泛的应用，以及用于下游结构分类和功能预测的表示学习。但是，大多数现有的分子设计深度学习模型通常都需要一个大数据集并具有黑盒架构，这使得很难解释其设计逻辑。在这里，我们提出了生成分子变压器（GMTRANSFORMER），这是一种用于分子生成设计的概率神经网络模型。我们的模型建立在最初用于文本处理的空白填充语言模型上，该模型在学习具有高质量生成，可解释性和数据效率的“分子语法”方面具有独特的优势。与其他基线相比，我们的模型在摩西数据集上的基准测试后获得了高新颖性和SCAF。概率生成步骤具有修补分子设计的潜力，因为它们有能力推荐如何通过学习的隐式分子化学指导，并通过解释来修饰现有分子。可以在https://github.com/usccolumbia/gmtransformer上自由访问源代码和数据集

大型未标记语料库上的预训练的变压器语言模型已产生了最新的最先进的结果，从而导致了自然语言处理，有机分子设计和蛋白质序列的产生。但是，尚未应用这种模型来学习无机材料的组成模式。在这里，我们使用在ICSD，OQMD中存放的材料和材料项目数据库中扩展的公式培训了七种现代变压器模型（GPT，GPT-2，GPT-2，GPT-NEO，GPT-NEO，GPT-J，BLMM，BART和ROBERTA） 。六个不同的数据集，具有/输出非电荷 - 中性或平衡的电负性样品用于对性能进行基准测试，并发现现代变压器模型的产生偏见，以生成材料组成的生成设计。我们的广泛实验表明，基于因果语言模型的材料变形金刚可以产生高达97.54 \％的化学有效材料组合物，即充电中性，而91.40 \％的电负性平衡，与基线相比，它的富集高6倍以上伪随机抽样算法。这些模型还表现出了很高的新颖性，并且它们在新材料发现中的潜力已经证明了它们的能力恢复了留出的材料。我们还发现，可以通过使用精选的训练集（例如高带盖材料）训练模型来量身定制生成的样品的性能。我们的实验还表明，不同模型在生成样品的属性方面都有自己的喜好，并且其运行时间复杂性差异很大。我们已经应用了材料变压器模型来发现一套使用DFT计算验证的新材料。

发现新材料是一项艰巨的挑战，对人类社会的进步至关重要。基于反复试验实验和计算模拟的常规方法是劳动密集型或昂贵的，取决于专家的启发式知识，成功的方式很大。最近，通过从已知材料数据集中学习隐式知识来生成材料的生成设计模型。但是，这些模型要么适用于特定的材料系统，要么由于其未能将物理规则纳入其模型训练过程而较低。在这里，我们提出了一种基于深度学习的物理学指导的晶体生成模型（PGCGM），以实现具有高结构多样性（多达20种不同空间组）的有效生成材料设计。我们模型的高性能表明了其捕获和利用晶体的对称约束和邻居原子之间的成对原子距离约束的能力。使用数据增强和空间原子聚类和合并，我们的PGCGM模型将整体生成有效性的性能提高了700 \％以上，与FTCP相比，FTCP是最先进的结构生成器之一，与45 \％相比，我们的整体生成有效性性能提高了。我们以前的立方体模型。新生成的晶体材料在原子空间分布和组成多样性方面也显示出更高的质量。我们通过密度功能理论（DFT）计算进一步验证了新的晶体结构。 2,000个中的1,869材料成功地优化了，其中39.6％的形成能量为阴性，5.3 \％的能量库船长小于0.25 eV/原子，表明它们的热力学稳定性和潜在的合成性。 1,869个晶体结构已沉积到卡罗来纳州材料数据库\ url {www.carolinamatdb.org}。

指定的实体识别任务是信息提取的核心任务之一。单词歧义和单词缩写是命名实体低识别率的重要原因。在本文中，我们提出了一种名为“实体识别模型WCL-BBCD”（与Bert-Bilstm-Crf-Dbpedia的单词对比学习），结合了对比度学习的概念。该模型首先在文本中训练句子对，计算句子对通过余弦的相似性中的单词对之间的相似性，以及通过相似性通过相似性来命名实体识别任务的BERT模型，以减轻单词歧义。然后，将微调的BERT模型与Bilstm-CRF模型相结合，以执行指定的实体识别任务。最后，将识别结果与先验知识（例如知识图）结合使用，以减轻单词缩写引起的低速问题的识别。实验结果表明，我们的模型在Conll-2003英语数据集和Ontonotes V5英语数据集上优于其他类似的模型方法。

数据驱动的生成机器学习模型最近被出现为最有希望的新材料发现方法之一。虽然发电机型号可以产生数百万候选者，但训练快速准确的机器学习模型至关重要，以滤除具有所需特性的稳定，可合成的材料。然而，通过缺乏不稳定或不合益的样本严重阻碍了构建监督回归或分类筛查模型的努力，这通常不会收集和沉积在诸如ICSD和材料项目（MP）的材料数据库中。与此同时，这些数据库中有很多未标记的数据。在这里，我们提出了一个半监控的深度神经网络（TSDNN）模型，用于高性能形成能量和合成性预测，通过其独特的教师 - 学生双网络架构实现，并有效利用大量未标记数据。对于基于能量基于能量的稳定性筛选，与基线CGCNN回归模型相比，我们的半监控分类器实现了绝对的10.3 \％的准确性改进。对于合成性预测，我们的模型显着增加了基准PU学习从87.9 \％到97.9 \％的真正阳性率使用1/49型号参数。为了进一步证明我们模型的有效性，我们将我们的TSDNN-Energy和Tsdnn-InsteSizability模型与我们的Cubicgan发生器组合起来，以发现新型稳定的立方体结构。我们的模型中的1000个推荐的候选样品，其中512个具有由我们的DFT形成能量计算验证的负面形成能量。我们的实验结果表明，我们的半监督深度神经网络可以在大型生成材料设计中显着提高筛选准确性。

基于深度学习的生成模型，如DeepFake已经能够生成惊人的图像和视频。然而，当应用于产生晶体材料结构时，这些模型可能需要显着的变换，其中构建块，物理原子与像素非常不同。天然转移的生成模型倾向于产生不稳定或可合成的大部分物理上不可行的晶体结构。通过利用和添加物理导向的数据增强，丢失函数术语和后处理，我们的深度对抗网络（GAN）基于的生成模型现在可以生成具有更高物理可行性的晶体结构，并展开我们以前的型号，只能创建立方体结构。

格子振动频率与许多重要的材料属性有关，例如热和导电性以及超导性。然而，使用密度泛函理论（DFT）方法的振动频率的计算计算过于计算地要求大量的材料筛选样本。在这里，我们提出了一种基于深度的基于神经网络的基于神经网络的算法，用于预测具有高精度的晶体结构的晶振频率。我们的算法使用零填充方案来解决振动频谱的变量尺寸。有关15,000和35552个样本的两个数据集的基准研究表明，汇总$ ^ 2 $分别分别达到0.554和0.724。我们的作品展示了深图神经网络的能力，除了输出尺寸是恒定的状态（DOS）和电子DOS的声子密度之外，还可以学习晶体结构的声光谱性能。

Salient object detection (SOD) aims to determine the most visually attractive objects in an image. With the development of virtual reality technology, 360{\deg} omnidirectional image has been widely used, but the SOD task in 360{\deg} omnidirectional image is seldom studied due to its severe distortions and complex scenes. In this paper, we propose a Multi-Projection Fusion and Refinement Network (MPFR-Net) to detect the salient objects in 360{\deg} omnidirectional image. Different from the existing methods, the equirectangular projection image and four corresponding cube-unfolding images are embedded into the network simultaneously as inputs, where the cube-unfolding images not only provide supplementary information for equirectangular projection image, but also ensure the object integrity of the cube-map projection. In order to make full use of these two projection modes, a Dynamic Weighting Fusion (DWF) module is designed to adaptively integrate the features of different projections in a complementary and dynamic manner from the perspective of inter and intra features. Furthermore, in order to fully explore the way of interaction between encoder and decoder features, a Filtration and Refinement (FR) module is designed to suppress the redundant information between the feature itself and the feature. Experimental results on two omnidirectional datasets demonstrate that the proposed approach outperforms the state-of-the-art methods both qualitatively and quantitatively.