The success of deep learning is partly attributed to the availability of massive data downloaded freely from the Internet. However, it also means that users' private data may be collected by commercial organizations without consent and used to train their models. Therefore, it's important and necessary to develop a method or tool to prevent unauthorized data exploitation. In this paper, we propose ConfounderGAN, a generative adversarial network (GAN) that can make personal image data unlearnable to protect the data privacy of its owners. Specifically, the noise produced by the generator for each image has the confounder property. It can build spurious correlations between images and labels, so that the model cannot learn the correct mapping from images to labels in this noise-added dataset. Meanwhile, the discriminator is used to ensure that the generated noise is small and imperceptible, thereby remaining the normal utility of the encrypted image for humans. The experiments are conducted in six image classification datasets, consisting of three natural object datasets and three medical datasets. The results demonstrate that our method not only outperforms state-of-the-art methods in standard settings, but can also be applied to fast encryption scenarios. Moreover, we show a series of transferability and stability experiments to further illustrate the effectiveness and superiority of our method.

在存在未衡量的混杂因素的情况下，我们解决了数据融合的治疗效应估计问题，即在不同的治疗分配机制下收集的多个数据集。例如，营销人员可以在不同时间/地点为相同产品分配不同的广告策略。为了处理由未衡量的混杂因素和数据融合引起的偏见，我们建议将观察数据分为多组（每个组具有独立治疗分配机制），然后将组指标显式地模拟为潜在的组仪器变量（LATGIV），将其模拟为实施基于IV的回归。在本文中，我们概念化了这种思想，并开发了一个统一的框架，以（1）估计跨群体观察到的变量的分布差异； （2）对不同治疗分配机制的LATGIV模型； （3）插入latgivs以估计治疗响应函数。经验结果证明了与最新方法相比，LATGIV的优势。

基准数据集在评估自然语言理解（NLU）模型中起重要作用。但是，快捷方式（基准数据集中的不需要的偏差）可能会损害基准数据集在揭示模型的实际功能中的有效性。由于快捷方式在覆盖范围，生产率和语义含义上有所不同，因此NLU专家在创建基准数据集时系统地理解和避免它们是一项挑战。在本文中，我们开发了一个视觉分析系统，即短路，以帮助NLU专家探索NLU基准数据集中的快捷方式。该系统允许用户对快捷方式进行多层次探索。具体而言，统计信息视图可帮助用户掌握统计数据，例如基准数据集中快捷方式的覆盖范围和生产率。模板视图采用层次和可解释的模板来汇总不同类型的快捷方式。实例视图允许用户检查快捷方式涵盖的相应实例。我们进行案例研究和专家访谈，以评估系统的有效性和可用性。结果表明，饭店支持用户通过快捷方式更好地了解基准数据集问题，从而激发他们创建具有挑战性和相关的基准数据集。

准确的蛋白质结构预测可以显着加速生命科学的发展。 Alphafold2的准确性是边界端到端结构预测系统，已经接近实验确定技术的准确性。由于复杂的模型体系结构和大量的内存消耗，因此需要大量的计算资源和时间来实施从头开始实施Alphafold2的训练和推断。对于大多数个人和机构来说，运行原始AlphaFold2的成本都是昂贵的。因此，降低这一成本可以加速生命科学的发展。我们使用PaddlePaddle（即HelixFold）实现Alphafold2，以提高训练和推理速度并减少记忆消耗。操作员融合，张量融合和混合并行性计算改善了性能，而通过重新计算，BFLOAT16和内存读/写入/编写就场，内存进行了优化。与原始的Alphafold2（由JAX实施）和OpenFold（由Pytorch实施）相比，HelixFold仅需7.5天即可完成完整的端到端培训，并且在使用Hybrid ParalleleSism时只需要5.3天，而Alphafold2和OpenFold都可以使用11个。天。 Helixfold节省了1倍的训练时间。我们验证了HelixFold的准确性可能与CASP14和CAMAO数据集上的Alphafold2相当。 HelixFold的代码可免费下载：https：//github.com/paddlepaddle/paddlehelix/paddlehelix/tree/dev/dev/pprotein_folding/helixfold，我们还在https://paddlehelix.baidu.com/com上提供稳定的Web服务。应用程序/药物/蛋白质/预测。

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

深神经网络（DNN）利用多层和大量参数来实现优异的性能。 DNN模型的培训过程通常处理具有许多稀疏功能的大规模输入数据，引起高输入/输出（IO）的成本，而一些层数是计算密集型的。培训过程通常利用分布式计算资源来减少培训时间。此外，异构计算资源，例如CPU，多种类型的GPU，可用于分布式训练过程。因此，多个层对不同计算资源的调度对于训练过程至关重要。为了使用异构计算资源有效地训练DNN模型，我们提出了一种分布式框架，即桨式异构参数服务器（Paddle-Heterps），由分布式架构和加强学习（RL）的调度方法组成。与现有框架相比，Paddle-Heterps的优点是三倍。首先，Paddle-hotior是通过异构计算资源的多样化工作负载的高效培训过程。其次，Paddle-Heterps利用基于RL的方法以有效地将每层的工作量调度到适当的计算资源，以最小化成本，同时满足吞吐量约束。第三，Paddle-hotips管理分布式计算资源之间的数据存储和数据通信。我们进行了广泛的实验，以表明Paddle-hotors在吞吐量方面显着优于最先进的方法（更高14.5倍）和货币成本（312.3％较小）。框架的代码可在：https://github.com/paddlepaddle/paddle公开使用。

高光谱图像的聚类是一个基本而具有挑战性的任务。最近的高光谱图像聚类的发展已经从浅模型演变为深度，并且在许多基准数据集中实现了有希望的效果。然而，它们较差的可扩展性，稳健性和泛化能力，主要是由离线聚类方案引起的，极大地将其应用限制为大型超光谱数据。为了规避这些问题，我们基于自我监督学习呈现了一个可扩展的深度在线聚类模型，名为Spectral-Spatial对比聚类（SSCC）。具体地，我们利用了由簇号的一维的投影头组成的对称双神经网络，以从光谱空间增强池进行双重对比度学习。我们通过隐式鼓励在群集内相似度和群集冗余之间来定义目标函数。由此产生的方法通过批量优化以端到端的方式培训，使其在大规模数据中具有稳健性，并导致未经看明数据的良好概括能力。三个高光谱图像基准的广泛实验证明了我们的方法的有效性，并表明我们通过大型边缘推进最先进的方法。

本文提出了FLGC，这是一个简单但有效的全线性图形卷积网络，用于半监督和无人监督的学习。基于计算具有解耦步骤的全局最优闭合液解决方案而不是使用梯度下降，而不是使用梯度下降。我们展示（1）FLGC强大的是处理图形结构化数据和常规数据，（2）具有闭合形式解决方案的训练图卷积模型提高了计算效率而不会降低性能，而（3）FLGC作为自然概括非欧几里德域的经典线性模型，例如Ridge回归和子空间聚类。此外，我们通过引入初始剩余策略来实现半监督的FLGC和无监督的FLGC，使FLGC能够聚集长距离邻域并减轻过平滑。我们将我们的半监督和无人监督的FLGC与各种分类和聚类基准的许多最先进的方法进行比较，表明建议的FLGC模型在准确性，鲁棒性和学习效率方面始终如一地优于先前的方法。我们的FLGC的核心代码在https://github.com/angrycai/flgc下发布。

脑肿瘤分割是医学图像分析中最具挑战性问题之一。脑肿瘤细分的目标是产生准确描绘脑肿瘤区域。近年来，深入学习方法在解决各种计算机视觉问题时表现出了有希望的性能，例如图像分类，对象检测和语义分割。基于深度学习的方法已经应用于脑肿瘤细分并取得了有希望的结果。考虑到最先进技术所制作的显着突破，我们使用本调查来提供最近开发的深层学习脑肿瘤分割技术的全面研究。在本次调查中选择并讨论了100多篇科学论文，广泛地涵盖了网络架构设计，在不平衡条件下的细分等技术方面，以及多种方式流程。我们还为未来的发展方向提供了富有洞察力的讨论。

Generalizability to unseen forgery types is crucial for face forgery detectors. Recent works have made significant progress in terms of generalization by synthetic forgery data augmentation. In this work, we explore another path for improving the generalization. Our goal is to reduce the features that are easy to learn in the training phase, so as to reduce the risk of overfitting on specific forgery types. Specifically, in our method, a teacher network takes as input the face images and generates an attention map of the deep features by a diverse multihead attention ViT. The attention map is used to guide a student network to focus on the low-attended features by reducing the highly-attended deep features. A deep feature mixup strategy is also proposed to synthesize forgeries in the feature domain. Experiments demonstrate that, without data augmentation, our method is able to achieve promising performances on unseen forgeries and highly compressed data.