风能供应的可变性可能会给将风力发电纳入网格系统带来重大挑战。因此，风力预测（WPF）已被广泛认为是风能整合和操作中最关键的问题之一。在过去的几十年中，关于风能预测问题的研究爆炸了。然而，如何很好地处理WPF问题仍然具有挑战性，因为始终要求高预测准确性以确保电网稳定性和供应的安全性。我们提出了独特的空间动态风能预测数据集：SDWPF，其中包括风力涡轮机的空间分布以及动态上下文因素。鉴于，大多数现有数据集只有少量的风力涡轮机，而无需以细粒度的时间尺度了解风力涡轮机的位置和上下文信息。相比之下，SDWPF提供了半年多的风力涡轮机的风能数据，其相对位置和内部地位。我们使用此数据集启动BAIDU KDD杯2022来检查当前WPF解决方案的极限。该数据集在https://aistudio.baidu.com/aistudio/competition/detail/152/0/datasets上发布。

准确的蛋白质结构预测可以显着加速生命科学的发展。 Alphafold2的准确性是边界端到端结构预测系统，已经接近实验确定技术的准确性。由于复杂的模型体系结构和大量的内存消耗，因此需要大量的计算资源和时间来实施从头开始实施Alphafold2的训练和推断。对于大多数个人和机构来说，运行原始AlphaFold2的成本都是昂贵的。因此，降低这一成本可以加速生命科学的发展。我们使用PaddlePaddle（即HelixFold）实现Alphafold2，以提高训练和推理速度并减少记忆消耗。操作员融合，张量融合和混合并行性计算改善了性能，而通过重新计算，BFLOAT16和内存读/写入/编写就场，内存进行了优化。与原始的Alphafold2（由JAX实施）和OpenFold（由Pytorch实施）相比，HelixFold仅需7.5天即可完成完整的端到端培训，并且在使用Hybrid ParalleleSism时只需要5.3天，而Alphafold2和OpenFold都可以使用11个。天。 Helixfold节省了1倍的训练时间。我们验证了HelixFold的准确性可能与CASP14和CAMAO数据集上的Alphafold2相当。 HelixFold的代码可免费下载：https：//github.com/paddlepaddle/paddlehelix/paddlehelix/tree/dev/dev/pprotein_folding/helixfold，我们还在https://paddlehelix.baidu.com/com上提供稳定的Web服务。应用程序/药物/蛋白质/预测。

如图1所示，光学特征识别（OCR）技术已在各种场景中广泛使用。设计实用的OCR系统仍然是一项有意义但具有挑战性的任务。在以前的工作中，考虑到效率和准确性，我们提出了实用的超轻型OCR系统（PP-OCR）和优化的版本PP-OCRV2。为了进一步提高PP-OCRV2的性能，本文提出了更强大的OCR系统PP-OCRV3。 PP-OCRV3基于PP-OCRV2的9个方面升级了文本检测模型和文本识别模型。对于文本检测器，我们引入了一个带有大型接收场LK-PAN的锅模块，该模块是一个名为RSE-FPN的剩余注意机制的FPN模块和DML蒸馏策略。对于文本识别器，基本模型将从CRNN替换为SVTR，我们介绍了轻量级文本识别网络SVTR LCNET，通过注意力进行CTC的指导培训，数据增强策略TextConaug，由自我审查的TextRotnet，UDML和UDML和UDML和UDML和更好的预培训模型。 UIM加速模型并改善效果。实际数据上的实验表明，在可比的推理速度下，PP-OCRV3的Hmean比PP-OCRV2高5％。上述所有上述型号都是开源的，并且代码可在由PaddlePaddle供电的GitHub存储库Paddleocr中可用。

预先接受的语言模型实现了最先进的导致各种自然语言处理（NLP）任务。 GPT-3表明，缩放预先训练的语言模型可以进一步利用它们的巨大潜力。最近提出了一个名为Ernie 3.0的统一框架，以预先培训大型知识增强型号，并培训了具有10亿参数的模型。 Ernie 3.0在各种NLP任务上表现出最先进的模型。为了探讨缩放的表现，我们培养了百卢比的3.0泰坦参数型号，在PaddlePaddle平台上有高达260亿参数的泰坦。此外，我们设计了一种自我监督的对抗性损失和可控语言建模损失，以使ERNIE 3.0 TITAN产生可信和可控的文本。为了减少计算开销和碳排放，我们向Ernie 3.0泰坦提出了一个在线蒸馏框架，教师模型将同时教授学生和培训。埃塞尼3.0泰坦是迄今为止最大的中国密集预训练模型。经验结果表明，Ernie 3.0泰坦在68个NLP数据集中优于最先进的模型。

分布式培训已成为培训大型神经网络（NN）模型的普遍性和有效的方法，该模型加工大规模数据。然而，满足来自各种NN模型，多样化计算资源的要求以及在培训工作期间的动态变化是非常挑战的。在这项研究中，我们在系统的端到端视图中设计了我们的分布式训练框架，以提供不同场景的内置自适应能力，特别是对于工业应用和生产环境，通过完全考虑资源分配，模型分区，任务放置和分布式执行。基于统一的分布式图和统一群集对象，我们的自适应框架配备了全球成本模型和全局计划者，可以实现任意并行，资源感知的放置，多模式执行，容错和弹性分布式。训练。实验表明，我们的框架可以满足应用程序的多样性和资源的异质性满足各种要求和具有竞争力的性能。具有260亿参数的Ernie语言模型在数千个AI处理器上有效地培训，可扩展性较弱的91.7％。通过采用异质管道异步执行，从推荐系统的模型的吞吐量可以分别增加到2.1倍，仅增加了GPU和CPU培训的3.3倍。此外，容错和弹性分布式培训已成功应用于在线工业应用，这减少了长期培训工作的数量，增加了34.49％，并在全球调度效率增加了33.91％生产环境。

深神经网络（DNN）利用多层和大量参数来实现优异的性能。 DNN模型的培训过程通常处理具有许多稀疏功能的大规模输入数据，引起高输入/输出（IO）的成本，而一些层数是计算密集型的。培训过程通常利用分布式计算资源来减少培训时间。此外，异构计算资源，例如CPU，多种类型的GPU，可用于分布式训练过程。因此，多个层对不同计算资源的调度对于训练过程至关重要。为了使用异构计算资源有效地训练DNN模型，我们提出了一种分布式框架，即桨式异构参数服务器（Paddle-Heterps），由分布式架构和加强学习（RL）的调度方法组成。与现有框架相比，Paddle-Heterps的优点是三倍。首先，Paddle-hotior是通过异构计算资源的多样化工作负载的高效培训过程。其次，Paddle-Heterps利用基于RL的方法以有效地将每层的工作量调度到适当的计算资源，以最小化成本，同时满足吞吐量约束。第三，Paddle-hotips管理分布式计算资源之间的数据存储和数据通信。我们进行了广泛的实验，以表明Paddle-hotors在吞吐量方面显着优于最先进的方法（更高14.5倍）和货币成本（312.3％较小）。框架的代码可在：https://github.com/paddlepaddle/paddle公开使用。

更好的准确性和效率权衡在对象检测中是一个具有挑战性的问题。在这项工作中，我们致力于研究对象检测的关键优化和神经网络架构选择，以提高准确性和效率。我们调查了无锚策略对轻质对象检测模型的适用性。我们增强了骨干结构并设计了颈部的轻质结构，从而提高了网络的特征提取能力。我们改善标签分配策略和损失功能，使培训更稳定和高效。通过这些优化，我们创建了一个名为PP-Picodet的新的实时对象探测器系列，这在移动设备的对象检测上实现了卓越的性能。与其他流行型号相比，我们的模型在准确性和延迟之间实现了更好的权衡。 Picodet-s只有0.99m的参数达到30.6％的地图，它是地图的绝对4.8％，同时与yolox-nano相比将移动CPU推理延迟减少55％，并且与Nanodet相比，MAP的绝对改善了7.1％。当输入大小为320时，它在移动臂CPU上达到123个FPS（使用桨Lite）。Picodet-L只有3.3M参数，达到40.9％的地图，这是地图的绝对3.7％，比yolov5s更快44％ 。如图1所示，我们的模型远远优于轻量级对象检测的最先进的结果。代码和预先训练的型号可在https://github.com/paddlepaddle/paddledentions提供。

近年来，图像识别应用程序已迅速发展。在不同的领域中出现了大量的研究和技术，例如人脸识别，行人和车辆重新识别，地标检索和产品识别。在本文中，我们提出了一种实用的轻质图像识别系统，名为PP-Shitu，包括以下3个模块，主体检测，特征提取和矢量搜索。我们介绍了公制学习，深哈希，知识蒸馏和模型量化，包括提高精度和推理速度的流行策略。具有上述策略，PP-Shitu在不同的场景中运行良好，其中一组模型在混合数据集上培训。不同数据集和基准测试的实验表明，该系统在图像识别的不同域中广泛有效。所有上述型号都是开放的，并且代码在PaddlePaddle上的GitHub存储库Paddleclas中提供。

While pre-trained Chinese language models have demonstrated impressive performance on a wide range of NLP tasks, the Chinese Spell Checking (CSC) task remains a challenge. Previous research has explored using information such as glyphs and phonetics to improve the ability to distinguish misspelled characters, with good results. However, the generalization ability of these models is not well understood: it is unclear whether they incorporate glyph-phonetic information and, if so, whether this information is fully utilized. In this paper, we aim to better understand the role of glyph-phonetic information in the CSC task and suggest directions for improvement. Additionally, we propose a new, more challenging, and practical setting for testing the generalizability of CSC models. All code is made publicly available.

Deep reinforcement learning algorithms have succeeded in several challenging domains. Classic Online RL job schedulers can learn efficient scheduling strategies but often takes thousands of timesteps to explore the environment and adapt from a randomly initialized DNN policy. Existing RL schedulers overlook the importance of learning from historical data and improving upon custom heuristic policies. Offline reinforcement learning presents the prospect of policy optimization from pre-recorded datasets without online environment interaction. Following the recent success of data-driven learning, we explore two RL methods: 1) Behaviour Cloning and 2) Offline RL, which aim to learn policies from logged data without interacting with the environment. These methods address the challenges concerning the cost of data collection and safety, particularly pertinent to real-world applications of RL. Although the data-driven RL methods generate good results, we show that the performance is highly dependent on the quality of the historical datasets. Finally, we demonstrate that by effectively incorporating prior expert demonstrations to pre-train the agent, we short-circuit the random exploration phase to learn a reasonable policy with online training. We utilize Offline RL as a \textbf{launchpad} to learn effective scheduling policies from prior experience collected using Oracle or heuristic policies. Such a framework is effective for pre-training from historical datasets and well suited to continuous improvement with online data collection.