In this book chapter, we briefly describe the main components that constitute the gradient descent method and its accelerated and stochastic variants. We aim at explaining these components from a mathematical point of view, including theoretical and practical aspects, but at an elementary level. We will focus on basic variants of the gradient descent method and then extend our view to recent variants, especially variance-reduced stochastic gradient schemes (SGD). Our approach relies on revealing the structures presented inside the problem and the assumptions imposed on the objective function. Our convergence analysis unifies several known results and relies on a general, but elementary recursive expression. We have illustrated this analysis on several common schemes.

Classical differential private DP-SGD implements individual clipping with random subsampling, which forces a mini-batch SGD approach. We provide a general differential private algorithmic framework that goes beyond DP-SGD and allows any possible first order optimizers (e.g., classical SGD and momentum based SGD approaches) in combination with batch clipping, which clips an aggregate of computed gradients rather than summing clipped gradients (as is done in individual clipping). The framework also admits sampling techniques beyond random subsampling such as shuffling. Our DP analysis follows the $f$-DP approach and introduces a new proof technique which allows us to also analyse group privacy. In particular, for $E$ epochs work and groups of size $g$, we show a $\sqrt{g E}$ DP dependency for batch clipping with shuffling. This is much better than the previously anticipated linear dependency in $g$ and is much better than the previously expected square root dependency on the total number of rounds within $E$ epochs which is generally much more than $\sqrt{E}$.

最近，大型高质量的公共数据集导致了卷积神经网络的发展，这些神经网络可以在专家病理学家水平上检测乳腺癌的淋巴结转移。许多癌症，无论起源地点如何，都可以转移到淋巴结。但是，收集和注释每种癌症类型的高量，高质量数据集都是具有挑战性的。在本文中，我们研究了如何在多任务设置中最有效地利用现有的高质量数据集，以实现紧密相关的任务。具体而言，我们将探索不同的训练和领域适应策略，包括预防灾难性遗忘，用于结肠和头颈癌症转移淋巴结中的灾难性遗忘。我们的结果表明，两项癌症转移检测任务的最新性能。此外，我们显示了从一种癌症类型到另一种癌症的反复适应以获得多任务转移检测网络的有效性。最后，我们表明，利用现有的高质量数据集可以显着提高新目标任务的性能，并且可以使用正则化有效地减轻灾难性遗忘。

肿瘤分割是放疗治疗计划的基本步骤。为了确定口咽癌患者（OPC）原发性肿瘤（GTVP）的准确分割，需要同时评估不同图像模态，并从不同方向探索每个图像体积。此外，分割的手动固定边界忽略了肿瘤描述中已知的空间不确定性。这项研究提出了一种新型的自动深度学习（DL）模型，以在注册的FDG PET/CT图像上进行逐片自适应GTVP分割的辐射肿瘤学家。我们包括138名在我们研究所接受过（化学）辐射治疗的OPC患者。我们的DL框架利用了间和板板的上下文。连续3片的串联FDG PET/CT图像和GTVP轮廓的序列用作输入。进行了3倍的交叉验证，进行了3​​次，对从113例患者的轴向（a），矢状（s）和冠状（c）平面提取的序列进行了训练。由于体积中的连续序列包含重叠的切片，因此每个切片产生了平均的三个结果预测。在A，S和C平面中，输出显示具有预测肿瘤的概率不同的区域。使用平均骰子得分系数（DSC）评估了25名患者的模型性能。预测是最接近地面真理的概率阈值（在A中为0.70，s为0.70，在s中为0.77，在C平面中为0.80）。提出的DL模型的有希望的结果表明，注册的FDG PET/CT图像上的概率图可以指导逐片自适应GTVP分割中的辐射肿瘤学家。

通过离散采样观测来建模连续的动力系统是数据科学中的一个基本问题。通常，这种动力学是非本地过程随时间不可或缺的结果。因此，这些系统是用插差分化方程（IDE）建模的；构成积分和差分组件的微分方程的概括。例如，大脑动力学不是通过微分方程来准确模拟的，因为它们的行为是非马克维亚的，即动态是部分由历史决定的。在这里，我们介绍了神经IDE（NIDE），该框架使用神经网络建模IDE的普通和组成部分。我们在几个玩具和大脑活动数据集上测试NIDE，并证明NIDE的表现优于其他模型，包括神经ODE。这些任务包括时间外推，以及从看不见的初始条件中预测动态，我们在自由行为的小鼠中测试了全皮质活动记录。此外，我们表明，NIDE可以通过学识渊博的整体操作员将动力学分解为马尔可夫和非马克维亚成分，我们在氯胺酮的fMRI脑活动记录中测试了动力学。最后，整体操作员的整体提供了一个潜在空间，可深入了解潜在的动态，我们在宽阔的大脑成像记录上证明了这一点。总体而言，NIDE是一种新颖的方法，可以通过神经网络对复杂的非本地动力学进行建模。

我们解决了与行业相关的尺度上的机器人轨迹计划问题。我们的端到端解决方案将高度通用的随机键算法与模型堆叠和集成技术集成在一起，以及用于溶液细化的路径重新链接。核心优化模块由偏置的随机基遗传算法组成。通过与问题依赖性和问题相关模块的独特分离，我们通过约束的天然编码实现了有效的问题表示。我们表明，对替代算法范式（例如模拟退火）的概括是直接的。我们为行业规模的数据集提供数值基准结果。发现我们的方法始终超过贪婪的基线结果。为了评估当今量子硬件的功能，我们使用Amazon Braket上的QBSOLV在量子退火硬件上获得的经典方法进行了补充。最后，我们展示了如何将后者集成到我们的较大管道中，从而为问题提供了量子准备的混合解决方案。

Array programming provides a powerful, compact, expressive syntax for accessing, manipulating, and operating on data in vectors, matrices, and higher-dimensional arrays [1]. NumPy is the primary array programming library for the Python language [2,3,4,5]. It plays an essential role in research analysis pipelines in fields as diverse as physics, chemistry, astronomy, geoscience, biology, psychology, material science, engineering, finance, and economics. For example, in astronomy, NumPy was an important part of the software stack used in the discovery of gravitational waves [6] and the first imaging of a black hole [7].Here we show how a few fundamental array concepts lead to a simple and powerful programming paradigm for organizing, exploring, and analyzing scientific data. NumPy is the foundation upon which the entire scientific Python universe is constructed. It is so pervasive that several projects, targeting audiences with specialized needs, have developed their own NumPy-like interfaces and array objects. Because of its central position in the ecosystem, NumPy increasingly plays the role of an interoperability layer between these new array computation libraries.

背景：在信息提取和自然语言处理域中，可访问的数据集对于复制和比较结果至关重要。公开可用的实施和工具可以用作基准，并促进更复杂的应用程序的开发。但是，在临床文本处理的背景下，可访问数据集的数量很少 - 现有工具的数量也很少。主要原因之一是数据的敏感性。对于非英语语言，这个问题更为明显。方法：为了解决这种情况，我们介绍了一个工作台：德国临床文本处理模型的集合。这些模型接受了德国肾脏病报告的识别语料库的培训。结果：提出的模型为内域数据提供了有希望的结果。此外，我们表明我们的模型也可以成功应用于德语的其他生物医学文本。我们的工作台公开可用，因此可以开箱即用，或转移到相关问题上。

The potential for complex systems to exhibit tipping points in which an equilibrium state undergoes a sudden and often irreversible shift is well established, but prediction of these events using standard forecast modeling techniques is quite difficult. This has led to the development of an alternative suite of methods that seek to identify signatures of critical phenomena in data, which are expected to occur in advance of many classes of dynamical bifurcation. Crucially, the manifestations of these critical phenomena are generic across a variety of systems, meaning that data-intensive deep learning methods can be trained on (abundant) synthetic data and plausibly prove effective when transferred to (more limited) empirical data sets. This paper provides a proof of concept for this approach as applied to lattice phase transitions: a deep neural network trained exclusively on 2D Ising model phase transitions is tested on a number of real and simulated climate systems with considerable success. Its accuracy frequently surpasses that of conventional statistical indicators, with performance shown to be consistently improved by the inclusion of spatial indicators. Tools such as this may offer valuable insight into climate tipping events, as remote sensing measurements provide increasingly abundant data on complex geospatially-resolved Earth systems.

人类在感知幻觉纲要方面非常出色。我们随时能够在提供包含连接外观的破碎碎片的图像时完成轮廓，形状，场景，甚至不均匀的对象。在视觉科学中，这种能力在很大程度上通过感知分组解释：人类视觉中的基础集进程，描述了如何分组分离的元素。在本文中，我们重新审视了一种称为随机完成领域（SCFS）的算法，该算法机械化一套这样的工艺 - 良好的连续性，闭合和接近 - 通过轮廓完成。本文实现了SCF算法的现代化模型，并在图像编辑框架中使用它提出了新的方法来完成碎片的轮廓。我们展示了SCF算法如何合理地模仿人类感知。我们使用SCF完成的轮廓作为染色的指南，并表明我们的指南提高了最先进的模型的性能。此外，我们表明SCF有助于在高噪声环境中找到边缘。总体而言，我们所描述的算法类似于人类视觉系统中的一个重要机制，并提供了一种新颖的计算机视觉模型可以从中受益的新框架。