We study the compute-optimal trade-off between model and training data set sizes for large neural networks. Our result suggests a linear relation similar to that supported by the empirical analysis of Chinchilla. While that work studies transformer-based large language models trained on the MassiveText corpus (gopher), as a starting point for development of a mathematical theory, we focus on a simpler learning model and data generating process, each based on a neural network with a sigmoidal output unit and single hidden layer of ReLU activation units. We establish an upper bound on the minimal information-theoretically achievable expected error as a function of model and data set sizes. We then derive allocations of computation that minimize this bound. We present empirical results which suggest that this approximation correctly identifies an asymptotic linear compute-optimal scaling. This approximation can also generate new insights. Among other things, it suggests that, as the input space dimension or latent space complexity grows, as might be the case for example if a longer history of tokens is taken as input to a language model, a larger fraction of the compute budget should be allocated to growing the learning model rather than training data set.

在过去的十年中，神经网络的成功已将它们确立为许多相关数据生成过程的有效模型。神经网络的统计理论表明样品复杂性的优雅缩放。例如，Joen＆van Roy（Arxiv：2203.00246）证明，当带有$ W $参数的Relu教师网络生成数据时，最佳学习者只需要$ \ tilde {o} {o}（w/\ epsilon）$ sample达到预期错误$ \ epsilon $。但是，现有的计算理论表明，即使对于单层层教师网络，为了达到所有此类教师网络的小错误，实现此样本复杂性所需的计算也很棘手。在这项工作中，我们将单层神经网络拟合到由单层层的relu教师网络生成的数据，该网络具有从自然分布中绘制的参数。我们证明，具有自动宽度选择的随机梯度下降（SGD）达到了预期误差小的较小的预期误差，许多样本和查询总数几乎在输入维度和宽度中几乎是线性的。这表明SGD几乎以计算上有效的方式实现了Joen＆van Roy（Arxiv：2203.00246）的信息理论样品复杂性界限。我们的积极经验结果与负理论结果之间的一个重要区别在于，后者解决了确定性算法的最坏情况误差，而我们的分析集中在随机算法的预期误差上。

每年，深度学习都会通过更深层和更广泛的神经网络展示新的和改进的经验结果。同时，使用现有的理论框架，很难在不诉诸于计数参数或遇到深度指数的样本复杂性范围的情况下，比两层更深地分析网络。尝试在不同的镜头下分析现代机器学习也许是富有成效的。在本文中，我们提出了一个新颖的信息理论框架，其遗憾和样本复杂性的概念用于分析机器学习的数据要求。通过我们的框架，我们首先通过一些经典示例进行工作，例如标量估计和线性回归，以构建直觉并引入通用技术。然后，我们使用该框架来研究由深度符号神经网络，深度恢复神经网络和深层网络产生的数据的样本复杂性，这些数据无限宽，但具有限制的权重。对于符号神经网络，我们恢复了基于VC量的参数之后的样本复杂性界限。对于后两个神经网络环境，我们建立了新的结果，这些结果表明，在这些数据生成过程中，学习的样本复杂性最多是线性和二次的网络深度。

The number of international benchmarking competitions is steadily increasing in various fields of machine learning (ML) research and practice. So far, however, little is known about the common practice as well as bottlenecks faced by the community in tackling the research questions posed. To shed light on the status quo of algorithm development in the specific field of biomedical imaging analysis, we designed an international survey that was issued to all participants of challenges conducted in conjunction with the IEEE ISBI 2021 and MICCAI 2021 conferences (80 competitions in total). The survey covered participants' expertise and working environments, their chosen strategies, as well as algorithm characteristics. A median of 72% challenge participants took part in the survey. According to our results, knowledge exchange was the primary incentive (70%) for participation, while the reception of prize money played only a minor role (16%). While a median of 80 working hours was spent on method development, a large portion of participants stated that they did not have enough time for method development (32%). 25% perceived the infrastructure to be a bottleneck. Overall, 94% of all solutions were deep learning-based. Of these, 84% were based on standard architectures. 43% of the respondents reported that the data samples (e.g., images) were too large to be processed at once. This was most commonly addressed by patch-based training (69%), downsampling (37%), and solving 3D analysis tasks as a series of 2D tasks. K-fold cross-validation on the training set was performed by only 37% of the participants and only 50% of the participants performed ensembling based on multiple identical models (61%) or heterogeneous models (39%). 48% of the respondents applied postprocessing steps.

Perception algorithms in autonomous driving systems confront great challenges in long-tail traffic scenarios, where the problems of Safety of the Intended Functionality (SOTIF) could be triggered by the algorithm performance insufficiencies and dynamic operational environment. However, such scenarios are not systematically included in current open-source datasets, and this paper fills the gap accordingly. Based on the analysis and enumeration of trigger conditions, a high-quality diverse dataset is released, including various long-tail traffic scenarios collected from multiple resources. Considering the development of probabilistic object detection (POD), this dataset marks trigger sources that may cause perception SOTIF problems in the scenarios as key objects. In addition, an evaluation protocol is suggested to verify the effectiveness of POD algorithms in identifying the key objects via uncertainty. The dataset never stops expanding, and the first batch of open-source data includes 1126 frames with an average of 2.27 key objects and 2.47 normal objects in each frame. To demonstrate how to use this dataset for SOTIF research, this paper further quantifies the perception SOTIF entropy to confirm whether a scenario is unknown and unsafe for a perception system. The experimental results show that the quantified entropy can effectively and efficiently reflect the failure of the perception algorithm.

3D多对象跟踪（MOT）确保在连续动态检测过程中保持一致性，有利于自动驾驶中随后的运动计划和导航任务。但是，基于摄像头的方法在闭塞情况下受到影响，准确跟踪基于激光雷达的方法的对象的不规则运动可能是具有挑战性的。某些融合方法效果很好，但不认为在遮挡下出现外观特征的不可信问题。同时，错误检测问题也显着影响跟踪。因此，我们根据组合的外观运动优化（Camo-Mot）提出了一种新颖的相机融合3D MOT框架，该框架使用相机和激光镜数据，并大大减少了由遮挡和错误检测引起的跟踪故障。对于遮挡问题，我们是第一个提出遮挡头来有效地选择最佳对象外观的人，从而减少了闭塞的影响。为了减少错误检测在跟踪中的影响，我们根据置信得分设计一个运动成本矩阵，从而提高了3D空间中的定位和对象预测准确性。由于现有的多目标跟踪方法仅考虑一个类别，因此我们还建议建立多类损失，以在多类别场景中实现多目标跟踪。在Kitti和Nuscenes跟踪基准测试上进行了一系列验证实验。我们提出的方法在KITTI测试数据集上的所有多模式MOT方法中实现了最先进的性能和最低的身份开关（IDS）值（CAR为23，行人为137）。并且我们提出的方法在Nuscenes测试数据集上以75.3％的AMOTA进行了所有算法中的最新性能。

交叉路口是自动驾驶任务最具挑战性的场景之一。由于复杂性和随机性，在相交处的基本应用（例如行为建模，运动预测，安全验证等）在很大程度上取决于数据驱动的技术。因此，交叉点中对流量参与者（TPS）的轨迹数据集的需求很大。目前，城市地区的大多数交叉路口都配备了交通信号灯。但是，尚无用于信号交叉点的大规模，高质量，公开可用的轨迹数据集。因此，在本文中，在中国天津选择了典型的两相信号交叉点。此外，管道旨在构建信号交叉数据集（SIND），其中包含7个小时的记录，其中包括13,000多种TPS，具有7种类型。然后，记录了信德的交通违规行为。此外，也将信德与其他类似作品进行比较。 SIND的特征可以概括如下：1）信德提供了更全面的信息，包括交通信号灯状态，运动参数，高清（HD）地图等。2）TPS的类别是多种多样和特征的，其中比例是脆弱的道路使用者（VRU）最高为62.6％3）显示了多次交通信号灯违反非电动车辆的行为。我们认为，Sind将是对现有数据集的有效补充，可以促进有关自动驾驶的相关研究。该数据集可通过以下方式在线获得：https：//github.com/sotif-avlab/sind

促性腺营养蛋白释放激素受体（GNRH1R）是治疗子宫疾病的有前途的治疗靶标。迄今为止，在临床研究中可以使用几个GNRH1R拮抗剂，而不满足多个财产约束。为了填补这一空白，我们旨在开发一个基于学习的框架，以促进有效，有效地发现具有理想特性的新的口服小型分子药物靶向GNRH1R。在目前的工作中，首先通过充分利用已知活性化合物和靶蛋白的结构的信息，首先提出了配体和结构组合模型，即LS-Molgen，首先提出了分子生成的方法，该信息通过其出色的性能证明了这一点。比分别基于配体或结构方法。然后，进行了A中的计算机筛选，包括活性预测，ADMET评估，分子对接和FEP计算，其中约30,000个生成的新型分子被缩小到8，以进行实验合成和验证。体外和体内实验表明，其中三个表现出有效的抑制活性（化合物5 IC50 = 0.856 nm，化合物6 IC50 = 0.901 nm，化合物7 IC50 = 2.54 nm对GNRH1R，并且化合物5在基本PK属性中表现良好例如半衰期，口服生物利用度和PPB等。我们认为，提议的配体和结构组合结合的分子生成模型和整个计算机辅助工作流程可能会扩展到从头开始的类似任务或铅优化的类似任务。

对象检测的域适应性（DAOD）最近由于其检测目标对象而没有任何注释而引起了很多关注。为了解决该问题，以前的作品着重于通过对抗训练在两阶段检测器中从部分级别（例如图像级，实例级，RPN级）提取的对齐功能。但是，对象检测管道中的个体级别相互密切相关，并且尚未考虑此层次之间的关系。为此，我们为DAOD介绍了一个新的框架，该框架具有三个提出的组件：多尺度意识不确定性注意力（MUA），可转移的区域建议网络（TRPN）和动态实例采样（DIS）。使用这些模块，我们试图在训练过程中减少负转移效应，同时最大化可传递性以及两个领域的可区分性。最后，我们的框架隐含地学习了域不变区域，以通过利用可转移信息并通过协作利用其域信息来增强不同检测级别之间的互补性。通过消融研究和实验，我们表明所提出的模块以协同方式有助于性能提高，以证明我们方法的有效性。此外，我们的模型在各种基准测试方面达到了新的最新性能。

包括MRI，CT和超声在内的医学成像在临床决策中起着至关重要的作用。准确的分割对于测量图像感兴趣的结构至关重要。但是，手动分割是高度依赖性的，这导致了定量测量的高度和内部变异性。在本文中，我们探讨了通过深神经网络参数参数的贝叶斯预测分布可以捕获临床医生的内部变异性的可行性。通过探索和分析最近出现的近似推理方案，我们可以评估近似贝叶斯的深度学习是否具有分割后的后验可以学习分割和临床测量中的内在评估者变异性。实验以两种不同的成像方式进行：MRI和超声。我们从经验上证明，通过深神经网络参数化参数的贝叶斯预测分布可以近似临床医生的内部变异性。我们通过提供临床测量不确定性来定量分析医学图像，展示了一个新的观点。