The optimal design of experiments typically involves solving an NP-hard combinatorial optimization problem. In this paper, we aim to develop a globally convergent and practically efficient optimization algorithm. Specifically, we consider a setting where the pre-treatment outcome data is available and the synthetic control estimator is invoked. The average treatment effect is estimated via the difference between the weighted average outcomes of the treated and control units, where the weights are learned from the observed data. {Under this setting, we surprisingly observed that the optimal experimental design problem could be reduced to a so-called \textit{phase synchronization} problem.} We solve this problem via a normalized variant of the generalized power method with spectral initialization. On the theoretical side, we establish the first global optimality guarantee for experiment design when pre-treatment data is sampled from certain data-generating processes. Empirically, we conduct extensive experiments to demonstrate the effectiveness of our method on both the US Bureau of Labor Statistics and the Abadie-Diemond-Hainmueller California Smoking Data. In terms of the root mean square error, our algorithm surpasses the random design by a large margin.

无限维功能空间之间的学习映射已在机器学习的许多学科中取得了经验成功，包括生成建模，功能数据分析，因果推理和多方面的增强学习。在本文中，我们研究了在两个无限维sobolev繁殖内核希尔伯特空间之间学习希尔伯特 - 施密特操作员的统计限制。我们根据Sobolev Hilbert-Schmidt规范建立了信息理论的下限，并表明一种正规化学习了偏见轮廓以下的光谱成分，并且忽略了差异高于方差轮廓的频谱成分可以达到最佳学习率。同时，偏置和方差轮廓之间的光谱成分为我们设计计算可行的机器学习算法的灵活性。基于此观察结果，我们开发了一种多级内核操作员学习算法，该算法在无限维函数空间之间学习线性运算符时是最佳的。

尽管过度参数化的模型已经在许多机器学习任务上表现出成功，但与培训不同的测试分布的准确性可能会下降。这种准确性下降仍然限制了在野外应用机器学习的限制。同时，重要的加权是一种处理分配转移的传统技术，已被证明在经验和理论上对过度参数化模型的影响较小甚至没有影响。在本文中，我们提出了重要的回火来改善决策界限，并为过度参数化模型取得更好的结果。从理论上讲，我们证明在标签移位和虚假相关设置下，组温度的选择可能不同。同时，我们还证明正确选择的温度可以解脱出少数群体崩溃的分类不平衡。从经验上讲，我们使用重要性回火来实现最严重的小组分类任务的最新结果。

通常针对具有特定模型的特定输入而生成的对抗性示例，对于神经网络而言是无处不在的。在本文中，我们揭示了对抗声音的令人惊讶的属性，即，如果配备了相应的标签，则通过一步梯度方法制作的对抗性噪声是线性分离的。从理论上讲，我们为具有随机初始化条目的两层网络和神经切线内核设置证明了此属性，其中参数远离初始化。证明的想法是显示标签信息可以有效地反向输入，同时保持线性可分离性。我们的理论和实验证据进一步表明，对训练数据的对抗噪声进行训练的线性分类器可以很好地对测试数据的对抗噪声进行分类，这表明对抗性噪声实际上将分布扰动注入了原始数据分布。此外，我们从经验上证明，当上述条件受到损害时，在它们仍然比原始功能更容易分类时，对抗性的噪声可能会变得线性分离。

在本文中，我们研究了使用一般目标函数类别的嘈杂观测来解决梯度下降的Sobolev规范的统计限制。我们的目标功能类别包括用于内核回归的SOBOLEV培训，深层RITZ方法（DRM）和物理知识的神经网络（PINN），以解决椭圆形偏微分方程（PDES）作为特殊情况。我们考虑使用合适的再现核希尔伯特空间和通过内核积分运算符的定义对问题硬度的连续参数化考虑模型的潜在无限二维参数化。我们证明，该目标函数上的梯度下降也可以实现统计最佳性，并且数据的最佳通过数随样本量增加而增加。基于我们的理论，我们解释了使用SOBOLOLEV标准作为训练的目标函数的隐含加速度，推断出DRM的最佳时期数量在数据大小和任务的硬度增加时，DRM的最佳数量变得大于PINN的数量，尽管DRM和PINN都可以实现统计最佳性。

在本文中，我们研究了使用深丽升方法（DRM）和物理信息的神经网络（Pinns）从随机样品求解椭圆局部微分方程（PDE）的深度学习技术的统计限制。为了简化问题，我们专注于原型椭圆PDE：SCHR \“odinginger方程，具有零的Dirichlet边界条件，其在量子 - 机械系统中具有广泛的应用。我们为两种方法建立了上下界，通过快速速率泛化绑定并发地改善了这个问题的上限。我们发现当前的深ritz方法是次优的，提出修改版本。我们还证明了Pinn和DRM的修改版本可以实现Minimax SoboLev空间的最佳限制。经验上，近期工作表明，根据权力法，我们提供了培训训练的深层模型精度，我们提供了计算实验，以显示对深PDE求解器的尺寸依赖权力法的类似行为。

自主导航的同时本地化和映射（SLAM）框架依赖于强大的数据关联来识别循环封闭以进行后端轨迹优化。对于配备了多层回声器（MBE）的自动水下车辆（AUV），由于海床中可识别的地标的稀缺性，数据关联尤其具有挑战性MBE数据的低分辨率特征。循环封闭检测的深度学习解决方案已显示出来自更结构化环境的数据的出色性能。但是，它们转移到海底领域并不是直接的，并且由于缺乏测深的数据集而阻碍了移植它们的努力。因此，在本文中，我们提出了一种神经网络体系结构，旨在展示将这种技术适应测深数据中对应匹配的潜力。我们从AUV任务中训练我们的框架，并评估其在循环闭合检测任务和粗点云对齐任务上的性能。最后，我们在更传统的方法上展示了其潜力，并释放其实现和所使用的数据集。

图神经网络（GNN）广泛用于图表学习。尽管普遍存在，但GNN在图形分类任务中遭受了两个缺点，忽视了图级关系和概括问题。每个图在GNN消息传递/图池中分别处理，并在每个单独的图表上操作过度拟合的现有方法。这使得图表在下游分类中学到的有效性降低了。在本文中，我们为图形分类任务提出了一个班级感知表示的改进（CARE）框架。 CARE计算简单但功能强大的类表示，并注入它们，以将图表的学习转向更好的类别可分离性。 Care是一个高度灵活的插件框架，能够在不显着增加计算成本的情况下合并任意GNN骨架。从理论上讲，我们还证明，通过VAPNIK-CHERVONENKIS（VC）维度分析，CARE具有比其GNN主链更好的概括上限。我们在9个基准数据集上使用10个著名的GNN骨架进行的广泛实验验证了护理的优势和有效性，而不是其GNN对应物。

表面缺陷检测是工业质量检查最重要的过程之一。基于深度学习的表面缺陷检测方法已显示出巨大的潜力。但是，表现出色的模型通常需要大量的训练数据，并且只能检测出在训练阶段出现的缺陷。当面对少量数据数据时，缺陷检测模型不可避免地会遭受灾难性遗忘和错误分类问题的困扰。为了解决这些问题，本文提出了一个新的知识蒸馏网络，称为双知识对齐网络（DKAN）。提出的DKAN方法遵循预处理的转移学习范式，并设计了用于微调的知识蒸馏框架。具体而言，提出了增量RCNN以实现不同类别的分离稳定特征表示。在此框架下，设计特征知识对齐（FKA）的损失是在类不足的特征图之间设计的，以解决灾难性的遗忘问题，而logit知识对准（LKA）损失在logit分布之间部署以解决错误分类问题。实验已经在递增的几个neu-det数据集上进行，结果表明，DKAN在各种几个场景上的其他方法都优于其他方法，对平均平均精度度量指标最高可达6.65％，这证明了该方法的有效性。

弱监督对象检测（WSOD）旨在仅训练需要图像级注释的对象检测器。最近，一些作品设法选择了从训练有素的WSOD网络生成的准确框，以监督半监督的检测框架以提高性能。但是，这些方法只需根据图像级标准将设置的训练分为标记和未标记的集合，从而选择了足够的错误标记或错误的局部盒子预测作为伪基真正的真实性，从而产生了次优的检测性能解决方案。为了克服这个问题，我们提出了一个新颖的WSOD框架，其新范式从弱监督到嘈杂的监督（W2N）。通常，通过训练有素的WSOD网络产生的给定的伪基真实性，我们提出了一种两模块迭代训练算法来完善伪标签并逐步监督更好的对象探测器。在定位适应模块中，我们提出正规化损失，以减少原始伪基真实性中判别零件的比例，从而获得更好的伪基真实性，以进行进一步的训练。在半监督的模块中，我们提出了两个任务实例级拆分方法，以选择用于训练半监督检测器的高质量标签。不同基准测试的实验结果验证了W2N的有效性，我们的W2N优于所有现有的纯WSOD方法和转移学习方法。我们的代码可在https://github.com/1170300714/w2n_wsod上公开获得。