尽管深度神经网络（DNNS）成功地超过了时间序列数据（例如移动健康），但由于与图像和文本数据相比，由于其独特的特征，如何训练如何训练稳健的DNN为时间序列域而言知之甚少。 。在本文中，我们提出了一个新颖的算法框架，称为时间序列（RO-TS）的强大训练，以创建适合时间序列分类任务的强大DNN。具体而言，我们通过根据基于全局对齐内核（GAK）距离测量的时间序列输入来明确推理鲁棒性标准，从而在模型参数上提出了最小值优化问题。我们还使用gak和动态时间扭曲（DTW），使用求和结构比对时间序列对齐的求和结构来展示我们的公式的普遍性和优势。这个问题是一个组成的最低 - 最大优化问题家族的实例，这是具有挑战性的，并且没有明确的理论保证。我们为这个优化问题家族提出了一种原则的随机组成交流梯度下降（SCAGDA）算法。与需要近似距离度量计算的时间序列的传统方法不同，SCAGDA使用移动平均值接近基于GAK的距离。我们理论上分析了SCAGDA的收敛速率，并为基于GAK的距离的估计提供了强有力的理论支持。我们对现实世界基准测试的实验表明，与对抗性训练相比，使用依赖数据增强或损失函数的新定义的对抗训练相比，RO-TS会创建更强大的DNN。我们还证明了GAK在欧几里得距离上对时间序列数据的重要性。 RO-TS算法的源代码可在https://github.com/tahabelkhouja/robust-training-for-time-series上获得

尽管深度神经网络（DNNS）的对抗性鲁棒性研究取得了迅速的进展，但对于时间序列领域，几乎没有原则上的工作。由于时间序列数据出现在包括移动健康，金融和智能电网在内的各种应用中，因此验证和改善DNN在时间序列域的鲁棒性很重要。在本文中，我们为时间序列域提出了一个新颖的框架，称为{\ em动态时间扭曲，用于使用动态时间扭曲度量，以实现对抗性鲁棒性（DTW-AR）}。提供了理论和经验证据，以证明DTW对图像结构域的先前方法中采用的标准欧几里得距离度量的有效性。我们通过理论分析开发了一种原则性的算法，可以使用随机比对路径有效地创建各种对抗性示例。对不同现实世界基准的实验表明，DTW-AR对愚弄DNNS的有效性来欺骗时间序列数据，并使用对抗性训练提高其鲁棒性。 DTW-AR算法的源代码可在https://github.com/tahabelkhouja/dtw-ar上获得

时间序列数据在许多现实世界中（例如，移动健康）和深神经网络（DNNS）中产生，在解决它们方面已取得了巨大的成功。尽管他们成功了，但对他们对对抗性攻击的稳健性知之甚少。在本文中，我们提出了一个通过统计特征（TSA-STAT）}称为时间序列攻击的新型对抗框架}。为了解决时间序列域的独特挑战，TSA-STAT对时间序列数据的统计特征采取限制来构建对抗性示例。优化的多项式转换用于创建比基于加性扰动的攻击（就成功欺骗DNN而言）更有效的攻击。我们还提供有关构建对抗性示例的统计功能规范的认证界限。我们对各种现实世界基准数据集的实验表明，TSA-STAT在欺骗DNN的时间序列域和改善其稳健性方面的有效性。 TSA-STAT算法的源代码可在https://github.com/tahabelkhouja/time-series-series-attacks-via-statity-features上获得

NDCG是标准化的折扣累积增益，是信息检索和机器学习中广泛使用的排名指标。但是，仍然缺乏最大化NDCG的有效且可证明的随机方法，尤其是对于深层模型。在本文中，我们提出了一种优化NDCG及其最高$ K $变体的原则方法。首先，我们制定了一个新颖的组成优化问题，以优化NDCG替代物，以及一个新型的双层构图优化问题，用于优化顶部$ K $ NDCG代理。然后，我们开发有效的随机算法，并为非凸目标提供可证明的收敛保证。与现有的NDCG优化方法不同，我们的算法量表的均量复杂性与迷你批量大小，而不是总项目的数量。为了提高深度学习的有效性，我们通过使用初始热身和停止梯度操作员进一步提出实用策略。多个数据集的实验结果表明，我们的方法在NDCG方面优于先前的排名方法。据我们所知，这是首次提出随机算法以优化具有可证明的收敛保证的NDCG。我们提出的方法在https://libauc.org/的libauc库中实现。

本文重点介绍了解决光滑非凸强凹入最小问题的随机方法，这导致了由于其深度学习中的潜在应用而受到越来越长的关注（例如，深度AUC最大化，分布鲁棒优化）。然而，大多数现有算法在实践中都很慢，并且它们的分析围绕到几乎静止点的收敛。我们考虑利用Polyak-\ L Ojasiewicz（PL）条件来设计更快的随机算法，具有更强的收敛保证。尽管已经用于设计许多随机最小化算法的PL条件，但它们对非凸敏最大优化的应用仍然罕见。在本文中，我们提出并分析了基于近端的跨越时代的方法的通用框架，许多众所周知的随机更新嵌入。以{\ BF原始物镜差和二元间隙}的方式建立快速收敛。与现有研究相比，（i）我们的分析基于一个新的Lyapunov函数，包括原始物理差距和正则化功能的二元间隙，（ii）结果更加全面，提高了更好的依赖性的速率不同假设下的条件号。我们还开展深层和非深度学习实验，以验证我们的方法的有效性。

在本文中，我们提出了一种实用的在线方法，用于解决具有非凸面目标的一类分布稳健优化（DRO），这在机器学习中具有重要应用，以改善神经网络的稳健性。在文献中，大多数用于解决DRO的方法都基于随机原始方法。然而，DRO的原始方法患有几个缺点：（1）操纵对应于数据尺寸的高维双变量是昂贵的; （2）他们对网上学习不友好，其中数据顺序地发表。为了解决这些问题，我们考虑一类具有KL发散正则化的Dual变量的DRO，将MIN-MAX问题转换为组成最小化问题，并提出了无需较大的批量批量的无需线在线随机方法。我们建立了所提出的方法的最先进的复杂性，而无需多达\ L Ojasiewicz（PL）条件。大规模深度学习任务（i）的实证研究表明，我们的方法可以将培训加速超过2次，而不是基线方法，并在带有$ \ SIM $ 265K图像的大型数据集上节省培训时间。 （ii）验证DRO对实证数据集上的经验风险最小化（ERM）的最高表现。独立兴趣，所提出的方法也可用于解决与最先进的复杂性的随机成分问题家族。

最近，随机梯度下降（SGD）及其变体已成为机器学习（ML）问题大规模优化的主要方法。已经提出了各种策略来调整步骤尺寸，从自适应步骤大小到启发式方法，以更改每次迭代中的步骤大小。此外，动力已被广泛用于ML任务以加速训练过程。然而，我们对它们的理论理解存在差距。在这项工作中，我们开始通过为一些启发式优化方法提供正式保证并提出改进的算法来缩小这一差距。首先，我们分析了凸面和非凸口设置的Adagrad（延迟Adagrad）步骤大小的广义版本，这表明这些步骤尺寸允许算法自动适应随机梯度的噪声水平。我们首次显示延迟Adagrad的足够条件，以确保梯度几乎融合到零。此外，我们对延迟的Adagrad及其在非凸面设置中的动量变体进行了高概率分析。其次，我们用指数级和余弦的步骤分析了SGD，在经验上取得了成功，但缺乏理论支持。我们在平滑和非凸的设置中为它们提供了最初的收敛保证，有或没有polyak-{\ l} ojasiewicz（pl）条件。我们还显示了它们在PL条件下适应噪声的良好特性。第三，我们研究动量方法的最后迭代。我们证明了SGD的最后一个迭代的凸设置中的第一个下限，并以恒定的动量。此外，我们研究了一类跟随基于领先的领导者的动量算法，并随着动量和收缩的更新而增加。我们表明，他们的最后一个迭代具有最佳的收敛性，用于无约束的凸随机优化问题。

随机梯度下降（SGDA）及其变体一直是解决最小值问题的主力。但是，与研究有差异隐私（DP）约束的经过良好研究的随机梯度下降（SGD）相反，在理解具有DP约束的SGDA的概括（实用程序）方面几乎没有工作。在本文中，我们使用算法稳定性方法在不同的设置中建立DP-SGDA的概括（实用程序）。特别是，对于凸 - 凸环设置，我们证明DP-SGDA可以在平滑和非平滑案例中都可以根据弱原始二元人群风险获得最佳的效用率。据我们所知，这是在非平滑案例中DP-SGDA的第一个已知结果。我们进一步在非convex-rong-concave环境中提供了实用性分析，这是原始人口风险的首个已知结果。即使在非私有设置中，此非convex设置的收敛和概括结果也是新的。最后，进行了数值实验，以证明DP-SGDA在凸和非凸病例中的有效性。

该工作研究限制了随机函数是凸的，并表示为随机函数的组成。问题是在公平分类，公平回归和排队系统设计的背景下出现的。特别令人感兴趣的是甲骨文提供组成函数的随机梯度的大规模设置，目标是用最小对Oracle的调用来解决问题。由于组成形式，Oracle提供的随机梯度不会产生目标或约束梯度的无偏估计。取而代之的是，我们通过跟踪内部函数评估来构建近似梯度，从而导致准差鞍点算法。我们证明，所提出的算法几乎可以肯定地找到最佳和可行的解决方案。我们进一步确定所提出的算法需要$ \ MATHCAL {O}（1/\ EPSILON^4）$数据样本，以便获得$ \ epsilon $ -Approximate-approximate-apptroximate Pointal点，同时也确保零约束违反。该结果与无约束问题的随机成分梯度下降方法的样品复杂性相匹配，并改善了受约束设置的最著名样品复杂性结果。在公平分类和公平回归问题上测试了所提出的算法的功效。数值结果表明，根据收敛速率，所提出的算法优于最新算法。

本文研究了一系列组成函数的随机优化，其中每个汇总的内部函数与相应的求和指数耦合。我们将这个问题家族称为有限和耦合的组成优化（FCCO）。它在机器学习中具有广泛的应用，用于优化非凸或凸组成措施/目标，例如平均精度（AP），p-norm推动，列表排名损失，邻居组成分析（NCA），深度生存分析，深层可变模型等等，这应该得到更精细的分析。然而，现有的算法和分析在一个或其他方面受到限制。本文的贡献是为非凸和凸目标的简单随机算法提供全面的收敛分析。我们的关键结果是通过使用带有微型批次的基于移动平均的估计器，通过并行加速提高了Oracle的复杂性。我们的理论分析还展示了通过对外部和内部水平相等大小的批量来改善实际实现的新见解。关于AP最大化，NCA和P-norm推动的数值实验证实了该理论的某些方面。

We study distributionally robust optimization (DRO) with Sinkhorn distance -- a variant of Wasserstein distance based on entropic regularization. We provide convex programming dual reformulation for a general nominal distribution. Compared with Wasserstein DRO, it is computationally tractable for a larger class of loss functions, and its worst-case distribution is more reasonable. We propose an efficient first-order algorithm with bisection search to solve the dual reformulation. We demonstrate that our proposed algorithm finds $\delta$-optimal solution of the new DRO formulation with computation cost $\tilde{O}(\delta^{-3})$ and memory cost $\tilde{O}(\delta^{-2})$, and the computation cost further improves to $\tilde{O}(\delta^{-2})$ when the loss function is smooth. Finally, we provide various numerical examples using both synthetic and real data to demonstrate its competitive performance and light computational speed.

在许多机器学习应用程序中出现了非convex-concave min-max问题，包括最大程度地减少一组非凸函数的最大程度，并对神经网络的强大对抗训练。解决此问题的一种流行方法是梯度下降（GDA）算法，不幸的是，在非凸性的情况下可以表现出振荡。在本文中，我们引入了一种“平滑”方案，该方案可以与GDA结合以稳定振荡并确保收敛到固定溶液。我们证明，稳定的GDA算法可以实现$ O（1/\ epsilon^2）$迭代复杂性，以最大程度地减少有限的非convex函数收集的最大值。此外，平滑的GDA算法达到了$ O（1/\ epsilon^4）$ toseration复杂性，用于一般的nonconvex-concave问题。提出了这种稳定的GDA算法的扩展到多块情况。据我们所知，这是第一个实现$ o（1/\ epsilon^2）$的算法，用于一类NonConvex-Concave问题。我们说明了稳定的GDA算法在健壮训练中的实际效率。

Minimax优化已成为许多机器学习（ML）问题的骨干。尽管优化算法的收敛行为已在minimax设置中进行了广泛的研究，但它们在随机环境中的概括保证，即对经验数据训练的解决方案如何在看不见的测试数据上执行，但相对却相对均未被倍增。一个基本问题仍然难以捉摸：研究最小学习者的概括是什么？在本文中，我们的目标是首先证明原始风险是研究最小化中的普遍性的普遍指标，在简单的最小问题示例中失败了。此外，由于鞍点不存在，另一个流行的指标，即原始的双重风险，也无法表征非凸度问题的最小值问题的概括行为。因此，我们提出了一个新的指标，以研究最小学习者的概括：原始差距，以规避这些问题。接下来，我们在非convex-concave设置中得出原始差距的概括范围。作为我们分析的副产品，我们还解决了两个空旷的问题：在强大意义上，建立原始风险和原始偶发风险的概括范围，即没有强大的凹面或假设最大化和期望可以互换，而这些假设中的任何一个都可以互换在文献中需要。最后，我们利用这一新指标比较了两种流行算法的概括行为 - 梯度下降（GDA）和梯度下降 - 最大趋势 - 最小值优化。

在本文中，我们研究了多块最小双重双层优化问题，其中上层是非凸线的最小值最小值目标，而下层级别是一个强烈的凸目标，并且有多个双重变量块和下层级别。问题。由于交织在一起的多块最小双重双重结构，每次迭代处的计算成本可能高高，尤其是在大量块中。为了应对这一挑战，我们提出了一种单循环随机随机算法，该算法需要在每次迭代时仅恒定数量的块进行更新。在对问题的一些温和假设下，我们建立了$ \ Mathcal {o}（1/\ Epsilon^4）$的样本复杂性，用于查找$ \ epsilon $ - 稳定点。这匹配了在一般无偏见的随机甲骨文模型下求解随机非convex优化的最佳复杂性。此外，我们在多任务深度AUC（ROC曲线下）最大化和多任务深度部分AUC最大化中提供了两种应用。实验结果验证了我们的理论，并证明了我们方法对数百个任务问题的有效性。

“良性过度装备”，分类器记住嘈杂的培训数据仍然达到良好的概括性表现，在机器学习界造成了很大的关注。为了解释这种令人惊讶的现象，一系列作品在过度参数化的线性回归，分类和内核方法中提供了理论典范。然而，如果在对逆势实例存在下仍发生良性的过度，则尚不清楚，即欺骗分类器的微小和有意的扰动的例子。在本文中，我们表明，良性过度确实发生在对抗性培训中，是防御对抗性实例的原则性的方法。详细地，我们证明了在$ \ ell_p $普发的扰动下的子高斯数据的混合中的普遍培训的线性分类器的风险限制。我们的结果表明，在中度扰动下，尽管过度禁止嘈杂的培训数据，所以发生前列训练的线性分类器可以实现近乎最佳的标准和对抗性风险。数值实验验证了我们的理论发现。

尽管深度神经网络（DNN）在感知和控制任务中表现出令人难以置信的性能，但几个值得信赖的问题仍然是开放的。其中一个最讨论的主题是存在对抗扰动的存在，它在能够量化给定输入的稳健性的可提供技术上开辟了一个有趣的研究线。在这方面，来自分类边界的输入的欧几里德距离表示良好被证明的鲁棒性评估，作为最小的经济适用的逆势扰动。不幸的是，由于NN的非凸性质，计算如此距离非常复杂。尽管已经提出了几种方法来解决这个问题，但据我们所知，没有提出可证明的结果来估计和绑定承诺的错误。本文通过提出两个轻量级策略来寻找最小的对抗扰动来解决这个问题。不同于现有技术，所提出的方法允许与理论上的近似距离的误差估计理论配制。最后，据报道，据报道了大量实验来评估算法的性能并支持理论发现。所获得的结果表明，该策略近似于靠近分类边界的样品的理论距离，导致可提供对任何对抗攻击的鲁棒性保障。

尽管使用对抗性训练捍卫深度学习模型免受对抗性扰动的经验成功，但到目前为止，仍然不清楚对抗性扰动的存在背后的原则是什么，而对抗性培训对神经网络进行了什么来消除它们。在本文中，我们提出了一个称为特征纯化的原则，在其中，我们表明存在对抗性示例的原因之一是在神经网络的训练过程中，在隐藏的重量中积累了某些小型密集混合物；更重要的是，对抗训练的目标之一是去除此类混合物以净化隐藏的重量。我们介绍了CIFAR-10数据集上的两个实验，以说明这一原理，并且一个理论上的结果证明，对于某些自然分类任务，使用随机初始初始化的梯度下降训练具有RELU激活的两层神经网络确实满足了这一原理。从技术上讲，我们给出了我们最大程度的了解，第一个结果证明，以下两个可以同时保持使用RELU激活的神经网络。 （1）对原始数据的训练确实对某些半径的小对抗扰动确实不舒适。 （2）即使使用经验性扰动算法（例如FGM），实际上也可以证明对对抗相同半径的任何扰动也可以证明具有强大的良好性。最后，我们还证明了复杂性的下限，表明该网络的低复杂性模型，例如线性分类器，低度多项式或什至是神经切线核，无论使用哪种算法，都无法防御相同半径的扰动训练他们。

ROC曲线下的区域（又称AUC）是评估分类器不平衡数据的性能的选择。 AUC最大化是指通过直接最大化其AUC分数来学习预测模型的学习范式。它已被研究了二十年来，其历史可以追溯到90年代后期，从那时起，大量工作就致力于最大化。最近，对大数据和深度学习的深度最大化的随机AUC最大化已受到越来越多的关注，并对解决现实世界中的问题产生了巨大的影响。但是，据我们所知，没有对AUC最大化的相关作品进行全面调查。本文旨在通过回顾过去二十年来审查文献来解决差距。我们不仅给出了文献的整体看法，而且还提供了从配方到算法和理论保证的不同论文的详细解释和比较。我们还确定并讨论了深度AUC最大化的剩余和新兴问题，并就未来工作的主题提供建议。

最大限度的训练原则，最大限度地减少最大的对抗性损失，也称为对抗性培训（AT），已被证明是一种提高对抗性鲁棒性的最先进的方法。尽管如此，超出了在对抗环境中尚未经过严格探索的最小最大优化。在本文中，我们展示了如何利用多个领域的最小最大优化的一般框架，以推进不同类型的对抗性攻击的设计。特别是，给定一组风险源，最小化最坏情况攻击损失可以通过引入在域集的概率单纯x上最大化的域权重来重新重整为最小最大问题。我们在三次攻击生成问题中展示了这个统一的框架 - 攻击模型集合，在多个输入下设计了通用扰动，并制作攻击对数据转换的弹性。广泛的实验表明，我们的方法导致对现有的启发式策略以及对培训的最先进的防御方法而言，鲁棒性改善，培训对多种扰动类型具有稳健。此外，我们发现，从我们的MIN-MAX框架中学到的自调整域权重可以提供整体工具来解释跨域攻击难度的攻击水平。代码可在https://github.com/wangjksjtu/minmaxsod中获得。

人工神经网络（ANN）训练景观的非凸起带来了固有的优化困难。虽然传统的背传播随机梯度下降（SGD）算法及其变体在某些情况下是有效的，但它们可以陷入杂散的局部最小值，并且对初始化和普通公共表敏感。最近的工作表明，随着Relu激活的ANN的培训可以重新重整为凸面计划，使希望能够全局优化可解释的ANN。然而，天真地解决凸训练制剂具有指数复杂性，甚至近似启发式需要立方时间。在这项工作中，我们描述了这种近似的质量，并开发了两个有效的算法，这些算法通过全球收敛保证培训。第一算法基于乘法器（ADMM）的交替方向方法。它解决了精确的凸形配方和近似对应物。实现线性全局收敛，并且初始几次迭代通常会产生具有高预测精度的解决方案。求解近似配方时，每次迭代时间复杂度是二次的。基于“采样凸面”理论的第二种算法更简单地实现。它解决了不受约束的凸形制剂，并收敛到大约全球最佳的分类器。当考虑对抗性培训时，ANN训练景观的非凸起加剧了。我们将稳健的凸优化理论应用于凸训练，开发凸起的凸起制剂，培训Anns对抗对抗投入。我们的分析明确地关注一个隐藏层完全连接的ANN，但可以扩展到更复杂的体系结构。