近年来，最终用户的多个（边缘）设备中有大量分散数据，而由于法律或法规，分散数据的聚合对机器学习工作仍然困难。联合学习（FL）作为处理分散数据而不分享敏感原始数据的有效方法，同时协作培训全球机器学习模型。 FL中的服务器需要在培训过程中选择（和计划）设备。但是，具有FL的多个作业的设备的调度仍然是一个关键和打开的问题。在本文中，我们提出了一种新的多工作FL框架，以实现多个作业的并行培训过程。该框架包括系统模型和两个调度方法。在系统模型中，我们提出了多个作业的并行培训过程，并根据各种工作培训过程基于培训时间和各种设备的数据公平构建成本模型。我们提出了一种基于钢筋的基于学习的方法和基于贝叶斯优化的方法，以便为多个作业调度设备，同时最小化成本。我们通过多个工作和数据集进行广泛的实验。实验结果表明，我们提出的方法在培训时间（速度越快8.67倍）和准确性（高度高达44.6％）方面显着优于基线。
translated by 谷歌翻译
深度加强学习（DRL）在游戏和机器人控制等应用中彻底改变了学习和致动。数据收集的成本，即从代理环境互动产生转变，仍然是在复杂的现实问题中更广泛的DRL采用的重大挑战。在GPU云平台上培训DRL代理的云原生范例是一个有前途的解决方案。在本文中，我们为云天然深层加固学习提供了一种可扩展和弹性图书馆优雅的钢茶，其有效地支持数百万GPU核心，以便在多个层面进行大规模平行的训练。在一个高级别的优雅普罗拉科尔使用基于锦标赛的集合计划，以协调数百个甚至数千个GPU的培训过程，安排排行榜与培训池与数百个豆荚之间的相互作用。在低级，每个POD通过在单个GPU中充分利用近7,000个GPU CUDA核心，模拟了代理环境的交互。我们的优雅RL-Podracer Library通过遵循集装箱，微服务和MLOPS的开发原则，具有高可扩展性，弹性和可访问性。使用NVIDIA DGX SuperPod Cloud，我们对机器人和股票交易中的各种任务进行了广泛的实验，并表明Elegitrl-Podracer大大优于Rllib。我们的代码可在GitHub上获得。
translated by 谷歌翻译
在许多真实的场景中，我们经常处理随着时间的推移顺序收集的流数据。由于环境的非静止性，流数据分布可能以不可预测的方式改变，这被称为概念漂移。为了处理概念漂移，先前的方法首先检测概念漂移的时间何时/其中，然后适应模型以适应最新数据的分布。然而，仍然存在许多情况下，环境进化的一些潜在因素是可预测的，使得可以模拟流数据的未来概念漂移趋势，而在以前的工作中没有完全探索这种情况。在本文中，我们提出了一种新型方法DDG-DA，可以有效地预测数据分布的演变并提高模型的性能。具体而言，我们首先训练预测器来估计未来的数据分布，然后利用它来生成训练样本，最后在生成的数据上培训模型。我们对三个现实世界任务进行实验（预测股票价格走势，电力负荷和太阳辐照度），并获得多种广泛使用的模型的显着改进。
translated by 谷歌翻译
不平衡的分类问题成为数据挖掘和机器学习中的重要和具有挑战性问题之一。传统分类器的性能将受到许多数据问题的严重影响，例如类不平衡问题，类重叠和噪声。 Tomek-Link算法仅用于在提出时清理数据。近年来，已经报道了将Tomek-Link算法与采样技术结合起来。 Tomek-Link采样算法可以有效地减少数据上的类重叠，删除难以区分的多数实例，提高算法分类精度。然而，Tomek-Links下面采样算法仅考虑全局彼此的最近邻居并忽略潜在的本地重叠实例。当少数群体实例的数量很小时，取样效果不令人满意，分类模型的性能改善并不明显。因此，在Tomek-Link的基础上，提出了一种多粒度重新标记的取样算法（MGRU）。该算法完全考虑了本地粒度子空间中的数据集的本地信息，并检测数据集中的本地潜在重叠实例。然后，根据全局重新标记的索引值消除重叠的多数实例，这有效地扩展了Tomek-Link的检测范围。仿真结果表明，当我们选择欠采样的最佳全局重新标记索引值时，所提出的下采样算法的分类准确性和泛化性能明显优于其他基线算法。
translated by 谷歌翻译
本文报告了Chalearn的Autodl挑战系列的结果和后攻击分析，这有助于对自动学习（DL）进行分类，以便在各种环境中引入的深度学习（DL），但缺乏公平的比较。格式化所有输入数据模型（时间序列，图像，视频，文本，表格）作为张量，所有任务都是多标签分类问题。代码提交已在隐藏的任务上执行，具有限制时间和计算资源，推动快速获取结果的解决方案。在此设置中，DL方法占主导地位，但流行的神经结构搜索（NAS）是不切实际的。解决方案依赖于微调预培训的网络，架构匹配数据模块。挑战后测试没有透露超出强加时间限制的改进。虽然没有组件尤其原始或新颖，但是一个高级模块化组织出现了“Meta-Learner”，“数据摄入”，“模型选择器”，“模型/学习者”和“评估员”。这种模块化使得消融研究，揭示了（离坡）元学习，合奏和高效数据管理的重要性。异构模块组合的实验进一步证实了获胜解决方案的（本地）最优性。我们的挑战队遗产包括一个持久的基准（http://utodl.chalearn.org），获胜者的开放源代码，以及免费的“autodl自助服务”。
translated by 谷歌翻译
心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的，并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务，即进行心肌病理分割（MYOPS）结合三个序列的心脏磁共振（CMR）图像，该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像，允许算法将互补信息与三个CMR序列组合到病理分割。在本文中，我们提供了挑战的详细信息，从十五个参与者的作品调查，并根据五个方面解释他们的方法，即预处理，数据增强，学习策略，模型架构和后处理。此外，我们对不同因素的结果分析了结果，以检查关键障碍和探索解决方案的潜力，以及为未来的研究提供基准。我们得出结论，虽然报告了有前途的结果，但研究仍处于早期阶段，在成功应用于诊所之前需要更深入的探索。请注意，MyOPS数据和评估工具继续通过其主页（www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /）注册注册。
translated by 谷歌翻译
在本文中，我们提出了一种用于HSI去噪的强大主成分分析的新型非耦合方法，其侧重于分别同时为低级和稀疏组分的等级和列方向稀疏性产生更准确的近似。特别是，新方法采用日志确定级别近似和新颖的$ \ ell_ {2，\ log} $常规，以便分别限制组件矩阵的本地低级或列明智地稀疏属性。对于$ \ ell_ {2，\ log} $ - 正常化的收缩问题，我们开发了一个高效的封闭式解决方案，该解决方案名为$ \ ell_ {2，\ log} $ - 收缩运算符。新的正则化和相应的操作员通常可以用于需要列明显稀疏性的其他问题。此外，我们在基于日志的非凸rpca模型中强加了空间光谱总变化正则化，这增强了从恢复的HSI中的空间和光谱视图中的全局转换平滑度和光谱一致性。关于模拟和实际HSIS的广泛实验证明了所提出的方法在去噪HSIS中的有效性。
translated by 谷歌翻译
少量样本压缩旨在将大冗余模型压缩成一个小型紧凑型，只有少量样品。如果我们的微调模型直接具有这些限制的样本，模型将容易受到过度装备，并且几乎没有学习。因此，先前的方法优化压缩模型逐层，并尝试使每个层具有与教师模型中的相应层相同的输出，这是麻烦的。在本文中，我们提出了一个名为mimicking的新框架，然后替换（mir），以实现几个样本压缩，这首先促使修剪模型输出与教师在倒数第二层中的相同功能，然后在倒数第二个之前替换教师的图层调整良好的紧凑型。与以前的层面重建方法不同，我们的MIR完全优化整个网络，这不仅简单而有效，而且还无人驾驶和一般。MIR优于以前的余量。代码即将推出。
translated by 谷歌翻译
自然语言伯特以自我监督的方式用语言语料库培训。与自然语言贝尔有不同，Vision语言伯特需要将配对的数据带到训练，这限制了VL-BERT预制的规模。我们提出了一种自我训练方法，允许从未标记的图像数据训练VL-BERT。所提出的方法从我们统一的条件模型开始 - 一个可以执行零拍条件生成的视觉语言BERT模型。给定不同的条件，统一的条件模型可以生成标题，密集的标题，甚至是问题。我们使用标记的图像数据来训练教师模型，并使用训练模型在未标记的图像数据上生成伪字幕。然后，我们将标记的数据和伪标记数据组合以培训学生模型。通过将学生模型作为新老师提出该过程。通过使用拟议的自我训练方法，只有300k未标记的额外数据，我们能够与培训300万额外的图像数据培训的类似型号尺寸的模型相比，我们能够获得竞争或更好的表演。
translated by 谷歌翻译
基于深度学习的人重新识别（REID）通常需要大量的培训数据来实现良好的性能。因此，似乎从各种环境中收集更多培训数据往往会提高Reid性能。本文重新审视了这种共同的信念，并使一些令人惊讶的观察结果：使用更多样本，即使用来自多个数据集的样本的培训，不一定通过使用流行的Reid模型来实现更好的性能。在某些情况下，使用更多样本的培训甚至可能损害评估的性能在其中一个数据集中进行。我们假设这一现象是由于标准网络在适应不同环境中的无法行动。为了克服这个问题，我们提出了一种称为域相机样动态网络（DCSD）的方法，其参数可以适应各种因素。具体而言，我们考虑可以从输入特征和外部域相关因子中识别的内部域相关因素，例如域信息或相机信息。我们的发现是，具有这种自适应模型的培训可以从更多的训练样本中获益。实验结果表明，我们的DCSD可以大大提高性能（高达12.3％），而在多个数据集中的联合培训。
translated by 谷歌翻译