基础培训数据的质量对于建立具有更广泛的Generalizabilty的表演机器学习模型非常重要。但是，当前机器学习（ML）工具缺乏简化的流程，用于提高数据质量。因此，获取数据质量见解并迭代地修剪以获取最大代表下游使用情况的数据集的错误仍然是Ad-hoc手动过程。我们的工作解决了这种数据工具差距，需要纯粹通过以数据为中心的技术构建改进的ML工作流程。更具体地说，我们介绍了（1）在数据集中找到嘈杂或错误标记的样本的系统框架，（2）识别最具信息丰富的样本，当包含在训练中时，该样本将提供最大的模型性能提升。我们展示了我们在公共场合的框架以及两家财富500强公司的私营企业数据集的效果，并确信这项工作将形成ML团队执行更智能的数据发现和修剪的基础。
translated by 谷歌翻译
重要性加权是一种处理分销班次的经典技术。然而，事先工作呈现出强大的实证和理论证据，证明重要性重量对过度分辨的神经网络没有影响。重要性加权与过度分辨率的神经网络的培训真正不相容吗？我们的论文在负面回答。我们表明重要的权重不是因为过度分辨率，而是因为使用像物流或交叉熵损失等指数尾损失。作为一种补救措施，我们表明多项式尾损失恢复了重要性重量在校正过度分配模型中的分布换档的影响。我们表征了梯度下降的行为，其具有过度分辨的线性模型的重要性加权多项式损耗，并且理论上证明了在标签换档设置中使用多环尾损失的优点。令人惊讶的是，我们的理论表明，使用通过以指数来引入经典无偏的重要性重量而获得的权重可以提高性能。最后，我们展示了我们对亚潜班班和标签移位数据集的神经网络实验的分析的实际价值。重新重复时，我们的损耗函数可以在测试精度的高达9％的跨熵优先于重复的交叉熵。我们的损耗功能还提供了与校正分配换档的最先进的方法可比或甚至超过的测试精度。
translated by 谷歌翻译
我们考虑通过连接到中央服务器的一组边缘设备的大规模分布式优化，其中服务器和边缘设备之间的有限通信带宽对优化过程提出了显着的瓶颈。灵感来自最近在联邦学习的进步，我们提出了一种分布式随机梯度下降（SGD）类型算法，该算法利用梯度的稀疏性，尽可能降低沟通负担。在算法的核心，用于使用压缩的感测技术来压缩器件侧的局部随机梯度;在服务器端，从嘈杂的聚合压缩的本地梯度恢复全局随机梯度的稀疏近似。我们对通信信道产生的噪声扰动的存在，对我们算法的收敛性进行了理论分析，并且还进行了数值实验以证实其有效性。
translated by 谷歌翻译
我们提出了一种从数据模拟动态系统的数值方法。我们使用最近引入的方法可扩展的概率近似（SPA）从欧几里德空间到凸多台的项目点，并表示在新的低维坐标中的系统的预计状态，表示其在多晶硅中的位置。然后，我们介绍特定的非线性变换，以构建多特渗透中动力学的模型，并转换回原始状态空间。为了克服投影到低维层的潜在信息损失，我们在局部延迟嵌入定理的意义上使用记忆。通过施工，我们的方法产生稳定的模型。我们说明了在各种示例上具有多个连接组件的甚至复制混沌动力学和吸引子的方法的能力。
translated by 谷歌翻译
由于机器学习越来越多地应用于高冲击，高风险域，因此有许多新方法旨在使AI模型更具人类解释。尽管最近的可解释性工作增长，但缺乏对所提出的技术的系统评价。在这项工作中，我们提出了一种新的人类评估框架蜂巢（可视化解释的人类可解释性），用于计算机愿景中的不同解释性方法;据我们所知，这是它的第一个工作。我们认为，人类研究应该是正确评估方法对人类用户的可解释方式的金标。虽然由于与成本，研究设计和跨方法比较相关的挑战，我们常常避免人类研究，但我们描述了我们的框架如何减轻这些问题并进行IRB批准的四种方法，这些方法是代表解释性的多样性：GradCam，Bagnet ，protopnet和prodotree。我们的结果表明，解释（无论它们是否实际正确）发芽人类信任，但用户对用户不够明确，以区分正确和不正确的预测。最后，我们还开展框架以实现未来的研究，并鼓励更多以人以人为本的解释方法。
translated by 谷歌翻译
量化浮点重量和深度卷积神经网络的激活到定点表示产生降低的存储器占用尺寸和推理时间。最近，努力已经进入零拍量量，不需要原始未标记的训练样本给定任务。这些最佳发布的作品依赖于学习批量归一化（BN）参数来推断出量化的激活范围。特别地，这些方法是基于经验估计框架或数据蒸馏方法而构建的，用于计算激活的范围。然而，当呈现不容纳BN层的网络时，这种方案的性能严重降低。在这一思路中，我们提出了广泛的零拍量化（GZSQ）框架，既不需要原始数据也不依赖于BN层统计。我们利用了数据蒸馏方法并仅利用模型的预先训练的重量来估计激活的范围校准的丰富数据。据我们所知，这是利用预制权重的分布以协助零射量量化的过程。拟议的计划显着优于现有的零点工程，例如，MobileNetv2的分类准确性的提高〜33％，以及各种任务的其他一些型号。我们还展示了拟议的工作跨多个开源量化框架的功效。重要的是，我们的作品是第一次尝试训练未来派零击中量化的零击中量化的深度神经网络。
translated by 谷歌翻译
在本文中，我们开发了一种强大的3D服装数字化解决方案，可以在现实世界时尚目录图像上概括用布纹理遮挡和大体姿势变化。我们假设已知类型的服装类型的固定拓扑参数模板网格模型（例如，T恤，裤子），并从输入目录图像执行高质量纹理的映射到与衣服的参数网格模型相对应的UV映射面板。我们通过首先预测服装边界的稀疏2D地标。随后，我们使用这些地标在UV地图面板上执行基于薄板样条的纹理传输。随后，我们使用深度纹理修复网络来填充TPS输出中的大孔（由于查看变化和自闭电），以产生一致的UV映射。此外，为了培训监督的地标预测和纹理修复任务，我们产生了一大组合成数据，其具有不同于各种姿势的各种视图的不同纹理和照明。此外，我们手动注释了一小组时尚目录图像从在线时尚电子商务平台到Finetune。我们开展彻底的经验评估，并在时尚目录图像上显示我们所提出的3D服装纹理解决方案的令人印象深刻的定性结果。这种3D服装数字化有助于我们解决启用3D虚拟试验的具有挑战性的任务。
translated by 谷歌翻译
社交媒体在近时讨厌仇恨讲话令人担忧。分支到几个不同类别的网络欺凌类别，性别歧视或种族主义，这种贬义含量的组合标签可以被归类为一般毒性内容。本文提出了keras包裹轻量级伯特模型的实验，以成功识别仇恨言论，并预测相同的概率影响得分，以提取句子中的仇恨词。用于此任务的数据集是讨论语音和令人反感的内容检测（HASOC 2021）中英语的火灾2021。我们的系统获得了82.60％的验证准确性，最高F1分数为82.68％。随后，我们的预测案例在为成功识别仇恨推文和推文池中的仇恨词语时，我们的预测性案例显着良好。
translated by 谷歌翻译
摈弃机器学习（ML）模型的训练过程中观察到的数据是可以强化的基于ML-应用程序的隐私和安全方面发挥了举足轻重的作用的一项重要任务。本文提出了以下问题：（一），我们可以忘掉从ML模型数据的类/类，而在完整的训练数据看哪怕一次？ （二）我们可以忘却快速和可扩展到大型数据集的过程，它推广到不同的深网络？我们引入错误最大化噪音的产生，损害修复基于重量操纵新机器忘却的框架，提供了一个有效的解决方案对上述问题。错误最大化的噪声矩阵学习了使用原始模型的不精通类。噪声矩阵用于操纵模型的权重忘却目标类的数据。我们引入了网络权的控制操作IMPAIR和修复步骤。在步骤IMPAIR，具有非常高的学习速率沿所述噪声矩阵被用于诱导尖锐忘却在模型中。此后，将修步骤用于重新获得的整体性能。除了极少数的更新步骤中，我们表现出优异的忘却，同时基本上保留了整个模型的准确性。摈弃多个类需要作为单独的类类似的更新的步数，使得我们的方法扩展到大的问题。我们的方法是相比于现有的方法非常有效，适用于多类忘却，不把任何约束的原始优化机制或网络设计，以及小型和大型视觉任务效果很好。这项工作是实现快速和容易实现在深网络忘却的重要一步。我们将源代码公开。
translated by 谷歌翻译
科学计算应用从高性能计算基础设施（如超级计算机）受益匪浅。但是，我们在这些应用程序的计算结构，设计和要求中看到了范式转变。越来越多地，数据驱动和机器学习方法正在用于支持，加速和增强科学计算应用，尤其是分子动力学模拟。同时，云计算平台越来越多地吸引科学计算，提供“无限”计算功率，更容易编程和部署模型，以及访问计算加速器，例如TPU（张量处理单元）。这种机器学习（ML）和云计算的这种汇合代表了云和系统研究人员的令人兴奋的机会。 ML辅助分子动力学模拟是一类新的工作量，并且具有独特的计算模式。这些模拟为低成本和高性能执行提供了新的挑战。我们认为，瞬态云资源，如低成本的抢占云VM，可以是这款新工作负载的可行平台。最后，我们在云资源管理中展示了一些低悬垂的水果和长期挑战，以及分子动力学模拟将分子动力学模拟的闪烁平台（如纹身流程）集成。
translated by 谷歌翻译