最近的工作表明,难以察觉的扰动可以应用于工艺未被动实施例(ULE),即其内容不能用于改善训练期间的分类器的图像。在本文中,我们揭示了研究人员应遵循的道路,因为它们最初制定了(Uleos)。本文进行了四项贡献。首先,我们展示了Uleos利用颜色,因此,可以通过简单的灰度预过滤来减轻它们的效果,而无需诉诸对抗性培训。其次,我们向Uleos提出了一个延伸,它被称为uleo-grayaugs,这将通过在优化期间利用灰度知识和数据增强来迫使所产生的ules远离频道明智的颜色扰动。第三,我们表明,在复杂的卷积神经网络(CNN)分类器的情况下,使用多层的Perceptrons(MLP)产生的Uleos是有效的,这表明CNN遭受了对电机的特定漏洞。第四,我们证明当分类器培训ULEOS时,对抗性训练将防止在清洁图像和对抗性图像上测量的准确度。在一起,我们的贡献代表了不可见的例子的艺术状态的大量进展,但也揭示了他们行为的重要特征,必须更好地理解,以实现进一步的改进。
translated by 谷歌翻译
在联合学习(FL)问题中,客户采样在训练算法的收敛速度中起着关键作用。然而,虽然是FL中的一个重要问题,但客户采样缺乏研究。在本文中,我们提出了在线学习,使用强盗反馈框架来了解FL中的客户采样问题。通过调整在线随机镜血清序列算法,以最小化梯度估计的方差,我们提出了一种新的自适应客户端采样算法。此外,我们使用在线集合方法和加倍技巧来自动选择算法中的调整参数。从理论上讲,我们将动态遗憾与比较器相结合,作为理论上最佳采样序列;我们还包括在我们的上限中的该序列的总变化,这是对问题的内在难度的自然度量。据我们所知,这些理论贡献对现有文献进行了新颖。此外,通过实施合成和真实数据实验,我们展示了我们所提出的算法在广泛使用的统一采样中的优势以及以前研究的其他在线学习的采样策略的实证证据。我们还检查其对调谐参数的选择的鲁棒性。最后,我们讨论其可能的延伸,而无需更换和个性化的流动。虽然原始目标是解决客户的采样问题,但这项工作在随机梯度下降和随机坐标序列方法上具有更大的应用。
translated by 谷歌翻译
由于稀疏神经网络通常包含许多零权重,因此可以在不降低网络性能的情况下潜在地消除这些不必要的网络连接。因此,设计良好的稀疏神经网络具有显着降低拖鞋和计算资源的潜力。在这项工作中,我们提出了一种新的自动修剪方法 - 稀疏连接学习(SCL)。具体地,重量被重新参数化为可培训权重变量和二进制掩模的元素方向乘法。因此,由二进制掩模完全描述网络连接,其由单位步进函数调制。理论上,从理论上证明了使用直通估计器(STE)进行网络修剪的基本原理。这一原则是STE的代理梯度应该是积极的,确保掩模变量在其最小值处收敛。在找到泄漏的Relu后,SoftPlus和Identity Stes可以满足这个原理,我们建议采用SCL的身份STE以进行离散面膜松弛。我们发现不同特征的面具梯度非常不平衡,因此,我们建议将每个特征的掩模梯度标准化以优化掩码变量训练。为了自动训练稀疏掩码,我们将网络连接总数作为我们的客观函数中的正则化术语。由于SCL不需要由网络层设计人员定义的修剪标准或超级参数,因此在更大的假设空间中探讨了网络,以实现最佳性能的优化稀疏连接。 SCL克服了现有自动修剪方法的局限性。实验结果表明,SCL可以自动学习并选择各种基线网络结构的重要网络连接。 SCL培训的深度学习模型以稀疏性,精度和减少脚波特的SOTA人类设计和自动修剪方法训练。
translated by 谷歌翻译
文档级关系提取(DRE)旨在识别两个实体之间的关系。实体可以对应于超越句子边界的多个提升。以前很少有研究已经调查了提及集成,这可能是有问题的,因为库鲁弗提到对特定关系没有同样有贡献。此外,事先努力主要关注实体级的推理,而不是捕获实体对之间的全局相互作用。在本文中,我们提出了两种新颖的技术,上下文指导的集成和交互推理(CGM2IR),以改善DRE。而不是简单地应用平均池,而是利用上下文来指导在加权和方式中的经验提升的集成。另外,对实体对图的相互作用推理在实体对图上执行迭代算法,以模拟关系的相互依赖性。我们在三个广泛使用的基准数据集中评估我们的CGM2IR模型,即Docred,CDR和GDA。实验结果表明,我们的模型优于以前的最先进的模型。
translated by 谷歌翻译
回声状态网络(ESN)是一种特殊类型的复发性神经网络,用于处理时间序列数据集。然而,受代理顺序样本之间的强相关的强烈相关性,基于ESN的策略控制算法难以使用递归最小二乘(RLS)算法来更新ESN的参数。为了解决这个问题,我们提出了两种新颖的政策控制算法,esnrls-q和esnrls-sarsa。首先,为了减少训练样本的相关性,我们使用泄漏的积分器ESN和迷你批量学习模式。其次,为了使RLS适用于迷你批量模式的训练ESN,我们提出了一种用于更新RLS相关矩阵的新平均近似方法。第三,为了防止ESN过度拟合,我们使用L1正则化技术。最后,为了防止目标状态动作价值高估,我们采用了MOLLMAX方法。仿真结果表明,我们的算法具有良好的收敛性能。
translated by 谷歌翻译
微卫星不稳定性(MSI)和微卫星稳定性(MSS)的预测对于预测胃肠癌的治疗响应和预后至关重要。在临床实践中,建议使用通用MSI测试,但这种测试的可访问性是有限的。因此,希望更具成本效益和广泛可接近的工具来覆盖传统上未经测试的患者。在过去的几年中,已经提出了基于深度学习的算法,以预测MSI直接从血红素蛋白和曙红(H&E) - 染色的整个幻灯片图像(WSIS)。这种算法可以概括为(1)修补程序级MSI / MSS预测,以及(2)患者级聚合。与为第一阶段采用的高级深度学习方法相比,在第二阶段仅采用NA \“IVE一阶统计(例如,平均和计数)。在本文中,我们提出了一个简单而广泛概括的患者级MSI聚合(MAG)方法,以有效地集成贵重补丁级信息。简而言之,第一阶段的整个概率分布被建模为基于直方图的特征,以融合为机器学习的最终结果(例如, SVM)。所提出的MAG方法可以轻松地以即插即用方式使用,这些方法已经在五个广泛使用的深度神经网络上进行了评估:Reset,MobileNetv2,WeparessNet,DPN和ResNext。从结果,所提出的MAG方法始终如一地提高了两个公共数据集的患者级别聚合的准确性。我们希望提出的方法可能会利用基于低成本的H&E的MSI检测方法。代码o F我们的工作已在HTTPS://github.com/calvin-pang/mag公开提供。
translated by 谷歌翻译
敦促智能技术实现开放式无线电接入网络(O-RAN)中计算资源的自动分配,以节省计算资源,提高它们的利用率并降低延迟。但是,要解决此资源分配问题的现有问题制定是不合适的,因为它定义了以不适当的方式为资源的容量实用性,并且往往会导致太多延迟。此外,只有在贪婪的搜索基于贪婪搜索的情况下才能解决现有问题,这并不理想,因为它可能会被粘在本地最佳擎天。考虑到那些,提出了一种更好地描述问题的新配方。另外,作为众所周知的全球搜索元启发式方法,设计了一种用于解决新问题制定的进化算法(EA),以找到资源分配方案,以主动和动态地部署计算资源以用于处理即将到来的流量数据。在几个现实世界数据集和新生成的人工数据集中进行的实验研究,具有超出现实世界数据集的具有更多特性的实验数据集已经在不同参数设置下显示了基线贪婪算法的显着优越性。此外,采用实验研究来比较所提出的EA和两种变体,以指示不同算法选择的影响。
translated by 谷歌翻译
安装在机器人上的光学扫描仪通常用于质量检查,例如验证片状结构的尺寸规格。覆盖路径规划(CPP)显着影响机器人质量检验的准确性和效率。传统的CPP战略专注于最小化机器人的观点次数或在完全覆盖检查的条件下。在自由形状表面检查中较少考虑收集扫描数据时的测量不确定度。为了解决这个问题,提出了一种具有最佳观点采样策略的新型CPP方法,以将键测量点(MPS)的测量不确定性纳入自由形状表面检查。首先,基于MP的公差规范计算可行的测量不确定性范围。考虑测量不确定度和MPS的可见性,生成初始可行性视点集。然后,构建检查成本函数以评估所选视点的视野(FOV)的选定视点的数量和平均测量不确定性。之后,提出了一种增强的快速探索随机树(RRT *)算法,用于使用检查成本函数和CPP优化的观点采样。已经进行了案例研究,包括模拟试验和检查实验,以评估所提出的方法的有效性。结果表明,与基准法相比,关键MPS的扫描精度显着提高。
translated by 谷歌翻译
股票运动预测(SMP)旨在预测上市公司的股份量股份,由于金融市场的挥发性,这是一个具有挑战性的任务。最近的财务研究表明,动量溢出效应在股票波动中发挥着重要作用。然而,以前的研究通常只学习相关公司之间的简单连接信息,这不可避免地未能模仿真实金融市场中上市公司的复杂关系。为了解决这个问题,我们首先建立一个更全面的市场知识图(MKG),其中包含有限的公司,包括上市公司及其相关的高管,以及包括明确关系和隐性关系的混合关系。之后,我们提出了一种新颖的双重关注网络,以了解基于构造的MKG用于库存预测的势头溢出信号。对九个SOTA基线构建数据集的实证实验表明,所提出的丹林公司能够改善与构造的MKG的库存预测。
translated by 谷歌翻译
心肌活力的评估对于患有心肌梗塞的患者的诊断和治疗管理是必不可少的,并且心肌病理学的分类是本评估的关键。这项工作定义了医学图像分析的新任务,即进行心肌病理分割(MYOPS)结合三个序列的心脏磁共振(CMR)图像,该图像首次与Mycai 2020一起在Myops挑战中提出的。挑战提供了45个配对和预对准的CMR图像,允许算法将互补信息与三个CMR序列组合到病理分割。在本文中,我们提供了挑战的详细信息,从十五个参与者的作品调查,并根据五个方面解释他们的方法,即预处理,数据增强,学习策略,模型架构和后处理。此外,我们对不同因素的结果分析了结果,以检查关键障碍和探索解决方案的潜力,以及为未来的研究提供基准。我们得出结论,虽然报告了有前途的结果,但研究仍处于早期阶段,在成功应用于诊所之前需要更深入的探索。请注意,MyOPS数据和评估工具继续通过其主页(www.sdspeople.fudan.edu.cn/zhuangxiahai/0/myops20 /)注册注册。
translated by 谷歌翻译