广义特征值问题（GEP）是数值线性代数中的基本概念。它捕获了许多经典的机器学习问题的解决方案，例如规范相关分析，独立组件分析，部分最小二乘，线性判别分析，主要组件，后继功能等。尽管如此，在处理大量数据集时，大多数通用求解器都非常昂贵，而研究则集中在为特定问题实例找到有效的解决方案。在这项工作中，我们开发了顶级$ K $ GEP的游戏理论公式，其NASH平衡是一组广义特征向量。我们还提出了一种可行的算法，并保证了与NASH的渐近收敛。当前的最新方法需要$ \ MATHCAL {O}（d^2k）$复杂性，当尺寸数量（$ d $）较大时，这是高昂的昂贵。我们展示了如何实现$ \ MATHCAL {O}（dk）$复杂性，比例缩放到数据集$ 100 \ times $ $比先前方法评估的$。从经验上讲，我们证明我们的算法能够解决各种GEP问题实例，包括对神经网络激活的大规模分析。
translated by 谷歌翻译
尽管最近通过剩余网络的代表学习中的自我监督方法取得了进展，但它们仍然对ImageNet分类基准进行了高度的监督学习，限制了它们在性能关键设置中的适用性。在MITROVIC等人的现有理论上洞察中建立2021年，我们提出了RELICV2，其结合了明确的不变性损失，在各种适当构造的数据视图上具有对比的目标。 Relicv2在ImageNet上实现了77.1％的前1个分类准确性，使用线性评估使用Reset50架构和80.6％，具有较大的Reset型号，优于宽边缘以前的最先进的自我监督方法。最值得注意的是，RelicV2是使用一系列标准Reset架构始终如一地始终优先于类似的对比较中的监督基线的第一个表示学习方法。最后，我们表明，尽管使用Reset编码器，Relicv2可与最先进的自我监控视觉变压器相媲美。
translated by 谷歌翻译
超声检查的胎儿生长评估是基于一些生物特征测量，这些测量是手动进行并相对于预期的妊娠年龄进行的。可靠的生物特征估计取决于标准超声平面中地标的精确检测。手动注释可能是耗时的和依赖操作员的任务，并且可能导致高测量可变性。现有的自动胎儿生物特征法的方法依赖于初始自动胎儿结构分割，然后是几何标记检测。但是，分割注释是耗时的，可能是不准确的，具有里程碑意义的检测需要开发特定于测量的几何方法。本文描述了Biometrynet，这是一个克服这些局限性的胎儿生物特征估计的端到端地标回归框架。它包括一种新型的动态定向测定（DOD）方法，用于在网络训练过程中执行测量特定方向的一致性。 DOD可降低网络训练中的变异性，提高标志性的定位精度，从而产生准确且健壮的生物特征测量。为了验证我们的方法，我们组装了一个来自1,829名受试者的3,398张超声图像的数据集，这些受试者在三个具有七个不同超声设备的临床部位收购。在两个独立数据集上的三个不同生物识别测量值的比较和交叉验证表明，生物元网络是稳健的，并且产生准确的测量结果，其误差低于临床上允许的误差，优于其他现有的自动化生物测定估计方法。代码可从https://github.com/netanellavisdris/fetalbiometry获得。
translated by 谷歌翻译
超声诊断甲状腺结节的机器学习（ML）是一个活跃的研究领域。但是，ML工具需要大型，标签良好的数据集，其策划是耗时的和劳动密集型的。我们研究的目的是开发和测试一种基于学习的工具，以促进和自动化甲状腺结节的数据注释过程；我们命名了我们的工具Multistep自动数据标记过程（MADLAP）。 Madlap旨在获取多个输入，包括病理学报告，超声图像和放射学报告。使用多个阶梯模块，包括基于规则的自然语言处理，基于深度学习的成像分割和光学特征识别，MADLAP自动识别了特定甲状腺结节的图像，并正确分配了病理标签。该模型是使用我们卫生系统中的378名患者组成的训练组开发的，并在另一组93例患者中进行了测试。两组的地面真相是由经验丰富的放射科医生选择的。使用测试集测量的性能指标，包括产量（模型产生的标记图像数量）和精度（正确的百分比）。 Madlap的产量为63％，精度为83％。随着输入数据穿过每个模块的移动，产量逐渐增加，同时精确度达到了峰值。错误分析表明，来自某些检查地点的输入的精度（40％）低于其他站点（90％，100％）。 Madlap成功地创建了甲状腺结节标记的超声图像的策划数据集。虽然准确，但在试图自动从异质来源标记放射学图像时，Madlap的相对次优率暴露了一些挑战。图像策划和注释的复杂任务可以自动化，从而使较大的数据集丰富用于机器学习开发。
translated by 谷歌翻译
在本文中，我们解决了在高分辨率上运行的神经网络质量中降解的问题。覆盖网络通常无法在高于其培训集的分辨率下产生全球连贯的结构。尽管图像分辨率增加，但这部分归因于持续静态场。尽管在介入之前降低图像会产生连贯的结构，但它固有地缺乏更高分辨率的细节。为了获得两全其美，我们通过最大程度地减少推断时多尺度的一致性损失来优化网络的中间功能。此运行时优化改善了覆盖效果，并为高分辨率介绍建立了新的最先进。代码可在以下网址获得：https：//github.com/geomagical/lama-with-refiner/tree/refinement。
translated by 谷歌翻译
该技术报告介绍了我们提交给ICML表达性发声研讨会和竞争多任务轨迹（EXVO-Multitask）的建模方法。我们首先将各种尺寸的图像分类模型应用于声乐爆发的MEL-SPECTROGRAM表示，这是声音事件检测文献中的标准。这些模型的结果显示，就任务指标的谐波平均值而言，基线系统的增加了21.24％，并构成了团队对多任务轨道的主要提交。然后，我们试图通过应用大型预训练的构象模型来表征多任务轨道中的净空，该模型以前在语言学识别和掩盖膜检测等副语言任务上实现了最新的结果。我们还研究了情感表达，原产国和年龄预测的子任务之间的关系，并发现最佳性能模型被培训为单任务模型，质疑该问题是否真正从多任务设置中受益。
translated by 谷歌翻译
复制检测模式（CDP）是一项有吸引力的技术，可让制造商捍卫其产品免受伪造。CDP保护机制背后的主要假设是，由于数据处理不平等，无法复制或克隆工业打印机上的最小符号大小（1x1）的代码。但是，以前的作品表明，基于机器的攻击可以产生高质量的假货，从而基于传统的基于功能的身份验证系统的身份验证准确性降低。虽然深度学习（DL）可以用作身份验证系统的一部分，但据我们所知，以前的作品都没有研究基于DL的身份验证系统，反对基于ML的攻击具有1x1符号的CDP攻击尺寸。在这项工作中，我们研究了假设有监督学习（SL）设置的表现。
translated by 谷歌翻译
近似消息传递（AMP）类型算法已被广泛用于某些大型随机线性系统的信号重建。AMP型算法的关键特征是可以通过状态进化正确描述其动力学。但是，状态进化不一定保证迭代算法的收敛性。为了解决原则上AMP类型算法的收敛问题，本文提出了在足够的统计条件下的记忆AMP（MAMP），称为足够的统计MAMP（SS-MAMP）。我们表明，SS-MAMP的协方差矩阵是L带和收敛的。给定任意启动，我们可以通过阻尼来构建SS-MAMP，这不仅可以确保收敛性，而且可以保留正交性，即可以通过状态进化正确描述其动力学。
translated by 谷歌翻译
在联合学习（FL）中，通过跨设备的模型更新进行合作学习全球模型的目的倾向于通过本地信息反对个性化的目标。在这项工作中，我们通过基于多准则优化的框架以定量的方式校准了这一权衡，我们将其作为一个受约束的程序进行了：设备的目标是其本地目标，它试图最大程度地减少在满足非线性约束的同时，以使其满足非线性约束，这些目标是其本地目标。量化本地模型和全局模型之间的接近度。通过考虑该问题的拉格朗日放松，我们开发了一种算法，该算法允许每个节点通过查询到一阶梯度Oracle将其Lagrangian的本地组件最小化。然后，服务器执行Lagrange乘法器上升步骤，然后进行Lagrange乘法器加权步骤。我们称这种实例化的原始偶对方法是联合学习超出共识（$ \ texttt {fedBc} $）的实例。从理论上讲，我们确定$ \ texttt {fedBc} $以与最算好状态相匹配的速率收敛到一阶固定点，直到额外的错误项，取决于由于接近性约束而产生的公差参数。总体而言，该分析是针对非凸鞍点问题的原始偶对偶的方法的新颖表征。最后，我们证明了$ \ texttt {fedBc} $平衡了整个数据集（合成，MNIST，CIFAR-10，莎士比亚）的全球和本地模型测试精度指标，从而与艺术现状达到了竞争性能。
translated by 谷歌翻译
在过去的十年中，数字双胞胎的概念在受欢迎程度上爆发了，但围绕其多个定义，其新颖性作为新技术的新颖性以及其实际适用性仍然存在，尽管进行了许多评论，调查和新闻稿，但其实际适用性仍然存在。探索了数字双胞胎一词的历史，以及其在产品生命周期管理，资产维护和设备车队管理，运营和计划领域的初始背景。还基于七个基本要素提供了一个最小可行的框架来利用数字双胞胎的定义。还概述了采用DT方法的DT应用程序和行业的简短旅行。预测维护领域突出了数字双胞胎框架的应用，并使用基于机器学习和基于物理的建模的扩展。采用机器学习和基于物理的建模的组合形成混合数字双胞胎框架，可以协同减轻隔离使用时每种方法的缺点。还讨论了实践实施数字双胞胎模型的关键挑战。随着数字双技术的快速增长及其成熟，预计将实现实质性增强工具和解决方案的巨大希望，以实现智能设备的智能维护。
translated by 谷歌翻译