机器学习（ML）模型通常是针对给定数据集的精度进行优化的。但是，此预测标准很少捕获模型的所有理想属性，特别是它与域专家对任务的理解的匹配程度。指定的是指多种模型的存在，这些模型在其内域准确性上是无法区分的，即使它们在其他期望的属性（例如分布（OOD）性能）上有所不同。确定这些情况对于评估ML模型的可靠性至关重要。我们正式化了指定的概念，并提出了一种识别和部分解决它的方法。我们训练多个模型具有独立约束，迫使他们实施不同的功能。他们发现了预测性特征，否则标准经验风险最小化（ERM）忽略了这些特征，然后我们将其提炼成具有出色OOD性能的全球模型。重要的是，我们限制了模型以与数据歧管保持一致，以确保它们发现有意义的功能。我们在计算机视觉（拼贴，wild-camelyon17，gqa）中演示了多个数据集的方法，并讨论了指定规定的一般含义。最值得注意的是，没有其他假设，内域性能无法用于OOD模型选择。
translated by 谷歌翻译
清洁和不同标记的数据的可用性是培训复杂任务（例如视觉问答（VQA））的培训模型的主要障碍。大型视觉和语言模型的广泛工作表明，自我监督的学习对预处理多模式相互作用有效。在此技术报告中，我们专注于视觉表示。我们审查和评估自我监督的方法，以利用未标记的图像并预处理模型，然后我们对其进行了自定义VQA任务，该任务允许进行控制的评估和诊断。我们将基于能量的模型（EBM）与对比度学习（CL）进行比较。尽管EBM越来越受欢迎，但他们缺乏对下游任务的评估。我们发现，EBM和CL都可以从未标记的图像中学习表示形式，这些图像能够在很少的注释数据上训练VQA模型。在类似于CLEVR的简单设置中，我们发现CL表示还可以改善系统的概括，甚至匹配来自较大，监督，预测模型的表示的性能。但是，我们发现EBM由于不稳定性和结果差异很高而难以训练。尽管EBMS被证明对OOD检测有用，但基于监督的基于能量的训练和不确定性校准的其他结果在很大程度上是负面的。总体而言，CL当前似乎比EBM的选项更为可取。
translated by 谷歌翻译
自然语言处理（NLP）通过分析社交媒体或新闻媒体的文本来证明支持财务决策的巨大潜力。在这项工作中，我们建立了一个平台，可以系统地研究NLP股票自动交易算法。与以前的工作相反，我们的平台具有三个功能：（1）我们为每个特定股票提供财务新闻。 （2）我们为每种股票提供各种股票因素。 （3）我们评估了更多与财务相关的指标的绩效。这样的设计使我们能够在更现实的环境中开发和评估NLP库存自动交易算法。除了设计评估平台和数据集集合外，我们还通过提出一个系统来自动从各种输入信息中学习良好的功能表示形式来做出技术贡献。我们算法的关键是一种称为语义角色标签池（SRLP）的方法，该方法利用语义角色标签（SRL）来创建每个新闻段的紧凑表示。基于SRLP，我们进一步纳入了其他股票因素以进行最终预测。此外，我们提出了一种基于SRLP的自我监督的学习策略，以增强系统的分布概括性能。通过我们的实验研究，我们表明所提出的方法可以实现更好的性能，并胜过所有基本线的年度回报率，以及CSI300指数和XIN9指数的最大减收率。我们的ASTOCK数据集和代码可在https://github.com/jinanzou/astock上找到。
translated by 谷歌翻译
2021-12-10
机器学习模型严重易于来自对抗性示例的逃避攻击。通常，对逆势示例的修改输入类似于原始输入的修改输入，在WhiteBox设置下由对手的WhiteBox设置构成，完全访问模型。然而，最近的攻击已经显示出使用BlackBox攻击的对逆势示例的查询号显着减少。特别是，警报是从越来越多的机器学习提供的经过培训的模型的访问界面中利用分类决定作为包括Google，Microsoft，IBM的服务提供商，并由包含这些模型的多种应用程序使用的服务提供商来利用培训的模型。对手仅利用来自模型的预测标签的能力被区别为基于决策的攻击。在我们的研究中，我们首先深入潜入最近的ICLR和SP的最先进的决策攻击，以突出发现低失真对抗采用梯度估计方法的昂贵性质。我们开发了一种强大的查询高效攻击，能够避免在梯度估计方法中看到的嘈杂渐变中的局部最小和误导中的截留。我们提出的攻击方法，ramboattack利用随机块坐标下降的概念来探索隐藏的分类器歧管，针对扰动来操纵局部输入功能以解决梯度估计方法的问题。重要的是，ramboattack对对对手和目标类别可用的不同样本输入更加强大。总的来说，对于给定的目标类，ramboattack被证明在实现给定查询预算的较低失真时更加强大。我们使用大规模的高分辨率ImageNet数据集来策划我们的广泛结果，并在GitHub上开源我们的攻击，测试样本和伪影。
translated by 谷歌翻译
在工业环境中找到两个图像之间的概念差异对HSE目的尤为重要，并且仍然没有可靠且符合的方法来找到主要的差异来提醒相关控制器。由于不同环境中的丰富性和多种物体，在该领域中使用监督的学习方法正面临一个主要问题。由于两个场景的照明条件发生了急剧变化，因此无法天真地减去这两个图像以找到这些差异。本文的目的是查找和本地化一个场景的两个帧的概念差异，但在两个不同的时间中，并将差异分类为添加，减少和变化。在本文中，我们通过介绍深度学习方法并使用转移学习和误差函数的结构修改以及添加和合成数据的过程来证明该应用程序的全面解决方案。提供了适当的数据集并标记了标签，并在此数据集上评估了模型结果，并解释了在实际和工业应用中使用它的可能性。
translated by 谷歌翻译
因果鉴定是因果推理文献的核心，在该文献中提出了完整的算法来识别感兴趣的因果问题。这些算法的有效性取决于访问正确指定的因果结构的限制性假设。在这项工作中，我们研究了可获得因果结构概率模型的环境。具体而言，因果图中的边缘是分配的概率，例如，可能代表来自领域专家的信念程度。另外，关于边缘的不确定的可能反映了特定统计检验的置信度。在这种情况下自然出现的问题是：给定这样的概率图和感兴趣的特定因果效应，哪些具有最高合理性的子图是什么？我们表明回答这个问题减少了解决NP-HARD组合优化问题，我们称之为边缘ID问题。我们提出有效的算法来近似此问题，并评估我们针对现实世界网络和随机生成图的算法。
translated by 谷歌翻译
我们研究了基于消费者的决策积极学习非参数选择模型的问题。我们提出一个负面结果，表明这种选择模型可能无法识别。为了克服可识别性问题，我们介绍了选择模型的有向无环图（DAG）表示，从某种意义上说，该模型可以捕获有关选择模型的更多信息，从而可以从理论上识别信息。然后，我们考虑在主动学习环境中学习与此DAG表示的近似的问题。我们设计了一种有效的主动学习算法，以估计非参数选择模型的DAG表示，该模型在多项式时间内运行时，当随机均匀地绘制频繁排名。我们的算法通过主动和反复提供各种项目并观察所选项目来了解最受欢迎的频繁偏好项目的分布。我们表明，与相应的非活动学习估计算法相比，我们的算法可以更好地恢复有关消费者偏好的合成和公开数据集的一组频繁偏好。这证明了我们的算法和主动学习方法的价值。
translated by 谷歌翻译
已知神经网络对初始化敏感。依赖神经网络的解释方法并不强大，因为当模型被初始化并用不同的随机种子训练时，它们的解释可能会有所不同。在许多安全关键应用（例如医疗保健中的疾病诊断）中，对模型初始化的敏感性是不可取的，其中解释性可能会对有助于决策产生重大影响。在这项工作中，我们引入了一种基于参数平均的新方法，以在表格数据设置（称为XTAB）中进行可靠的解释性。我们首先初始化并训练具有不同随机种子的浅网络（称为本地面具）的多个实例，以进行下游任务。然后，我们通过“平均”本地掩码的参数来获得全局掩码模型，并表明全局模型使用多数规则根据所有本地模型中的相对重要性来对特征进行排名。我们对各种真实和合成数据集进行了广泛的实验，表明所提出的方法可用于特征选择，并获得对亚最佳模型初始化不敏感的全局特征重要性。
translated by 谷歌翻译
多年来，卷积神经网络（CNN）已成为多种计算机视觉任务的事实上的标准。尤其是，基于开创性体系结构（例如具有跳过连接的U形模型）或具有金字塔池的Artous卷积的深度神经网络已针对广泛的医学图像分析任务量身定制。此类架构的主要优点是它们容易拘留多功能本地功能。然而，作为一般共识，CNN无法捕获由于卷积操作的固有性能的内在特性而捕获长期依赖性和空间相关性。另外，从全球信息建模中获利的变压器源于自我发项机制，最近在自然语言处理和计算机视觉方面取得了出色的表现。然而，以前的研究证明，局部和全局特征对于密集预测的深层模型至关重要，例如以不同的形状和配置对复杂的结构进行分割。为此，本文提出了TransDeeplab，这是一种新型的DeepLab样纯变压器，用于医学图像分割。具体而言，我们用移动的窗口利用层次旋转式变形器来扩展DeepLabV3并建模非常有用的空间金字塔池（ASPP）模块。对相关文献的彻底搜索结果是，我们是第一个用基于纯变压器模型对开创性DeepLab模型进行建模的人。关于各种医学图像分割任务的广泛实验证明，我们的方法在视觉变压器和基于CNN的方法的合并中表现出色或与大多数当代作品相提并论，并显着降低了模型复杂性。代码和训练有素的模型可在https://github.com/rezazad68/transdeeplab上公开获得
translated by 谷歌翻译
神经科学研究的一种基本方法是基于神经心理学和行为措施，即某些因素（例如，与生活事件相关）是否与结果（例如抑郁症）有关。近年来，深度学习已成为通过预测一系列因素的结果并确定推动预测的最“信息性”的结果，成为进行此类分析的潜在替代方法。但是，这种方法的影响有限，因为其发现与支持假设的因素的统计意义无关。在本文中，我们根据排列测试的概念提出了一种灵活且可扩展的方法，该方法将假设检验集成到数据驱动的深度学习分析中。我们将我们的方法应用于对青春期酒精和神经发育联盟（NCANDA）的621名青少年参与者的年度自我报告评估，以预测负面价，这是根据NIMH研究领域标准（RDOC）的重大抑郁症的症状。我们的方法成功地识别了进一步解释症状的危险因素类别。
translated by 谷歌翻译