We discuss two kinds of semantics relevant to Computer Vision (CV) systems - Visual Semantics and Lexical Semantics. While visual semantics focus on how humans build concepts when using vision to perceive a target reality, lexical semantics focus on how humans build concepts of the same target reality through the use of language. The lack of coincidence between visual and lexical semantics, in turn, has a major impact on CV systems in the form of the Semantic Gap Problem (SGP). The paper, while extensively exemplifying the lack of coincidence as above, introduces a general, domain-agnostic methodology to enforce alignment between visual and lexical semantics.
translated by 谷歌翻译
我们将我们的工作基于概念的电讯大西洋建模，作为实施识别和分类唯一功能的能力。因此，我们模拟了两种类型的概念 - 适用于物体识别的物质概念，该概念适用于对象识别利用视觉属性，适用于利用语言基础特性的物质概念分类的分类概念。本文的目标是展示对象识别可以被解释为视觉属性的分类，与主流计算机视觉中的工作不同。为此，我们提出了一种基于Ranganathan的四相面对面知识组织过程的对象识别过程，基于物质概念和分类概念的Teleosmantic区别。我们还简要介绍了正在进行的项目多媒体UKC，其目的是在我们提出的过程之后构建对象识别资源
translated by 谷歌翻译
领域本体论模型的发展虽然是一个以良好的方法为支持的成熟研究领域，但仍然存在两个关键的缺点。首先，有关本体论概念的语义持久性的问题及其在域中采用现有方法的灵活再利用。其次，由于难以理解和重复现有基础本体论中的顶级概念，因此关于域表示语义性质的混淆。本文为代表性多样性的上述缺点奠定了基础，并提出了一个三倍的解决方案 - （i）渲染概念的管道，（ii）对简约的基础知识模型的首次表征，名为基础目的论，将基础区别在语义上说明基础区别实施域表示的静态和动态性质，以及（iii）一种灵活的，重复使用的方法论，用于多样性感知的域开发利用解决方案（i）和（ii）。初步工作报告了溶液成分的潜力。
translated by 谷歌翻译
通常将语义异质性理解为在目标现实的表示，由独立各方，不同数据库，模式和/或数据建模时的差异。我们认为，仅仅是必要的差异的编码不足以应对代表性异质性问题，因为也有必要编码表现出这种差异的统一基础。为此，本文从表示统一和表示多样性的共同概念方面介绍了表示异质性的概念。当两个异质表示以相同的目标现实模型，否则表示多样性时，我们就会有代表统一。反过来，本文还强调了这两个概念如何在任何表示的两层（即语言和知识）中实例化。
translated by 谷歌翻译
最近围绕语言处理模型的复杂性的最新炒作使人们对机器获得了类似人类自然语言的指挥的乐观情绪。人工智能中自然语言理解的领域声称在这一领域取得了长足的进步，但是，在这方面和其他学科中使用“理解”的概念性清晰，使我们很难辨别我们实际上有多近的距离。目前的方法和剩余挑战的全面，跨学科的概述尚待进行。除了语言知识之外，这还需要考虑我们特定于物种的能力，以对，记忆，标签和传达我们（足够相似的）体现和位置经验。此外，测量实际约束需要严格分析当前模型的技术能力，以及对理论可能性和局限性的更深入的哲学反思。在本文中，我将所有这些观点（哲学，认知语言和技术）团结在一起，以揭开达到真实（人类般的）语言理解所涉及的挑战。通过解开当前方法固有的理论假设，我希望说明我们距离实现这一目标的实际程度，如果确实是目标。
translated by 谷歌翻译
我们开发一个正式代表空间安排的自然语言描述中的空间语义概念的系统。系统构建在空间语义表示模型上，根据该句子中的哪个单词被分配了空间角色，并且这些角色之间的关系是用空间关系表示的。我们将我们的系统与形状语法形式相结合，它使用形状规则来生成二维形状的语言（集合）。我们所提出的系统由成对的形状规则和口头规则组成，口头规则在英语中描述了相关形状规则的动作。我们展示了我们系统成功解析的各种类型的自然语言描述，我们讨论了我们在语言和感知界面看到的开放问题和挑战。
translated by 谷歌翻译
本文报告了在应用多维缩放（MDS）技术中以创建语言研究中的语义地图的最先进。 MDS指的是一种统计技术，其表示对象（词汇项，语言上下文，语言等）作为空间中的点，使得对象之间的密切相似性对应于表示表示中的对应点之间的距离。我们专注于使用MDS与在跨语言变异研究中使用的并行语料库数据相结合。我们首先介绍了MD的数学基础，然后略微概述过去的研究，采用MDS技术与并行语料库数据结合使用。我们提出了一组术语，以简便地描述特定MDS应用程序的关键参数。然后，我们表明，这种计算方法是理论中立的，即它可以用来在各种语言理论框架中回答研究问题。最后，我们展示了这在语言学中的MDS研究中的两条发展程度的发展。
translated by 谷歌翻译
可以提示文本指导的图像生成模型，使用具有对手设计的非CLE单词生成图像，以牢固地唤起特定的视觉概念。引入了这一一代的两种方法：杏仁核提示，其中涉及通过从不同语言串联子字单元来设计隐秘的混合单词；和令人回味的提示，其中涉及设计其广泛形态特征与现有单词相似的非CE单词，以触发强大的视觉关联。这两种方法也可以合并以生成与更具体的视觉概念相关联的图像。讨论了这些技术对汇总现有内容适度方法的含义，尤其是对冒犯性或有害图像的产生。
translated by 谷歌翻译
自然语言和生物学序列之间的明显相似之处已导致最新的深层语言模型（LMS）在抗体和其他生物学序列分析中的应用激增。但是，缺乏对生物序列语言的严格语言形式化，这些语言将定义基本组成部分，例如词典（即语言的离散单元）和语法（即，将序列序列良好的规则，结构和结构和结构和结构和结构链接的规则链接在一起含义）导致了LMS的主要域无规定应用，这些应用未考虑研究的生物序列的基础结构。另一方面，语言形式化为LM应用建立了语言信息，因此适应域的组件。它将有助于更好地理解自然语言和生物序列之间的差异和相似性如何影响LMS的质量，这对于具有可解释的模型具有可解释的模型至关重要。解密抗体特异性规则对于加速有理和硅生物治疗药物设计至关重要。在这里，我们将抗体语言的特性形式化，因此不仅建立了语言工具在适应性免疫受体分析中应用的基础，而且还为免疫受体特异性的系统免疫语言学研究提供了基础。
translated by 谷歌翻译
语言是协调问题的强大解决方案：他们提供了稳定的，有关我们所说的单词如何对应于我们头脑中的信仰和意图的共同期望。然而，在变量和非静止社会环境中的语言使用需要语言表征来灵活：旧词在飞行中获取新的临时或合作伙伴特定含义。在本文中，我们介绍了柴（通过推理的连续分层适应），一个分层贝叶斯的协调理论和会议组织，旨在在这两个基本观察之间调和长期张力。我们认为，沟通的中央计算问题不仅仅是传输，如在经典配方中，而是在多个时间尺度上持续学习和适应。合作伙伴特定的共同点迅速出现在数型互动中的社会推论中，而社群范围内的社会公约是稳定的前锋，这些前锋已经抽象出与多个合作伙伴的互动。我们展示了新的实证数据，展示了我们的模型为多个现象提供了对先前账户挑战的计算基础：（1）与同一合作伙伴的重复互动的更有效的参考表达的融合（2）将合作伙伴特定的共同基础转移到陌生人，并（3）交际范围的影响最终会形成。
translated by 谷歌翻译
我们提出了一个新颖的框架概念，以分析在预训练的语言模型中学习的潜在概念如何编码。它使用聚类来发现编码的概念，并通过与大量的人类定义概念对齐来解释它们。我们对七个变压器语言模型的分析揭示了有趣的见解：i）学习表示形式中的潜在空间与不同程度的不同语言概念重叠，ii）ii）模型中的下层以词汇概念（例如附加物为附加物）为主，而却是核心语言概念（例如形态学或句法关系）在中间和更高层中更好地表示，iii）一些编码的概念是多方面的，无法使用现有的人类定义的概念来充分解释。
translated by 谷歌翻译
用于音乐的人工智能（AI）的巨大进展，特别是对于音乐作品和访问大型数据库来通过互联网进行商业化。我们有兴趣进一步推进这一领域，专注于构成。与目前的黑盒AI方法相比，我们正在为生成音乐系统支持可解释的组成前景。特别是，我们正在从分布组成分类（Discocat）建模框架中导入方法，用于自然语言处理（NLP），由音乐语法激励。量子计算是一种新生的技术，它很可能及时影响音乐行业。因此，我们正在开创Quantum自然语言处理（QNLP）方法来开发新一代智能音乐系统。这项工作从Quantum Hardware上的孤立语言模型的先前实验实施中。在Quanthoven，曾经构建的第一概念证明，（a）表明可以编程量子计算机来学习对传送不同含义和（b）的音乐来说明这种能力如何可能会利用开发一个系统来组成有意义的音乐。在讨论当前对音乐的理解作为通信介质及其与自然语言的关系之后，本章侧重于开发的技术（a）编码音乐组合物作为量子电路，（b）设计量子分类器。章节以与系统创建的组合物的演示结束。
translated by 谷歌翻译
最近，引入了图像表示学习的自我监督方法，以与其完全监督的竞争对手相比，以较高的结果或卓越的结果提供了解释自我监督的方法的相应努力。在这一观察过程中，我们引入了一个新颖的视觉探测框架，用于通过利用自然语言处理中使用的探测任务来解释自我监督模型。探测任务需要有关图像部分之间语义关系的知识。因此，我们提出了一种系统的方法来获得视觉，视觉，上下文和分类学等自然语言的类似物。我们的建议基于Marr的视觉计算理论和质地，形状和线条等特征。我们在解释自我监督的表示的背景下显示了这些类似物的有效性和适用性。我们的主要发现强调，语言和视觉之间的关系可以作为发现机器学习模型如何工作（独立于数据模式）的有效但直观的工具。我们的工作打开了大量的研究途径，通向更可解释和透明的AI。
translated by 谷歌翻译
通常手动构建课程或分类层次结构，以及我们对世界的一部分知识。在本文中，我们提出了一种新颖的算法，用于从分类器自动获取类层次结构，这些时间这些天通常是一个大的神经网络。我们从分类器中所需的信息是它的混淆矩阵，它包含对每对基类的，分类器通过误导另一对的错误误差。我们的算法对于在CiFar-10数据集上培训的一些众所周知的深神经网络模型，用于预测非原生英语扬声器的母语的神经网络模型，是一种用于检测A的语言的神经网络模型的神经网络模型书面文本，以及用于识别音乐类型的分类器。在文献中，这些类层次结构已被用于为神经网络提供可解释性。我们还讨论了所获取的层次结构的其他一些潜在用途。
translated by 谷歌翻译
内容的离散和连续表示（例如，语言或图像）具有有趣的属性，以便通过机器的理解或推理此内容来探索或推理。该职位论文提出了我们关于离散和持续陈述的作用及其在深度学习领域的作用的意见。目前的神经网络模型计算连续值数据。信息被压缩成密集，分布式嵌入式。通过Stark对比，人类在他们的语言中使用离散符号。此类符号代表了来自共享上下文信息的含义的世界的压缩版本。此外，人工推理涉及在认知水平处符号操纵，这促进了抽象的推理，知识和理解的构成，泛化和高效学习。通过这些见解的动机，在本文中，我们认为，结合离散和持续的陈述及其处理对于构建展示一般情报形式的系统至关重要。我们建议并讨论了几个途径，可以在包含离散元件来结合两种类型的陈述的优点来改进当前神经网络。
translated by 谷歌翻译
复杂的模型，例如神经网络（NNS），由许多相互关联的组件组成。为了表示这些模型，启发和表征组件之间的关系至关重要。也许是由于这个，作为“关系图标”的图表是表示复杂模型的普遍媒介。目前，用于传达NN体系结构的图表非常多样化。图解选择的多样性为洞悉沟通优先级的方面提供了机会。在对NN图的哲学探索中，我们整合了概念模型，交流理论和符号学的理论。
translated by 谷歌翻译
隐喻检测的最先进方法比较他们的文字或核心 - 使用基于神经网络的顺序隐喻分类器的含义及其语境含义。表示字面含义的信号通常由（非语境）字嵌入式表示。然而，隐喻表达由于各种原因，例如文化和社会影响，随着时间的推移而发展。已知隐喻表达式通过语言和文字词含义，甚至在某种程度上驾驶这一进化。这升起了对文字含义不同，可能是特定于特定的，可能影响隐喻检测任务的问题。据我们所知，这是第一项研究，该研究在详细的探索性分析中检查了隐喻检测任务，其中使用不同的时间和静态字嵌入来占对字面意义的不同表示。我们的实验分析基于用于隐喻检测的三个流行基准，并从不同的Corpora中提取的单词嵌入式，并在时间上对齐到不同的最先进的方法。结果表明，不同的单词嵌入对隐喻检测任务的影响和一些时间字嵌入略高于一些性能措施的静态方法。然而，结果还表明，时间字嵌入可以提供单词“核心意义的表示，即使太接近其隐喻意义，因此令人困惑的分类器。总的来说，时间语言演化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集中出现了微小。这表明对这种重要语言现象的计算分析的未来工作应该首先创建一个新的数据集，其中这个交互是更好的代表。
translated by 谷歌翻译
音乐信号很难从其低级功能中解释，甚至可能不仅仅是图像：突出显示频谱图或图像的一部分通常不足以传达与人类真正相关的高级思想。在计算机视觉中，提议将概念学习调整为正确的抽象水平（例如，从X光片中检测临床概念）。这些方法尚未用于miR。在本文中，我们将概念学习适应音乐领域，并具有特殊性。例如，音乐概念通常是非独立的，并且具有混合性质（例如类型，仪器，情绪），这与以前假定散布概念的作品不同。我们提出了一种从音频学习众多音乐概念的方法，然后自动层次结构以揭露他们的相互关系。我们在音乐流服务的播放列表数据集上进行实验，并作为不同概念的一些注释示例。评估表明，采矿的层次结构与概念的两个基础层次结构（如果可用）以及一般情况下的概念相似性的代理来源。
translated by 谷歌翻译
人类语言中发现的最强大的模式之一是ZIPF的缩写定律，即更短的单词的趋势。自ZIPF开创性研究以来，该定律被视为压缩的体现，即形式的长度最小化 - 自然交流的普遍原则。尽管对语言进行优化的说法已经变得时尚，但衡量语言优化程度的尝试却相当稀缺。在这里，我们证明压缩在无例外的大量语言中表现出来，并且独立于测量单位。这两个单词长度都可以在书面语言的字符以及口语的持续时间中检测到。此外，为了衡量优化程度，我们得出了一个随机基线的简单公式，并提出了两个分数归一化的分数，即，它们相对于最小值和随机基线都进行了归一化。我们分析了这些和其他分数的理论和统计优势和缺点。利用最佳分数，我们首次量化了语言中单词长度的最佳程度。这表明当单词长度以字符测量时，语言平均被优化至62％或67％（取决于源），当单词长度及时测量时，平均而言，平均而言，平均而言，平均而言，平均而言，平均而言，平均至65％。通常，口语持续时间比字符中的书面单词长度更优化。除了这里报告的分析外，我们的工作还铺平了衡量其他物种发声或手势的最佳程度的方法，并将其与书面，口语或签名的人类语言进行比较。
translated by 谷歌翻译
在过去的几年中，计算机视觉的显着进步总的来说是归因于深度学习，这是由于大量标记数据的可用性所推动的，并与GPU范式的爆炸性增长配对。在订阅这一观点的同时，本书批评了该领域中所谓的科学进步，并在基于信息的自然法则的框架内提出了对愿景的调查。具体而言，目前的作品提出了有关视觉的基本问题，这些问题尚未被理解，引导读者走上了一个由新颖挑战引起的与机器学习基础共鸣的旅程。中心论点是，要深入了解视觉计算过程，有必要超越通用机器学习算法的应用，而要专注于考虑到视觉信号的时空性质的适当学习理论。
translated by 谷歌翻译