传统文本分类方法通常需要良好数量的标记数据,这很难获得,尤其是限制域或较少的广泛语言。这种缺乏标记的数据导致了低资源方法的兴起,这在自然语言处理中具有低数据可用性。其中,零射击学习脱颖而出,它包括在没有任何先前标记的数据的情况下学习分类器。通过此方法报告的最佳结果使用变压器等语言模型,但下降到两个问题:高执行时间和无法处理长文本作为输入。本文提出了一种新的模型Zeroberto,它利用无监督的聚类步骤来获得分类任务之前的压缩数据表示。我们展示Zeroberto对长输入和更短的执行时间具有更好的性能,在FOLHauol数据集中的F1分数中表现出XLM-R大约12%。关键词:低资源NLP,未标记的数据,零射击学习,主题建模,变形金刚。
translated by 谷歌翻译
受试者经常与若干参与者的中等辩论经常变化,例如议会会议,选举辩论和审判。将争论分组到具有相同主题的块是必不可少的理解。通常,主持人负责在新块开始时定义,以便自动划分审核辩论的任务可以完全关注主持人的行为。在本文中,我们(i)提出了一种新的算法,Debacer,其审议审查辩论;(ii)在常规和Bertimbau管道之间进行比较研究;(iii)验证将其申请到葡萄牙共和国大会的分钟。我们的结果显示了Debacer的有效性。关键词:自然语言处理,政治文件,口语文本处理,语音分裂,对话分区。
translated by 谷歌翻译
维基百科是可理解知识的重要自由来源。尽管如此,巴西葡萄牙维基百科仍然缺乏对许多科目的描述。为了扩大巴西维基百科,我们贡献了Plsum,这是一种从多个描述性网站生成类似的Wiki的抽象摘要的框架。该框架具有提取阶段,然后是抽象。特别是,对于抽象阶段,我们微调并比较了变压器神经网络,PTT5和啰覆的最近最近的变化。为了微调和评估模型,我们创建了一个具有数千个示例的数据集,将参考网站链接到维基百科。我们的结果表明,可以从巴西葡萄牙语网上内容生成有意义的抽象摘要。
translated by 谷歌翻译
通过离散采样观测来建模连续的动力系统是数据科学中的一个基本问题。通常,这种动力学是非本地过程随时间不可或缺的结果。因此,这些系统是用插差分化方程(IDE)建模的;构成积分和差分组件的微分方程的概括。例如,大脑动力学不是通过微分方程来准确模拟的,因为它们的行为是非马克维亚的,即动态是部分由历史决定的。在这里,我们介绍了神经IDE(NIDE),该框架使用神经网络建模IDE的普通和组成部分。我们在几个玩具和大脑活动数据集上测试NIDE,并证明NIDE的表现优于其他模型,包括神经ODE。这些任务包括时间外推,以及从看不见的初始条件中预测动态,我们在自由行为的小鼠中测试了全皮质活动记录。此外,我们表明,NIDE可以通过学识渊博的整体操作员将动力学分解为马尔可夫和非马克维亚成分,我们在氯胺酮的fMRI脑活动记录中测试了动力学。最后,整体操作员的整体提供了一个潜在空间,可深入了解潜在的动态,我们在宽阔的大脑成像记录上证明了这一点。总体而言,NIDE是一种新颖的方法,可以通过神经网络对复杂的非本地动力学进行建模。
translated by 谷歌翻译
隔离架构在语音分离中显示出非常好的结果。像其他学习的编码器模型一样,它使用了短帧,因为它们已被证明在这些情况下可以获得更好的性能。这导致输入处有大量帧,这是有问题的。由于隔离器是基于变压器的,因此其计算复杂性随着较长的序列而大大增加。在本文中,我们在语音增强任务中采用了隔离器,并表明,通过以短期傅立叶变换(STFT)表示替换学习式编码器的功能,我们可以使用长帧而不会损害感知增强性能。我们获得了同等的质量和清晰度评估得分,同时将10秒的话语减少了大约8倍。
translated by 谷歌翻译
视频框架插值(VFI)实现了许多可能涉及时间域的重要应用程序,例如慢运动播放或空间域,例如停止运动序列。我们专注于以前的任务,其中关键挑战之一是在存在复杂运动的情况下处理高动态范围(HDR)场景。为此,我们探索了双曝光传感器的可能优势,这些传感器很容易提供尖锐的短而模糊的长曝光,这些曝光是空间注册并在时间上对齐的两端。这样,运动模糊会在场景运动上暂时连续的信息,这些信息与尖锐的参考结合在一起,可以在单个相机拍摄中进行更精确的运动采样。我们证明,这促进了VFI任务中更复杂的运动重建以及HDR框架重建,迄今为止仅考虑到最初被捕获的框架,而不是插值之间的框架。我们设计了一个在这些任务中训练的神经网络,这些神经网络明显优于现有解决方案。我们还提出了一个场景运动复杂性的度量,该指标在测试时间提供了对VFI方法的性能的重要见解。
translated by 谷歌翻译
本文提出了一种新的方法,该方法结合了卷积层(CLS)和大规模的度量度量,用于在小数据集上进行培训模型以进行纹理分类。这种方法的核心是损失函数,该函数计算了感兴趣的实例和支持向量之间的距离。目的是在迭代中更新CLS的权重,以学习一类之间具有较大利润的表示形式。每次迭代都会产生一个基于这种表示形式的支持向量表示的大细边缘判别模型。拟议方法的优势W.R.T.卷积神经网络(CNN)为两倍。首先,由于参数数量减少,与等效的CNN相比,它允许用少量数据进行表示。其次,自返回传播仅考虑支持向量以来,它的培训成本较低。关于纹理和组织病理学图像数据集的实验结果表明,与等效的CNN相比,所提出的方法以较低的计算成本和更快的收敛性达到了竞争精度。
translated by 谷歌翻译
在本章中,我们概述了数据驱动和理论知觉的社交网络复杂模型及其在理解社会不平等和边缘化方面的潜力。我们专注于网络和基于网络的算法以及它们如何影响少数群体引起的不平等现象。特别是,我们研究了同质和混合偏见如何塑造大小社交网络,影响少数民族的感知并影响协作模式。我们还讨论了网络和网络的动态过程以及规范和健康不平等的形成。此外,我们认为网络建模是揭示排名和社会推荐算法对少数群体可见性的影响至关重要的。最后,我们强调了这个新兴研究主题中的主要挑战和未来机会。
translated by 谷歌翻译
由于基础物理学的复杂性以及捕获中的复杂遮挡和照明,从稀疏多视频RGB视频中对流体的高保真重建仍然是一个巨大的挑战。现有的解决方案要么假设障碍和照明知识,要么仅专注于没有障碍物或复杂照明的简单流体场景,因此不适合具有未知照明或任意障碍的现实场景。我们提出了第一种通过从稀疏视频的端到端优化中利用管理物理(即,navier -stokes方程)来重建动态流体的第一种方法,而无需采取照明条件,几何信息或边界条件作为输入。我们使用神经网络作为流体的密度和速度解决方案函数以及静态对象的辐射场函数提供连续的时空场景表示。通过将静态和动态含量分开的混合体系结构,与静态障碍物的流体相互作用首次重建,而没有其他几何输入或人类标记。通过用物理知识的深度学习来增强随时间变化的神经辐射场,我们的方法受益于对图像和物理先验的监督。为了从稀疏视图中实现强大的优化,我们引入了逐层增长策略,以逐步提高网络容量。使用具有新的正则化项的逐步增长的模型,我们设法在不拟合的情况下解除了辐射场中的密度彩色歧义。在避免了次优速度之前,将预验证的密度到速度流体模型借用了,该数据低估了涡度,但可以微不足道地满足物理方程。我们的方法在一组代表性的合成和真实流动捕获方面表现出具有放松的约束和强大的灵活性的高质量结果。
translated by 谷歌翻译
训练机学习算法是一个计算密集型过程,由于反复访问大型培训数据集,因此经常会限制内存。结果,以处理器为中心的系统(例如CPU,GPU)遭受了内存单元和处理单元之间的昂贵数据移动,这会消耗大量的能量和执行周期。以内存为中心的计算系统,即具有内存处理(PIM)功能的计算系统,可以减轻此数据运动瓶颈。我们的目标是了解现代通用PIM体系结构加速机器学习培训的潜力。为此,我们(1)将几种代表性的经典机器学习算法(即线性回归,逻辑回归,决策树,K-均值聚类)上实现在现实世界通用PIM架构上(2)以术语来表征它们与CPU和GPU上的同行实现相比,(3)将其准确性,性能和缩放率进行比较。我们对具有2500多个PIM核心的内存计算系统进行的实验评估表明,当PIM硬件在必要的操作和数据类型上,通用PIM体系结构可以极大地加速记忆的机器学习工作负载。据我们所知,我们的工作是第一个评估现实世界通用PIM体系结构的机器学习算法培训的工作。
translated by 谷歌翻译