随着数据湖泊在今天的大型企业中越来越受欢迎，越来越需要在数据湖泊中标记或分类数据湖泊中的数据资产（例如，文件和数据库），以及所推断的元数据可以启用一系列下游应用程序，如数据治理（例如，GDPR合规性）和数据集搜索。鉴于当今企业数据湖泊的纯粹大小与数据库和数百万数据资产，数据资产必须是“自动标记”的，使用轻量级推理算法和最小用户输入。在这项工作中，我们开发Auto-Tag，一种语料库驱动方法，可自动为企业数据湖泊中的\ Textit {Custom}数据类型提供数据标记。使用自动标记，用户只需要提供\ texit {ONE}示例列以演示所需的数据类型标记。利用索引结构使用数据湖的轻量级扫描建立了脱机，类似于机器学习中的预先训练，自动标签可以将合适的数据模式推断为最好的“描述”“底层的”域“以交互式速度给定列，然后可以用于标记数据湖泊中的相同“类型”的附加数据。自动标签方法可以适应自定义数据类型，并显示为准确且高效。 Auto-Tag的一部分是一种基于云的数据治理和目录解决方案\ Texit {Azure PurView}的“自定义分类”功能。

电子表格广泛用于桌面操作和演示。这些表的风格格式是演示和分析的重要属性。结果，流行的电子表格软件（例如Excel）支持基于数据依赖性规则的自动格式表。不幸的是，编写这些格式规则对于用户来说可能是具有挑战性的，因为这需要了解基础规则语言和数据逻辑。在本文中，我们提出了Cornet，这是一种神经符号系统，该系统解决了从格式化细胞的用户示例中自动学习此类格式规则的新问题。 Cornet从归纳计划的合成中汲取灵感，并根据半监督聚类和迭代决策树学习结合了符号规则，并与神经排名者一起产生条件格式的规则。为了激励和评估我们的方法，我们从超过40k真实电子​​表格的语料库中提取了表格的表格。使用这些数据，我们将短号与各种符号和神经基线进行了比较。我们的结果表明，与这些基线相比，Cornet可以在不同条件下更准确地学习规则。除了从用户示例中学习规则外，我们还提出了两个案例研究，以激发Cornet的其他用途：简化用户条件格式规则并恢复规则，即使用户可能手动格式化了其数据。

即使机器学习算法已经在数据科学中发挥了重要作用，但许多当前方法对输入数据提出了不现实的假设。由于不兼容的数据格式，或数据集中的异质，分层或完全缺少的数据片段，因此很难应用此类方法。作为解决方案，我们提出了一个用于样本表示，模型定义和培训的多功能，统一的框架，称为“ Hmill”。我们深入审查框架构建和扩展的机器学习的多个范围范式。从理论上讲，为HMILL的关键组件的设计合理，我们将通用近似定理的扩展显示到框架中实现的模型所实现的所有功能的集合。本文还包含有关我们实施中技术和绩效改进的详细讨论，该讨论将在MIT许可下发布供下载。该框架的主要资产是其灵活性，它可以通过相同的工具对不同的现实世界数据源进行建模。除了单独观察到每个对象的一组属性的标准设置外，我们解释了如何在框架中实现表示整个对象系统的图表中的消息推断。为了支持我们的主张，我们使用框架解决了网络安全域的三个不同问题。第一种用例涉及来自原始网络观察结果的IoT设备识别。在第二个问题中，我们研究了如何使用以有向图表示的操作系统的快照可以对恶意二进制文件进行分类。最后提供的示例是通过网络中实体之间建模域黑名单扩展的任务。在所有三个问题中，基于建议的框架的解决方案可实现与专业方法相当的性能。

评论是源代码的重要组成部分，是文档的主要来源。这引起了人们对使用大量注释的兴趣训练或评估消耗或生产它们的工具，例如生成甲骨文，甚至是从注释中生成代码，或自动生成代码摘要。这项工作大部分对评论的结构和质量做出了强烈的假设，例如假设它们主要由适当的英语句子组成。但是，我们对这些用例的现有评论的实际质量知之甚少。评论通常包含在其他类型的文本中看不到的独特结构和元素，并且从中过滤或提取信息需要额外的谨慎。本文探讨了来自GitHub的840个最受欢迎的开源项目和Srilab数据集的8422个项目的Python评论的内容和质量，并且Na \“ Ive vs.深入过滤的影响都可以使用现有注释来用于使用现有注释。培训和评估产生评论的系统。

链接的开放数据实践导致了过去十年中网络上结构化数据的显着增长。这样的结构化数据以机器可读的方式描述了现实世界实体，并为自然语言处理领域的研究创造了前所未有的机会。但是，缺乏有关如何使用此类数据，哪种任务以及它们在多大程度上对这些任务有用的研究。这项工作着重于电子商务领域，以探索利用此类结构化数据来创建可能用于产品分类和链接的语言资源的方法。我们以RDF N四分之一的形式处理数十亿个结构化数据点，以创建数百万个与产品相关的语料库单词，后来以三种不同的方式用于创建语言资源：培训单词嵌入模型，继续预训练类似于Bert的语言模型和训练机器翻译模型，这些模型被用作生成产品相关的关键字的代理。我们对大量基准测试的评估表明，嵌入单词是提高这两个任务准确性的最可靠和一致的方法（在某些数据集中，宏观 - 平均F1中最高6.9个百分点）。但是，其他两种方法并不那么有用。我们的分析表明，这可能是由于许多原因，包括结构化数据中的偏置域表示以及缺乏词汇覆盖范围。我们分享我们的数据集，并讨论如何将我们所学到的经验教训朝着这一方向介绍未来的研究。

We present an update on the current architecture of the Zoea knowledge-based, Composable Inductive Programming system. The Zoea compiler is built using a modern variant of the black-board architecture. Zoea integrates a large number of knowledge sources that encode different aspects of programming language and software development expertise. We describe the use of synthetic test cases as a ubiquitous form of knowledge and hypothesis representation that sup-ports a variety of reasoning strategies. Some future plans are also outlined.

本文讨论了如何通过通过预处理和后处理方法增强光学特征识别（OCR）发动机来成功数字化大规模的历史微数据。尽管由于机器学习的改善，近年来OCR软件已大大改善，但现成的OCR应用程序仍然显示高错误率，这限制了其应用程序以准确提取结构化信息。但是，补充OCR可以大大提高其成功率，使其成为经济史学家的强大且具有成本效益的工具。本文展示了这些方法，并解释了为什么它们有用。我们将它们应用于两个大型资产负债表数据集，并引入Quipucamayoc，Quipucamayoc是一个统一框架中包含这些方法的Python软件包。

网络钓鱼袭击在互联网上继续成为一个重大威胁。先前的研究表明，可以确定网站是否是网络钓鱼，也可以更仔细地分析其URL。基于URL的方法的一个主要优点是它即使在浏览器中呈现网页之前，它也可以识别网络钓鱼网站，从而避免了其他潜在问题，例如加密和驾驶下载。但是，传统的基于URL的方法有它们的局限性。基于黑名单的方法容易出现零小时网络钓鱼攻击，基于先进的机器学习方法消耗高资源，而其他方法将URL发送到远程服务器，损害用户的隐私。在本文中，我们提出了一个分层的防护防御，PhishMatch，这是强大，准确，廉价和客户端的。我们设计一种节省空间高效的AHO-Corasick算法，用于精确串联匹配和基于N-GRAM的索引技术，用于匹配的近似字符串，以检测网络钓鱼URL中的各种弧度标准技术。为了减少误报，我们使用全球白名单和个性化用户白名单。我们还确定访问URL的上下文并使用该信息更准确地对输入URL进行分类。 PhishMatch的最后一个组成部分涉及机器学习模型和受控搜索引擎查询以对URL进行分类。发现针对Chrome浏览器开发的PhishMatch的原型插件，是快速轻便的。我们的评价表明，PhishMatch既有效又有效。

大多数低编码平台的用户，例如Excel和PowerApps，都以特定于域的公式语言编写程序来执行非平凡的任务。用户通常可以编写他们想要的大部分程序，但是引入了一些小错误，这些错误会产生破损的公式。这些错误既可以是句法和语义，也很难让低代码用户识别和修复，即使只能通过一些编辑解决。我们正式化了产生最后一英里维修问题等编辑的问题。为了解决这个问题，我们开发了Lamirage，这是一种最后一英里的维修发动机发电机，结合了符号和神经技术，以低代码公式语言进行最后一英里维修。 Lamirage采用语法和一组特定领域的约束/规则，它们共同近似目标语言，并使用它们来生成可以用该语言修复公式的维修引擎。为了应对本地化错误和对候选维修进行排名的挑战，Lamirage利用神经技术，而它依赖于符号方法来生成候选维修。这种组合使Lamirage可以找到满足提供的语法和约束的维修，然后选择最自然的修复。我们将Lamirage与400个Real Excel和PowerFX公式的最新神经和符号方法进行了比较，其中Lamirage的表现优于所有基线。我们释放这些基准，以鼓励在低代码域中进行后续工作。

Performance debugging in production is a fundamental activity in modern service-based systems. The diagnosis of performance issues is often time-consuming, since it requires thorough inspection of large volumes of traces and performance indices. In this paper we present DeLag, a novel automated search-based approach for diagnosing performance issues in service-based systems. DeLag identifies subsets of requests that show, in the combination of their Remote Procedure Call execution times, symptoms of potentially relevant performance issues. We call such symptoms Latency Degradation Patterns. DeLag simultaneously searches for multiple latency degradation patterns while optimizing precision, recall and latency dissimilarity. Experimentation on 700 datasets of requests generated from two microservice-based systems shows that our approach provides better and more stable effectiveness than three state-of-the-art approaches and general purpose machine learning clustering algorithms. DeLag is more effective than all baseline techniques in at least one case study (with p $\leq$ 0.05 and non-negligible effect size). Moreover, DeLag outperforms in terms of efficiency the second and the third most effective baseline techniques on the largest datasets used in our evaluation (up to 22%).

会话代理显示了允许用户使用语言与移动设备进行交互的承诺。但是，要使用自然语言执行不同的UI任务，开发人员通常需要为每个特定任务创建单独的数据集和模型，这是昂贵且耗费的。最近，预先训练的大型语言模型（LLMS）被证明能够在目标任务中有几个示例提示时能够概括到各种下游任务。本文调查了使用单个LLM与移动UI进行多功能对话交互的可行性。我们建议一个设计空间，以在协作完成移动任务时对用户和代理之间的对话进行分类。我们设计提示技术以使LLM适应移动UIS上的对话任务。实验表明，我们的方法可以与体面的表现相互作用，从而表现出其可行性。我们讨论我们的工作用例及其对基于语言的移动互动的影响。

反向工程师受益于二进制中的标识符（例如函数名称）的存在，但通常将其删除以释放。训练机器学习模型自动预测功能名称是有希望的，但从根本上讲很难：与自然语言中的单词不同，大多数函数名称仅出现一次。在本文中，我们通过引入极端功能标签（XFL）来解决此问题，这是一种极端的多标签学习方法，可为二进制功能选择适当的标签。 XFL将函数名称分为代币，将每个功能视为具有自然语言标记文本的问题的信息标签。我们将二进制代码的语义与通过dexter进行标签，这是一种新颖的函数，将基于静态分析的特征与来自呼叫图的本地上下文和整个二进制的全局上下文相结合。我们证明，XFL/Dexter在Debian Project的10,047个二进制数据集上的功能标签上优于最新技术，获得了83.5％的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合，并表明Dexter始终为这项任务做得最好。结果，我们证明了二进制函数标记可以通过多标签学习有效地措辞，并且二进制函数嵌入得益于包括明确的语义特征。

Computational notebooks, such as Jupyter notebooks, are interactive computing environments that are ubiquitous among data scientists to perform data wrangling and analytic tasks. To measure the performance of AI pair programmers that automatically synthesize programs for those tasks given natural language (NL) intents from users, we build ARCADE, a benchmark of 1082 code generation problems using the pandas data analysis framework in data science notebooks. ARCADE features multiple rounds of NL-to-code problems from the same notebook. It requires a model to understand rich multi-modal contexts, such as existing notebook cells and their execution states as well as previous turns of interaction. To establish a strong baseline on this challenging task, we develop PaChiNCo, a 62B code language model (LM) for Python computational notebooks, which significantly outperforms public code LMs. Finally, we explore few-shot prompting strategies to elicit better code with step-by-step decomposition and NL explanation, showing the potential to improve the diversity and explainability of model predictions.

随着未来以数据为中心的决策，对数据库的无缝访问至关重要。关于创建有效的文本到SQL（Text2SQL）模型以访问数据库的数据有广泛的研究。使用自然语言是可以通过有效访问数据库（尤其是对于非技术用户）来弥合数据和结果之间差距的最佳接口之一。它将打开门，并在精通技术技能或不太熟练的查询语言的用户中引起极大的兴趣。即使提出或研究了许多基于深度学习的算法，在现实工作场景中使用自然语言来解决数据查询问题仍然非常具有挑战性。原因是在不同的研究中使用不同的数据集，这带来了其局限性和假设。同时，我们确实缺乏对这些提议的模型及其对其训练的特定数据集的局限性的彻底理解。在本文中，我们试图介绍过去几年研究的24种神经网络模型的整体概述，包括其涉及卷积神经网络，经常性神经网络，指针网络，强化学习，生成模型等的架构。我们还概述11个数据集，这些数据集被广泛用于训练Text2SQL技术的模型。我们还讨论了无缝数据查询中文本2SQL技术的未来应用可能性。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

创新是经济和社会发展的主要驱动力，有关多种创新的信息嵌入了专利和专利申请的半结构化数据中。尽管在专利数据中表达的创新的影响和新颖性很难通过传统手段来衡量，但ML提供了一套有希望的技术来评估新颖性，汇总贡献和嵌入语义。在本文中，我们介绍了Harvard USPTO专利数据集（HUPD），该数据集是2004年至2004年之间提交给美国专利商业办公室（USPTO）的大型，结构化和多用途的英语专利专利申请。 2018年。HUPD拥有超过450万张专利文件，是可比的Coldia的两到三倍。与以前在NLP中提出的专利数据集不同，HUPD包含了专利申请的发明人提交的版本（不是授予专利的最终版本），其中允许我们在第一次使用NLP方法进行申请时研究专利性。它在包含丰富的结构化元数据以及专利申请文本的同时也很新颖：通过提供每个应用程序的元数据及其所有文本字段，数据集使研究人员能够执行一组新的NLP任务，以利用结构性协变量的变异。作为有关HUPD的研究类型的案例研究，我们向NLP社区（即专利决策的二元分类）介绍了一项新任务。我们还显示数据集中提供的结构化元数据使我们能够对此任务进行概念转移的明确研究。最后，我们演示了如何将HUPD用于三个其他任务：专利主题领域的多类分类，语言建模和摘要。

在本文中，我们介绍了四种突出的恶意软件检测工具的科学评估，以帮助组织提出两个主要问题：基于ML的工具在多大程度上对以前和从未见过的文件进行了准确的分类？是否值得购买网络级恶意软件检测器？为了识别弱点，我们针对各种文件类型的总计3,536个文件（2,554或72 \％恶意，982或28 \％良性）测试了每个工具，包括数百个恶意零日，polyglots和apt-style-style style文件，在多个协议上交付。我们介绍了有关检测时间和准确性的统计结果，请考虑互补分析（一起使用多个工具），并提供了近期成本效益评估程序的两种新颖应用。尽管基于ML的工具在检测零日文件和可执行文件方面更有效，但基于签名的工具仍然是总体上更好的选择。两种基于网络的工具都与任何一种主机工具配对时都可以进行大量（模拟）节省，但两者在HTTP或SMTP以外的协议上都显示出较差的检测率。我们的结果表明，所有四个工具都具有几乎完美的精度但令人震惊的召回率，尤其是在可执行文件和Office文件以外的文件类型上 - 未检测到37％的恶意软件，包括所有Polyglot文件。给出了研究人员的优先事项，并给出了最终用户的外卖。

改善软件性能是软件开发周期中重要但充满挑战的部分。如今，大多数性能效率低下是由绩效专家确定和修补的。深度学习方法的最新进展和开源数据的广泛可用性为自动化绩效问题的识别和修补提供了一个绝佳的机会。在本文中，我们提出了Deepperf，这是一种基于变压器的方法，以建议针对C＃应用程序进行性能改进。我们在英语和源代码语料库上预告了Deepperf，然后进行了Finetuning的任务，以生成C＃应用程序的性能改进补丁。我们的评估表明，我们的模型可以在约53％的案例中生成与开发人员修复相同的性能改进建议，在我们专家验证的C＃开发人员进行的绩效更改的数据集中，逐字化约34％。此外，我们使用基准测试和单元测试在GitHub上在50个开源C＃存储库上评估Deepperf，并发现我们的模型能够提出有效的性能改进，以改善CPU使用和内存分配。到目前为止，我们已经提交了19个带有28种不同性能优化的拉装重新要求，其中11个PR已获得项目所有者的批准。

We present Spider, a large-scale, complex and cross-domain semantic parsing and textto-SQL dataset annotated by 11 college students. It consists of 10,181 questions and 5,693 unique complex SQL queries on 200 databases with multiple tables, covering 138 different domains. We define a new complex and cross-domain semantic parsing and textto-SQL task where different complex SQL queries and databases appear in train and test sets. In this way, the task requires the model to generalize well to both new SQL queries and new database schemas. Spider is distinct from most of the previous semantic parsing tasks because they all use a single database and the exact same programs in the train set and the test set. We experiment with various state-of-the-art models and the best model achieves only 12.4% exact matching accuracy on a database split setting. This shows that Spider presents a strong challenge for future research. Our dataset and task are publicly available at https://yale-lily. github.io/spider.

在这项工作中，我们提出了一种从IDE中从用户那里收集完成使用日志的方法，并使用它们来训练基于机器学习的模型来排名完成​​候选。我们开发了一组描述候选人及其上下文的功能，并在基于Intellij的IDE的早期访问程序中部署了其匿名集合。我们使用日志从用户那里收集代码完成数据集，并使用它来训练排名catboost模型。然后，我们在两种设置中对其进行了评估：在收集到的完成的一组持有的集合中，并在IDE中的两个不同组的用户对单独的A/B测试中进行了评估。我们的评估表明，使用对过去用户行为日志训练的简单排名模型可显着改善代码完成体验。与默认的基于启发式的排名相比，我们的模型表明，在2.073中执行IDE完成所需的打字操作数量减少到1.832。该方法遵守隐私要求和法律约束，因为它不需要收集个人信息，在客户方面执行所有必要的匿名化。重要的是，它可以连续改进：实施新功能，收集新数据并评估新模型 - 这样，我们自2020年底以来就一直在生产中使用它。