在线行为广告和相关的跟踪疗法，构成了真正的隐私威胁。不幸的是，现有的隐私增强工具并不总是对在线广告和跟踪有效的。我们提出了基于基于学习的基于学习的方法来通过混淆来颠覆在线行为广告。 Harpo使用强化学习来自适应地交织使用虚假页面的真实页面访问，以扭曲跟踪器的用户浏览配置文件的视图。我们评估Harpo反对用于在线行为广告的现实世界用户分析和广告目标模型。结果表明，Harpo通过触发超过40％的不正确的兴趣和6倍的出价值来提高隐私。 Harpo优于现有的混淆工具，在相同的开销中多达16倍。 Harpo还能够实现比现有的混淆工具更好地对抗对抗性检测。 Harpo有意义地推进利用混淆来颠覆在线行为广告

背景信息：在过去几年中，机器学习（ML）一直是许多创新的核心。然而，包括在所谓的“安全关键”系统中，例如汽车或航空的系统已经被证明是非常具有挑战性的，因为ML的范式转变为ML带来完全改变传统认证方法。目的：本文旨在阐明与ML为基础的安全关键系统认证有关的挑战，以及文献中提出的解决方案，以解决它们，回答问题的问题如何证明基于机器学习的安全关键系统？'方法：我们开展2015年至2020年至2020年之间发布的研究论文的系统文献综述（SLR），涵盖了与ML系统认证有关的主题。总共确定了217篇论文涵盖了主题，被认为是ML认证的主要支柱：鲁棒性，不确定性，解释性，验证，安全强化学习和直接认证。我们分析了每个子场的主要趋势和问题，并提取了提取的论文的总结。结果：单反结果突出了社区对该主题的热情，以及在数据集和模型类型方面缺乏多样性。它还强调需要进一步发展学术界和行业之间的联系，以加深域名研究。最后，它还说明了必须在上面提到的主要支柱之间建立连接的必要性，这些主要柱主要主要研究。结论：我们强调了目前部署的努力，以实现ML基于ML的软件系统，并讨论了一些未来的研究方向。

越来越多的工作已经认识到利用机器学习（ML）进步的重要性，以满足提取访问控制属性，策略挖掘，策略验证，访问决策等有效自动化的需求。在这项工作中，我们调查和总结了各种ML解决不同访问控制问题的方法。我们提出了ML模型在访问控制域中应用的新分类学。我们重点介绍当前的局限性和公开挑战，例如缺乏公共现实世界数据集，基于ML的访问控制系统的管理，了解黑盒ML模型的决策等，并列举未来的研究方向。

本次调查绘制了用于分析社交媒体数据的生成方法的研究状态的广泛的全景照片（Sota）。它填补了空白，因为现有的调查文章在其范围内或被约会。我们包括两个重要方面，目前正在挖掘和建模社交媒体的重要性：动态和网络。社会动态对于了解影响影响或疾病的传播，友谊的形成，友谊的形成等，另一方面，可以捕获各种复杂关系，提供额外的洞察力和识别否则将不会被注意的重要模式。

我们为处理顺序决策和外在不确定性的应用程序开发了增强学习（RL）框架，例如资源分配和库存管理。在这些应用中，不确定性仅由于未来需求等外源变量所致。一种流行的方法是使用历史数据预测外源变量，然后对预测进行计划。但是，这种间接方法需要对外源过程进行高保真模型，以确保良好的下游决策，当外源性过程复杂时，这可能是不切实际的。在这项工作中，我们提出了一种基于事后观察学习的替代方法，该方法避开了对外源过程进行建模的建模。我们的主要见解是，与Sim2real RL不同，我们可以在历史数据中重新审视过去的决定，并在这些应用程序中对其他动作产生反事实后果。我们的框架将事后最佳的行动用作政策培训信号，并在决策绩效方面具有强大的理论保证。我们使用框架开发了一种算法，以分配计算资源，以用于现实世界中的Microsoft Azure工作负载。结果表明，我们的方法比域特异性的启发式方法和SIM2REAL RL基准学习更好的政策。

The International Workshop on Reading Music Systems (WoRMS) is a workshop that tries to connect researchers who develop systems for reading music, such as in the field of Optical Music Recognition, with other researchers and practitioners that could benefit from such systems, like librarians or musicologists. The relevant topics of interest for the workshop include, but are not limited to: Music reading systems; Optical music recognition; Datasets and performance evaluation; Image processing on music scores; Writer identification; Authoring, editing, storing and presentation systems for music scores; Multi-modal systems; Novel input-methods for music to produce written music; Web-based Music Information Retrieval services; Applications and projects; Use-cases related to written music. These are the proceedings of the 3rd International Workshop on Reading Music Systems, held in Alicante on the 23rd of July 2021.

Automatic fake news detection is a challenging problem in misinformation spreading, and it has tremendous real-world political and social impacts. Past studies have proposed machine learning-based methods for detecting such fake news, focusing on different properties of the published news articles, such as linguistic characteristics of the actual content, which however have limitations due to the apparent language barriers. Departing from such efforts, we propose FNDaaS, the first automatic, content-agnostic fake news detection method, that considers new and unstudied features such as network and structural characteristics per news website. This method can be enforced as-a-Service, either at the ISP-side for easier scalability and maintenance, or user-side for better end-user privacy. We demonstrate the efficacy of our method using data crawled from existing lists of 637 fake and 1183 real news websites, and by building and testing a proof of concept system that materializes our proposal. Our analysis of data collected from these websites shows that the vast majority of fake news domains are very young and appear to have lower time periods of an IP associated with their domain than real news ones. By conducting various experiments with machine learning classifiers, we demonstrate that FNDaaS can achieve an AUC score of up to 0.967 on past sites, and up to 77-92% accuracy on newly-flagged ones.

数字化和远程连接扩大了攻击面，使网络系统更脆弱。由于攻击者变得越来越复杂和资源丰富，仅仅依赖传统网络保护，如入侵检测，防火墙和加密，不足以保护网络系统。网络弹性提供了一种新的安全范式，可以使用弹性机制来补充保护不足。一种网络弹性机制（CRM）适应了已知的或零日威胁和实际威胁和不确定性，并对他们进行战略性地响应，以便在成功攻击时保持网络系统的关键功能。反馈架构在启用CRM的在线感应，推理和致动过程中发挥关键作用。强化学习（RL）是一个重要的工具，对网络弹性的反馈架构构成。它允许CRM提供有限或没有事先知识和攻击者的有限攻击的顺序响应。在这项工作中，我们审查了Cyber​​恢复力的RL的文献，并讨论了对三种主要类型的漏洞，即姿势有关，与信息相关的脆弱性的网络恢复力。我们介绍了三个CRM的应用领域：移动目标防御，防守网络欺骗和辅助人类安全技术。 RL算法也有漏洞。我们解释了RL的三个漏洞和目前的攻击模型，其中攻击者针对环境与代理商之间交换的信息：奖励，国家观察和行动命令。我们展示攻击者可以通过最低攻击努力来欺骗RL代理商学习邪恶的政策。最后，我们讨论了RL为基于RL的CRM的网络安全和恢复力和新兴应用的未来挑战。

移动通知系统在各种应用程序中起着重要作用，以通信，向用户发送警报和提醒，以告知他们有关新闻，事件或消息的信息。在本文中，我们将近实时的通知决策问题制定为马尔可夫决策过程，在该过程中，我们对奖励中的多个目标进行了优化。我们提出了一个端到端的离线增强学习框架，以优化顺序通知决策。我们使用基于保守的Q学习的双重Q网络方法来应对离线学习的挑战，从而减轻了分配转移问题和Q值高估。我们说明了完全部署的系统，并通过离线和在线实验证明了拟议方法的性能和好处。

互联网连接系统的指数增长产生了许多挑战，例如频谱短缺问题，需要有效的频谱共享（SS）解决方案。复杂和动态的SS系统可以接触不同的潜在安全性和隐私问题，需要保护机制是自适应，可靠和可扩展的。基于机器学习（ML）的方法经常提议解决这些问题。在本文中，我们对最近的基于ML的SS方法，最关键的安全问题和相应的防御机制提供了全面的调查。特别是，我们详细说明了用于提高SS通信系统的性能的最先进的方法，包括基于ML基于ML的基于的数据库辅助SS网络，ML基于基于的数据库辅助SS网络，包括基于ML的数据库辅助的SS网络，基于ML的LTE-U网络，基于ML的环境反向散射网络和其他基于ML的SS解决方案。我们还从物理层和基于ML算法的相应防御策略的安全问题，包括主要用户仿真（PUE）攻击，频谱感测数据伪造（SSDF）攻击，干扰攻击，窃听攻击和隐私问题。最后，还给出了对ML基于ML的开放挑战的广泛讨论。这种全面的审查旨在为探索新出现的ML的潜力提供越来越复杂的SS及其安全问题，提供基础和促进未来的研究。

网络钓鱼袭击在互联网上继续成为一个重大威胁。先前的研究表明，可以确定网站是否是网络钓鱼，也可以更仔细地分析其URL。基于URL的方法的一个主要优点是它即使在浏览器中呈现网页之前，它也可以识别网络钓鱼网站，从而避免了其他潜在问题，例如加密和驾驶下载。但是，传统的基于URL的方法有它们的局限性。基于黑名单的方法容易出现零小时网络钓鱼攻击，基于先进的机器学习方法消耗高资源，而其他方法将URL发送到远程服务器，损害用户的隐私。在本文中，我们提出了一个分层的防护防御，PhishMatch，这是强大，准确，廉价和客户端的。我们设计一种节省空间高效的AHO-Corasick算法，用于精确串联匹配和基于N-GRAM的索引技术，用于匹配的近似字符串，以检测网络钓鱼URL中的各种弧度标准技术。为了减少误报，我们使用全球白名单和个性化用户白名单。我们还确定访问URL的上下文并使用该信息更准确地对输入URL进行分类。 PhishMatch的最后一个组成部分涉及机器学习模型和受控搜索引擎查询以对URL进行分类。发现针对Chrome浏览器开发的PhishMatch的原型插件，是快速轻便的。我们的评价表明，PhishMatch既有效又有效。

背景：机器学习（ML）可以实现有效的自动测试生成。目的：我们表征了新兴研究，检查测试实践，研究人员目标，应用的ML技术，评估和挑战。方法：我们对97个出版物的样本进行系统文献综述。结果：ML生成系统，GUI，单位，性能和组合测试的输入或改善现有生成方法的性能。 ML还用于生成测试判决，基于属性的和预期的输出序列。经常基于神经网络和强化学习的监督学习通常是基于Q学习的 - 很普遍，并且某些出版物还采用了无监督或半监督的学习。使用传统的测试指标和与ML相关的指标（例如准确性）评估（半/非 - ）监督方法，而经常使用与奖励功能相关的测试指标来评估强化学习。结论：工作到尽头表现出巨大的希望，但是在培训数据，再探术，可伸缩性，评估复杂性，所采用的ML算法以及如何应用 - 基准和可复制性方面存在公开挑战。我们的发现可以作为该领域研究人员的路线图和灵感。

由于数据量增加，金融业的快速变化已经彻底改变了数据处理和数据分析的技术，并带来了新的理论和计算挑战。与古典随机控制理论和解决财务决策问题的其他分析方法相比，解决模型假设的财务决策问题，强化学习（RL）的新发展能够充分利用具有更少模型假设的大量财务数据并改善复杂的金融环境中的决策。该调查纸目的旨在审查最近的资金途径的发展和使用RL方法。我们介绍了马尔可夫决策过程，这是许多常用的RL方法的设置。然后引入各种算法，重点介绍不需要任何模型假设的基于价值和基于策略的方法。连接是用神经网络进行的，以扩展框架以包含深的RL算法。我们的调查通过讨论了这些RL算法在金融中各种决策问题中的应用，包括最佳执行，投资组合优化，期权定价和对冲，市场制作，智能订单路由和Robo-Awaring。

本文介绍了寻求信息（是）任务，概念和算法的信息重新分类。拟议的分类系统提供了新的维度，以研究寻求任务和方法的信息。新尺寸包括搜索迭代，搜索目标类型和程序的数量，以实现这些目标。寻求任务的信息沿着这些尺寸呼叫合适的计算解决方案的差异。然后，该文章评论了符合每个新类别的机器学习解决方案。该论文结束了对系统的评估活动进行了审查。

机器学习（ML）代表了当前和未来信息系统的关键技术，许多域已经利用了ML的功能。但是，网络安全中ML的部署仍处于早期阶段，揭示了研究和实践之间的显着差异。这种差异在当前的最新目的中具有其根本原因，该原因不允许识别ML在网络安全中的作用。除非广泛的受众理解其利弊，否则ML的全部潜力将永远不会释放。本文是对ML在整个网络安全领域中的作用的首次尝试 - 对任何对此主题感兴趣的潜在读者。我们强调了ML在人类驱动的检测方法方面的优势，以及ML在网络安全方面可以解决的其他任务。此外，我们阐明了影响网络安全部署实际ML部署的各种固有问题。最后，我们介绍了各种利益相关者如何为网络安全中ML的未来发展做出贡献，这对于该领域的进一步进步至关重要。我们的贡献补充了两项实际案例研究，这些案例研究描述了ML作为对网络威胁的辩护的工业应用。

事件处理是动态和响应互联网（物联网）的基石。该领域的最近方法基于代表性状态转移（REST）原则，其允许将事件处理任务放置在遵循相同原理的任何设备上。但是，任务应在边缘设备之间正确分布，以确保公平资源利用率和保证无缝执行。本文调查了深入学习的使用，以公平分配任务。提出了一种基于关注的神经网络模型，在不同场景下产生有效的负载平衡解决方案。所提出的模型基于变压器和指针网络架构，并通过Advantage演员批评批评学习算法训练。该模型旨在缩放到事件处理任务的数量和边缘设备的数量，不需要重新调整甚至再刷新。广泛的实验结果表明，拟议的模型在许多关键绩效指标中优于传统的启发式。通用设计和所获得的结果表明，所提出的模型可能适用于几个其他负载平衡问题变化，这使得该提案是由于其可扩展性和效率而在现实世界场景中使用的有吸引力的选择。

本文介绍了FLSYS的设计，实施和评估，一种支持移动应用的深度学习模型的移动云联合学习（FL）系统。 Flsys是创建使用这些模型的FL模型和应用程序开放生态系统的关键组件。 FLSYS旨在使用在智能手机上收集的移动感应数据，平衡模型性能，在手机上使用资源消耗，容忍手机通信故障，并在云中实现可扩展性。在FLSYS中，可以通过不同的应用程序培训云中具有不同流量的不同DL模型，并通过不同的应用程序同时访问和访问。此外，Flsys为第三方应用程序开发人员提供了培训FL模型的共同API。 flsys是在Android和AWS云中实现的。我们在野生FL模型中与人类活动识别（HAR）共同设计了FLSYS。在五个月的时间内，在100+大学生手机的两个地区收集了掌握数据。我们实施了Har-Wild，一种针对移动设备定制的CNN模型，具有数据增强机制，以减轻非独立和相同分布的（非IID）数据的问题，这些数据影响野外的流动模型训练。情绪分析（SA）模型用于演示FLSYS如何有效地支持并发模型，并且它使用446个用户的DataSet具有46,000多个推文。我们对Android手机和仿真器进行了广泛的实验，表明Flsys实现了良好的模型实用性和实际系统性能。

未来的互联网涉及几种新兴技术，例如5G和5G网络，车辆网络，无人机（UAV）网络和物联网（IOT）。此外，未来的互联网变得异质并分散了许多相关网络实体。每个实体可能需要做出本地决定，以在动态和不确定的网络环境下改善网络性能。最近使用标准学习算法，例如单药强化学习（RL）或深入强化学习（DRL），以使每个网络实体作为代理人通过与未知环境进行互动来自适应地学习最佳决策策略。但是，这种算法未能对网络实体之间的合作或竞争进行建模，而只是将其他实体视为可能导致非平稳性问题的环境的一部分。多机构增强学习（MARL）允许每个网络实体不仅观察环境，还可以观察其他实体的政策来学习其最佳政策。结果，MAL可以显着提高网络实体的学习效率，并且最近已用于解决新兴网络中的各种问题。在本文中，我们因此回顾了MAL在新兴网络中的应用。特别是，我们提供了MARL的教程，以及对MARL在下一代互联网中的应用进行全面调查。特别是，我们首先介绍单代机Agent RL和MARL。然后，我们回顾了MAL在未来互联网中解决新兴问题的许多应用程序。这些问题包括网络访问，传输电源控制，计算卸载，内容缓存，数据包路由，无人机网络的轨迹设计以及网络安全问题。

到目前为止，大多数关于推荐系统的研究专注于通过促进相关和个性化内容维持长期用户参与和满足感。但是，评估这种内容的质量和可靠性仍然非常具有挑战性。在本文中，我们提出了FEBR（基于专家的建议框架），是评估在线平台上建议内容的质量的学徒学习框架。该框架在推荐评估环境中挖掘专家（假设可靠）的演示轨迹，以恢复未知的实用程序功能。此功能用于学习描述专家行为的最佳策略，然后在框架中使用，以提供高质量和个性化的建议。我们通过用户兴趣模拟环境（使用RECSIM）评估我们的解决方案的性能。我们模拟了上述专家政策下的互动，以进行视频推荐，并将其效率与标准推荐方法进行比较。结果表明，我们的方法在内容质量方面提供了显着的收益，由专家评估并由用户观察，同时保持与基线方法几乎相同的表格。

本文使用机器学习方法对建模用户行为进行建模的开放精算数学问题，以预测非寿命保险产品的购买意图。一家公司了解用户与其网站的互动是有价值的，因为它为消费者行为提供了丰富和个性化的洞察力。用户行为建模的大多数现有研究旨在解释或预测搜索引擎结果页面或在赞助搜索中估计点击率。这些模型基于关于网页的用户检测模式的概念和网页的项目表示。调查建模用户行为以预测商业网站的购买意图的问题，我们观察到用户的意图会产生高依赖，对用户如何在用户访问的不同网页的方式导航网站，什么样的网页用户互动，用户在每个网页上花了多少时间。灵感来自这些发现，我们提出了两种不同的方式代表用户会话的特征，导致了基于用户点击的购买预测的两个模型：一个基于馈送前向神经网络，另一个基于经常性神经网络。我们通过使用用户的人口统计特征将上述两种模型与模型进行比较，检查用户点击用户点击的歧视以预测购买意图。我们的实验结果表明，根据标准分类评估指标，我们的点击基础模型显着优于人口统计模型，并且基于用户点击的顺序表示的模型比基于点击特征工程的模型产生略大的性能。