从传统流动性到电气性的过渡在很大程度上取决于为基础设施的可用性和最佳放置。本文研究了城市地区充电站的最佳位置。我们最大程度地提高了该区域的充电基础设施供应，并在设定预算限制的同时最大程度地减少等待，旅行和充电时间。此外，我们还包括在家中收取车辆的可能性，以更加精致地估计整个城市地区的实际充电需求。我们将充电站问题的放置作为非线性整数优化问题，该问题寻求充电站的最佳位置和不同充电类型的充电堆数量。我们设计了一种新颖的深钢筋学习方法来解决充电站放置问题（PCRL）。与五个基线相比，对现实世界数据集的广泛实验表明，PCRL如何减少等待时间和旅行时间，同时增加收费计划的好处。与现有的基础设施相比，我们可以将等待时间最多减少97％，并将收益提高到497％。

共享的电子移动服务已被广泛测试和在全球城市中驾驶，并且已经编织成现代城市规划的结构。本文研究了这些系统中的实用而重要的问题：如何在空间和时间跨空间和时间部署和管理其基础架构，以便在可持续的盈利能力的同时对用户无处不在。然而，在现实世界的系统中，评估不同部署策略的性能，然后找到最佳计划是非常昂贵的，因为它通常是不可行的，可以对试用和错误进行许多迭代。我们通过设计高保真仿真环境来解决这一目标，该环境摘要在细粒度下共享电子移动系统的关键操作细节，并使用从现实世界中收集的数据进行校准。这使我们能够尝试任意部署计划来学习在实际在实际系统中实施任何内容之前的特定上下文。特别是，我们提出了一种新的多代理神经检索方法，其中我们设计了一个分层控制器以产生暂定部署计划。然后使用多模拟范例，即并行评估的生成的部署计划进行测试，其中结果用于用深增强学习训练控制器。通过这种闭环，控制器可以被引导以在将来的迭代中产生更好的部署计划的概率。在我们的仿真环境中，已经广泛评估了所提出的方法，实验结果表明它优于基于基于基于基于的基于基于基于的启发式的服务覆盖范围和净收入的方法。

乘客和货物交付的可行性服务服务的无处不在的增长在运输系统领域内带来了各种挑战和机遇。因此，正在开发智能运输系统以最大限度地提高运营盈利能力，用户的便利性和环境可持续性。与riveShiening的最后一次交付的增长呼吁进行高效且凝聚力的系统，运输乘客和货物。现有方法使用静态路由方法来解决考虑到请求的需求和在路线规划期间车辆之间的货物转移。在本文中，我们为合并的商品和乘客运输提供了一种动态和需求意识的舰队管理框架，该乘客运输能够通过允许司机谈判到相互合适的价格中的决策过程中的乘客和司机。乘客接受/拒绝，（2）货物与车辆的匹配，以及货物的多跳转移，（3）基于该插入成本，在沿着它们的途径来动态地为每个车辆提供最佳路线，从而确定匹配的插入成本（4）使用深度加强学习（RL），（5）允许在每个车辆的分布推断，同时共同优化舰队目标，向预期的高乘客和商品需求调度怠速车辆。我们所提出的模型可在每个车辆内独立部署，因为这最大限度地减少了与分布式系统的增长相关的计算成本，并将其民主化决策对每个人进行决策。与各种车辆类型，商品和乘客效用的仿真表明，与不考虑联合负载运输或动态多跳路线规划的其他方法相比，我们的方法的有效性。

在带有电动车队的乘车系统中，充电是一个复杂的决策过程。大多数电动汽车（EV）出租车服务要求驾驶员做出利己主义决定，从而导致分散的临时充电策略。车辆之间通常缺乏或不共享移动性系统的当前状态，因此无法做出最佳的决定。大多数现有方法都不将时间，位置和持续时间结合到全面的控制算法中，也不适合实时操作。因此，我们提出了一种实时预测性充电方法，用于使用一个名为“闲置时间开发（ITX）”的单个操作员进行乘车服务，该方法预测了车辆闲置并利用这些时期来收获能量的时期。它依靠图形卷积网络和线性分配算法来设计最佳的车辆和充电站配对，以最大程度地提高利用的空闲时间。我们通过对纽约市现实世界数据集的广泛模拟研究评估了我们的方法。结果表明，就货币奖励功能而言，ITX的表现优于所有基线方法至少提高5％（相当于6,000个车辆操作的$ 70,000），该奖励奖励功能的建模旨在复制现实世界中乘车系统的盈利能力。此外，与基线方法相比，ITX可以将延迟至少减少4.68％，并且通常通过促进顾客在整个车队中更好地传播乘客的舒适度。我们的结果还表明，ITX使车辆能够在白天收获能量，稳定电池水平，并增加需求意外激增的弹性。最后，与表现最佳的基线策略相比，峰值负载减少了17.39％，这使网格操作员受益，并为更可持续的电网使用铺平了道路。

The electrification of shared mobility has become popular across the globe. Many cities have their new shared e-mobility systems deployed, with continuously expanding coverage from central areas to the city edges. A key challenge in the operation of these systems is fleet rebalancing, i.e., how EVs should be repositioned to better satisfy future demand. This is particularly challenging in the context of expanding systems, because i) the range of the EVs is limited while charging time is typically long, which constrain the viable rebalancing operations; and ii) the EV stations in the system are dynamically changing, i.e., the legitimate targets for rebalancing operations can vary over time. We tackle these challenges by first investigating rich sets of data collected from a real-world shared e-mobility system for one year, analyzing the operation model, usage patterns and expansion dynamics of this new mobility mode. With the learned knowledge we design a high-fidelity simulator, which is able to abstract key operation details of EV sharing at fine granularity. Then we model the rebalancing task for shared e-mobility systems under continuous expansion as a Multi-Agent Reinforcement Learning (MARL) problem, which directly takes the range and charging properties of the EVs into account. We further propose a novel policy optimization approach with action cascading, which is able to cope with the expansion dynamics and solve the formulated MARL. We evaluate the proposed approach extensively, and experimental results show that our approach outperforms the state-of-the-art, offering significant performance gain in both satisfied demand and net revenue.

充电站在开发充电基础设施的区域中的放置是电动汽车未来成功（EV）的关键组成部分。在纽约的奥尔巴尼县，EV人口的预期增加需要额外的充电站，以在整个充电基础设施中保持足够的效率。鉴于预测的充电需求和当前的充电位置，增强学习（RL）的新型应用程序（RL）能够找到新的充电站的最佳位置。影响收费需求预测的最重要因素包括交通密度，EV登记和靠近某些类型的公共建筑。建议的RL框架可以完善并应用于世界各地的城市，以优化充电站的放置。

物流运营商最近提出了一项技术，可以帮助降低城市货运分销中的交通拥堵和运营成本，最近提出了移动包裹储物柜（MPLS）。鉴于他们能够在整个部署领域搬迁，因此他们具有提高客户可访问性和便利性的潜力。在这项研究中，我们制定了移动包裹储物柜问题（MPLP），这是位置路由问题（LRP）的特殊情况，该案例确定了整天MPL的最佳中途停留位置以及计划相应的交付路线。开发了基于混合Q学习网络的方法（HQM），以解决所得大问题实例的计算复杂性，同时逃脱了本地Optima。此外，HQM与全球和局部搜索机制集成在一起，以解决经典强化学习（RL）方法所面临的探索和剥削困境。我们检查了HQM在不同问题大小（最多200个节点）下的性能，并根据遗传算法（GA）进行了基准测试。我们的结果表明，HQM获得的平均奖励比GA高1.96倍，这表明HQM具有更好的优化能力。最后，我们确定有助于车队规模要求，旅行距离和服务延迟的关键因素。我们的发现概述了MPL的效率主要取决于时间窗口的长度和MPL中断的部署。

在本文中，我们介绍了有关典型乘车共享系统中决策优化问题的强化学习方法的全面，深入的调查。涵盖了有关乘车匹配，车辆重新定位，乘车，路由和动态定价主题的论文。在过去的几年中，大多数文献都出现了，并且要继续解决一些核心挑战：模型复杂性，代理协调和多个杠杆的联合优化。因此，我们还引入了流行的数据集和开放式仿真环境，以促进进一步的研发。随后，我们讨论了有关该重要领域的强化学习研究的许多挑战和机会。

“轨迹”是指由地理空间中的移动物体产生的迹线，通常由一系列按时间顺序排列的点表示，其中每个点由地理空间坐标集和时间戳组成。位置感应和无线通信技术的快速进步使我们能够收集和存储大量的轨迹数据。因此，许多研究人员使用轨迹数据来分析各种移动物体的移动性。在本文中，我们专注于“城市车辆轨迹”，这是指城市交通网络中车辆的轨迹，我们专注于“城市车辆轨迹分析”。城市车辆轨迹分析提供了前所未有的机会，可以了解城市交通网络中的车辆运动模式，包括以用户为中心的旅行经验和系统范围的时空模式。城市车辆轨迹数据的时空特征在结构上相互关联，因此，许多先前的研究人员使用了各种方法来理解这种结构。特别是，由于其强大的函数近似和特征表示能力，深度学习模型是由于许多研究人员的注意。因此，本文的目的是开发基于深度学习的城市车辆轨迹分析模型，以更好地了解城市交通网络的移动模式。特别是，本文重点介绍了两项研究主题，具有很高的必要性，重要性和适用性：下一个位置预测，以及合成轨迹生成。在这项研究中，我们向城市车辆轨迹分析提供了各种新型模型，使用深度学习。

Smart City applications, such as traffic monitoring and disaster response, often use swarms of intelligent and cooperative drones to efficiently collect sensor data over different areas of interest and time spans. However, when the required sensing becomes spatio-temporally large and varying, a collective arrangement of sensing tasks to a large number of battery-restricted and distributed drones is challenging. To address this problem, we introduce a scalable and energy-aware model for planning and coordination of spatio-temporal sensing. The coordination model is built upon a decentralized multi-agent collective learning algorithm (EPOS) to ensure scalability, resilience, and flexibility that existing approaches lack of. Experimental results illustrate the outstanding performance of the proposed method compared to state-of-the-art methods. Analytical results contribute a deeper understanding of how coordinated mobility of drones influences sensing performance. This novel coordination solution is applied to traffic monitoring using real-world data to demonstrate a $46.45\%$ more accurate and $2.88\%$ more efficient detection of vehicles as the number of drones become a scarce resource.

在过去的几十年中，经典的车辆路由问题（VRP），即为车辆分配一组订单并规划他们的路线已经被密集研究。仅作为车辆的订单分配和他们的路线已经是一个NP完整的问题，因此在实践中的应用通常无法考虑在现实世界应用中应用的约束和限制，所谓的富VRP所谓的富VRP（RVRP）并且仅限于单一方面。在这项工作中，我们融入了主要的相关真实限制和要求。我们提出了一种两级策略和时间线窗口和暂停时间的时间线算法，并将遗传算法（GA）和蚁群优化（ACO）单独应用于问题以找到最佳解决方案。我们对四种不同问题实例的评估，针对四个最先进的算法表明，我们的方法在合理的时间内处理所有给定的约束。

非法车辆停车是世界上主要城市面临的常见城市问题，因为它导致空气污染和交通事故。政府高度依赖于积极的人类努力，以检测非法停车活动。然而，这种方法对于覆盖一个大城市来说，这一方法非常无效，因为警方必须巡逻整个城市道路。 Mobikike的大规模和高质量的共享自行车轨迹为我们提供了一个独特的机会，可以设计无处不在的非法停车检测方法，因为大多数非法停车处发生在路边，对自行车用户产生重大影响。检测结果可以指导巡逻计划，即将巡逻警察发送到具有更高的非法停车风险的地区，进一步提高巡逻效率。灵感来自这个想法，在建议的框架中采用了三个主要组件：1）〜{\ em轨迹预处理}，它过滤了异常GPS点，执行Map-匹配，并构建轨迹索引; 2）〜{\ em非法停车检测}，模拟正常轨迹，从评估轨迹提取特征，并利用基于试验的方法来发现非法停车事件; 3）〜{\ em巡逻计划}，它利用检测结果作为参考上下文，并将调度任务作为一种多智能体增强学习问题来指导巡逻警察。最后，提出了广泛的实验以验证非法停车检测的有效性，以及巡逻效率的提高。

电动汽车快速采用（EVS）要求广泛安装EV充电站。为了最大限度地提高充电站的盈利能力，提供充电和电网服务的智能控制器实际上很需要。然而，由于不确定的到达时间和EVS的充电需求，确定最佳充电时间表具有挑战性。在本文中，我们提出了一种新的集中分配和分散执行（CADE）强化学习（RL）框架，以最大限度地提高收费站的利润。在集中分配过程中，EVS被分配给等待或充电点。在分散的执行过程中，每个充电器都在学习来自共享重放内存的动作值函数的同时使其自己的充电/放电决定。该CADE框架显着提高了RL算法的可扩展性和采样效率。数值结果表明，所提出的CADE框架既有计算高效且可扩展，显着优于基线模型预测控制（MPC）。我们还提供了对学习的动作值的深入分析，以解释加强学习代理的内部工作。

The concept of walkable urban development has gained increased attention due to its public health, economic, and environmental sustainability benefits. Unfortunately, land zoning and historic under-investment have resulted in spatial inequality in walkability and social inequality among residents. We tackle the problem of Walkability Optimization through the lens of combinatorial optimization. The task is to select locations in which additional amenities (e.g., grocery stores, schools, restaurants) can be allocated to improve resident access via walking while taking into account existing amenities and providing multiple options (e.g., for restaurants). To this end, we derive Mixed-Integer Linear Programming (MILP) and Constraint Programming (CP) models. Moreover, we show that the problem's objective function is submodular in special cases, which motivates an efficient greedy heuristic. We conduct a case study on 31 underserved neighborhoods in the City of Toronto, Canada. MILP finds the best solutions in most scenarios but does not scale well with network size. The greedy algorithm scales well and finds near-optimal solutions. Our empirical evaluation shows that neighbourhoods with low walkability have a great potential for transformation into pedestrian-friendly neighbourhoods by strategically placing new amenities. Allocating 3 additional grocery stores, schools, and restaurants can improve the "WalkScore" by more than 50 points (on a scale of 100) for 4 neighbourhoods and reduce the walking distances to amenities for 75% of all residential locations to 10 minutes for all amenity types. Our code and paper appendix are available at https://github.com/khalil-research/walkability.

本文通过组合有限的交通量和车辆轨迹数据来解决估计道路网络中链接流的问题。虽然循环检测器的流量量数据是链路流估计的常见数据源，但检测器仅涵盖链接的子集。如今，还合并了从车辆跟踪传感器收集的车辆轨迹数据。然而，轨迹数据通常很少，因为观察到的轨迹仅代表整个种群的一小部分，其中确切的采样率未知，并且可能在时空和时间上有所不同。这项研究提出了一个新颖的生成建模框架，在其中我们使用马尔可夫决策过程框架制定了车辆的链接到连接运动作为顺序决策问题，并训练代理商做出顺序决策以生成逼真的合成车辆轨迹。我们使用加强学习（RL）的方法来找到代理的最佳行为，基于哪些合成人口车辆轨迹可以生成以估算整个网络中的连接流。为了确保生成的人口车辆轨迹与观察到的交通量和轨迹数据一致，提出了两种基于逆强化学习和约束强化学习的方法。通过解决真实的道路网络中的链路流估计问题，通过这些基于RL的方法中的任何一个求解的提出的生成建模框架都可以验证。此外，我们执行全面的实验，以将性能与两种现有方法进行比较。结果表明，在现实情况下，提出的框架具有较高的估计准确性和鲁棒性，在现实情况下，未满足有关驾驶员的某些行为假设或轨迹数据的网络覆盖范围和渗透率较低。

对同日发货（SDD）的需求在过去几年中迅速增加，并在Covid-19大流行期间特别蓬勃发展。快速增长并非没有挑战。 2016年，由于较低的成员资格和距离仓库的距离远远，某些少数民族社区被排除在接受亚马逊的SDD服务之外，提高了对公平的担忧。在本文中，我们研究了向客户提供公平的SDD服务的问题。服务区域被分成不同的区域。在一天中，客户请求SDD服务以及请求和交付位置的时机未提前知道。调度员动态分配车辆，以便在交付截止日期前将交付给予接受客户。除整体服务率（实用程序）外，我们还最大限度地提高了所有地区的最小区域服务率（公平性）。我们将问题模拟为多目标马尔可夫决策过程，并开发深度Q学习解决方案方法。我们介绍了从税率到实际服务的新颖改造，从而创造了一个稳定和有效的学习过程。计算结果证明了我们对在不同客户地理位置中的空间和时间内的不公平性的方法的有效性。我们还表明，这种有效性有效地与不同的仓库位置有效，提供业务，其中有机会从任何位置实现更好的公平性。此外，我们考虑忽略公平性在服务中的影响，结果表明，当客户对服务水平的期望很高时，我们的政策最终越优越。

线覆盖范围的问题是找到有效的路由，以通过一个或多个资源约束的机器人覆盖线性特征。线性具有模型环境，例如道路网络，电力线以及石油和天然气管道。我们为机器人定义了两种旅行模式：维修和陷入困境。机器人服务功能如果它执行特定于任务的操作，例如拍摄图像，则它可以遍历该功能；否则，它是无人机的。穿越环境会产生成本（例如旅行时间）和对资源的需求（例如电池寿命）。维修和无人机的成本和需求功能可能具有不同的成本和需求功能，我们进一步允许它们取决于方向。我们将环境建模为图形，并提供整数线性程序。由于问题是NP-HARD，因此我们开发了一种快速有效的启发式算法，即合并 - 默认混合物（MEM）。该算法的建设性属性使得为大图求解了多depot版本。我们进一步扩展了MEM算法，以处理转弯成本和非语言限制。我们在50个道路网络的数据集上对算法进行基准测试，并在道路网络上使用空中机器人进行了实验中的算法。

本文介绍了相关的弧定向问题（CAOP），其中的任务是找到机器人团队的路线，以最大程度地收集与环境中功能相关的奖励的收集。这些功能可以是一维或环境中的点，并且可以具有空间相关性，即访问环境中的功能可能会提供与相关功能相关的奖励的一部分。机器人在环境环境时会产生成本，并且路线的总成本受到资源限制（例如电池寿命或操作时间）的限制。由于环境通常很大，我们允许多个仓库在机器人必须启动和结束路线的地方。 CAOP概括了相关的定向问题（COP），其中奖励仅与点特征相关联以及ARC定向启动问题（AOP），其中奖励与无空间相关。我们制定了一个混合整数二次程序（MIQP），该程序正式化了问题并提供最佳的解决方案。但是，这个问题是NP-HARD，因此我们开发了一种有效的贪婪的建设性算法。我们用两种不同的应用说明了问题：甲烷气体泄漏检测和道路网络覆盖范围的信息路径计划。

Autonomous vehicles are suited for continuous area patrolling problems. However, finding an optimal patrolling strategy can be challenging for many reasons. Firstly, patrolling environments are often complex and can include unknown and evolving environmental factors. Secondly, autonomous vehicles can have failures or hardware constraints such as limited battery lives. Importantly, patrolling large areas often requires multiple agents that need to collectively coordinate their actions. In this work, we consider these limitations and propose an approach based on a distributed, model-free deep reinforcement learning based multi-agent patrolling strategy. In this approach, agents make decisions locally based on their own environmental observations and on shared information. In addition, agents are trained to automatically recharge themselves when required to support continuous collective patrolling. A homogeneous multi-agent architecture is proposed, where all patrolling agents have an identical policy. This architecture provides a robust patrolling system that can tolerate agent failures and allow supplementary agents to be added to replace failed agents or to increase the overall patrol performance. This performance is validated through experiments from multiple perspectives, including the overall patrol performance, the efficiency of the battery recharging strategy, the overall robustness of the system, and the agents' ability to adapt to environment dynamics.

一个精心设计的警察巡逻路线设计对于在社会中提供社区安全和安全性至关重要。以前的作品主要专注于预测犯罪事件与历史犯罪数据。从基于位置的社交网络或签到和兴趣点（POI）数据的使用基本上地利用了用于设计有效警察巡逻的景点和景点的大规模移动数据。鉴于在现实情况下有多个警察在职，这使得解决问题更加复杂。在本文中，我们使用核对，犯罪，事件响应数据和POI信息制定多个警察的动态犯罪巡逻计划。我们提出了一个联合学习和非随机优化方法，了解可能的解决方案，其中多个警察同时巡逻高犯罪风险地区，而不是低犯罪风险领域。后来，实现了元启发式遗传算法（GA）和Cuckoo搜索（CS）以查找最佳路由。验证了所提出的解决方案的性能，并将使用现实世界数据集与几种最先进的方法进行了验证。