在这项工作中，我们利用量子深的增强学习作为方法，以在三个模拟的复杂性的模拟环境中为简单的，轮式机器人学习导航任务。我们显示了与经典基线相比，在混合量子古典设置中训练有良好建立的深钢筋学习技术的参数化量子电路的相似性能。据我们所知，这是用于机器人行为的量子机学习（QML）的首次演示。因此，我们将机器人技术建立为QML算法的可行研究领域，此后量子计算和量子机学习是自治机器人技术未来进步的潜在技术。除此之外，我们讨论了当前的方法的限制以及自动机器人量子机学习领域的未来研究方向。

Deep Reinforcement Learning is emerging as a promising approach for the continuous control task of robotic arm movement. However, the challenges of learning robust and versatile control capabilities are still far from being resolved for real-world applications, mainly because of two common issues of this learning paradigm: the exploration strategy and the slow learning speed, sometimes known as "the curse of dimensionality". This work aims at exploring and assessing the advantages of the application of Quantum Computing to one of the state-of-art Reinforcement Learning techniques for continuous control - namely Soft Actor-Critic. Specifically, the performance of a Variational Quantum Soft Actor-Critic on the movement of a virtual robotic arm has been investigated by means of digital simulations of quantum circuits. A quantum advantage over the classical algorithm has been found in terms of a significant decrease in the amount of required parameters for satisfactory model training, paving the way for further promising developments.

在过去的十年中，深入的强化学习（RL）已经取得了长足的进步。同时，最先进的RL算法在培训时间融合方面需要大量的计算预算。最近的工作已经开始通过量子计算的角度来解决这个问题，这有望为几项传统上的艰巨任务做出理论上的速度。在这项工作中，我们研究了一类混合量子古典RL算法，我们共同称为变异量子Q-NETWORKS（VQ-DQN）。我们表明，VQ-DQN方法受到导致学习政策分歧的不稳定性的约束，研究了基于经典模拟的既定结果的重复性，并执行系统的实验以识别观察到的不稳定性的潜在解释。此外，与大多数现有的量子增强学习中现有工作相反，我们在实际量子处理单元（IBM量子设备）上执行RL算法，并研究模拟和物理量子系统之间因实施不足而进行的行为差异。我们的实验表明，与文献中相反的主张相反，与经典方法相比，即使在没有物理缺陷的情况下进行模拟，也不能最终决定是否已知量子方法，也可以提供优势。最后，我们提供了VQ-DQN作为可再现的测试床的强大，通用且经过充分测试的实现，以实现未来的实验。

量子机学习（QML）被认为是近术语量子设备最有前途的应用之一。然而，量子机器学习模型的优化呈现出众多挑战，从硬件的缺陷和导航指数上缩放的希尔伯特空间中的缺陷产生了巨大的挑战。在这项工作中，我们评估了深度增强学习中的当代方法的潜力，以增加量子变分电路中的增强基于梯度的优化例程。我们发现强化学习增强了优化器，始终突出噪声环境中的渐变血统。所有代码和备用重量都可用于复制结果或在https://github.com/lockwo/rl_qvc_opt上部署模型。

量子计算的最新进展已显示出许多问题领域的有希望的计算优势。作为越来越关注的领域之一，混合量子古典机器学习系统已经证明了解决各种数据驱动的学习任务的能力。最近的作品表明，参数化的量子电路（PQC）可用于以可证明的学习优势来解决具有挑战性的强化学习（RL）任务。尽管现有的作品产生了基于PQC的方法的潜力，但PQC体系结构的设计选择及其对学习任务的影响通常没有得到充实。在这项工作中，我们介绍了基于PQC的模型EQAS-PQC，这是一种进化的量子体系结构搜索框架，该模型使用基于人群的遗传算法来通过探索量子操作的搜索空间来发展PQC体系结构。实验结果表明，我们的方法可以显着改善混合量子古典模型在解决基准增强问题方面的性能。我们还对量子操作的概率分布进行建模，以表现出色的体系结构，以识别对性能至关重要的基本设计选择。

Quantum Computing在古典计算机上解决困难的计算任务的显着改进承诺。然而，为实际使用设计量子电路不是琐碎的目标，并且需要专家级知识。为了帮助这一努力，提出了一种基于机器学习的方法来构建量子电路架构。以前的作品已经证明，经典的深度加强学习（DRL）算法可以成功构建量子电路架构而没有编码的物理知识。但是，这些基于DRL的作品不完全在更换设备噪声中的设置，从而需要大量的培训资源来保持RL模型最新。考虑到这一点，我们持续学习，以提高算法的性能。在本文中，我们介绍了深度Q-Learning（PPR-DQL）框架的概率策略重用来解决这个电路设计挑战。通过通过各种噪声模式进行数值模拟，我们证明了具有PPR的RL代理能够找到量子栅极序列，以比从划痕训练的代理更快地生成双量标铃声状态。所提出的框架是一般的，可以应用于其他量子栅极合成或控制问题 - 包括量子器件的自动校准。

近年来，机器学习的巨大进步已经开始对许多科学和技术的许多领域产生重大影响。在本文的文章中，我们探讨了量子技术如何从这项革命中受益。我们在说明性示例中展示了过去几年的科学家如何开始使用机器学习和更广泛的人工智能方法来分析量子测量，估计量子设备的参数，发现新的量子实验设置，协议和反馈策略，以及反馈策略，以及通常改善量子计算，量子通信和量子模拟的各个方面。我们重点介绍了公开挑战和未来的可能性，并在未来十年的一些投机愿景下得出结论。

Hybrid quantum-classical systems make it possible to utilize existing quantum computers to their fullest extent. Within this framework, parameterized quantum circuits can be regarded as machine learning models with remarkable expressive power. This Review presents the components of these models and discusses their application to a variety of data-driven tasks, such as supervised learning and generative modeling. With an increasing number of experimental demonstrations carried out on actual quantum hardware and with software being actively developed, this rapidly growing field is poised to have a broad spectrum of real-world applications.

Quantum computing (QC) promises significant advantages on certain hard computational tasks over classical computers. However, current quantum hardware, also known as noisy intermediate-scale quantum computers (NISQ), are still unable to carry out computations faithfully mainly because of the lack of quantum error correction (QEC) capability. A significant amount of theoretical studies have provided various types of QEC codes; one of the notable topological codes is the surface code, and its features, such as the requirement of only nearest-neighboring two-qubit control gates and a large error threshold, make it a leading candidate for scalable quantum computation. Recent developments of machine learning (ML)-based techniques especially the reinforcement learning (RL) methods have been applied to the decoding problem and have already made certain progress. Nevertheless, the device noise pattern may change over time, making trained decoder models ineffective. In this paper, we propose a continual reinforcement learning method to address these decoding challenges. Specifically, we implement double deep Q-learning with probabilistic policy reuse (DDQN-PPR) model to learn surface code decoding strategies for quantum environments with varying noise patterns. Through numerical simulations, we show that the proposed DDQN-PPR model can significantly reduce the computational complexity. Moreover, increasing the number of trained policies can further improve the agent's performance. Our results open a way to build more capable RL agents which can leverage previously gained knowledge to tackle QEC challenges.

量子计算在解决特定问题方面具有优异的优势，例如整数分解和Simon的问题。对于机器学习中的更多一般任务，通过应用变分量子电路，最近已经提出了越来越多的量子算法，特别是在监督学习和无监督的学习中。但是，在加固学习中已经完成了一点工作，可以说是更重要和挑战性的。以前的Quantum加固学习的工作主要集中在行动空间是离散的离散控制任务。在这项工作中，我们开发了一种基于软演员 - 评论家的量子强化学习算法 - 用于连续控制的最先进方法之一。具体地，我们使用由变形量子电路和经典人工神经网络组成的混合量子级策略网络。在标准强化学习基准测试中测试，我们认为这种Quantum版本的软演员 - 评论家与原始的软演员 - 评论家相当，使用远不可调节的参数。此外，我们分析了不同超参数和策略网络架构的影响，指出了量子增强学习的建筑设计的重要性。

For a large number of tasks, quantum computing demonstrates the potential for exponential acceleration over classical computing. In the NISQ era, variable-component subcircuits enable applications of quantum computing. To reduce the inherent noise and qubit size limitations of quantum computers, existing research has improved the accuracy and efficiency of Variational Quantum Algorithm (VQA). In this paper, we explore the various ansatz improvement methods for VQAs at the gate level and pulse level, and classify, evaluate and summarize them.

Powerful hardware services and software libraries are vital tools for quickly and affordably designing, testing, and executing quantum algorithms. A robust large-scale study of how the performance of these platforms scales with the number of qubits is key to providing quantum solutions to challenging industry problems. Such an evaluation is difficult owing to the availability and price of physical quantum processing units. This work benchmarks the runtime and accuracy for a representative sample of specialized high-performance simulated and physical quantum processing units. Results show the QMware cloud computing service can reduce the runtime for executing a quantum circuit by up to 78% compared to the next fastest option for algorithms with fewer than 27 qubits. The AWS SV1 simulator offers a runtime advantage for larger circuits, up to the maximum 34 qubits available with SV1. Beyond this limit, QMware provides the ability to execute circuits as large as 40 qubits. Physical quantum devices, such as Rigetti's Aspen-M2, can provide an exponential runtime advantage for circuits with more than 30. However, the high financial cost of physical quantum processing units presents a serious barrier to practical use. Moreover, of the four quantum devices tested, only IonQ's Harmony achieves high fidelity with more than four qubits. This study paves the way to understanding the optimal combination of available software and hardware for executing practical quantum algorithms.

对机器学习模型训练的栅极基量子电路的发展越来越兴趣。然而，关于电路设计的参数，噪声和其他测量误差对量子机器学习模型性能的影响很少。在本文中，我们探讨了使用多个标准机器学习数据集和IBM的Qiskit模拟器的关键电路设计参数（Qubits，Deposit等）的实际意义。总的来，我们评估超过6500个独特电路，以$ n \约120700美元。我们发现，一般浅（低深度）宽（更多Qubits）电路拓扑倾向于在没有噪声的情况下更优于更深的内容。我们还探讨了不同噪声概念的影响和影响，并讨论了对分类机学习任务的噪声更多/较低的电路拓扑。基于该研究结果，我们定义了使用基于门的NISQ量子计算机来实现近期承诺的电路拓扑指南。

量子计算是使用量子力学执行计算的过程。该领域研究某些亚杀菌粒子的量子行为，以便随后在执行计算，以及大规模信息处理中使用。这些能力可以在计算时间和经典计算机上的成本方面提供量子计算机的优势。如今，由于计算复杂性或计算所需的时间，具有科学挑战，这是由于古典计算而无法执行，并且量子计算是可能的答案之一。然而，电流量子器件尚未实现必要的QUBITS，并且没有足够的容错才能实现这些目标。尽管如此，还有其他领域，如机器学习或化学，其中量子计算对电流量子器件有用。本手稿旨在展示2017年和2021年之间发布的论文的系统文献综述，以确定，分析和分类量子机器学习和其应用中使用的不同算法。因此，该研究确定了使用量子机器学习技术和算法的52篇文章。发现算法的主要类型是经典机器学习算法的量子实现，例如支持向量机或K最近邻模型，以及古典的深度学习算法，如量子神经网络。许多文章试图解决目前通过古典机器学习回答的问题，但使用量子设备和算法。即使结果很有希望，量子机器学习也远未实现其全部潜力。由于现有量子计算机缺乏足够的质量，速度和比例以允许量子计算来实现其全部潜力，因此需要提高量子硬件。

Quantum Machine Learning（QML）提供了一种强大的灵活的范式，可用于编程近期量子计算机，具有化学，计量，材料科学，数据科学和数学的应用。这里，一个以参数化量子电路的形式训练ANSATZ，以实现感兴趣的任务。然而，最近出现了挑战表明，由于随机性或硬件噪声引起的平坦训练景观，因此难以训练深度尖锐钽。这激励了我们的工作，在那里我们提出了一种可变的结构方法来构建QML的Ansatzes。我们的方法称为VANS（可变ANSATZ），将一组规则应用于在优化期间以知识的方式在增长和（至关重要的）中删除量子门。因此，VANS非常适合通过保持ANSATZ浅扫描来缓解训练性和与噪声相关的问题。我们在变分量子Eigensolver中使用Vans进行冷凝物质和量子化学应用，并且还在量子自身化学器中进行数据压缩，显示所有情况的成功结果。

随着受限制的量子计算机逐渐成为现实，寻找有意义的第一应用程序会加剧。在该领域中，较为研究的方法之一是使用一种特殊类型的量子电路（一种所谓的量子神经网络）作为机器学习模型的基础。顾名思义，粗略地说，量子神经网络可以与神经网络发挥相似的作用。但是，专门针对机器学习环境中的应用，对合适的电路体系结构或模型超参数的了解知之甚少。在这项工作中，我们将功能性方差分析框架应用于量子神经网络，以分析哪些超参数对其预测性能最大。我们分析了最常用的量子神经网络架构之一。然后，我们将其应用于OpenML-CC18分类基准中的$ 7 $开源数据集，其功能的数量足够小，足以适合量子硬件，少于$ 20 $ QUBITS。从功能方差分析获得的超参数的排名中检测到了三个主要重要性。我们的实验都证实了预期的模式，并揭示了新的见解。例如，在所有数据集上的边际贡献方面，设定学习率是最关键的超级参数，而所使用的纠缠门的特定选择被认为是最不重要的选择。这项工作介绍了研究量子机学习模型的新方法，并为量子模型选择提供了新的见解。

FIG. 1. Schematic diagram of a Variational Quantum Algorithm (VQA). The inputs to a VQA are: a cost function C(θ), with θ a set of parameters that encodes the solution to the problem, an ansatz whose parameters are trained to minimize the cost, and (possibly) a set of training data {ρ k } used during the optimization. Here, the cost can often be expressed in the form in Eq. ( 3), for some set of functions {f k }. Also, the ansatz is shown as a parameterized quantum circuit (on the left), which is analogous to a neural network (also shown schematically on the right). At each iteration of the loop one uses a quantum computer to efficiently estimate the cost (or its gradients). This information is fed into a classical computer that leverages the power of optimizers to navigate the cost landscape C(θ) and solve the optimization problem in Eq. ( 1). Once a termination condition is met, the VQA outputs an estimate of the solution to the problem. The form of the output depends on the precise task at hand. The red box indicates some of the most common types of outputs.

变异量子算法（VQA）在NISQ时代表现出巨大的潜力。在VQA的工作流程中，Ansatz的参数迭代更新以近似所需的量子状态。我们已经看到了各种努力，以较少的大门起草更好的安萨兹。在量子计算机中，栅极Ansatz最终将转换为控制信号，例如TransMons上的微波脉冲。并且对照脉冲需要精心校准，以最大程度地减少误差（例如过度旋转和旋转）。在VQA的情况下，此过程将引入冗余，但是VQAS的变异性能自然可以通过更新幅度和频率参数来处理过度旋转和重组的问题。因此，我们提出了PAN，这是一种用于VQA的天然脉冲ANSATZ GENTARATOR框架。我们生成具有可训练参数用于振幅和频率的天然脉冲ansatz。在我们提出的锅中，我们正在调整参数脉冲，这些脉冲在NISQ计算机上得到了内在支持。考虑到本机 - 脉冲ANSATZ不符合参数迁移规则，我们需要部署非级别优化器。为了限制发送到优化器的参数数量，我们采用了一种生成本机 - 脉冲ANSATZ的渐进式方式。实验是在模拟器和量子设备上进行的，以验证我们的方法。当在NISQ机器上采用时，PAN获得的延迟平均提高了86％。 PAN在H2和HEH+上的VQE任务分别能够达到99.336％和96.482％的精度，即使NISQ机器中有很大的噪声。

深度学习是当今机器学习中最成功和最深远的策略之一。然而，神经网络的规模和效用仍然受到用于训练它们的当前硬件的极大限制。随着常规电脑快速接近将在未来几年的情况下，常规计算机迅速接近物理限制，这些问题越来越紧。由于这些原因，科学家们已经开始探索替代计算平台，如量子计算机，用于训练神经网络。近年来，变分量子电路已成为在嘈杂的中间秤量子器件上量子深度学习的最成功的方法之一。我们提出了一种混合量子古典神经网络架构，其中每个神经元是变形量子电路。我们使用模拟通用量子计算机和艺术通用量子计算机的状态来统一地分析该混合神经网络对一系列二元分类数据集的性能。在模拟硬件上，我们观察到混合神经网络的分类精度高出10％，比各个变分量子电路更好地最小化了20％。在Quantum硬件上，我们观察到每个模型仅在Qubit和栅极计数足够小时执行良好。

在过去的十年中，机器学习取得了巨大的成功，其应用程序从面部识别到自然语言处理不等。同时，在量子计算领域已经取得了快速的进步，包括开发强大的量子算法和高级量子设备。机器学习与量子物理学之间的相互作用具有将实际应用带给现代社会的有趣潜力。在这里，我们以参数化量子电路的形式关注量子神经网络。我们将主要讨论各种结构和编码量子神经网络的策略，以进行监督学习任务，并利用Yao.jl进行基准测试，这是用朱莉娅语言编写的量子模拟软件包。这些代码是有效的，旨在为科学工作中的初学者提供便利，例如开发强大的变分量子学习模型并协助相应的实验演示。