量子机学习（QML）被认为是近术语量子设备最有前途的应用之一。然而，量子机器学习模型的优化呈现出众多挑战，从硬件的缺陷和导航指数上缩放的希尔伯特空间中的缺陷产生了巨大的挑战。在这项工作中，我们评估了深度增强学习中的当代方法的潜力，以增加量子变分电路中的增强基于梯度的优化例程。我们发现强化学习增强了优化器，始终突出噪声环境中的渐变血统。所有代码和备用重量都可用于复制结果或在https://github.com/lockwo/rl_qvc_opt上部署模型。

Deep Reinforcement Learning is emerging as a promising approach for the continuous control task of robotic arm movement. However, the challenges of learning robust and versatile control capabilities are still far from being resolved for real-world applications, mainly because of two common issues of this learning paradigm: the exploration strategy and the slow learning speed, sometimes known as "the curse of dimensionality". This work aims at exploring and assessing the advantages of the application of Quantum Computing to one of the state-of-art Reinforcement Learning techniques for continuous control - namely Soft Actor-Critic. Specifically, the performance of a Variational Quantum Soft Actor-Critic on the movement of a virtual robotic arm has been investigated by means of digital simulations of quantum circuits. A quantum advantage over the classical algorithm has been found in terms of a significant decrease in the amount of required parameters for satisfactory model training, paving the way for further promising developments.

在这项工作中，我们利用量子深的增强学习作为方法，以在三个模拟的复杂性的模拟环境中为简单的，轮式机器人学习导航任务。我们显示了与经典基线相比，在混合量子古典设置中训练有良好建立的深钢筋学习技术的参数化量子电路的相似性能。据我们所知，这是用于机器人行为的量子机学习（QML）的首次演示。因此，我们将机器人技术建立为QML算法的可行研究领域，此后量子计算和量子机学习是自治机器人技术未来进步的潜在技术。除此之外，我们讨论了当前的方法的限制以及自动机器人量子机学习领域的未来研究方向。

Quantum Computing在古典计算机上解决困难的计算任务的显着改进承诺。然而，为实际使用设计量子电路不是琐碎的目标，并且需要专家级知识。为了帮助这一努力，提出了一种基于机器学习的方法来构建量子电路架构。以前的作品已经证明，经典的深度加强学习（DRL）算法可以成功构建量子电路架构而没有编码的物理知识。但是，这些基于DRL的作品不完全在更换设备噪声中的设置，从而需要大量的培训资源来保持RL模型最新。考虑到这一点，我们持续学习，以提高算法的性能。在本文中，我们介绍了深度Q-Learning（PPR-DQL）框架的概率策略重用来解决这个电路设计挑战。通过通过各种噪声模式进行数值模拟，我们证明了具有PPR的RL代理能够找到量子栅极序列，以比从划痕训练的代理更快地生成双量标铃声状态。所提出的框架是一般的，可以应用于其他量子栅极合成或控制问题 - 包括量子器件的自动校准。

量子计算在解决特定问题方面具有优异的优势，例如整数分解和Simon的问题。对于机器学习中的更多一般任务，通过应用变分量子电路，最近已经提出了越来越多的量子算法，特别是在监督学习和无监督的学习中。但是，在加固学习中已经完成了一点工作，可以说是更重要和挑战性的。以前的Quantum加固学习的工作主要集中在行动空间是离散的离散控制任务。在这项工作中，我们开发了一种基于软演员 - 评论家的量子强化学习算法 - 用于连续控制的最先进方法之一。具体地，我们使用由变形量子电路和经典人工神经网络组成的混合量子级策略网络。在标准强化学习基准测试中测试，我们认为这种Quantum版本的软演员 - 评论家与原始的软演员 - 评论家相当，使用远不可调节的参数。此外，我们分析了不同超参数和策略网络架构的影响，指出了量子增强学习的建筑设计的重要性。

近年来，机器学习的巨大进步已经开始对许多科学和技术的许多领域产生重大影响。在本文的文章中，我们探讨了量子技术如何从这项革命中受益。我们在说明性示例中展示了过去几年的科学家如何开始使用机器学习和更广泛的人工智能方法来分析量子测量，估计量子设备的参数，发现新的量子实验设置，协议和反馈策略，以及反馈策略，以及通常改善量子计算，量子通信和量子模拟的各个方面。我们重点介绍了公开挑战和未来的可能性，并在未来十年的一些投机愿景下得出结论。

在过去的十年中，深入的强化学习（RL）已经取得了长足的进步。同时，最先进的RL算法在培训时间融合方面需要大量的计算预算。最近的工作已经开始通过量子计算的角度来解决这个问题，这有望为几项传统上的艰巨任务做出理论上的速度。在这项工作中，我们研究了一类混合量子古典RL算法，我们共同称为变异量子Q-NETWORKS（VQ-DQN）。我们表明，VQ-DQN方法受到导致学习政策分歧的不稳定性的约束，研究了基于经典模拟的既定结果的重复性，并执行系统的实验以识别观察到的不稳定性的潜在解释。此外，与大多数现有的量子增强学习中现有工作相反，我们在实际量子处理单元（IBM量子设备）上执行RL算法，并研究模拟和物理量子系统之间因实施不足而进行的行为差异。我们的实验表明，与文献中相反的主张相反，与经典方法相比，即使在没有物理缺陷的情况下进行模拟，也不能最终决定是否已知量子方法，也可以提供优势。最后，我们提供了VQ-DQN作为可再现的测试床的强大，通用且经过充分测试的实现，以实现未来的实验。

Quantum computing (QC) promises significant advantages on certain hard computational tasks over classical computers. However, current quantum hardware, also known as noisy intermediate-scale quantum computers (NISQ), are still unable to carry out computations faithfully mainly because of the lack of quantum error correction (QEC) capability. A significant amount of theoretical studies have provided various types of QEC codes; one of the notable topological codes is the surface code, and its features, such as the requirement of only nearest-neighboring two-qubit control gates and a large error threshold, make it a leading candidate for scalable quantum computation. Recent developments of machine learning (ML)-based techniques especially the reinforcement learning (RL) methods have been applied to the decoding problem and have already made certain progress. Nevertheless, the device noise pattern may change over time, making trained decoder models ineffective. In this paper, we propose a continual reinforcement learning method to address these decoding challenges. Specifically, we implement double deep Q-learning with probabilistic policy reuse (DDQN-PPR) model to learn surface code decoding strategies for quantum environments with varying noise patterns. Through numerical simulations, we show that the proposed DDQN-PPR model can significantly reduce the computational complexity. Moreover, increasing the number of trained policies can further improve the agent's performance. Our results open a way to build more capable RL agents which can leverage previously gained knowledge to tackle QEC challenges.

我们提出了一种基于政策梯度加强学习的技术来查找量子电路的近似汇编的方法。随机策略的选择允许我们在概率分布方面的优化问题，而不是变分参数。这意味着通过优化分布参数而不是通过电路自由角来搜索最佳配置。所以我们可以始终计算梯度，但是提供了策略是可微分的。我们在数值上表明这种方法比使用梯度方法的方法更竞争，即使在存在去极化的噪声的情况下，也可以分析地争论为什么这一情况。这种变分的另一个方法的另一个有趣特征是它不需要单独的寄存器和远程交互来估计终点保真度。我们预计这些技术在其他背景下与训练变分电路相关

量子计算的最新进展已显示出许多问题领域的有希望的计算优势。作为越来越关注的领域之一，混合量子古典机器学习系统已经证明了解决各种数据驱动的学习任务的能力。最近的作品表明，参数化的量子电路（PQC）可用于以可证明的学习优势来解决具有挑战性的强化学习（RL）任务。尽管现有的作品产生了基于PQC的方法的潜力，但PQC体系结构的设计选择及其对学习任务的影响通常没有得到充实。在这项工作中，我们介绍了基于PQC的模型EQAS-PQC，这是一种进化的量子体系结构搜索框架，该模型使用基于人群的遗传算法来通过探索量子操作的搜索空间来发展PQC体系结构。实验结果表明，我们的方法可以显着改善混合量子古典模型在解决基准增强问题方面的性能。我们还对量子操作的概率分布进行建模，以表现出色的体系结构，以识别对性能至关重要的基本设计选择。

Quantum Machine Learning（QML）提供了一种强大的灵活的范式，可用于编程近期量子计算机，具有化学，计量，材料科学，数据科学和数学的应用。这里，一个以参数化量子电路的形式训练ANSATZ，以实现感兴趣的任务。然而，最近出现了挑战表明，由于随机性或硬件噪声引起的平坦训练景观，因此难以训练深度尖锐钽。这激励了我们的工作，在那里我们提出了一种可变的结构方法来构建QML的Ansatzes。我们的方法称为VANS（可变ANSATZ），将一组规则应用于在优化期间以知识的方式在增长和（至关重要的）中删除量子门。因此，VANS非常适合通过保持ANSATZ浅扫描来缓解训练性和与噪声相关的问题。我们在变分量子Eigensolver中使用Vans进行冷凝物质和量子化学应用，并且还在量子自身化学器中进行数据压缩，显示所有情况的成功结果。

Hybrid quantum-classical systems make it possible to utilize existing quantum computers to their fullest extent. Within this framework, parameterized quantum circuits can be regarded as machine learning models with remarkable expressive power. This Review presents the components of these models and discusses their application to a variety of data-driven tasks, such as supervised learning and generative modeling. With an increasing number of experimental demonstrations carried out on actual quantum hardware and with software being actively developed, this rapidly growing field is poised to have a broad spectrum of real-world applications.

基于内核的量子分类器是用于复杂数据的超线化分类的最有趣，最强大的量子机学习技术，可以在浅深度量子电路（例如交换测试分类器）中轻松实现。出乎意料的是，通过引入差异方案，可以将支持向量机固有而明确地实现，以将SVM理论的二次优化问题映射到量子古典的变分优化问题。该方案使用参数化的量子电路（PQC）实现，以创建一个不均匀的权重向量，以索引量子位，可以在线性时间内评估训练损失和分类得分。我们训练该变量量子近似支持向量机（VQASVM）的经典参数，该参数可以转移到其他VQASVM决策推理电路的许多副本中，以分类新查询数据。我们的VQASVM算法对基于云的量子计算机的玩具示例数据集进行了实验，以进行可行性评估，并进行了数值研究以评估其在标准的IRIS花朵数据集上的性能。虹膜数据分类的准确性达到98.8％。

我们提出了新型量子加固学习（RL）方法的完整实现和模拟，并在数学上证明了量子优势。我们的方法详细说明了如何将振幅估计和Grover搜索结合到政策评估和改进方案中。我们首先开发量子策略评估（QPE），与类似的经典蒙特卡洛估计相比，它在四四方面更有效，并且基于有限马尔可夫决策过程（MDP）的量子机械实现。在QPE的基础上，我们得出了一种量子策略迭代，该迭代迭代可以反复使用Grover搜索来改善初始策略，直到达到最佳。最后，我们为两臂强盗MDP提供了算法的实现，然后我们进行了模拟。结果证实QPE在RL问题中提供了量子优势。

In recent times, Variational Quantum Circuits (VQC) have been widely adopted to different tasks in machine learning such as Combinatorial Optimization and Supervised Learning. With the growing interest, it is pertinent to study the boundaries of the classical simulation of VQCs to effectively benchmark the algorithms. Classically simulating VQCs can also provide the quantum algorithms with a better initialization reducing the amount of quantum resources needed to train the algorithm. This manuscript proposes an algorithm that compresses the quantum state within a circuit using a tensor ring representation which allows for the implementation of VQC based algorithms on a classical simulator at a fraction of the usual storage and computational complexity. Using the tensor ring approximation of the input quantum state, we propose a method that applies the parametrized unitary operations while retaining the low-rank structure of the tensor ring corresponding to the transformed quantum state, providing an exponential improvement of storage and computational time in the number of qubits and layers. This approximation is used to implement the tensor ring VQC for the task of supervised learning on Iris and MNIST datasets to demonstrate the comparable performance as that of the implementations from classical simulator using Matrix Product States.

关于参数化量子电路（PQC）的成本景观知之甚少。然而，PQC被用于量子神经网络和变异量子算法中，这可能允许近期量子优势。此类应用需要良好的优化器来培训PQC。最近的作品集中在专门针对PQC量身定制的量子意识优化器上。但是，对成本景观的无知可能会阻碍这种优化者的进步。在这项工作中，我们在分析上证明了PQC的两个结果：（1）我们在PQC中发现了指数较大的对称性，在成本景观中产生了最小值的呈指数较大的变性。或者，这可以作为相关超参数空间体积的指数减少。 （2）我们研究了噪声下对称性的弹性，并表明，尽管它在Unital噪声下是保守的，但非阴道通道可以打破这些对称性并提高最小值的变性，从而导致多个新的局部最小值。基于这些结果，我们引入了一种称为基于对称的最小跳跃（SYMH）的优化方法，该方法利用了PQC中的基础对称性。我们的数值模拟表明，在存在与当前硬件相当的水平上，SYMH在存在非阴性噪声的情况下提高了整体优化器性能。总体而言，这项工作从局部门转换中得出了大规模电路对称性，并使用它们来构建一种噪声吸引的优化方法。

变异量子算法（VQA）在NISQ时代表现出巨大的潜力。在VQA的工作流程中，Ansatz的参数迭代更新以近似所需的量子状态。我们已经看到了各种努力，以较少的大门起草更好的安萨兹。在量子计算机中，栅极Ansatz最终将转换为控制信号，例如TransMons上的微波脉冲。并且对照脉冲需要精心校准，以最大程度地减少误差（例如过度旋转和旋转）。在VQA的情况下，此过程将引入冗余，但是VQAS的变异性能自然可以通过更新幅度和频率参数来处理过度旋转和重组的问题。因此，我们提出了PAN，这是一种用于VQA的天然脉冲ANSATZ GENTARATOR框架。我们生成具有可训练参数用于振幅和频率的天然脉冲ansatz。在我们提出的锅中，我们正在调整参数脉冲，这些脉冲在NISQ计算机上得到了内在支持。考虑到本机 - 脉冲ANSATZ不符合参数迁移规则，我们需要部署非级别优化器。为了限制发送到优化器的参数数量，我们采用了一种生成本机 - 脉冲ANSATZ的渐进式方式。实验是在模拟器和量子设备上进行的，以验证我们的方法。当在NISQ机器上采用时，PAN获得的延迟平均提高了86％。 PAN在H2和HEH+上的VQE任务分别能够达到99.336％和96.482％的精度，即使NISQ机器中有很大的噪声。

近年来，变异量子算法（例如量子近似优化算法（QAOA））越来越受欢迎，因为它们提供了使用NISQ设备来解决硬组合优化问题的希望。但是，众所周知，在低深度，QAOA的某些位置限制限制了其性能。为了超越这些局限性，提出了QAOA的非本地变体，即递归QAOA（RQAOA），以提高近似溶液的质量。 RQAOA的研究比QAOA的研究较少，例如，对于哪种情况，它可能无法提供高质量的解决方案。但是，由于我们正在解决$ \ mathsf {np} $ - 硬问题（特别是Ising旋转模型），因此预计RQAOA确实会失败，这提出了设计更好的组合优化量子算法的问题。本着这种精神，我们识别和分析了RQAOA失败的情况，并基于此，提出了增强的学习增强的RQAOA变体（RL-RQAOA），从而改善了RQAOA。我们表明，RL-RQAOA的性能改善了RQAOA：RL-RQAOA在这些识别的实例中，RQAOA表现不佳，并且在RQAOA几乎是最佳的情况下也表现出色。我们的工作体现了增强学习与量子（启发）优化之间的潜在有益的协同作用，这是针对硬性问题的新的，甚至更好的启发式方法。

For a large number of tasks, quantum computing demonstrates the potential for exponential acceleration over classical computing. In the NISQ era, variable-component subcircuits enable applications of quantum computing. To reduce the inherent noise and qubit size limitations of quantum computers, existing research has improved the accuracy and efficiency of Variational Quantum Algorithm (VQA). In this paper, we explore the various ansatz improvement methods for VQAs at the gate level and pulse level, and classify, evaluate and summarize them.

在量子计算中，变分量子算法（VQAS）非常适合于在从化学中寻找特定应用中的物品的最佳组合一切融资。具有梯度下降优化算法的VQA的训练显示出良好的收敛性。在早期阶段，在嘈杂的中间级量子（NISQ）器件上的变分量子电路的模拟遭受了嘈杂的输出。就像古典深度学习一样，它也遭受了消失的渐变问题。研究损失景观的拓扑结构是一种逼真的目标，以在消失梯度存在的存在下可视化这些电路的曲率信息和可训练。在本文中，我们计算了Hessian，并在参数空间中的不同点处可视化变分量子分类器的损失景观。解释变分量子分类器（VQC）的曲率信息，并显示了损耗函数的收敛。它有助于我们更好地了解变形量子电路的行为，以有效地解决优化问题。我们通过Hessian在量子计算机上调查了变形量子分类器，从一个简单的4位奇偶校验问题开始，以获得对黑森州的实际行为的洞察力，然后彻底分析了Hessian的特征值对培训糖尿病数据集的变分量子分类器的行为。最后，我们展示了自适应Hessian学习率如何在训练变分电路时影响收敛。