💡 核心摘要
进化强化学习（ERL）是将进化算法（EA）与强化学习（RL）融合用于优化的研究方向，已在性能上取得显著进展。本文对 ERL 领域的多样化研究分支进行了全面综述，系统性地将现有工作归纳为三大研究方向：① EA 辅助 RL 优化、② RL 辅助 EA 优化、③ EA 与 RL 协同优化。在深入分析每个方向后，进一步将其细分为多个研究分支，阐明各分支要解决的问题以及 EA 与 RL 的整合方式如何应对这些挑战。最后讨论了各方向面临的潜在挑战和未来研究方向。
🎯 研究动机：为什么需要将 EA 和 RL 结合？
RL 的优势：得益于深度学习的发展，RL 能够利用神经网络强大的表达能力和高效的梯度优化来逼近复杂的值函数，展现出远超无梯度方法的学习效率。此外，off-policy RL 可以收集并复用历史样本，显著提高样本效率。RL 已在游戏 AI、机器人、推荐系统、调度问题等领域取得显著成功。
RL 的挑战：然而，RL 仍面临几个固有的长期存在的挑战——探索能力有限、收敛性差、对超参数敏感、梯度优化中容易产生次优解。这些挑战阻碍了 RL 在更复杂的真实场景中的应用。
EA 的优势：EA 是一类无梯度、黑盒优化方法，通过模拟达尔文进化论来迭代演化解决方案。基于种群内的多样性和无梯度随机搜索，EA 具有强大的探索能力，与梯度下降等局部搜索算法相比，在解空间中具有更好的全局优化能力，尤其擅长解决多模态问题。此外，EA 表现出良好的鲁棒性和收敛性，能够抵抗噪声和不确定性。
EA 的劣势：EA 也存在弱点——对变异算子的设计和选择敏感，随机搜索导致的无效和冗余探索。此外，EA 在 SDP（序列决策问题）中通常表现出较低的样本效率。具体来说，EA 评估个体只看回合级累积奖励（episodic reward），无法利用细粒度的状态-动作-步级奖励信息——这是导致样本效率低的核心原因。
互补关系：RL 和 EA 基于不同原理，各有其优势和劣势。许多研究者发现，通过结合两个领域的先进方法，这些挑战可以得到有效解决，从而催生了大量混合方法，统称为进化强化学习（ERL）。
A. 进化算法（EA）
EA 是一类受生物启发的无梯度优化方法，模拟生物进化过程。其完整流程（如 Fig. 2 所示）为：首先初始化包含 N 个个体的种群 P = {I₁, I₂, ..., Iₙ}，这些个体在不同问题中可以有不同的形式（如向量、神经网络等）。随后，通过选择算子（selection operator）选择父代——选择算子通常涉及选择具有最高适应度分数的个体。子代个体通过变异（variation）生成，然后评估子代的适应度，接着进行存活选择（survivor selection），选出的个体形成新一代种群。
本综述覆盖多种 EA：遗传算法（GA）、差分进化（DE）、进化策略（ES）、新颖性搜索（NS）、MAP-Elites、遗传规划（GP）等。其中 GA、DE、ES 的基因组是固定形式的——DE 和 ES 中基因组通常表示为实值向量，GA 使用二进制字符串。NS 和 MAP-Elites 是两种多样性机制。GP 的独特之处在于能处理可变长度基因组（如树结构），从而探索复杂拓扑。
在 SDP 中的应用方式：在序列决策问题中，EA 通常将策略（即神经网络）作为种群中的个体，依赖这些策略进行动作决策和环境交互。最终基于若干回合游戏中获得的平均累积奖励来评估种群，然后在参数空间中进行进化。可以看到，EA 难以利用更细粒度的信息（如状态、动作和步级奖励），这是导致样本效率低的主要因素。
B. 强化学习（RL）
RL 需要将目标问题形式化为 MDP，其中智能体在若干有限时间步内与环境交互。MDP 由元组 (S, A, P, R, γ, T) 定义，其中 S 为状态空间，A 为动作空间，P 为状态转移函数，R 为奖励函数，γ 为折扣因子，T 为最大回合长度。在每个时间步 t，智能体根据状态 sₜ 和策略 π(s) 选择动作 aₜ，获得奖励 rₜ，并基于状态转移函数进入下一状态 sₜ₊₁。RL 的目标是找到最大化累积折扣奖励的策略。
关键算法：Q-learning 是经典值函数方法，使用 Q 函数学习 Q 值，基于最大 Q 值选择动作并使用 Bellman 方程更新。策略梯度方法（如 REINFORCE）直接优化策略参数，沿增加期望累积奖励的方向更新。然而 REINFORCE 只能在完成一个回合后进行策略改进，效率较低。Actor-Critic（AC）方法将值函数 RL 集成到策略梯度更新中，通过训练 Critic 为策略（Actor）提供单步梯度。深度学习的发展催生了许多深度 RL 算法：DQN、DDPG、TD3、SAC、TRPO、PPO 等。
C. 问题定义
根据混合算法解决的任务，综述将问题分为五大类：
① 序列决策问题（SDP）：将任务建模为 MDP，通过策略控制与环境交互获得奖励，目标是获得最大化累积奖励的策略。主要涉及迷宫导航和机器人控制问题（MuJoCo, DMC）。还涵盖多智能体设定（SMAC, MAMuJoCo, MPE, 群集任务）。
② 连续优化问题（CTOP）：在连续空间中寻找一组变量 x 来最大化或最小化目标函数 f(x)，主要涉及 CEC 基准。
③ 组合优化问题（COP）：在离散空间中寻找最优解，涉及旅行商问题（TSP）、车辆路径问题（VRP）、调度问题（SP）等。
④ 多目标优化问题（MOOP）：涉及多个目标函数，目标是找到一组在不同偏好下均是最优的解（Pareto 前沿）。
⑤ 多模态优化问题（MMOP）：单个目标函数存在多个局部最优解的情况，目标是尽可能多地找到所有局部次优解。
(a) EA 辅助 RL
RL 是主体，EA 是辅助。相关算法围绕 RL 展开，EA 在 RL 的某些环节（参数搜索、动作选择、超参优化等）提供辅助。EA 不能独立解决问题。主要应用于 SDP。利用 EA 的多样化探索、全局优化能力和强收敛性/鲁棒性来解决 RL 的探索能力有限、梯度优化次优性、超参数敏感性等挑战。
(b) RL 辅助 EA
EA 是主体，RL 是辅助。相关算法围绕 EA 的优化流程展开，RL 在 EA 的不同阶段（种群初始化、评估、变异算子、算子选择、超参配置）提供支持。RL 不能独立解决问题。利用 RL 的高效经验利用和学习能力及判别能力来解决 EA 的种群初始化、算法配置、不可控变异、适应度评估中高样本代价等挑战。
(c) 协同优化·同时
EA 和 RL 各自维持完整的优化流程，同时解决同一个问题并通过某些机制协作。EA 的探索能力弥补 RL 的探索局限，RL 的经验复用和细粒度学习弥补 EA 的样本低效。关键在于建立共生关系——保持各自优势的同时补偿弱点。
(d) 协同优化·分工
EA 和 RL 各自解决其擅长的部分，最终整合形成完整解。例如，EA 负责优化拓扑结构（如机器人形态），RL 负责学习控制策略。这种分工方式让各自在擅长的任务中发挥优势。
核心思想与分类
在此优化过程中，相关算法围绕 RL 展开，EA 在 RL 的学习过程中扮演辅助角色来精炼优化过程。EA 不能独立解决问题。优化示意图如 Fig. 4(a) 所示。这些工作主要关注 SDP，这也是大多数 RL 算法的核心关注点。
根据 EA 的优化目标，将相关方法分为四个分支：① EA 辅助参数搜索；② EA 辅助动作选择；③ EA 辅助超参数优化；④ 其他（奖励函数搜索、损失函数搜索、探索增强等）。
🔧 分支 1：EA 辅助参数搜索（EA-Assisted Parameter Search）
DRL 的最终目标是训练一个能够选择最大化累积奖励动作的策略网络。然而，单一策略的 RL 往往表现出较弱的探索能力，而梯度优化容易使神经网络陷入局部最优，阻碍了获得更好性能的能力。研究者提出将 EA 与 RL 整合来辅助参数优化。
EQ [133]：用 EA 替代传统的 Bellman 方程来优化 Critic。具体来说，EQ 维护一个 Critic 种群，每个 Critic 通过策略梯度优化一个对应的 Actor。每个 Critic 的适应度基于其对应 Actor 与环境交互获得的分数。高适应度的 Critic 被选为父代，并施加高斯噪声扰动生成子代。在倒立摆任务上的实验表明，使用 EA 可以实现比传统 Bellman 优化更好的指导能力，同时保持可比的性能。
Supe-RL [134]：将 GA 用于辅助策略参数搜索。定期对当前 RL 策略施加扰动来初始化策略种群。种群与环境交互后，精英个体将参数软更新到 RL 策略。在 off-policy RL 中，Supe-RL 将遗传评估阶段收集的精英经验纳入 RL 的 replay buffer。实验表明，Supe-RL 能增强 Rainbow 和 PPO——分别在导航任务和 MuJoCo 环境上取得改进。
VFS [135]：采用与 Supe-RL 类似的思路，但区别在于定期构造 Critic 种群。通过对 Critic 施加不同尺度的扰动来进化种群。最终选择与真实值函数偏差最小的 Critic 替换 RL Critic，其中真实值函数使用无偏 Monte Carlo 估计来逼近。VFS 在 MuJoCo 任务上展示了跨多种算法（PPO、DDPG、TD3、SAC）的改进。
🎯 分支 2：EA 辅助动作选择（EA-Assisted Action Selection）
动作选择贯穿 RL 的整个改进和评估过程。它主要涉及优化值函数（即计算目标值）和与环境交互。然而，在连续动作任务上，动作空间可能非常巨大，使得确定最优动作（用于优化和执行）极具挑战性，尤其是在涉及多模态或多峰的情况下。传统 RL 通常采用贪婪策略或从分布中随机采样来进行动作选择，但这种方法难以准确捕捉最佳行为。因此，一些工作提出了「动作进化」的概念：初始化一个动作种群，使用 Q 值作为适应度评估其质量，然后选择精英动作用于优化和交互。
Qt-Opt [126]：不显式维护策略网络，而是从动作空间中初始化一个随机动作种群。在当前状态下，Qt-Opt 对种群应用两次交叉熵方法（CEM）迭代，由值函数引导。然后选择最佳动作用于 Critic 优化和交互。Qt-Opt 在真实世界机器人视觉抓取任务上展示了其效率。
CGP [127]：在保留 Qt-Opt 优势的同时，通过引入一个策略来模仿 CEM 采样的动作，从而减少计算负担。CGP 中 Critic 的训练使用 CEM 导出的动作，同时通过行为克隆或策略梯度训练一个策略。在 MuJoCo 任务上验证了效率。
EAS-RL [128]：使用与 CGP 类似的思路，但有两点区别：① 使用 TD3 配合原始优化过程并用 PSO（粒子群优化）替代 CEM；② 同时结合行为克隆和策略梯度来优化策略。EAS-RL 在 MuJoCo 任务上优于许多 ERL 相关工作。
SAC-CEPO [129]：采用随机策略 SAC 而非确定性策略。将 SAC 拆分为均值网络和方差网络两部分。CEM 用于选择最佳均值动作，均值网络通过行为克隆训练，方差网络使用 SAC 策略梯度学习。此外，CEM 种群的生成不再基于随机采样，而是基于从学习的均值和方差网络构建的正态分布采样。在 MuJoCo 任务上展示了对 SAC 的改进。
GRAC [130]：引入三种机制改进 double Q-learning。其中两种与 EA 密切相关：① CEM 策略改进——使用 CEM 搜索最优动作，区别在于将 CEM 动作与 RL 策略动作之间的 Q 值差作为优势来增加 RL 策略选择最优动作的概率；② Max-min double Q-learning——解决 double Q-learning 的低估问题。具体来说，GRAC 基于下一状态分别获取 CEM 动作和 RL 动作，然后利用 double Q 网络分别估计 CEM 动作的最小 Q 值和 RL 动作的最小 Q 值，选取两者中较高的作为目标值。GRAC 在 MuJoCo 任务上展示显著性能提升，并在真实机器人上验证。
OMAR [131]：在离线设定中，策略梯度改进同样容易因值函数景观的复杂性而陷入局部最优。OMAR 使用修改版 CEM 选择最优动作，并使用行为克隆微调策略。在 MPE 和 D4RL 基准上验证了效率。
COMIX [132]：在多智能体设定中，COMIX 旨在解决 QMIX 在连续动作空间中不适用的问题。使用 QMIX 进行值函数逼近，然后使用 CEM 进行动作选择。实验表明 COMIX 在 MPE 和 MA-MuJoCo 任务上优于 MADDPG。
⚙️ 分支 3：EA 辅助超参数优化（EA-Assisted Hyperparameter Optimization）
DRL 虽然在多个领域展示了强大能力，但仍然饱受超参数敏感性问题的困扰。许多工作通过引入 EA 来为 RL 调优超参数来解决此问题。
OMPAC [120]：使用 GA 进行 RL 超参数优化，包括迹衰减率 λ、折扣因子 γ、学习率和 softmax 动作选择的温度 τₐ。OMPAC 训练一组具有不同超参数配置的 RL 个体种群，基于累积奖励评估个体。在一定迭代次数后，通过向非精英个体的超参数添加高斯噪声来生成子代。在 Atari 和 Tetris 任务上展示了显著的性能提升。
PBT [121]：引入了更通用的优化框架，可应用于任何神经网络训练过程。训练一组具有不同超参数的策略种群。在一定训练周期后，高适应度个体直接替换低性能个体——通过扰动其超参数或从预定义分布中重新采样超参数。PBT 的效率在 DM Lab、Atari 和 StarCraft II 等多个领域得到验证。
SEARL [122]：利用 GA 动态调整 RL 的网络架构（层数、节点数、激活函数）以及 Actor 和 Critic 的学习率。与 PBT 类似训练种群并将评估阶段产生的经验存储在共享 replay buffer 中。然后通过 GA 添加高斯噪声修改网络架构和超参数形成新种群，基于共享 buffer 进行 DRL 优化。在 5 个 MuJoCo 任务中的 4 个上优于 PBT。
GA-DRL [123]：专注于调整更广泛的超参数，包括折扣因子 γ、Actor 和 Critic 的学习率、软更新系数 τ、随机动作选择概率 ϵ 和噪声方差 η。这些超参数使用 11 位二进制表示编码。以机械臂达到 85% 成功率所需的最少回合数对个体排序。实验表明，用 GA-DRL 发现的超参数优化的算法在大多数机械臂控制任务中取得更好的性能。
AAC [124]：动态调整五个超参数：折扣因子 γ、SAC 熵系数 h、动作持续时间 k、Actor 和 Critic 的单步更新次数 a 和 c。维护一组不同超参配置的 AC 个体种群和共享 replay buffer。适应度定义为多个回合的平均累积奖励。基于适应度选择前 20% 最好和最差的个体。优秀个体以超参数扰动的方式替换劣质个体。在 DMC 基准和工业基准上展示了效率。
OHT-ES [125]：使用 ES 动态调整 RL 超参数，包括 n-step TD 中的 n 参数和学习率。从 ES 维护的分布中采样超参数，使用这些超参数训练若干 off-policy 策略。策略控制智能体与环境交互进行评估，产生的经验存储在共享 replay buffer 中供 RL 学习。随后更新超参数分布。在 DMC 基准上展示了对 TD3 的显著改进。
🔬 分支 4：其他（奖励函数搜索、损失函数搜索、探索增强等）
Evo-Reward [109]：构建奖励函数种群，使用 PushGP（GP 的一种变体）进行种群进化来搜索更高效的奖励函数。实验表明，Evo-Reward 可以发现比原始奖励函数更高效的奖励函数（在 hungry-thirsty 任务上验证）。
Evo-Meta RL [110]：使用 EA 搜索能够跨多种环境泛化的 RL 损失函数。具体来说，将损失函数的计算过程转化为计算图，并对图中的操作节点引入变异。Evo-Meta RL 在内循环和外循环两个层级运行——外循环根据累积奖励识别父代计算结构来生成子代，内循环基于外循环识别的结构进行梯度优化。基于发现的两个损失函数构建了 DQNClipped 和 DQNReg，在 Atari 和 MiniGrid 任务上展示了优于 DQN 和 DDQN 的性能。
GP-MAXQ [111]：使用 GP 探索分层 RL 方法 MAXQ 的层次结构。MAXQ 基于 GP 导出的层次结构学习策略，GP 利用 MAXQ 的输出来搜索合适的层次结构。在 forgiveness 任务上的结果表明 GP 可以搜索到更高效的层次结构。
PNS-RL [112]：旨在提高 RL 的探索能力。PNS-RL 由多个种群组成，每个种群包含多个探索策略和一个引导策略。每个探索策略维护自己的 Actor、Critic 和 replay buffer，通过策略梯度进行优化并朝引导策略软更新。此外，PNS-RL 维护一个档案用于选择引导策略。表现超过档案中策略平均水平的探索策略被添加，而档案中表现显著低于新添加策略的策略被移除。档案中最具新颖性的个体被选为引导策略并在不同种群间共享。新颖性基于行为描述符空间中智能体与其最近 k 个邻居之间的距离来度量。在 MuJoCo 任务上优于 PBT-TD3、P3S-TD3、CEM-TD3 等。
Go-Explore [113]：同样关注探索问题。虽然不使用 RL，但解决了 RL 中的挑战性探索问题。Go-Explore 构建一个轨迹档案库，记录到达不同状态的轨迹。然后从档案中选择最可能到达新状态的起点，根据档案在环境中复制轨迹到达该状态，并从该状态开始随机探索。如果新到达的状态不在档案中或以更优轨迹到达已有状态，则更新档案。最终通过模仿学习直接学习策略。Go-Explore 优于其他 RL 算法，并在挑战性探索问题 Montezuma 和 Pitfall 上超越人类水平。
G2N [114]：使用二元 GA 种群控制 RL 策略网络中隐藏神经元的激活，旨在增强探索能力。实验表明 G2N 可以在 MuJoCo 和 Atari 任务上改进 PPO 和 A2C。
EvoRL [115]：模拟进化过程，认为某些行为是先天的只能通过进化获得，而其他行为是可学习的。因此将策略的一部分行为定义为可学习的并用 RL 学习，另一部分使用行为树表示并只能通过 GP 进化。
方向一的挑战与未来方向
利用 EA 通过参数搜索、动作选择、超参调优等方面辅助 RL 已经展示了进一步提升 RL 性能的潜力。然而，利用 EA 进行 RL 优化仍面临以下挑战：
- 研究者需要领域知识来定义个体形式、适应度函数、变异和选择算子。
- EA 通常需要大量的进化迭代。这带来额外的计算成本，可能引入额外的样本代价。
- EA 引入了额外的超参数，使应用和调参更加复杂。
- 涉及 EA 辅助 RL 的工作主要在 SDP 上验证效率，但缺乏在其他问题（如 CTOP）上的验证和系统分析。
基于上述挑战，未来研究方向包括：
- 为 EA 建立自动化配置机制以提升可用性。
- 提升 EA 的效率，如构建更高效的种群评估方法。
- 引入更高效、鲁棒、对超参数不敏感的 EA。
- EA 在 RL 中的作用，除上述分支外，仍有待进一步探索。
- 需要深入研究 EA 辅助 RL 在各种其他优化问题中的潜力。
核心思想与分类
在此优化过程中，相关算法围绕 EA 展开，RL 在 EA 的优化流程中扮演辅助角色来精炼优化过程。RL 不能独立解决问题。优化示意图如 Fig. 4(b) 所示。根据 RL 对 EA 不同阶段的影响，将相关工作分为六个分支：① RL 辅助种群初始化；② RL 辅助种群评估；③ RL 辅助变异算子；④ RL 辅助动态算子选择；⑤ RL 辅助动态超参配置；⑥ 其他。
其中，种群评估、变异算子和其他主要关注 SDP。种群评估侧重于利用 RL 值函数的判别能力评估个体，旨在提高 EA 的样本效率。变异算子侧重于利用 RL 值函数为更高效的变异提供方向性指导。种群初始化、动态算子选择和动态超参配置主要关注 CTOP、COP、MOOP 等。
🌱 分支 1：RL 辅助种群初始化（RL-Assisted Population Initialization）
种群初始化是所有 EA 的第一步，解决方案以随机或启发式方式提供作为初始候选。设计良好的种群初始化可以显著提升 EA 的搜索效率，而差的初始化可能阻碍算法找到优秀解。已有研究表明，利用已知的高质量初始解可以极大地提升算法性能 [180]。因此，一些工作提出利用 RL 来提升初始种群的质量。
NGGP [106]：针对符号回归问题（SRP），使用策略梯度引导的序列生成器进行种群初始化。随后执行若干 GP 迭代，将种群中前 E 个个体与初始种群合并来训练序列生成器。然后开始下一轮迭代。实验表明 NGGP 优于先前的 SPR 基准算法。
RL-guided GA [107]：使用 PPO 掌握和匹配问题规则与约束，然后用训练好的策略进行种群初始化。在每一代中，RL 学习获取新策略并将其加入种群。实验结果表明，RL 能高效学习规则来生成核燃料组件优化问题的候选解。
DeepACO [108]：不同于上述直接用 RL 提供初始解的方法，DeepACO 使用通过 REINFORCE 训练的图神经网络来初始化蚁群优化（ACO）的启发式度量。在传统 ACO 中，启发式度量通常基于专家知识预定义。DeepACO 使用 RL 选择每个节点的概率来初始化启发式度量，避免了引入专家知识并同时加速了求解效率。在九个 COP（如 TSP、SOP 等）上带来显著性能提升。
📊 分支 2：RL 辅助种群评估（RL-Assisted Population Evaluation）
种群评估是获取适应度的关键步骤。然而，当将 EA 应用于样本代价敏感问题时（如机器人控制），评估过程需要将种群中的每个解决方案应用于问题以获取适应度，这通常产生大量样本代价。为解决此问题，一些工作提出使用 RL 值函数来评估 EA 个体的适应度，从而提高样本效率。
SC [31]：利用 RL Critic 和经验估计的期望 Q 值作为适应度代理来评估种群。提出两种方法：① 概率性地使用代理进行评估；② 选择两倍于原始大小的种群，然后使用代理筛选一半。
PGPS [61]：采用 SC 的第二种方法进行种群评估。
ERL-Re² [32]：引入 H-step bootstrap 进行种群评估。每个个体与环境交互 H 步，然后使用值函数估计第 (H+1) 个状态的 Q 值，与外在奖励以累积折扣形式加和作为适应度。ERL-Re² 以概率方式应用 H-step bootstrap。上述所有方法都展示了在样本效率上的显著改进。
严格来说，上述工作应归类为 EA 与 RL 协同优化的实例。但在此上下文中，关注的是使用 RL 进行种群评估，因此放在此处讨论。详细解释在 Section V（方向三）中提供。
🧬 分支 3：RL 辅助变异算子（RL-Assisted Variation Operators）
传统变异算子通常是无梯度的，依赖随机搜索，需要广泛探索才能找到可行解，导致探索效率低。为提高效率，一些工作将策略梯度指导融入 EA 的变异操作。这些工作可分为两大类：① 单目标优化；② 质量-多样性优化。
GPO [5]：通过策略蒸馏和策略梯度算法设计基于梯度的交叉和变异。
CEM-RL [94]：使用 TD3 Critic 指导 CEM 变异。具体来说，随机选择一半种群用于优化 TD3 Critic，来自 Critic 的策略梯度被注入这些个体进行变异。另一半种群通过添加高斯噪声进行策略搜索。CEM-RL 在 OpenAI MuJoCo 的三个任务上优于 CEM 和 TD3。
CEM-ACER [95]：遵循与 CEM-RL 类似的框架，但用 ACER 替代 TD3。
PBRL [96]：与 CEM-RL 类似但关键区别是用 GA 替代 CEM 并使用 DDPG 进行变异。允许个体与环境交互若干步并使用当前个体和其他个体的混合经验进行个体梯度优化。此外还提出了超参调优版本（hyperparameter tuning PBRL），每个个体关联相应超参，添加高斯扰动进行超参变异。PBRL 在四个 MuJoCo 任务上优于 GPO 和 DDPG。
NS-RL [97]：不同于最大化性能，整合 DDPG 来提高探索能力。适应度定义为策略与行为刻画空间中其 k 个最近策略之间的 L2 距离。最新颖的个体被选为精英，较少新颖的个体通过最小化与精英的新颖性差异来改进。此外，NS-RL 将目标作为 Critic 的额外输入以增强泛化。在迷宫任务上展示效率。
DEPRL [98]：考虑策略的多样性，但最终目标仍然是最大化奖励。遵循 CEM-RL 框架，使用最大均值差异（MMD）衡量策略间距离作为多样性度量。通过梯度优化同时最大化奖励和 MMD，在 MuJoCo 部分任务上优于 CEM-RL。
QD-RL [99]：在 QD 框架中引入两个 TD3 Critic——一个用于质量，一个用于多样性。多样性的计算方式与 NS-RL 相同。维护一个档案保存所有过去策略。每次迭代开始时，从档案构建的多样性-质量 Pareto 前沿中选择个体。一半用质量 Critic 优化，另一半用多样性 Critic 优化。最后评估子代并插入档案。QD-RL 在探索和欺骗性奖励迷宫任务上优于 TD3 和其他 QD 方法。
PGA-ME [100]：遵循类似流程，但区别在于半数种群用 Map-Elites 原始算子变异，另一半使用 TD3 Critic 变异。在 QDMuJoCo 任务上优于 QD-RL。另一项研究 [181] 突出了策略梯度变异算子在 PGA-ME 中的决定性作用，尤其是在优化早期阶段。
GAC QD-RL [101]：通过将 SAC 和 DroQ 集成到 PGA-ME 中提出通用框架。揭示了三个洞察：① 提高更新数据比（UTD）可提升性能；② QD-RL 中多样的数据分布使 Critic 难以过拟合，因此 DroQ 的正则项不是必需的；③ PGA-ME(SAC) 在低维行为描述空间中比 PGA-ME(TD3) 更高效，但在高维空间中性能较差。
CMA-MEGA [102]：维护一个独立的策略进行训练（而非从档案采样）。使用行为描述空间的特征作为多样性度量。通过 OpenAI-ES 估计多样性梯度、通过 TD3 估计质量梯度，并通过 CMA-ES 生成梯度系数来调节不同目标的优化程度。然而 CMA-MEGA 在 QDMuJoCo 上的表现比 PGA-ME 差。
CCQD [103]：受 ERL-Re² 启发，通过分解策略为共享表示和独立策略表示来促进知识共享。不同于 ERL-Re²，CCQD 维护多个共享状态表示来构建不同的知识空间，通过协作进化方法增强算法。学习过程中发现的策略被插入档案。CCQD 优于先前的 QD 算法，在 QDMuJoCo 上达到新的 SOTA。
RefQD [104]：同样使用共享状态表示，并尝试解决 Map-Elites 中共享状态表示引入的新旧策略不匹配问题。通过定期重新评估档案和弱化 QD 的精英机制来改进。在资源受限时优于 PGA-ME。
Wuji [105]：使用 A2C 进一步增强 MOEA 中交叉和变异产生的子代，可视为额外的变异算子。Wuji 在游戏 bug 检测中展示卓越性能。
🎚️ 分支 4：RL 辅助动态算子选择（RL-Assisted Dynamic Operator Selection）
EA 在配置和应用阶段面临两个重大挑战：首先，没有单一 EA 算子能高效解决所有问题，需要根据问题特征和专家见解选择算子。其次，EA 对超参数高度敏感，即使是微小的变化也可能导致显著的性能差异。许多工作通过动态选择算子和调优超参数来提升 EA 的可用性和鲁棒性，通常称为动态算法配置（Dynamic Algorithm Configuration, DAC）。
RL-GA(a) [79]：最早用 Q(λ) 增强 GA，实现动态算子和父代类型选择。种群本身构成状态，奖励定义为子代相对父代的改进。RL 选择交叉和变异算子并指定应用算子的父代类型。在 TSP 上优于 GA。
RLEP [80]：使用 Q-learning 为 EP 动态选择四种变异算子。奖励定义为子代相对父代的改进，直接逼近四种变异算子的期望回报。
EA+RL [81]：使用 RL 动态选择适应度函数来增强 GA 在目标适应度下的优化效率。奖励定义为目标适应度下连续代际间最佳个体的性能差异。在 royal roads 和 H-IFF 优化问题上优于 ES。
EA+RL(O) [82]：动态使用 Q-learning 选择下一代交叉和变异算子。在 H-IFF 和 TSP 上验证。
RL-GA(b) [83]：用 RL 增强 GA 在电磁探测卫星调度问题中的表现。奖励定义与 RL-GA(a) 一致。
GSF [84]：使用 DQN 和 PPO 在 VRPTW 的不同优化阶段动态选择合适的算法组件组合。在 CVRPTW 上验证效率。
MARLwCMA [85]：提出结合多算子 DE 和 CMA-ES 的框架。多算子 DE 在 RL 辅助下动态选择变异算子。在多个 CEC 基准上优于其他 EA。
DEDQN [87]：使用 DQN 为 DE 动态选择三种变异算子。状态基于适应度景观理论的信息构建（包括适应度距离相关性和信息熵的粗糙度）。在 CEC2017 基准上优于五种已知 DE 变体。
DE-DDQN [88]：使用 DDQN 为 DE 中每个父代动态选择变异算子。RL 状态空间包含 99 个特征的向量。奖励有三种形式：R1（子代与父代的适应度差异）、R2（对最佳解改进的更高奖励）、R3（同时最大化适应度差异并最小化与最优解的差距）。在 CEC 基准上优于其他 DE 方法和动态算子选择方法。
RL-CORCO [89]：使用 Q-learning 为 DE 在约束优化问题中动态选择两种变异算子。种群根据目标值和约束违反程度分为九个子群，形成九个不同状态。在 CEC 基准上展示优越性。
RL-HDE [90]：使用 Q-learning 为 DE 动态选择六种变异算子并调整两个触发参数。在行星际轨道设计问题（如 Cassini2 和 Messenger-full）上优于其他基线。
MOEA/D-DQN [93]：使用父代解和权重向量作为 RL 状态，基于适应度改进构建奖励。使用 DQN 为 MOEA 选择变异算子，在多种 MOP 基准上展示优越性能。
AMODE-DRL [30]：在多目标调度问题（MOSP）中动态选择五种变异算子并调整两个连续参数。使用 DQN 选择变异算子，DDPG 微调连续参数。在随机生成实例和真实问题案例中验证。
🎛️ 分支 5：RL 辅助动态超参配置（RL-Assisted Dynamic Hyperparameter Configuration）
AGA [71]：利用 Q-learning 动态调整 EA 的交叉率、变异率、锦标赛大小和种群大小。RL 状态对应种群信息（如最大适应度、平均适应度和前一动作向量），奖励定义为最佳适应度的改进。在多模态问题生成器上优于 GA。
LTO [72]：使用 GPS 动态调整 CMA-ES 的步长参数。RL 状态包括当前步长值、当前累积路径长度、目标值变化历史和前 h 次迭代的步长历史。在 BBOB-2009 基准上展示效率。
RL-DAC [73]：将 DAC 形式化为上下文 MDP，使 RL 能跨一组实例学习。同时引入白盒基准来展示 RL 在超参调优中的效率。严格来说不限于 EA，可应用于所有优化算法。
REM [74]：使用变分策略梯度连续调整 DE 的缩放参数和交叉率。使用当前种群信息和相应随机性作为状态。如果算法达到最大代数则奖励为 0，否则给出 EA 发现的最小函数值的负对数。
Q-LSHADE / DQ-HSES [75]：在混合 EA 中，不同 EA 阶段之间的切换时机对算法性能至关重要。Q-LSHADE 结合 Q-learning 和 LSHADE，自适应控制何时使用 LPSR 技术。DQ-HSES 结合 DQN 和 HSES，自适应控制何时从单变量采样阶段过渡到 CMA-ES。在 CEC 2014 和 2018 基准上优于 SOTA EA。
MADAC [76]：强调不同超参之间的异质性，认识到用单一 RL 算法配置所有参数会引入复杂性。因此应用 MARL 方法 VDN（值分解网络）来搜索多目标 EA MOEA/D 的四类超参的合适设置。在多目标优化挑战中展示优越性能。
qlDE [77]：使用 Q-learning 动态调整 DE 的缩放因子 F 和交叉率 Cr。如果最佳个体优于前一代则奖励 1，否则 -1。在五个桁架结构重量最小化问题上展示可比或优越性能。
RLDE [78]：使用 Q-learning 动态调整 DE 的缩放因子 F。动作定义为 0.0、-0.1 和 0.1，加到当前 F 上。如果子代优于父代则奖励 1，否则 0。在光伏模型参数提取问题上优于其他算法。
🔮 分支 6：其他（强化 GP、RL+MPC 规划等）
受 Baldwin 效应和 Lamarckian 思想的影响，一些方法将学习引入 EA 以提升进化效率。RGP [67] 将 Q-learning 集成到树状 GP 中——GP 搜索树时将搜索空间分为粗粒度区域，Q-learning 嵌入在树的叶节点进行决策，在迷宫任务上验证效率。GNP-RL [68] 将图网络编程（GNP）与 Q-learning 结合，利用图结构更高表达力和更紧凑的结构来解决树的膨胀问题。
在规划方面，模型预测控制（MPC）是一种基于模型的控制方法——先设计或学习世界模型，然后用该模型规划动作序列。为提升效率，一些工作用 CEM 替代传统随机采样规划方法，如 PETS [196]、PlaNet [197]、POPLIN [198]。Grad-CEM [64] 在 CEM 基础上使用从动态模型最大化奖励获得的随机梯度来更新生成的动作序列。LOOP [65] 结合 MPC 和 off-policy RL，用 Q 值增强传统 H-step 折扣奖励估计。TD-MPC [66] 采用与 LOOP 相同的框架，但将状态编码到潜空间进行世界模型建模、策略学习和 Q 值逼近，在 DMC 任务上优于 LOOP 和 SAC。
方向二的挑战与未来方向
- 利用 RL 辅助 EA 优化需要研究者对目标问题有深入理解才能将其形式化为 MDP。此外，还需要 RL 知识来选择合适的学习算法。
- RL 引入了额外的超参数，通常需要根据具体问题进行调整。这可能带来额外的试错开销。
- 尽管 RL 在不同分支的实验中展示了增强 EA 的能力，但缺乏理论支持和收敛保证。
- 尽管使用了类似技术，但不同方法之间缺乏比较（特别是在动态算法配置中），使得难以确定哪种方法在解决特定问题上当前更优。
- 需要在 EA 过程中研究更先进、更稳定的 RL 算法，如探索更通用的建模方法并开发更鲁棒和通用的 RL 算法。
- 为 RL 辅助 EA 建立理论保证，包括收敛性和性能界。
- 对每个研究分支，可以进一步研究解决当前方法已有局限性的方案，如开发更高效的种群评估方法和变异算子。
- 研究者可以构建统一框架并在一致的基准上评估相关工作，提供更有价值的洞察。
核心思想
前两个方向的混合算法通常只将 EA 或 RL 之一作为主要问题求解器，另一个算法起辅助作用。本节关注协同优化算法——将 RL 和 EA 各自完整的学习和优化过程整合，要么 ① 通过协作机制同时解决同一个问题，要么 ② 各自独立优化子问题以获得部分解，随后组合形成完整解。示意图如 Fig. 4(c) 和 (d) 所示。相关工作主要关注 SDP。
第一种协作方式——同时求解：基于 EA 和 RL 展示的互补优势。具体来说，EA 基于种群和随机探索，提供了出色的探索和全局优化能力 [54]。然而，在巨大参数空间中的随机搜索通常导致低优化效率。此外，EA 基于回合奖励评估个体，需要每个个体与环境交互获取适应度。这些弱点导致显著的样本代价——通常比 RL 高 2-3 个数量级 [143]。但这些粗粒度的回合奖励使 EA 对奖励信号质量更不敏感。相比之下，RL 能利用更细粒度的信息（如状态和奖励）并复用历史经验，从而提供更高的样本效率，但在学习过程中面临探索挑战，容易收敛到次优解。此外 RL 需要精心设计的奖励信号 [12]。关键在于如何建立共生关系——保持各自优势的同时补偿弱点。
🤝 协同方式一 · 单智能体策略优化
ERL [54]——奠基之作：EA 和 RL 同时参与策略搜索。EA 将种群评估中产生的多样样本提供给 RL 进行策略学习，从而提升样本效率。反过来，RL 将其策略注入种群参与进化过程。如果 RL 策略取得更好性能，它会引导并促进种群进化。通过这些机制，ERL 整合了 EA 和 RL 的优势。实验结果表明，ERL 在大多数 OpenAI MuJoCo 任务上优于 DDPG 和 GA。
CERL [55]：ERL 的后续工作，专注于解决对 RL 折扣因子 γ 的敏感性问题。注意 GA 在 CERL 中的作用不是超参调优而是策略搜索，与 ERL 一致。CERL 维护多个具有不同 γ 值的 RL 学习器。与动态调整不同，CERL 预定义 γ 值而不在学习过程中调优。训练期间根据学习器的性能动态分配资源。在 MuJoCo 任务上展示了对超参数更不敏感。
PDERL [56]：受 GPO [5] 启发，提出近端蒸馏遗传算法（PD-GA）来解决 GA 在 ERL 中的灾难性遗忘问题。PD-GA 包含新的交叉和变异算子：交叉算子基于 Q 值从父代向子代蒸馏期望行为；变异算子考虑参数对动作的敏感性来调整变异幅度。在 OpenAI MuJoCo 任务上优于 ERL。
SC [31]：专注于减轻种群评估相关的高样本代价。提出利用 RL Critic 作为适应度代理，基于 replay buffer 中的样本用 Critic 评估个体。引入两种代理利用机制：① 以概率 P 使用代理进行种群评估，以概率 1-P 与环境交互；② 生成两倍于原始大小的种群，然后用代理模型筛选一半个体。SC 与 ERL 和 PDERL 集成，在 MuJoCo 任务上展示性能提升。
GEATL [57]：将 on-policy RL 与 EA 结合。与 ERL 类似，RL 通过策略注入影响 EA。但 EA 对 RL 的影响方式不同：当种群的精英策略优于 RL 策略时，精英策略替换 RL 策略。如果性能相当，有 50% 的概率精英策略替换 RL 策略。在稀疏奖励的网格世界场景中优于 ERL。
CSPC [58]：整合 off-policy RL、on-policy RL 和 EA——具体集成 SAC、PPO 和 CEM。当 SAC 策略优于 PPO 或种群中的策略时进行替换。引入额外的局部经验缓冲区给 SAC，并包含若干经验过滤机制以确保添加的经验是最近的且优于当时所有个体的最小值。SAC 以概率 P 使用局部缓冲区，概率 1-P 使用全局缓冲区。在大多数 MuJoCo 任务上优于三种基础算法。
T-ERL [59]：将 ES 与 TD3 整合，构建类似 CSPC 的两个 replay buffer——一个保存所有个体的经验，另一个保存最近的 RL 经验。T-ERL 从两个 buffer 按比例采样进行 RL 训练。在四个 MuJoCo 任务中的三个上优于 TD3。
ESAC [60]：采用 ERL 框架但用 SAC 替代 DDPG、用修改版 ES 替代 GA。ES 引入自动调整机制来调节添加高斯噪声的系数（A-ES），系数基于种群中最佳性能与平均性能之间的差距更新。此外，不同于 GA 对精英个体施加变异干扰屏蔽，ESAC 在精英和更新的 ES 分布之间进行交叉以将优良特性传递给子代。在 MuJoCo 和 DMC 任务上优于 ES 和其他 RL 算法。
PGPS [61]：遵循 ERL 框架结合 CEM 和 TD3。值得注意 PGPS 维护全生命周期 RL 策略，区别于 CEM-RL。大小为 N 的种群由前一代精英（索引 0）、从 CEM 分布随机采样的个体（索引 1 到 [N/2]）、以及从大 CEM 采样池中使用 SC 代理机制选择的个体（索引 [N/2] 到 N）组成。此外引入引导策略学习——当种群精英与当前 RL Actor 的行为差异超过阈值时使用行为克隆辅助 RL 学习。
ERL-Re² [32]——里程碑式进展：揭示了现有 ERL 研究中普遍存在的主要问题——隔离策略架构的广泛使用，每个个体在其私有策略网络中运行。这种独立结构通常阻碍了有价值知识的高效传递。解决方案：将策略分解为共享状态表示和独立线性策略表示，促知识共享同时压缩策略空间。此外提出基于线性策略表示的行为级遗传算子（B-GA），配合 H-step bootstrap 适应度代理进行种群评估。ERL-Re² 在 MuJoCo 任务上达到 SOTA 性能。
VEB-RL [62]：解决了先前工作忽略值函数 RL 的问题。构建值函数和相应目标函数的种群，使用负 TD 误差作为值函数评估的适应度度量。还引入精英交互机制以避免浪费交互资源。显著增强 DQN 和 Rainbow——在 MinAtar 和 Atari 上验证。
EvoRainbow / EvoRainbow-Exp [63]：通过实验从五个角度系统性审查了该分支的工作，提供了具有相同功能机制的详细比较。通过整合最有效的机制构建 EvoRainbow 及其探索版本。EvoRainbow 整合了并行模式、共享架构、CEM、遗传软更新和 H-step bootstrap (critic)。EvoRainbow-Exp 结合并行模式、私有架构、CEM 和遗传软更新。两者在 20 个任务上展示了优于现有 SOTA ERL 方法的优越性，涵盖运动任务、操作任务、迷宫任务和 Minatar。
👥 协同方式一 · 多智能体策略优化
除了单智能体优化方法，EA 和 MARL 的融合也取得了诸多进展。这里关注合作设定——需要控制多个智能体完成任务。与 MARL 相比，EA 提供了额外优势——EA 避免了将 MARL 问题建模为 MDP 的需要，从而规避了非平稳性问题 [53, 138]。
MERL [49]：旨在高效利用团队级和个体级奖励进行协作。MERL 维护一个团队种群，使用 EA 结合团队奖励优化团队策略种群，同时使用 RL 结合个体奖励优化个体策略。整体优化过程类似 ERL。在 MPE 任务上优于 MATD3 和 MADDPG。
NS-MERL [50]：扩展 MERL，在个体奖励优化中考虑两种类型奖励。为鼓励探索，使用基于计数的方法跟踪当前观测被访问的次数——访问次数越高奖励越低。此外使用反事实机制计算每个个体的贡献以增强协作。最终奖励由反事实奖励与前述两种奖励相乘确定。
CEMARL [51]：与 MERL 思路相同，主要将 GA 替换为 CEM。每次迭代从 CEM 分布采样种群团队，然后随机选择一个个体使用 MARL 基于个体奖励进行优化。个体优化后所有团队与环境交互获取团队奖励来优化 CEM 分布。CEMARL 还维护一个向最佳性能团队软更新的策略以增强稳定性。在 MPE 环境上优于 MERL。
EMARL [52]：关注更一般的任务设定——仅团队级奖励。结合 GA 与 COMA，种群个体先用 GA 优化，优化后的种群进一步用策略梯度增强。在群集任务上验证，表现优于基准 MARL 算法。
RACE [53]：提出新的混合框架，首次在复杂任务中展示效率。将共享表示概念引入 MARL 与 EA 的整合——团队策略分为共享观测编码器和独立线性策略表示。RACE 最大化值函数和价值感知互信息来注入协作相关信息和优越的全局状态到共享表示中。Agent 级交叉和变异操作在线性表示上进行以确保稳定进化。在 SMAC 和 MA-MuJoCo 任务上优于 FACMAC、MATD3 和 MERL。
🏗️ 协同方式二 · 分工合作
形态进化（Morphological Evolution）：持续优化机器人形态和控制策略。最终解由两个组件构成：① 最优形态；② 关联的策略。经典方法用 EA 进化形态、RL 学习策略 [43]。一些工作尝试用 RL 同时优化形态和策略（如 CuCo [199]、Pre-Co [200]），或用 EA 同时优化（如 HyperNEAT [201]）。混合算法包括 EvoGym(GA) [43]、HERD [44]、AIEA [45]、DERL [46] 和 TAME [47]。
可解释 AI（Interpretable AI）：深度神经网络导出的策略通常缺乏可解释性。许多工作将决策树与 EA 和 RL 整合以获得高可解释性策略。POC-NLDT [37] 先用 RL 预训练策略收集数据集，然后引入两阶段训练：开环训练中使用双层 EA 基于数据集优化——上层优化树结构，下层寻找树权重的最优值；闭环训练中进一步使用累积奖励重新优化权重。GE-QL [38] 用语法进化（GE）进化树结构，用 Q-learning 优化叶节点。CG-DT [38] 用 GP 优化决策树结构，用 CMA-ES 优化权重。CC-POC [39] 将 POC-NLDT 扩展到连续动作空间。QD-GT [40] 用 Map-Elites 替代 GE 并基于动作熵和决策树深度定义行为描述符。SIRL [41] 构建决策树种群并共享经验，每棵决策树用 Q-learning 优化叶节点、用 GE 优化树结构。SVI [42] 使用符号回归构建平滑的基于解析表达式的值函数。
学习分类器系统（Learning Classifier Systems, LCS）：LCS [206] 是一类将学习与进化原则整合的方法，旨在发现能够解决目标任务的一组规则。LCS 也可称为基于种群的时间差分方法 [207]。LCS 由四个关键组件构成：① 分类器种群（每个分类器由条件、动作和相关适应度参数组成）；② 性能组件（调节环境与种群之间的交互）；③ 强化组件（将获得的奖励分配给分类器）；④ 发现组件（发现新规则或精炼已有规则）。XCS [33] 将 Q-learning 集成到 LCS 中进行学习——每个分类器代表一个动作-值函数。XCS 使用基于准确率的适应度，通过 GA 在动作空间搜索分类器选择。XCSG/XCSRG [207] 将梯度下降引入 XCS。XCSF [34] 进化代表问题解相关奖励表面片段的分段线性逼近的分类器。XCSF with tile coding [35] 用 tile coding 逼近替代原始分类器预测函数。DGP-XCSF [36] 使用基于图的动态 GP 来表示传统的条件-动作产生式系统规则。
方向三的挑战与未来方向
协同优化在近年来取得了显著进展。例如，基于第一种协作方式的早期工作只能在特定任务上取得性能改进 [54, 55, 56]。随着该领域的发展，近期工作可以在广泛任务范围内一致地超越 EA 和 RL [32]。尽管取得了显著进展，仍需进一步研究如何有效整合 EA 和 RL 的优势。
协同优化面临与方向一和方向二类似的挑战——需要领域知识、对超参数敏感等。同时它也有独特的问题：如何整合 EA 和 RL 以在各种问题上最大化两者优势。目前该方向主要关注 SDP，需要进一步研究如何补充和提供优势来解决其他类型问题。
- 探索如何将 EA 和 RL 整合用于协同优化来解决其他问题。
- 用更先进的 EA 或 RL 算法替换当前 ERL 方法中的基础算法，充分利用两个领域的先进方法。
- 对第一种协作方式，设计更高效的机制使 EA 影响 RL 或 RL 影响 EA，增强 EA 和 RL 之间的正向影响。
- 对第二种协作方式，如何更好、更自动地分解问题以充分发挥各自优势也是重要的研究方向。
- 在多智能体设定中，结合 EA 和 MARL 仍处于起步阶段但具有巨大的发展潜力。研究者可以进一步深入探讨如何融合 EA 和 MARL 的能力来驱动高效协作。
论文总结
本文系统性地综述了 ERL 领域内的不同研究方向及每个方向内的相应研究分支。在每个部分的末尾总结了各方向面临的挑战和潜在的未来研究方向。希望本综述能向研究者全面展示 ERL 领域的当前发展状况，包括现有算法、技术细节、研究挑战和未来研究方向。
值得强调的是，虽然 EA 辅助 RL 和 EA 与 RL 协同优化主要关注 SDP，但 RL 辅助 EA 优化更倾向于解决其他优化问题——这与 EA 和 RL 的问题求解优势密切相关。然而，这些方向不应局限于特定问题。近年来已有大量工作尝试用 RL 解决 EA 擅长的问题（如 COP [209]）或用 EA 解决 SDP [210]，取得了显著积极成果。这进一步拓宽了不同技术的应用边界。
方向一 EA→RL
- 主要面向 SDP
- EA 作为 RL 的辅助工具
- 4 个分支：参数搜索、动作选择、超参优化、其他
- 关键挑战：领域知识依赖、额外计算/样本代价
方向二 RL→EA
- 面向 COP/MOOP/CTOP 等优化问题
- RL 作为 EA 的智能辅助
- 6 个分支：初始化、评估、变异、算子选择、超参、其他
- 关键挑战：MDP 建模门槛、缺乏理论保证
方向三 EA⇄RL
- 主要面向 SDP
- EA 和 RL 各自维持完整流程
- 两种协作：同时求解 + 分工合作
- 关键挑战：最大化互补优势、问题分解自动化