基于深度确定性策略梯度算法的综合能源系统自动发电控制

To address stochastic disturbances from large-scale renewable integration under 'dual-carbon' goals, this paper proposes a behavior-cloning-enhanced twin-delayed DDPG algorithm for multi-area coordinated AGC, reducing overestimation bias and improving robustness to reward noise. Validated on two- and four-area IES models, it outperforms conventional RL methods.

"双碳"目标推动大规模新能源并网并引入强随机扰动,使传统控制方法难以获得多区域协同的最优解;尽管强化学习可应对该问题,但其在智能体与环境交互中产生的过度估计偏差及奖励噪声仍会影响控制性能.为此,提出一种面向综合能源系统的多智能体协同自动发电控制算法,即基于行为克隆的综合价值估计双延迟深度确定性策略梯度算法来获取多区域协同最优解,其通过行为克隆引入策略约束,以缓解在与环境交互时所产生的过度估计偏差;同时,引入复合Q学习,实现对动作价值的综合估计,以更好地适应奖励信号中的随机性或噪声.通过对搭建的以新能源为主体的两区域负荷频率控制模型以及基于湖北电网的四区域综合能源系统模型进行仿真,验证了所提算法能够获取多区域协同随机最优解,且与多种强化学习算法相比,具有更优控制性能.