← 返回
智能化与AI应用 强化学习 ★ 4.0

受脑启发的深度强化学习在复合干扰下电力系统负荷频率控制中的应用

Brain-Inspired Deep Reinforcement Learning for Load Frequency Control of Power Systems With Composite Interference

作者 Xiaoming Sun · Chen Peng · Xinchun Jia · Yajian Zhang
期刊 IEEE Transactions on Industrial Informatics
出版日期 2025年4月
技术分类 智能化与AI应用
技术标签 强化学习
相关度评分 ★★★★ 4.0 / 5.0
关键词 负荷频率控制 深度强化学习 复合干扰 渐进训练机制 电力系统
语言:

中文摘要

本文针对存在内部噪声和外部负荷波动复合干扰的电力系统,提出了一种受大脑启发的基于深度强化学习(DRL)的负荷频率控制框架。具体而言,受人类大脑决策过程的启发,系统状态的一些历史、当前和未来特征被充分提取到经验池中,以便深度强化学习智能体进行高效训练。同时,设计了一种渐进式训练机制,通过逐步增加训练目标将训练过程划分为多个阶段,以减少训练过程中的盲目性。此外,针对复合干扰,预先学习一些模拟干扰,以提高深度强化学习智能体的适应性。在单发电机组电力系统上的实验结果表明,所提出的方法能够在复合干扰下有效控制频率并确保负荷供应,并且在控制性能和训练效率方面优于对比方法。

English Abstract

This article proposes a brain-inspired deep reinforcement learning (DRL)-based load frequency control framework for power systems with composite interference of internal noise and external load fluctuation. Specifically, inspired by the decision-making process of human brain, some historical, present, and future characteristics of system states are thoroughly extracted into the experience pool for the DRL agent to train efficiently. Meanwhile, a progressive training mechanism that divides the training process into stages through gradually increasing the training objectives is designed for less blindness during training. Moreover, in response to the composite interference, some simulative interferences are learned beforehand to promote the adaptability of the DRL agent. Experimental results on a power system of single generating unit demonstrate that the proposed method is competent in controlling the frequency while ensuring the load supply under composite interference, and is superior to the comparative methods in control performance and training efficiency.
S

SunView 深度解读

从阳光电源的业务视角来看,这项基于脑启发式深度强化学习的负荷频率控制技术具有重要的战略价值。随着公司光伏逆变器和储能系统在全球电网中的装机规模持续扩大,如何应对新能源接入带来的频率波动问题已成为核心技术挑战。

该技术的创新点与阳光电源的实际需求高度契合。首先,其针对"内部噪声与外部负荷波动复合干扰"的设计,精准对应了光伏发电的间歇性和储能系统响应延迟等实际场景。论文提出的渐进式训练机制和预学习干扰模式,可显著提升控制算法在复杂工况下的鲁棒性,这对于阳光电源的储能变流器(PCS)和能量管理系统(EMS)产品线具有直接应用价值。通过将该算法集成到储能系统的控制策略中,可以更精准地实现一次调频和二次调频功能,提升电网辅助服务能力。

从技术成熟度评估,深度强化学习在电力系统的应用仍处于从理论验证向工程化过渡的阶段。论文目前仅在单机组系统上验证,距离阳光电源面对的多机组、多能源耦合的实际电网场景还有差距。主要挑战包括:算法的实时性能否满足毫秒级控制要求、训练数据的代表性、以及与现有SCADA系统的兼容性。

然而,这也带来了技术机遇。阳光电源可以依托丰富的实际运行数据和场景,建立行业领先的训练数据集,将该技术与公司的iSolarCloud云平台深度融合,开发具有自学习能力的智能调频产品,在虚拟电厂和微电网解决方案中形成差异化竞争优势,巩固在新型电力系统中的技术领先地位。