← 返回
基于事件驱动的强化学习预测控制器设计——用于三相NPC变流器的在线逼近器方法
Event-Driven Based Reinforcement Learning Predictive Controller Design for Three-Phase NPC Converters Using Online Approximators
| 作者 | Xing Liu · Lin Qiu · Youtong Fang · Kui Wang · Yongdong Li · Jose Rodríguez |
| 期刊 | IEEE Transactions on Power Electronics |
| 出版日期 | 2024年12月 |
| 技术分类 | 电动汽车驱动 |
| 技术标签 | 强化学习 |
| 相关度评分 | ★★★★★ 5.0 / 5.0 |
| 关键词 | 无模型预测控制 事件驱动 神经网络 开关频率 收敛分析 |
语言:
中文摘要
本文针对电力变换器系统,研究了一种利用在线逼近器的无模型强化学习预测控制问题的两步事件驱动方法,解决了系统不确定性和不必要的开关损耗等问题。具体而言,本技术报告的关键特点如下:1) 采用一个评判神经网络实时学习性能函数;2) 采用一个执行神经网络在线逼近预测控制器,并使从评判网络获得的学习性能函数最小化;3) 采用两步事件驱动控制协议降低开关频率(SF)。此外,我们进一步探讨了该方案对参数不确定性的敏感性,并量化了其在低开关频率运行和未知干扰条件下的性能。此外,还对网络权重估计误差进行了收敛性分析。最后,通过各种数值算例对所提出的控制器进行了评估,结果令人鼓舞,有望推动该领域的进一步研究。
English Abstract
This article is concerned with a two-step event-driven in reinforcement learning model-free predictive control problem leveraging online approximators for power converter systems, in which the limitations from system uncertainties and unnecessary switching loss are all addressed. To be specific, the key features of this technical note are: 1) a critic neural network to learn the performance function in real-time; 2) an actor neural network to approximate the predictive controller online and to minimize the learned performance function obtained from the critic network; 3) a two-step event-driven control protocol to attenuate the switching frequency (SF). Also, we further discuss the sensitivity of the proposal to parametric uncertainties and quantify its performance under low SF operation and unknown disturbances conditions. Further, the convergence analysis of the networks' weight estimation errors is manifested. Finally, we evaluate the suggested controller by means of various numerical examples, and the results found are promising and motivate further research in this field.
S
SunView 深度解读
从阳光电源的业务视角来看,这项基于事件驱动的强化学习预测控制技术对三相NPC变流器的应用具有重要战略价值。NPC(中点钳位)拓扑是我司大功率光伏逆变器和储能变流器的核心架构,该技术在提升系统性能和降低运维成本方面展现出显著潜力。
该论文提出的双步事件驱动控制策略直接针对变流器的两大痛点:一是通过在线神经网络实现无模型预测控制,有效应对光伏发电场景中的参数不确定性和环境扰动,这对于我司产品在复杂工况下的鲁棒性提升具有实际意义;二是通过降低开关频率来减少开关损耗,这将直接提高逆变器效率并延长IGBT等功率器件寿命,对降低系统全生命周期成本至关重要。
从技术成熟度评估,强化学习在电力电子领域仍处于探索阶段。该方法的实时性能、神经网络收敛速度以及在极端工况下的稳定性需要大量工程验证。对于我司而言,关键挑战在于:如何将算法移植到现有DSP/FPGA控制平台,如何确保学习过程不影响电网安全,以及如何建立完善的测试验证体系。
然而,这项技术为阳光电源带来了差异化竞争机遇。随着储能系统对动态响应和效率要求的不断提升,自适应控制技术将成为核心竞争力。建议我司技术团队关注该方向,开展小规模原型验证,特别是在储能变流器的多场景自适应控制方面进行探索性研发,为下一代智能变流器产品储备关键技术。