基于深度强化学习的含储能船舶的海岛-海上渔排能源运输策略研究

针对海上渔排与风光资源富余岛屿间的能源交互问题，提出一种包含全电船舶的能源运输策略，并构建考虑移动式储能电池组状态细分的混合动作空间马尔可夫决策过程模型。采用基于多批次前向传播的参数化双深度Q网络求解，通过解耦离散与连续动作提升训练稳定性与收敛性能。仿真结果表明，该方法能有效实现多节点间能量调配，在大规模场景下优于传统深度强化学习方法，具备更强灵活性与优化能力。

针对海上渔排与风光资源富余岛屿能源交互问题,该文提出含全电力船舶(all-electric ship,AES)的岛屿-海上渔排-海岸能源运输策略,利用能够很好处理海面风光不确定性问题以及适应较大规模能源转移模型的深度强化学习方法对上述能源运输模型进行求解.首先,将移动式储能电池组细化为满充电池、空载电池以及不完全充电电池;其次,将上述能源运输问题建模为含混合动作空间的马尔可夫决策过程;考虑到针对混合动作空间问题,提出一种适用于混合动作空间的基于多批次前向传播的参数化双深度Q网络,该方法通过多步前向传递策略对不相关离散与连续动作进行解耦,减少了智能体训练过程中的波动性并能够收敛于更优的解;最后,通过算例仿真可知,所提策略能够有效实现各地点间能量转移,所提算法相较于传统适用于离散动作空间的深度强化学习方法更加灵活,在目标场景下能够实现更优运行.此外,在模型逐渐扩大的情况下,将该文方法与传统方法求解效果进行对比,验证所提方法在解决大规模能源运输问题的优势.