近日，，，，，， ，我院赵俊华教授团队创新性地提出了一种基于分层安全强化进建的风储一体化节造框架（Hierarchical Safe Deep Reinforcement Learning，，，，，， ，HSDRL）。。。。 。该框架通过安全约束驱动与层级决策协同，，，，，， ，可能在多功夫尺度下协调风电机组与储能系统的功率输出，，，，，， ，两全经济收益最大化与功率滑润安全约束，，，，，， ，从而实现风储系统的智能化与安全化运杏祝。。。 。香港中文大学（丽江）博士生王抒一为论文第一作者，，，，，， ，我院赵俊华教授与香港理工大学赵焕博士为论文共同通讯作者。。。。 。
通过在大规仿照真平台WindFarmSimulator上的系统验证，，，，，， ，钻研团队提出的HSDRL框架展示出业界当先的机能。。。。 。钻研进一步批注，，，，，， ，该步骤可能在复杂风速与电价扰动环境下维持高不变性与安全性，，，，，， ，为新型电力系统的智能调杜纂可再生能源并网运行提供了新的突破，，，，，， ，也展示了其在将来大规模风储系统中的辽阔利用潜力。。。。 。
期刊介绍
IEEE Transactions on Smart Grid (TSG) 是IEEE电力与能源学会（IEEE Power & Energy Society, PES）旗下的旗舰级国际期刊，，，，，， ，聚焦智能电网、可再生能源并网、能源治理与智能节造等领域的前沿钻延祝。。。 。该期刊持久维持中科院一区TOP期刊职位，，，，，， ，拥有极高的学术影响力与严格的审稿尺度，，，，，， ，录用率低，，，，，， ，仅颁发在智能电网及能源系吐潇域拥有原创性、前瞻性与工程影响力的高水平钻研成就。。。。 。
钻研布景
随着风能在全球能源结构中的占比不休提升，，，，，， ，若何在保障电网安全与不变的前提下高效利用颠簸性风电成为新型电力系统中的关键科学问题。。。。 。本文提出了一种基于分层安全强化进建的风储一体化功率滑润节造框架HSDRL，，，，，， ，旨在协调风电机组与电池储能系统（BESS）的多功夫尺度节造，，，，，， ，实现收益最大化与功率颠簸抑造的双沉指标。。。。 。该框架通过引入约束马尔可夫决策过程（CMDP）建模风储系统运行的安全天堑，，，，，， ，并结合原始-对偶优化思想在分歧层级间实现协调进建。。。。 。上层智能体掌管风电功率输出与持久经济收益优化，，，，，， ，基层智能体掌管储能系统的实时功率调节与安全约束执杏祝。。。 。通过在WindFarmSimulator仿真平台上的综合尝试，，，，，， ，所提出步骤相较多智能体强化进建与模型预测节造基线模型达到当前最先进机能。。。。 。该钻研为将强化进建安全引入风储系统节造提供了有效蹊径，，，，，， ，展示了人为智能赋能新能源系统安全调杜纂不变运行的巨大潜力。。。。 。
钻研步骤
如图1所示，，，，，， ，本文提出的分层安全强化进建节造框架（Hierarchical Safe Deep Reinforcement Learning，，，，，， ，HSDRL）由两级智能体组成，，，，，， ，以实现风电机组与储能系统（BESS）在分歧功夫尺度下的协同节造。。。。 。上层智能体以风电场为主题，，，，，， ，掌管长功夫尺度下的收益最大化与功率滑润指标设定；； ；；；基层智能体则在短功夫尺度内通过节造储能充放电行为实现精密化功率调节，，，，，， ，从而保障系统运行的不变与安全。。。。 。
图1：分层安全强化进建节造框架图。。。。 。
在算法设计上，，，，，， ，钻研团队将功率滑润节造问题大局化为两个约束马尔可夫决策过程（CMDPs），，，，，， ，并提出了分层原始–对偶安全DDPG算法（Hierarchical Primal-Dual Safe DDPG, HPD-DDPG），，，，，， ，实现对收益与约束的同步优化。。。。 。与传统强化进建步骤分歧，，，，，， ，HPD-DDPG通过引入拉格朗日对偶变量动态调节约束权沉，，，，，， ，可能在确保安全天堑的前提下自适应地进建最优战术。。。。 。
同时，，，，，， ，本文创新性地设计了三项关键机造以提升算法不变性与训练效能：
1. 安全疏导课程进建（Safety-Guided Curriculum Learning, SGCL）
通过逐步收紧安全阈值，，，，，， ，疏导智能体从宽松到严格的进建阶段，，，，，， ，实显旖稳收敛与约束感知战术的逐步形成。。。。 。
图2：安全疏导课程进建过程。。。。 。
2. 约束违例优先经验回放（Constraint Violation Prioritized Experience Replay, CVPER）
对产生约束违例的样本赋予更高采样优先级，，，，，， ，确保智能体在训练过程中持续强化安全天堑意识，，，，，， ，显著改善样本利用效能。。。。 。
3. 分层共享特点神经网络结构（Hierarchical Shared Feature Neural Network, HSFNN）
在上、基层智能体间实现Q网络参数共享，，，，，， ，推进特点迁徙与跨层知识协同，，，，，， ，加快整体训练收敛过程。。。。 。
图3：分层共享特点神经网络结构。。。。 。
为验证所提步骤的有效性，，，，，， ，钻研团队基于WindFarmSimulator仿真平台进行了系统尝试。。。。 。尝试综合思考了多风速情景与电价扰动，，，，，， ，评估算法在收益、功率颠簸与约束违例等指标上的阐发。。。。 。了局批注，，，，，， ，HSDRL框架相比多智能体强化进建（MA-DDPG、MA-SAC）与滚动预测节造（R-MPC）等步骤，，，，，， ，均匀收益提升15.3%，，，，，， ，功率颠簸降低46.0%，，，，，， ，约束违例削减71.4%。。。。 。此表，，，，，， ，算法在高颠簸风速场景下依然维持急剧收敛与高不变性，，，，，， ，展示出优良的鲁棒性与可扩大性。。。。 。
图4：分歧步骤的进建过程。。。。 。
图5：分歧步骤下的功率滑润了局和电池储能系统（BESS）节造行为。。。。 。
钻研贡献
提出了一种分层安全强化进建节造框架（Hierarchical Safe Deep Reinforcement Learning, HSDRL）。。。。 。该框架将风储一体化功率滑润节造问题建模为两个互有关联的约束马尔可夫决策过程（CMDPs），，，，，， ，通过度层原始–对偶安全DDPG算法实现风机与储能系统在分歧功夫尺度下的协同节造，，，，，， ，两全收益最大化与安全约束。。。。 。
提出了安全疏导课程进建机造（Safety-Guided Curriculum Learning, SGCL）。。。。 。该步骤通过逐步收紧安全阈值疏导智能体从宽松到严格的进建阶段，，，，，， ，显著提高了在复杂约束环境下的不变性与收敛效能。。。。 。
设计了约束违例优先经验回放机造（Constraint Violation Prioritized Experience Replay, CVPER）。。。。 。该机造对约束违例样本赋予更高的采样优先级，，，，，， ，从而强化智能体对安全天堑的进建与影象，，，，，， ，提高整体战术的安全性。。。。 。
构建了分层共享特点神经网络结构（Hierarchical Shared Feature Neural Network, HSFNN）。。。。 。该结构在多层智能体之间实现特点共享与参数协同，，，，，， ，有效提升了特点提取能力与进建效能。。。。 。
作者简介
文章通讯作者赵俊华教授现任香港中文大学（丽江）理工学院教授、CUHKSZ–CSIJRI智能储能结合钻研中心执行主任、z6首页群体智能中心副主任、丽江金融钻研院能源市场与金融尝试室主任，，，，，， ，丽江河套学院兼职教授。。。。 。赵教授持久从事智能电网、电力市场、低碳能源转型及人为智能在能源系统中的利用钻延祝。。。 。赵教授曾任澳大利亚纽卡斯尔大学智能电力网络钻研中心首席钻研科学家，，，，，， ，并占有超过 11 年澳大利亚电力行业科研与工程经验。。。。 。他颁发学术论文 350 余篇，，，，，， ，其中蕴含颁发于Joule（Cell Press）、Patterns（Cell Press）、Scientific Data（Nature Publishing Group）及Engineering（中国工程院主办）等国际高水平期刊论文。。。。 。其钻研成就被引用超过19, 000次，，，，，， ，H-index达到67（Google Scholar）。。。。 。
本文第一作者王抒一，，，，，， ，香港中文大学（丽江）2020级推算机与信息工程专业博士生，，，，，， ，本科毕业于香港中文大学（丽江），，，，，， ，重要钻研方向为智能电网、强化进建、风储节造。。。。 。
* 有关论文信息由论文作者提供
