福州大學電氣工程與自動化學院的研究人員汪波、鄭文迪，在2018年第2期《電氣技術》雜志上撰文指出，隨著分布式清潔能源在電網所占比重逐年增加，其功率預測誤差給電網的穩定運行帶來巨大挑戰，如何使儲能系統在實時調度周期快速做出充放電決策達到最優的削峰填谷效果需要一種控制方法。

考慮儲能系統充放電爬坡和存儲電量限值等約束條件，提出改進的Q學習算法，用全局最優懲罰項引導其利用離線數據分階段學習訓練得出最優決策，可以快速地收斂，且準確性高；在實時調度周期負荷功率預測不準確時，儲能系統只需要修正狀態量并判斷其所處狀態，基于訓練好的Q值表，采用貪婪策略可以快速得出其最優動作值，不需要再進行全局尋優迭代運算。

仿真算例結果表明，相比于傳統Q學習算法，本文所提方法收斂速度更快，且訓練好的Q值表可以用于實時調度周期儲能系統做優化決策。

儲能系統具有平衡功率波動，對負荷曲線削峰填谷的優點，也可以提高分布式設備的利用率，節省分布式電源容量成本，還可以保持系統穩定[1-5]。中關村儲能產業技術聯盟發布的《儲能產業研究白皮書2016》預測，到2020年，理想情景下，我國儲能市場總裝機規模將達24.2 GW；常規情景下，我國儲能市場總裝機規模也將達到14.5 GW。隨著分布式能源近年來大規模接入電網，其作用更加重要，而儲能投資成本近年來也不斷下降，儲能產業將快速發展并推動能源變革。

目前，儲能系統的運行主要面臨兩個問題，第一，絕大部分的儲能系統控制策略都是將其作為輔助元件，被動的接收調度命令，如文獻[6]提出一種消納高滲透分布式光伏發電有功功率波動的集中式儲能電站實時調度方法；文獻[7]在孤島運行微電網能量優化管理中，不僅對分布式發電輸出功率進行優化分配，還根據模糊邏輯對蓄電池的充放電進行能量的調度；文獻[8]將蓄電池虛擬放電和充電價格計入群體尋優目標函數，結合協同進化遺傳算法，使用群體尋優目標函數和精英尋優目標函數尋求分階段經濟調度最優解。

在這種情況下，當電力用戶和中間商都參與進來的時候，調度需要考慮太多因素，不滿足實時調度的實時性需求。第二，目前的儲能系統充放電策略優化算法有遺傳算法[9]、粒子群算法[10]、模擬退火算法[11]、動態規劃算法[12]等，這些方法都是針對負荷曲線為確定情況，而在實時調度期間，實時負荷功率與預測值有誤差，以上方法都需要重新計算策略，不滿足實時性需求。

文獻[13]研究了儲能系統能量調度及需求響應聯合優化問題，對儲能單元動作及可延時負荷動作進行優化控制，但是其并沒有量化儲能系統的充放電數值，而且其采用的傳統Q學習算法，收斂速度較慢，需要調整好參數才能收斂。

本文使儲能系統以凈負荷功率曲線方差最小為目標，決策其每一實時調度周期的充放電功率值。提出了用全局最優懲罰項的方法來引導Q學習算法獲得一天的最優動作值，相比于傳統Q學習算法，收斂速度更快；用訓練好的Q值表指導儲能系統在實時調度周期做出最優充放電動作決策，在凈負荷功率預測不準確的情況下不需要重新迭代運算獲得最優動作值，從而滿足實時性要求。

圖1 凈負荷曲線

結論

本文基于Q值表的記憶功能，提出改進的Q學習算法，去掉了遺忘因子，將不同狀態下即時報酬之間的關系解耦，用全局最優懲罰項引導算法收斂，使儲能系統獲得一天的最優充放電動作決策，這種方法是基于初始Q值表對各種狀態情況下采取不同動作的即時報酬有了認識以后才進行的。

相比于傳統Q學習算法，其收斂速度更快，準確性更高，迭代完成后的結果具有唯一性。而且，因為Q值表具有記憶功能，在實時調度周期不需要因為負荷功率預測值不準確而重新進行迭代尋優，只需修正并判斷其當前所處狀態，基于訓練好的Q值表使用貪婪策略可快速獲得當前狀態最優動作值。但是這種方法需要較大的內存存儲Q值表中的數值，后續工作可以考慮如何減少狀態總數，從而減少Q值表中的值，避免維數過大。