基于双池DQN的HVAC无模型优化控制方法

• Published in: 智能科学与技术学报 2022-09, Vol.4 (3), p.426-444
• Main Authors: 马帅, 傅启明, 陈建平, 冯帆, 陆悠, 李铮伟, 裘舒年
• Format: Article
• Language: Chinese
• Subjects: hvac系统; 建筑节能; 无模型优化控制; 深度强化学习
• ISSN: 2096-6652
• DOI: 10.11959/j.issn.2096-6652.202208

在 HVAC 控制领域，基于模型的最优控制方法得到了学者的广泛研究与验证，但是该方法高度依赖模型的准确性、大量历史数据的收集以及传感器的部署。针对上述问题，结合 EnergyPlus、实际系统参数以及历史数据，构建 HVAC 优化控制模型，并提出一种改进的双池 DQN 算法，最后将其应用于 HVAC 系统中不同型号冷机的负荷分配、冷却塔风机频率以及冷却水泵频率的组合优化控制。基于所构建的问题模型，针对决策优化过程中存在的样本不平衡的问题，该算法在 DQN 的基础上，建立两个独立的经验池，分别存储负荷分配与非负荷分配样本，在训练过程中，遵循一定的比例从经验池中进行采样，以加快算法收敛。将所提出的方法与基于模型的控制方法及基线方法进行比较，实验结果表明，与基线方法相比，基于模型的HVAC控制器能够节能11.5% （最优节能效率），而基于双池DQN的HVAC控制器在第1年就能够节能7.5%，同时，随着系统运行，该控制器在第8年左右即可获得接近最优节能效率的结果。此外，与基于模型的HVAC控制器相比，该控制器不依赖于系统模型，且在在线控制过程中，所需的先验知识及传感器较少，在实际的工程应用中更具价值。