Designing An Active Distribution Network Operation Strategy for Practical Power Systems Based on Safe Deep Reinforcement Learning

Abstract

The primary objective of this research is to propose a methodology for Distribution System Operators (DSOs) to maintain real-time security in a distribution system infused with renewable energy sources, along with the provision of a safe reinforcement learning (RL) approach to resolve this as an optimal operation problem. To this end, the research initially assesses the need, authority, and role of the DSO in a distribution system environment transformed by the penetration of renewable energy sources and defines the objective of active system operation for maintaining system stability by the DSO. Furthermore, this study endeavors to integrate the actual physical system and the system in a simulation environment into a single Cyber-Physical System (CPS), defining the distribution power system environment where real-time network management of DSO takes place. The assets or devices that the DSO can control vary according to each system environment; however, this study focuses intensively on two controlling options: distribution system reconfiguration through switches within the system and alternation of system current flow using energy storage devices, formalizing each of these as optimization problems. Moreover, this research considers these optimization problems as control decision problems over continuous time and reformulates them as Markov Decision Processes (MDPs), designing a reinforcement learning algorithm to resolve them. Depending on the objectives and the characteristics of the target data in the field of reinforcement learning (RL), a variety of algorithm forms can be designed. In this study, a Dueling Deep Q-learning algorithm suitable for the proposed system operation methodologies is designed. While numerous studies have sought to resolve power system operation issues using reinforcement learning algorithms, this study scrutinizes problems that can occur when applying these beyond the simulation environment to practical power systems. Among these, the study extends the original MDP to a Constrained Markov Decision Process (CDMP) to handle safety constraints of control decisions required in actual systems within the reinforcement learning algorithm, designing a safety module to handle equality constraints and an adaptive cost function for inequality constraints. Consequently, by simulating the designed safe reinforcement learning model in the IEEE 123-bus test system, it is proven to display more effective performance when considering multiple operation strategies simultaneously and taking into account the safety of reinforcement learning. By adopting the reinforcement learning framework proposed in this paper for real-time distribution system operation, DSOs can design reinforcement learning algorithms to resolve the requirements derived from physical power systems. Furthermore, by ensuring that the algorithm's decision minimizes the violation of physical system stability constraints, it can be utilized as one of the system operation strategies to counteract the increasing complexity of the distribution system.

본 연구의 목적은 신재생에너지원이 유입된 배전계통의 안정성을 실시간으로 관리하기 위한 배전계통운영자(DSO) 방법론과 이를 풀 수 있는 안전 강화학습 기법을 제안하는 것이다. 이를 위해 본 연구에서는 우선 신재생에너지원의 유입으로 인해 변화하는 배전계통 환경에서의 배전계통운영자의 필요성, 그리고 권한과 역할에 대해 검토하며, 배전계통운영자가 계통 안정성을 유지하기 위한 능동적 계통 운영의 목적을 정의한다. 나아가 이러한 관리가 이루어지는 배전계통 환경을 하나의 가상 물리 시스템(CPS)으로 정의하여 실제의 물리적 계통과 시뮬레이션 환경 상의 계통을 하나로 종합하고자 하였다. 배전계통운영자가 제어할 수 있는 대상은 각 계통 환경에 따라서 달라지나, 본 연구에서는 계통 내 스위치를 통한 배전계통 재구성, 에너지저장장치를 활용한 계통 내 조류량 변경의 두 가지 방법론을 집중적으로 다루고자 하였으며, 이들 각각을 최적화 문제로 정식화하였다. 아울러, 본 연구에서는 이러한 최적화 문제를 연속된 시간에서의 제어 결정 문제로 보고 마르코프 결정 프로세스(MDP)로 재정식화하였으며, 이를 해결하기 위한 강화학습 알고리즘을 설계하였다. 강화학습 분야에는 목적 및 대상이 되는 데이터의 특성에 따라 다양한 형태의 알고리즘을 설계할 수 있으며, 본 연구에서는 제안된 각 계통 운영 방법론에 맞는 Dueling Deep Q-learning 알고리즘을 설계하였다. 한편, 현재까지 강화학습 알고리즘을 활용해 전력 시스템의 운영 문제를 해결하고자 한 연구가 다수 있어왔으나, 이를 시뮬레이션 환경이 아닌 실제의 물리적 시스템에 적용하고자 할 때에 발생할 수 있는 문제점에 대해 검토하였다. 이중 본 연구에서는 실제 계통에서 요구되는 제어 결정의 안정성 문제를 강화학습 알고리즘에 반영하기 위해 기존의 마르코프 결정 프로세스를 제약된 마르코프 결정 프로세스(Constrained Markov Decision Process)로 확장하여, 등호 제약조건을 다루기 위한 안정성 모듈 및 부등호 제약조건을 다루기 위한 적응 비용 함수를 설계하였다. 결과적으로 설계된 안전 강화학습 모델을 IEEE 123 모선 시험 계통에서 시뮬레이션 함으로써, 하나 이상의 운영전략을 동시에 취할 경우, 또 강화학습의 안전성을 고려할 경우 보다 효과적인 성능을 보임을 입증하였다. 배전계통운영자는 본 논문에서 제안하는 실시간 배전계통 운영을 위한 강화학습 프레임워크의 도입을 통해, 실제 물리적 계통으로부터 도출되는 요구사항을 해결하기 위한 강화학습 알고리즘을 설계할 수 있으며, 또 해당 알고리즘의 결정이 물리적 계통의 안정성 제약 위배를 최소화하도록 함으로써, 증가하는 배전계통의 복잡성에 대응하기 위한 하나의 계통 운영 전략으로서 취할 수 있을 것이다.