조도 예측 모델 기반의 DDPG 강화학습을 이용한 실내 조명 시스템 제어

Abstract

In indoor space, an appropriate level of illumination should be secured for the efficiency and safety of the human activity. If daylight is introduced through the skylights, lighting energy can be saved by supplying only as much illuminance as needed with electric lighting. Daylight varies dynamically over time depending on the position of the sun and sky conditions. In order to determine the dimming control variables, the dynamic behavior of workplane illuminance by daylighting should be independently identified at each point of control. In addition, to meet an specific amount of electirc lighting illuminance, the luminous flux from different lighting fixtures should be known, depending on the control variable. With a system model, the control optimization can be conducted that satisfy the recommended lighting environment while minimizing electric power. The conventional closed-loop lighting control demands illuminance sensors mounted on a horizontal workplane. However, if the control target space is large as well as shaded by complex indoor surroundings, the corresponding number of photo sensors would increase. In addition, workplane illuminance at a certain point is contributed by multiple neighboring lighting fixtures and daylighting from multiple skylights. So that, the accurate dimming control for each lighting fixture is difficult. Simulation model prediction can replace the mounted illuminance sensors. In this study, the author developed daylighting and electric simulation models that predict the illuminance level at any points of interest. Radiance, one of the most sophisticated lighting simulation tools, was employed for this purpose. Then, a surrogate model was developed for fast computation and optimal control of a target building. For optimal dimming control, Deep Deterministic Policy Gradient (DDPG) is used. The DDPG makes an optimal policy network and gets feedback from the model, and finds continuous dimming optimal control variables as the output. In the paper, the development process of the lighting simulation model and the DDPG, as well as an application of the both to a real-life case would be addressed.

실내 공간에서는 작업의 효율과 안전을 위해 적정 수준의 조도 환경을 확보해야 한다. 채광창을 통해 자연채광이 유입될 경우, 부족한 만큼만 전기조명을 통해 공급함으로 조명 에너지를 절감할 수 있다. 자연채광은 시간별 태양의 위치 및 기상환경에 따라 동적으로 변한다. 즉, 전기조명 시스템의 제어변수(디밍 제어의 경우: 0~1)를 결정하기 위해서는, 제어 시점마다 자연채광으로 인한 작업면 조도의 동적 거동을 독립적으로 파악할 수 있어야 한다. 또한, 각 지점에 부족한 만큼의 전기조명 조도를 공급하기 위해서는 제어변수에 따라 여러 조명기구에서 도달하는 광속을 알아야 한다. 조명기구별 출력과 작업면 조도의 관계를 시스템 모델로 작성하면, 자연채광 현황에 따라 권장 조도 환경을 만족하는 동시에 전력사용량을 최소화하는 전기조명 시스템의 제어변수를 결정할 수 있다. 작업면의 조도는, 센서를 설치하거나 시뮬레이션 모델로 예측하여 알 수 있다. 조도 센서를 이용하는 방법은 권장 조도 수준의 만족 여부에 대한 정확도가 높고, 직관적이다. 하지만, 센서의 측정값은 자연채광과 여러 전기 조명기구의 조도가 합해진 것으로, 이를 분리하는 것이 어렵다. 또한, 조도 센서는 작업면에 설치해야 하지만, 간섭으로 인해 주변의 벽이나 천장에 설치하게 되며, 이로 인해 정확도가 떨어진다. 조도 시뮬레이션을 이용하면 이와 같은 센서의 물리적인 한계를 극복할 수 있다. 본 연구에서는 인천의 한 공장 건물을 대상으로 빛 환경 시뮬레이션 도구인 Radiance 기반의 빛 환경 시뮬레이션 도구인 DIVA for Grasshopper를 이용하여 자연채광과 전기조명 조도를 예측하는 물리법칙 기반의 모델을 각각 개발하였다. 제작된 모델을 제어에 이용하기 위해서는 실시간으로 예측 결과를 도출할 수 있어야 한다. 자연채광 모델은 기상청의 수평면 총일사량을 입력으로 이용하는데, 이를 실시간으로 이용하기 어렵고, 이용할지라도 기상대와 대상건물의 지역적 차이로 인한 오차가 있다. 모델의 연산시간 또한 해결해야 한다. Radiance에서는 Backward ray-tracing 방법으로 측정지점으로 유입되는 다중 반사광(interreflection)을 계산한다. 빛을 광선으로 가정하고, 추적 방향을 샘플링하여 확률적으로 계산하기에 샘플 개수와 반사 횟수가 많을수록 정확도가 높아지고 연산시간이 길어진다. 자연채광 모델의 연산시간을 단축하고, 지역적 특징을 반영하는 참조 조도를 모델의 입력변수로 활용하기 위해 기계학습 대리모델을 개발하였다. 전기조명 모델의 경우, 조명기구 그룹별 시뮬레이션을 수행한 결과로 디밍 제어변수에 대한 선형시스템 모델을 제작하였다. 각 모델은 작업면에 임시로 조도 센서를 설치하여 수집한 데이터로 보정 및 검증하였다. 제어 최적화는 강화학습으로 구현하였다. 강화학습은 인공지능의 한 분야로, 주어진 환경에서 제어변수를 결정하고, 그 결과에 따라 보상을 받으며 최적제어 방법을 탐색한다. 본 연구에서 적용한 심층 확정적 정책 그래디언트(DDPG) 알고리즘은 디밍 제어와 같은 연속 제어변수를 결정할 수 있다. 또한, 제어변수가 많을 경우, 확률적 알고리즘보다 우수하다. 훈련 기간을 통해 도출한 최적 정책 신경망(Optimal Policy Network)으로 제어를 수행한 결과, 평균조도와 균제도를 권장수준으로 확보할 수 있었다. 전력 사용량의 경우, 기존의 스케줄 기반 제어 대비 38%를 절감할 수 있었다. 강화학습으로 결정된 제어 시점별 변수 패턴은 선형계획법 최적화 알고리즘의 패턴과 유사하다. 자연채광이 부족한 지점에 집중하여 전기조명을 공급하였으며, 시간 및 날짜별 자연채광 수준에 따라 제어를 수행하였다. 하지만, 선형계획법은 실내 자연채광이 부족한 아침과 저녁 시간의 경우, 제어 패턴에 불안정성을 보였으며, 각 지점의 조도를 최대한 확보하기 위해 보수적으로 제어가 수행된다. 해당 시점에서는 어떤 방법의 조명 시스템 제어로도 선형계획법의 제약조건을 만족할 수 없었기 때문이다. 한편, 강화학습은 이와 같은 환경에서도 일관적인 제어를 수행하였으며, 전력사용량과 조도 환경의 균형이 유지되었다. 결과로 선형계획법보다 17% 더 많은 전기에너지를 절감할 수 있었다. 본 연구는 실제 건물을 대상으로 조도예측모델을 제작하여 실시간 전기조명 제어를 수행하였다. 모델을 통해 작업면의 조도 센서를 대체할 수 있었으며, DDPG 강화학습 제어의 최적화 성능 및 안정성을 확인하였다. 이를 통해 조도예측모델에 기반한 실내 조명 시스템 제어가 유용함과 동적 자연채광 환경 및 연속 제어변수에 대한 DDPG 강화학습의 가능성을 전달하고자 한다.