Energy-efficient Driving based on Diagnosis of Flooding and Drying in Fuel Cell Electric Vehicle using Sequential Data Analysis-integrated Deep Deterministic Policy Gradient

Abstract

최근 급격한 기후 변화로 인한 지구 온난화 문제는 전 세계적으로 큰 관심을 받고 있다. 차량 업계에서도 온실 가스 배출을 줄이기 위해 방안들을 모색하고 있다. 첫번째로는 차량-인프라 통신 (Vehicle-to-infrastructure, V2I) 기반으로 자율 주행 기술의 발전으로 최소의 연료를 소모하도록 에너지 효율 주행을 하는 것이다. 두번째는 친환경 연료를 사용하는 고분자 전해질 연료전지 (Polymer electrolyte membrane fuel cell, PEMFC)로 차량 에너지 동력원을 변경하고 하이브리드화하는 것이다. 하지만 이러한 방안들은 해결과제들을 가지고 있다. 먼저 연료전지 하이브리드 전기 자동차 (Fuel cell hybrid electric vehicles, FCHEVs)의 에너지 효율 주행을 하기 위해서 차량의 내, 외적인 정보를 기반으로 최적의 속도 컨트롤과 고분자 전해질 연료전지, 배터리간의 요구 동력 분배 전략 개발이 필수 적이다. 위 두 가지 개발방안은 최고의 성능을 위해서는 최적화 기법이 요구된다. 하지만 긴 계산 시간 때문에 최적화 기법은 실제 차량에 적용시키기 어렵기 때문에 적절한 컨트롤 전략이 필요하다. 또한 연료전지 하이브리드 전기 자동차의 에너지 동력원인 고분자 전해질 연료전지는 플러딩 (Flooding), 드라잉 (drying)이라는 치명적인 결함이 존재한다. 이러한 결함들은 연료전지가 극한의 상황에서 장시간 작동되었을 때 발생되기 때문에 주행 컨트롤과 배터리의 동력 어시스트로 통해 안정적인 조건에서 연료전지를 가동시켜야 한다. 따라서 본 논문에서는 에너지 효율 속도 컨트롤, 동력분배 전략, 고분자 전해질 연료전지의 수분 관련 결함을 고려한 연료전지 하이브리드 전기 자동차를 위한 주행 시스템을 제시한다. 먼저 후방향 시뮬레이션 (Backward-looking simulation)으로 연료전지 하이브리드 전기 자동차의 모델링을 수행한다. 또한 단일 연료전지 셀을 제작하고 실험 결과값을 참조하여 준 경험적 고분자 전해질 연료전지 모델을 개발한다. 개발된 차량 모델을 이용하여 강화학습의 일종인 심층 결정적 정책 경사법 (Deep deterministic policy gradient, DDPG)으로 주행 시스템을 학습시킨다. 이 시스템은 차량의 목표 속도와 연료전지, 배터리의 컨트롤러에게 동력 분배에 대한 참조 값을 제시한다. 매 스텝마다 파워트레인의 제한 조건을 넘지 않도록 심층 결정적 정책 경사법의 행동 공간 (Action space)을 갱신함으로써, 차량모델이 시스템에서 제시한 행동에 대한 수행 가능성을 높인다. 파라미터 최적화를 통해 심층 결정적 정책 경사법에 적합한 파라미터를 적용하여 모델의 성능을 개선한다. 또한 학습에 적용된 도로의 구배에 따른 모델의 연료소모와 작동점을 분석한다. 제안된 시스템은 글로벌 최적화 방법인 동적 계획법 (Dynamic programming, DP)과 비교하여 97.11 % 최적성을 보였으며, 크루즈 컨트롤 (Cruise control)과 규칙 기반 전략 (Rule-based strategy) 기반의 컨트롤보다 36.52 % 우수한 성능을 보였다. 에너지 효율 주행 시스템의 연료전지 하이브리드 차량에서 플러딩과 드라잉의 발생 여부를 파악하기 위해 해당 결함들을 진단하는 모델을 개발한다. 의도적으로 플러딩과 드라잉을 유발하는 실험을 수행하고, 각각 결함 발생시의 전기화학적인 데이터를 분석한다. 습득된 시계열 데이터를 기반으로 장단기 기억 신경망 (Long-short term memory, LSTM)과 배깅 앙상블 방법 (Bootstrap aggregation, Bagging)을 이용해서 진단 모델을 개발한다. 진단 시스템의 Flooding과 drying에 대한 진단율은 88.11 %을 달성했다. 진단 모델의 출력 값을 심층 결정적 정책 경사법의 보상 함수 (Reward function)에 포함시켜 고분자 전해질 연료전지의 수분 관련 결함을 고려한 에너지 효율 주행 시스템을 개발한다. 연료 전지 상태 진단이 통합된 주행 시스템은 플러딩과 드라잉에 대한 감소가 확인되었으며, 발생 후에 평균 0.5956초 후에 정상화되었다. Error 회피로 인해 기존 주행 모델에 비해 연료 소모 효율이 약 1.25 % 개선되었다. 개발된 주행 시스템의 일반성을 확인하기위해 새로운 도로 환경에서 차량 모델을 주행 시킨다. 미래의 Q값을 갱신하는 강화학습의 벨만 방정식 (Bellman equation)의 특성상 환경 (Environment) 변경되었을 때 최적성이 떨어진다. 따라서 성능 감소를 방지하기 위해 온라인 러닝 (Online-learning)을 수행한다. 또한 오프라인 러닝의 학습 수렴성에 대한 온라인 러닝의 효과를 검증한다. 온라인 러닝이 수행된 모델은 기존 오프라인 모델보다 5.59% 연료가 적게 소모되었다. 본 연구를 통해서 최적 속도 컨트롤과 동력 분배 전략의 목표 값을 동시에 제시하는 시스템을 단일 심층 결정적 정책 경사법을 이용하여 최초로 개발되었다. 본 강화학습 모델은 고분자 전해질 연료전지의 치명적인 결함인 플러딩과 드라잉의 발생을 줄였으며, 발생하더라도 빠르게 정상으로 돌아오도록 컨트롤하는 것이 확인되었다. 시스템의 일반화에 대한 우수성이 확인되었으며 온라인 러닝을 통해 성능을 개선시켰다. 이로써 본 연구에서 제안하는 고분자 전해질 연료전지의 안정성을 고려한 연료전지 하이브리드 차량의 에너지 효율 주행 시스템은 자동차산업의 주요 관심사인 자율주행의 친환경화 발전에 기여했으며 온라인 적용이 가능한 고성능 동력분배 전략 개발에 대한 방법론을 제시하였다.

The issue of global warming caused by rapid climate change has gained worldwide attention. The automotive industry is exploring various solutions to reduce greenhouse gas emissions. One such solution is the development of autonomous driving technology to achieve energy-efficient driving with minimal fuel consumption based on vehicle-to-infrastructure (V2I). Another approach is the hybridization of vehicles by replacing the power source with environmentally-friendly fuel cells, specifically, Polymer Electrolyte Membrane Fuel Cells (PEMFC). However, these solutions present challenges that must be addressed. In order to achieve energy-efficient driving in fuel cell hybrid electric vehicles (FCHEVs), it is essential to develop optimal speed control and power distribution strategies among the PEMFC and battery based on the vehicle's internal and external information. These approaches require optimization techniques for achieving the best performance; however, the long calculation times of these techniques make them difficult to apply to actual vehicles, requiring appropriate control strategies. Furthermore, the PEMFC, which is the energy source of FCHEVs, has critical flaws such as flooding and drying, occurring for a long-time operation under extreme conditions. Therefore, it is necessary to operate the fuel cell under stable conditions by implementing driving control and batter power assist. In this paper, a driving system for FCHEVs is proposed that considers energy-efficient speed control, power distribution strategies, and moisture-related errors of PEMFC. Initially, modeling of the FCHEV is performed using backward-looking simulation. Additionally, a semi-empirical PEMFC model is developed based on a single fuel cell experimental result. Using the developed vehicle model, the driving system is trained with deep deterministic policy gradient (DDPG), a type of reinforcement learning. This system produces the target speed of the vehicle and reference values for power distribution to the controller of the fuel cell and battery. By updating the action space of the DDPG so as not to exceed the limiting conditions of the powertrain at every step, the vehicle model increases the possibility of performing the actions suggested by the system. Through parameter optimization, the performance of the model is improved by applying parameters suitable for the DDPG. Furthermore, the model evaluates fuel consumption and operational point by considering the road gradient applied to learning phase. The proposed system exhibits 97.11 % optimality compared to DP, a global optimization method and outperformed control based on cruise control and rule-based strategy by 36.52 %. A model for diagnosing the defects is developed to determine whether flooding or drying occurs in FCHEVs of an energy-efficient driving system. An experimental procedure is conducted to deliberately trigger flooding and drying, and the electrochemical data acquired during the experiment are subsequently analyzed. Using the sequential data obtained, a diagnostic model is created utilizing long-short term memory (LSTM) technique and bootstrap aggregation (bagging) ensemble method. The diagnosis rate for flooding and drying achieved 88.11%. The output value of the diagnostic model is incorporated into the reward function of the DDPG method to develop an energy-efficient driving system, considering flooding and drying of the PEMFC. The integration of fuel cell condition diagnostics into the driving system was verified to decrease the likelihood of flooding and drying in the flow channel. The average time taken for the system to recover from these occurrences was 0.5956 seconds. Additionally, due to the avoidance of errors, the fuel consumption rate improved by approximately 1.25% when compared to the driving system without diagnosis system. To evaluate the generality of the suggested driving system, the car model undergoes testing in diverse road conditions. As reinforcement learning relies on the Bellman equation, which updates future Q values, a change in the environment may cause a decline in optimality. Therefore, online-learning is performed to prevent performance degradation. In addition, the effect of online learning according to the convergence of offline learning is verified. The model that undergoes online learning exhibits a fuel consumption reduction of 5.59% compared to the offline model. This study developed a novel system using a single DDPG algorithm, which simultaneously presents the target value of the optimal speed control and power distribution strategy. The reinforcement learning model was effective in reducing the occurrence of fatal defects in PEMFC, such as flooding and drying, and controlled them to quickly return to normal. The system demonstrated excellent generalization and was improved through online learning. Thus, the proposed energy-efficient driving system for a fuel cell hybrid vehicle, which considers the stability of a polymer electrolyte fuel cell, presented in this study has contributed towards the environmentally friendly development of autonomous driving, a critical focus area of the automotive industry. Additionally, the study has presented a methodology for developing a high-performance power distribution strategy.