Advanced real time power management strategy using actor-critic algorithm considering degradation of fuel cell stack in electric vehicles

Abstract

As vehicle emission regulations are becoming more and more stringent, vehicle manufacturers are making efforts to develop hybrid electric vehicle (HEV) as an alternative to increase fuel efficiency. The HEV is defined as vehicle with two or more power sources. Due to the advantage that individual power source can be operated at an efficient operating point, HEVs exhibit higher efficiency compared to internal combustion engine vehicles. However, the high efficiency of the HEV can only be guaranteed only if a valid power distribution strategy is in place. Due to the importance of the power distribution strategy on the efficiency of the HEVs, many studies have been conducted on the development of the power management strategy. The related studies have been developing the energy management strategies for the HEVs based on rule-based control, optimal control theory, and reinforcement learning theory. The power distribution strategy based on the optimal control theory has the advantage of achieving high fuel efficiency, but the power distribution strategy has the disadvantage of low applicability and generalization performance in that future driving information must be considered. On the other hand, since rule-based control and reinforcement learning do not require future driving information, the vehicle applicability and the generalization performance are high, but the fuel efficiency is relatively low. Currently, the related research is focusing on developing the energy management strategy that is excellent in both the generalization performance and the efficiency. Most power distribution strategies for the hybrid electric vehicles have been developed for general HEVs whose powers sources consist of an internal combination engine and a battery. However, along with the popularization of fuel cell hybrid electric vehicles (FCHEV), research on the development of the power management strategies for the fuel cell hybrid electric vehicles is increasing in recent years. The power source of the FCHEV is usually composed of a combination of a fuel cell stack and a battery, and compared with a general hybrid vehicle, it does not emit exhaust gas at all, have simplified power train configuration, and achieves high efficiency. However, since the fuel cell stack for of the FCHEV is vulnerable to durability problems, it is necessary to develop the energy management strategy in consideration of the deterioration of the fuel cell stack. The power distribution problem for the FCHEV belongs to a multi-objective problem that needs to be solved by considering both the degradation of the fuel cell stack and the fuel consumption. Due to these characteristics, the power distribution strategy for the FCHEV is more complicated than the power distribution strategy for the HEV that optimizes only in terms of the fuel consumption. Nevertheless, the development of the power management strategy for the FCHEV has not been much researched compared to the development of the energy management strategy for the general HEV that have already been popularized. In this study, the power distribution strategy for the FCHEV was developed using the reinforcement learning. The reinforcement learning has recently made great progress through convergence with deep neural networks and deep reinforcement learning which combines the reinforcement learning and the deep neural networks has been proven through many studies. We developed the power distribution strategy that optimizes the degradation of the fuel cell stack and fuel consumption by utilizing the deep reinforcement learning (DRL) based on the Actor-Critic algorithm. Since the DRL derives the control strategy based on the current state, it has the advantage of high generalization performance and is also very excellent in terms of scalability. By utilizing the high scalability of the deep reinforcement learning, the power distribution strategies for various hybrid systems can be developed through the same learning framework. In addition, the DRL has the advantage of being able to respond to the degradation of the fuel cell stack that occurs in real time through self-learning and online-learning. In this study, we developed the energy management strategy for the FCHEV that secure both the generalization performance and the scalability by utilizing all the advantages of the deep reinforcement learning. In addition, we developed a methodology that efficiently updates the existing DRL model based on the online learning.

갈수록 강화되는 차량의 배출가스 규제가 심화됨에 따라서 차량 제조사는 연비효율을 높이기 위한 대안으로 하이브리드 차량의 개발 및 생산에 대한 노력을 기울이고 있다. 하이브리드 차량은 두 가지 이상의 동력원을 지니는 차량으로 정의된다. 개별 동력원을 효율적인 작동점에서 운용할 수 있다는 장점을 통해서 하이브리드 차량은 일반 내연기관 차량에 비해서 높은 효율성을 보이게 된다. 하지만 하이브리드 차량의 높은 효율성은 오직 유효한 동력분배전략이 확보될 때에만 보장할 수 있다. 하이브리드 차량의 효율성에 미치는 동력분배전략의 중요성으로 인하여 그 동안 동력분배전략 개발과 관련하여 많은 연구가 진행되어 왔다. 많은 관련 연구들에서는 규칙기반제어, 최적제어이론, 강화학습 이론 등을 통해서 하이브리드 차량의 동력분배전략을 개발해오고 있다. 최적제어이론 기반의 동력분배전략은 높은 연비효율을 달성할 수 있다는 장점을 지니지만 미래의 주행정보를 고려해야 한다는 점에서 실차적용성과 일반화 성능이 낮다는 단점이 있으며 규칙기반제어과 강화학습 미래의 주행정보를 필요로 하지 않는다는 점에서 실차적용성과 일반화 성능이 높지만 연비 효율이 상대적으로 낮다는 단점이 있다. 현재 관련 연구에서는 각각의 동력분배전략이 지닌 단점을 보완하여 일반화 성능과 효율성 모두 우수한 동력분배전략을 개발하는 데 초점이 모아지고 있다. 대다수의 하이브리드 차량의 동력분배전략은 내연기관과 배터리 조합의 구조로 구성된 일반적인 하이브리드 차량을 대상으로 개발되어 왔으나 최근에는 연료전지 차량의 대중화와 맞물려 연료전지 차량을 대상으로한 동력분배전략 개발에 대한 연구가 증가하는 추세이다. 연료전지 차량은 보통 연료전지 스택과 배터리의 조합으로 동력원이 구성되며 일반 하이브리드 차량과 비교하여 전혀 배기가스를 배출하지 않고 파워트레인의 구조를 간소화할 수 있으며 높은 효율성을 달성할 수 있다는 장점을 가진다. 하지만 연료전지 차량의 연료전지 스택은 내구성 문제에 취약하다는 문제점 때문에 연료전지 스택의 열화를 고려하여 동력분배전략을 개발할 필요가 있다. 따라서 연료전지 하이브리드차량은 연료전지 스택의 열화와 연료소모율을 모두 고려하여 최적화 문제를 해결해야하는 다중 목적 문제 (multi-objective problem)에 속하기 때문에 연료소모율만을 고려하는 일반적인 하이브리드 차량에 대한 동력분배전략의 개발에 비해 문제의 복잡도가 높다. 그럼에도 불구하고 연료전지 하이브리드차량 대상의 동력분배전략의 개발은 이미 대중화가 이루어진 내연기관과 배터리의 조합으로 이루어진 일반 하이브리드 차량에 비해 많은 연구가 이루어지고 있지 않은 실정이다. 본 연구에서는 강화학습을 활용하여 연료전지차량 대상의 동력분배전략을 개발하였다. 강화학습은 최근에 심층인공신경망과의 융합을 통해서 큰 발전을 이루었다. 우리는 Actor-Critic 알고리즘 기반의 심층강화학습을 활용하여 연료전지차량의 열화와 연료소모율을 고려한 동력분배전략을 개발하였다. 심층강화학습은 현재의 state를 기반으로 제어전략을 도출하므로 일반화 성능이 높다는 장점이 있으며 확장성 측면에서도 매우 우수하다. 심층강화학습의 높은 확장성을 활용한다면 동일한 학습 프레임워크를 통해 하이브리드 차량의 시스템 변화나 최적화 문제의 복잡도의 변화에도 쉽게 대응이 가능하다. 그리고 심층강화학습은 온라인 학습을 통해서 실시간으로 발생하는 연료전지 스택의 열화에 대해 대응할 수 있다는 장점을 지닌다. 본 연구에서는 위와 같은 심층강화학습의 장점을 최대한 활용할 뿐 아니라 온라인 학습을 통해 연료전지 스택의 열화에 대응하면서 동시에 일반화 성능과 확장성을 확보한 연료전지 하이브리드차량 대상의 동력분배전략을 개발하였다.