Aerodynamic Shape Optimization of a Guided Missile Using Reinforcement Learning with a Neural Network Environment

Abstract

This thesis optimizes the aerodynamic shape of a guided missile using deep deterministic policy gradient (DDPG). The optimization goal is to maximize the lift-drag ratio by adjusting the missile's fin geometry. The DDPG agent interacts with a neural network environment to predict the aerodynamic coefficient and hence calculate the reward for each configuration modification. The agent learns from the positive and negative rewards how to optimize the shape. The optimization follows some geometric constraints. The research studies the effect of treating the geometric constraints as soft constraints by including them in the reward function and allowing the agent to learn to avoid them compared to the commonly used method of treating the geometry constraints as hard constraints and checking them before running the optimization at each time step. Results have shown that DDPG is able to optimize the aerodynamic shape to achieve more than three times the baseline configuration. Treating the geometric constraints as soft optimizes the shape faster than the hard geometry constraints.

이 논문는 심층 결정론적 정책 그레이디언트(DDPG)를 사용하여 유도 미사일의 공기역학적 형태를 최적화에 관한 연구입니다. 최적화 목표는 미사일의 핀 형상을 조정하여 리프트-드래그 비율을 최대화하는 것입니다. DDPG 에이전트는 신경망 환경과 상호 작용하여 공력 계수를 예측하여 미사일 형상 수정에 대한 보상을 합니다. 에이전트는 긍정적인 보상과 부정적인 보상으로부터 형상을 최적화하는 방법을 배울니다. 이 최적화에는 몇 가지 기하학적 제약이 있고, 이 연구는 기하학적 제약 조건을 보상 함수에 포함하여 소프트 제약 (soft constraints)으로 처리하고, 또한 이 연구에서는 기하학 제약을 하드 제약 (hard constraints)으로 취급하여 각 시간 단계에서 최적화를 수행하기 전에 기하학 제약을 점검하는 통상적으로 사용되는 방법과 비교하여 DDPG 에이전트가 소프트 제약을 피하는 방법을 배울 수 있습니다. 이 연구 결과는 DDPG가 공력 형상을 기본 구성의 3배 이상을 달성하기 위해 최적화 되었음을 확인하였다. 본 논문은 기하학적 제약을 소프트 제약 (soft constraints)으로 처리하여 하드 제약 (hard constraints)보다 빠르게 미사일 형상을 최적화할 수 있음을 보여줍니다.