병렬 기계 스케줄링의 다중 목적함수를 고려한 시뮬레이션 기반 강화학습

Abstract

조선소 형강공정은 선박의 블록 제작에 필요한 보강재를 생산하는 공정으로, 최근 조선소 수주 호황에 따른 생산 물량의 증가와 함께 생산성 향상이 요구되고 있다. 생산성 향상을 위한 방안으로는 생산 계획 최적화, 아웃소싱 물량 증대, 신규 설비 투입 등을 고려할 수 있다. 하지만 신규 설비 투입은 초기 투자 비용이 크고 향후 조선 산업의 사이클을 고려하면 근시안적인 해법에 불과하다. 또한 현재 조선소는 자체 생산 능력의 한계로 이미 상당한 물량에 대한 작업이 아웃소싱을 통해 이루어지고 있기 때문에 비용 측면에서 외주 물량을 증가시키는 것은 현실적으로 한계가 있다. 따라서 비용과 지속가능성을 고려했을 때 생산계획 최적화를 통한 생산성 향상이 대안이 될 수 있다. 조선 생산분야에서는 휴리스틱, 메타 휴리스틱, Integer Linear Programming 등의 방법론을 사용하여 생산 계획을 최적화하기 위한 많은 연구가 진행되어 왔다. 하지만 형강공정의 생산 유형인 병렬 기계 스케줄링 문제에 대한 연구는 거의 수행되지 않았다. 다른 제조분야에서는 병렬 기계 스케줄링에 대한 연구가 수행되어 왔지만, 실제 생산 현장에서는 변동성이 존재하거나 여러 지표를 동시에 달성하기 위한 의사결정이 진행됨에도, 변동성을 고려하지 않거나 단일한 목적함수만을 달성하기 위한 연구만 수행되었다. 따라서 본 연구에서는 조선소에 존재하는 병렬 기계 스케줄링 문제를 실제 생산 환경의 변동성을 반영하고, 실제 현장 관리자가 고려할 수 있는 여러 목적함수를 효과적으로 달성하기 위한 스케줄링 최적화 연구를 수행하였다. 구체적으로 조선소 형강공장의 생산성 향상을 위하여 작업의 투입과 작업 시간의 변동성이 존재하는 환경에 있어 납기 지연 최소화와 셋업 변경 회수 최소화를 목적함수로 하는 동적 스케줄링 알고리즘을 제안한다. 형강공정의 작업 순서 결정 문제에 대하여 두 목적함수가 고려된 Markov Decision Process 모델을 정의하고, 정책 기반 강화학습인 Proximal Policy Optimization 알고리즘을 사용하여 최적의 스케줄링 정책을 학습하였다. 다음으로 실적 데이터를 샘플링하여 구성한 테스트 시나리오들에 대해 우선순위규칙 (SSPT, ATCS, MDD, COVERT rule)과의 비교를 통해 개발된 알고리즘의 성능을 평가하였다. 결과적으로 본 연구에서 제안한 알고리즘은 평균 셋업 횟수 및 평균 납기지연의 두 가지 지표를 종합적으로 고려했을 때 우선순위 규칙들을 능가함을 확인하였다. 마지막으로, 본 연구에서 제안한 스케줄링 알고리즘을 조선소의 다른 병렬 기계 문제에도 적용 가능한지 검토하기 위해 분포함수로 구성된 일반적인 병렬 기계 스케줄링 문제를 가정하여 학습 및 우선순위규칙과의 성능 비교를 수행하였다. 결과적으로 본 연구에서 제안한 스케줄링 알고리즘이 다른 우선순위 규칙과 비교했을 때, 셋업 시간 최소화 및 납기지연 최소화라는 두 가지 목적함수를 효과적으로 달성함을 확인하였다.

The profile shops in shipyards produce section steels required for block production of ships. With recent increases in shipyard orders, along with the need for productivity improvement, various measures such as optimizing production plans, increasing outsourcing volume, and introducing new equipment have been considered. However, solely relying on new equipment may lead to short-term solutions due to significant initial investments and potential cyclical downturns in the shipbuilding industry. Moreover, as the shipyard's in-house production capacity is limited, further increasing outsourcing is practically constrained. Hence, considering cost and sustainability, production planning optimization emerges as a viable alternative to enhance productivity. Although numerous studies have used heuristics, meta-heuristics, and Integer Linear Programming in shipbuilding production to optimize production plans, research on the parallel machine scheduling problem, specifically in the profile shop, has been relatively scarce. While parallel machine scheduling research has been conducted in other manufacturing fields, the existing studies often neglect real-world variability and focus on single objective functions, overlooking the decision-making process involving multiple objectives. To address these gaps, this study aims to perform scheduling optimization research on the parallel machine scheduling problem in shipyards, effectively incorporating real-world production environment variability and considering multiple objectives that are relevant to actual managerial decision-making. Specifically, we propose a dynamic scheduling algorithm for enhancing productivity in the profile shop, taking into account the variability in job assignments and job durations, while minimizing tardiness and setup change frequency as objective functions. For the task sequencing problem in the profile shop, we define a Markov Decision Process model that considers both objective functions, and then employ the proximal policy optimization algorithm, a policy-based reinforcement learning technique, to learn the optimal scheduling policy. The performance of the developed algorithm is evaluated by comparing it with priority rules (SSPT, ATCS, MDD, COVERT rule) using sampled performance data in test scenarios. The results confirm that the proposed algorithm outperforms the priority rules when considering both average setup frequency and average tardiness as comprehensive metrics. Finally, we investigate the applicability of the proposed scheduling algorithm to other parallel machine problems in shipyards by experimenting with a general parallel machine scheduling problem formulated using probability distributions. The results show that the proposed scheduling algorithm effectively achieves the objectives of minimizing setup time and tardiness compared to other priority rules in this general problem.