GAN based Multimodal Image Alignment Framework for Semiconductor Manufacturing

Abstract

In semiconductor manufacturing process, visual inspection on wafer using template-based detection is widely researched topic. As a prerequisite of detection process, new demand for aligning multimodal image has emerged. To address this issue, this paper proposes a framework with GAN based image translation followed by NCC based template matching algorithm. Different from previous function based approaches, our deep learning based framework effectively transforms an image to another domain where template matching is much easier. Also, for practical usage, we propose a new training data generation strategy which allows our model to train from only 20 pre-aligned images. Experimental results on 4 types of manually aligned data, consisted of 400 pairs of images, demonstrate that our method successfully transforms image regardless of the presence of defect or noise. Also, using transformed image, alignment process with NCC based template matching achieved almost 100% accuracy on every types of image. Moreover, our framework shows great efficiency as it takes only 15 minutes for training and 0.25 seconds per image in test time.

반도체 공정에서 템플릿을 이용한 비전 기반의 웨이퍼 검사는 널리 연구되는 분야이다. 이러한 검사 과정의 전제 조건으로 멀티모달 이미지 정렬에 대한 새로운 요구가 대두되었다. 이 문제를 해결하기 위해 본 논문은 GAN을 활용한 이미지 변환과 NCC 기반의 템플릿 정렬 알고리즘을 이용한 프레임워크를 제안한다. 이전의 함수 기반 접근법과 달리 딥러닝 기반 프레임워크는 이미지를 템플릿 정렬이 훨씬 용이한 도메인으로 효과적으로 변환한다. 또한 실용적인 관점에서 고안한 새로운 학습 데이터 생성 방법을 통해 오직 20개의 정렬된 초기 데이터를 통해서 딥러닝 모델을 성공적으로 학습할 수 있다. 각각 100쌍의 이미지로 이루어진 4가지 종류의 수작업으로 정렬한 데이터를 사용한 실험 결과를 통해 고안한 방법이 결함이나 노이즈의 존재여부와 상관없이 효과적으로 이미지를 변환한다는 것을 확인할 수 있다. 또한 변환된 이미지를 사용한 NCC 기반의 템플릿 정렬 알고리즘은 이미지 정렬에서 100%에 가까운 정확도를 보인다. 마지막으로 소요 시간에서 프레임워크는 학습에 15분, 테스트 시 이미지당 0.25 초 만을 소모하며 높은 효율을 보인다.