Surface Quality Determination Methodology Based on Wavelet Packets

Abstract

The successful implementation of image processing technology has been made it possible to replace the human vision with automated machine vision. In many applications of machine vision, the product grading is considered as the most challenging problem in image analysis field. Recently, image data can be acquired from a product surface in real time by image sensor systems in chemical plants. For quality determination based on these image datasets, effective texture classification methodology is essential to handle high dimensional images and to extract quality-related information from these product surface images. In this thesis, a surface quality determination methodology based on texture analysis technique was proposed. The proposed methodology has four main stages: image acquisition, feature extraction, feature selection and determination. Feature extraction is a crucial step in pattern recognition problems as well as in methods for characterizing the quality of a product surface. The different types of wavelet transforms, i.e., the wavelet packet transform and the discrete wavelet transform, are compared in the feature extraction step for classification of the surface quality of rolled steel sheets. Feature selection approach was also proposed for selecting discriminative bases for surface quality determination which had not been performed in wavelet packet domain. Wavelet texture analysis is useful for reducing the dimension and extracting textural information from images. Although wavelet texture analysis extracts only textural characteristics from images, the extracted features still contain unnecessary information to be classified. The texture analysis method can be improved by retaining only class-dependent features and removing obstructive features for classification. In previous works, best bases and local discriminant bases were the most popular techniques for selecting important bases from the wavelet packet bases. Because previous methods were designed for wavelet coefficients as features for analysis, their performance was poor at wavelet texture analysis. However, feature selection based on wavelet texture analysis has not been studied for texture classification. The proposed methodology is validated through quality determination for industrial steel surfaces. Using this real-world industrial example, it is experimentally shown that which transform method (wavelet packet transform versus discrete wavelet transform) is appropriate for characterizing industrial product surface. In feature selection stage, it is found that orthonormal constraint which has been used in wavelet bases selection for a long time is unnecessary for surface classification when wavelet coefficients are summarized by wavelet texture analysis. From this finding, feature selection strategy to select important bases was proposed for surface quality determination of product. The experimental results show that the proposed method has lower classification errors than previous methods. This work supports development of automated determination system by providing surface quality determination methodology. The work will be used for other multi-class surface image classification problems as a basic methodology.

이미지 처리 기술의 발달로 인해, 인간 시각의 역할을 기계나 컴퓨터로 대체하는 기계 시각(Machine vision)연구 기반이 과거에 비해 급속도로 발전하고 있다. 기계 시각 연구의 영역 중, 제품의 품질 판별은 단순히 인간의 인지 영역을 탐구하는 것이 아닌 지식과 경험을 가진 기술자에 상응하는 전문적인 역할을 수행해야 하므로, 이미지 분석 분야에서 도전적인 과제로 여겨진다. 이미지 센서 기술, 데이터 저장매체, 컴퓨팅 기술의 발달로 다량의 제품 이미지를 수집하고 분석하는 작업은 산업에서 빠르게 확산되고 있다. 이러한 하드웨어적 기반을 바탕으로 자동화된 제품 이미지 판별 시스템을 개발하기 위해서는 많은 양의 이미지 데이터에서 제품의 품질과 관련된 특성을 추출하는 효과적인 이미지 처리 기술 연구가 필수적이다. 본 논문에서는, 질감 분석에 기반한 표면 품질 판별 방법론이 제안된다. 제안된 방법론은 이미지 수집, 특성 추출, 특성 선별, 판별의 단계로 구성되어 있다. 이미지 특성 추출은 제품 표면 품질의 특성화에 있어 핵심적인 과정 이다. 이를 위해 기존에 널리 사용되던 이산 웨이블렛 변환(Discrete Wavelet Transform)과 웨이블렛 패킷 변환 (Wavelet Packet Transform)의 비교를 통하여, 제품 품질의 판별을 위한 효과적인 이미지 변환방법을 제시한다. 웨이블렛 질감 분석(Wavelet Texture Analysis) 기법은 이미지의 차원을 축소하는 동시에 질감 정보만을 추출할 수 있는 효과적인 기술이다. 웨이블렛 질감 분석으로 얻어진 특성 정보는 이미지의 질감 성분만을 추출하여 이미지 분석에 있어 효율성을 높였으나, 이 특성 정보에는 판별과정에서 불필요한 정보들도 혼재해 있다. 이미지 질감 분석 방법은 클래스에 기반한 정보만을 추출하고, 불필요한 특성을 제거함으로써 그 성능을 향상시킬 수 있다. 그 동안 제품 이미지 기반 판별을 위해 이용되지 않았던 웨이블렛 패킷 변환 기반 특성 선별 접근이 제시된다. 이전의 웨이블렛 패킷 변환에서 사용되던 최적의 분할 구조 (best sub-band structure for decomposition)를 찾아내기 위한 방법은 베스트 베이시스(Best Bases)와 로컬 변별 베이시스(Local Discriminant Bases)이다. 기존의 이 방법론들은 웨이블렛 패킷 변환에서 웨이블렛 상수(wavelet coefficients)를 특성 변수로 사용할 경우에 대해 고안된 방법이기 때문에, 이를 웨이블렛 질감 분석에 바로 적용 시 성능이 저하된다. 그럼에도 불구하고, 그 동안의 연구에서는 질감 분류(texture classification)를 위한 웨이블렛 질감 분석기반 베이시스 탐색 방법론이 제대로 연구되지 않았다. 제안된 방법론은 철판 이미지의 품질 데이터를 통해 성능을 검증하였다. 이를 통해, 웨이블렛 패킷 변환이 이산 웨이블렛 변환에 비해 판별 성능이 향상된다는 것을 증명하였다. 특성 선별 과정에서는 기존의 정규직교(orthonormal)의 제약조건을 지닌 베이시스 선택방법은 웨이블렛 질감 분석에 맞지 않으며, 정규직교 제약조건의 제거로 성능을 향상시킬 수 있음을 보여주었다. 이를 기반으로, 최적 패킷 구조를 찾기 위해 특성 선별(feature selection)접근을 시도하였다. 기존의 방법을 수정하여 제시한 방법론이 이전의 방법에 비해 적은 오차를 보임을 실험적으로 증명하였다. 제안된 표면 품질 판별 기법은 추가적인 연구를 통해 표면 품질 자동화 시스템의 구축에 이용될 수 있을 것이다. 또한, 색감 기반 질감 연구와 특성 판별이 어려운 이미지, 품질 분류가 복잡한 실제 품질 판별 연구의 성능 향상을 위해 활용될 수 있을 것이다.