필터 교환형 3CCD 카메라 개발과 사과의 표면 결함 검출에의 응용

Abstract

일류의 외부결함은 생산자와 소비자 모두에게 중요한 문제이다. 비록 많은 연구자들이 컬러 영상을 이용하여 사과의 표면 결함을 판별하는 기술을 상업화 하려고 시도하였지만, 여전히 많은 부분을 인력에 의존하고 있다. 최근에 초분광 카메라를 이용하여 근적외 영역대의 영상을 포함한 서로 다른 파장대의 몇 개 영상들의 연산을 활용하면 사과의 타상과 병반점(탄저병, 검은 썩은 병 및 검은 무늬 병)과 같은 결함부를 검출하는데 아주 효과적이라고 보고하고 있다. 그러나 초분광 카메라의 경우 처리해야할 데이터의 양이 많기 때문에 영상처리 속도가 비교적 느리고 선별장에서 실제로 적용하기에는 고가이다. 본 논문의 목적은 물체를 대상으로 서로 다른 파장대의 세 영상을 동시에 획득할 수 있는 필터 교환형 3CCD 카메라를 개발하고 후지사과, 신고 배와 온주 밀감의 타상과 병반점을 검출하는데 효과적인 파장대역을 구명하고 개발된 3CCD 카메라를 이용하여 후지사과의 표면결함을 선별하기 위한 알고리즘을 개발하는데 있다. 주요 결과는 다음과 같다.

1. 기존의 3CCD RGB 카메라의 개념을 참고하여 새로운 3CCD 카메라를 개발하였다. 개발된 카메라는 F-mount방식(AF-Nikkor(f35 - 75mm, F/3.3 - 4.5), Nikon Co.)의 렌즈 고정부와 3개의 프리즘으로 구성된 영상 분할기, 3개의 광학 필터 홀더, OV7110(Omnivision Co.)의 영상 센서를 이용한 3개의 카메라 모듈과 이들 셋을 동기화 시키는 전기 회로, 광학 필터 교환이 가능한 카메라 몸체 그리고 카메라를 운용하기 위한 펌웨어 소프트웨어와 응용 소프트웨어로 구성된다. 영상분할기를 구성하는 3개의 프리즘의 최적의 치수와 구성은 본 연구에서 개발된 시뮬레이션 프로그램을 이용하여 결정되고 영상 분할기에 의해서 생성되는 세 영상의 초점들은 3개의 레이져빔에 의해서 시각적으로 검증되었다. 개발된 카메라를 통해 획득한 세 영상의 수평 및 수직 방향의 일치도를 평가하고, 기하학적인 왜곡을 보정하기 위한 프로그램도 개발하였다. 이 새로운 카메라의 가장 큰 특징은 400nm에서 1100nm 사이의 밴드패스 필터를 사용자가 용도에 따라 세 개를 선택하고 카메라에 부착할 수 있다는 것이다.

2. 필터 영상을 이용하여 후지 사과, 신고 배, 그리고 온주 밀감의 다양한 표면 결함의 검출가능성을 구명하기 위해 각종 결함을 대상으로 9개의 근적외 필터영상을 획득하고 영상연상에 따른 각종 결함의 검출율을 구명하였다. 그 결과 주어진 결함에 대해 두개의 필터영상의 차 또는 비 그리고 세 개의 필터영상의 차와 비를 이용할 경우 단일 영상을 사용하는 것 보다 결함 검출율이 0.7～1.0으로 높게 나타났다. 그러나 꼭지와 꽃받침 부분도 병반으로 인식되기 때문에 이들의 영상특성을 결함 검출에 반영하기 위해 530nm와 1050nm 사이에서 일정간격으로 24개의 밴드패스 필터를 선정하여 후지사과를 대상으로 추가 실험을 수행하였다. 그 결과 병반점 검출에 있어서 740nm - 1000nm, 940nm / 610nm 와 (740nm - 900nm) / 590nm 의 필터 영상 연산이 비교적 높은 검출율(0.87～0.90)을 보였고, 타상의 경우 720nm - 940nm, 720nm / 900nm 와 (720nm - 900nm) / 700nm 의 필터영상 연산이 높은 검출율(0.77～ 0.80)을 보였다. 하지만 꼭지와 꽃받침 부분은 여전히 결함으로 인식되고 있음이 확인되었다. (720nm - 900nm) / 610nm 의 필터 영상 연산은 병반점과 타상 모두를 검출하는데 가장 효과적이었다.

3. 개발된 필터 교환형 3CCD 카메라의 실용가능성을 판단하기 위해 그로멧 롤러로 구성된 이송장치와 조명장치를 이용하여 실험 장치를 구축하고 기초연구를 근거로 선정한 대역필터를 장착한 후 후지사과의 표면결함을 선별하는 실험을 수행하였다. 후지 사과 시료를 그로멧 롤러 위에 꼭지, 꽃받침 또는 양쪽 측면을 위로한 상태에서 필터영상을 획득하고, 또한 사과를 롤러위에서 굴리면서 임의로 3번의 영상을 획득한 후 이들 필터영상을 대상으로 병반과, 타상과 또는 결함과를 판별하는 알고리즘을 개발하였다. 꼭지와 꽃받침이 병반으로 인식되기 때문에 정지상태의 사과는 꼭지와 꽃받침이 존재하는 표면 영상에서는 병반이 두 개 이상, 그렇지 않은 영상에서는 하나 이상이 검출될 경우 병반면으로 판별하고, 회전 상태의 사과는 꼭지와 꽃받침의 위치를 알 수 없기 때문에 세 영상 중 하나 이상에서 두 개 이상의 병반점이 검출될 경우 병반과로 판별하였다. 후지사과의 병반과와 타상과를 모두 선별하기위해 기초연구를 근거로 740, 940 그리고 1000nm의 밴드패스 필터를 개발된 카메라에 장착하고 정지상태와 회전상태에서 영상을 획득한 후 병반점은 740nm - 1000nm 의 영상 연산을, 타상은 740nm - 940nm 의 영상 연산을 이용하여 검출하고 위에서 설명한 판별알고리즘을 이용하여 결함유무를 판별하였다. 판별율은 정지상태에서 병반면의 경우 0.70, 타상면의 경우 0.86, 정상면의 경우 0.96이었고, 회전상태에서 병반과의 경우 0.45, 타상과의 경우 0.90, 정상과의 경우 0.98이었다. 후지사과의 병반과만을 선별하기 위해 병반검출이 가장 우수한 740, 900, 590nm의 필터를 장착하고 정지 및 회전 상태에서 필터영상을 획득하고 (740nm - 900nm) / 590nm 영상 연산을 이용하여 병반을 검출한 후 결함유무를 판별하였다. 판별율은 정지상태에서 병반면의 경우 0.95, 정상면의 경우 0.91이었고 회전상태에서 병반과의 경우 0.77, 정상과의 경우 1.0이었다. 결론적으로 필터 교환형 3CCD 카메라에 적절한 필터를 장착하여 후지사과의 표면결함 선별장치를 구축하고 인력선별을 보조적으로 이용할 경우 실용화 가능성이 충분히 있는 것으로 판단된다.

Appearance quality of fruits is of great concern to both of the fruit producers and consumers. Although many researches using color images have been accomplished to mechanize sorting of apples for surface defect, it is still mainly done manually. Recently it has been reported that point operations of a few images obtained at different wave-bands including near infrared range with hyper-spectral camera is very effective to detect defective tissues such as scabs (Alternaria rot, Black rot, Bitter rot, etc) and bruise on apples. However, image processing speed of the hyper-spectral camera is relatively slow because of large amount of data to be processed and the camera is expensive for practical use at packing house. The objectives of this study were to develop a filter exchangeable 3CCD camera with which three different filter images can be captured at one time, to identify effective wave-bands for detecting scabs and bruise on Fuji apple, Shingo pear and citrus Unshiu and to develop algorithms for sorting of Fuji apples for surface defect with the developed 3CCD camera. Major results are summarized as follows.

1. Referring to the concept of the existing 3CCD RGB camera, we developed a new 3CCD camera which consisted of a lens mount(AF-Nikkor, Nikon Co.), an image splitter consisting of three pieces of prisms, three optical filter holders, three camera modules using image sensor of OV7110(Omnivision Co.), a frame to hold those parts, an electric circuit for synchronization of the three camera images, firmware and application softwares for computer interface. Configurations and optimal dimensions of the three pieces of prisms were determined with the simulation program developed in this study and the three image focuses generated by the image splitter were confirmed visually with two laser beams. Horizontal and vertical coincidences of the three image coordinates were identified and a program was developed to compensate the geometrical distortions. Main feature of this new camera is that users can select three individual band pass filters for their own purpose in the range of 400 to 1100 nm and mount them to the camera.

2. In order to analyze meaningful spectral bands and availability in detecting various kinds of surface defects on Fuji apple, Shingo pear and citrus Unshiu, primary tests were made with filter images captured with 9 band pass filters (760, 790, 830, 850, 880, 910, 940, 970 and 1000 nm) mounted on a filter wheel. It was found that subtraction and/or division of filter images are much more effective than using single filter image in detecting surface defects, indicating detection rates of 0.7 to 1.0 defending on types of defective tissues. However, stem and calyx parts were also detected as defects. Further tests were made with 24 band pass filters in the range of 530 to 1050 nm with Fuji apple samples in order to reflect the image characteristics of stem and calyx parts in detecting defective tissues. The results indicated that filter image operations of 740nm - 1000nm, 940nm / 610nm, and (740nm - 900nm) / 590nm showed relatively high detection rates of 0.87 to 0.90 in detecting scabs and those of 720nm - 940nm, 720nm / 900nm, and (720nm - 900nm) / 700nm showed detection rate of 0.77 to 0.80 in detecting bruise. It was observed that stem and calyx parts are also detected with defective tissues. The filter image operation of (720nm - 900nm) / 610nm is the most effective in detecting both the scabs and bruises.

3. Feasibility tests of the filter exchangeable 3CCD camera for practical use were conducted with lighting system and a conveyor made with grommet rollers. Filter images of Fuji apple samples were captured at static state and revolving state on the grommet roller, respectively, with the 3CCD camera equipped with a set of three selected band pass filters. Algorithms for sorting Fuji apples having scabs and/or bruises were developed with individual surface images of static apples and also with three surface images randomly captured from the revolving apples in considering existence of stem or calyx in the image. The apples in static state sorted to the defective when more than two defective spots are detected in the surface image in case that stem or calyx is facing the camera, otherwise when one defective spot is detected. The apples in revolving state sorted to the defective when more than two defective spots are detected in one of the three images because stem or calyx could face the camera while revolving. Three band pass filters of 740, 940 and 1000 nm were mounted to the camera for sorting the Fuji apples having scabs and/or bruises. Scabs were detected with image operation of 1000nm - 740nm and bruises with 740nm - 940nm, respectively. Sorting rates were 0.77 for scabs. 0.86 for bruises and 0.96 for the normal in static state and 0.45 for scabs, 0.90 for bruises and 0.98 for the normal in revolving state. Another tests were made with three filters of 740, 900, 590 nm to sort Fuji apples having scabs only with image operation of (740nm - 900nm) / 590nm. Sorting rates were 0.95 for scabs and 0.91 for the normal with the samples in static state and were 0.77 for scabs and 1.0 for the normal with them in revolving state. Finally it is concluded that the filter exchangeable 3CCD camera mounted with suitable filters can be used for appearance sorting of Fuji apples for surface defects with manual assistance.