라이다 센서 데이터와 어안 렌즈 카메라 영상 간 융합을 위한 멀티 센서 시스템 캘리브레이션

Abstract

최근 측량, 위치기반 서비스, 증강 현실, 모션 캡쳐, 그리고 교통 관리 등 다양한 분야에서 3차원 모델링의 활용 가능성에 주목하고 있다. 특히 멀티 센서 시스템을 이용한 3차원 모델링은 시스템을 구성하는 센서에 따라서 주변 환경에 대한 깊이, 색상 그리고 온도 등의 다양한 정보를 3차원 모델화 할 수 있다는 장점이 있어, 멀티 센서 시스템 개발과 활용에 관한 연구의 필요성이 증대되고 있다. 백팩, 로봇, 그리고 드론 등의 다양한 플랫폼을 기반으로 한 멀티 센서 시스템의 개발이 진행됨에 따라서, 센서 시스템의 효율성 확보 및 경량화는 시스템 운용에 필수적인 요소가 되었다. 따라서 어안 렌즈 카메라와 3차원 라이다 등의 데이터 획득 효율성이 높은 센서를 활용한 멀티 센서 시스템이 주목받고 있다.<br/> 멀티 센서 시스템 데이터를 이용하여 3차원 모델을 제작하기 위해서는 시스템을 구성하는 센서의 수학적 모델식과 센서 간 상대적인 위치가 정확히 계산되어야 하며, 이는 정확한 셀프 캘리브레이션 및 시스템 캘리브레이션을 통하여 해결될 수 있다. 하지만 최근 개발되고 있는 멀티 센서 시스템은 정확한 캘리브레이션 수행을 제한하는 다음과 같은 요인을 지니고 있다. 먼저 다수의 센서 시스템에서 사용되고 있는 어안 렌즈 카메라는 일반 광학 카메라와 투영 모델이 다름에도, 일반 광학 카메라에 대한 연구 결과에 기초하여 셀프 캘리브레이션이 수행되고 있다. 따라서 일반 광학 카메라와 구별되는 어안 렌즈 카메라의 특성을 파악하고 이를 통하여 어안 렌즈 카메라 셀프 캘리브레이션의 정확도를 확보할 수 있는 연구가 필요하다. 다음으로 데이터 획득의 효율을 높이기 위하여 센서 간 시야각 중첩도가 최소화되도록 설계된 멀티 센서 시스템의 캘리브레이션에 관한 연구가 필요하다. 센서 간 시야각 중첩도를 최소화한 멀티 센서 시스템은 캘리브레이션 수행이 크게 제한되기 때문에 이를 극복하기 위한 시스템 캘리브레이션 방법이 필요하다.<br/> 본 연구는 기존 연구의 한계점을 극복하고 색상 데이터와 깊이 데이터 간 정확한 융합을 위한, 센서 간 시야각 중첩도가 낮은 멀티 센서 시스템에 대한 캘리브레이션 방법을 제안한다. 연구는 크게 어안 렌즈 카메라 셀프 캘리브레이션과 멀티 센서 시스템 캘리브레이션의 두 부분으로 나누어 볼 수 있다.<br/> 제안된 어안 렌즈 카메라 셀프 캘리브레이션 방법은 표정요소 간 상관관계를 효율적으로 낮추어 높은 정확도의 결과를 보여주었다. 본 연구에서는 어안 렌즈 투영 모델에 대한 분석 및 표정요소 간 상관관계 분석을 통하여 어안 렌즈 카메라의 경우 일반 광학카메라와는 다른 방식으로 표정요소 간 상관관계가 나타나는 것을 확인하였으며, 어안 렌즈 카메라 셀프 캘리브레이션의 중요 표정요소 간 상관관계를 낮출 수 있는 검정 대상지 구성 방법을 제시하였다. 제안된 검정 대상지를 이용한 어안 렌즈 카메라 셀프 캘리브레이션은 영상 잔차 RMSE(Root Mean Square Error) 기준 0.56 및 0.67 픽셀의 높은 정확도를 보였으며, 표정요소 간 상관관계는 최대 0.75 수준을 나타내었다. <br/> 멀티 센서 시스템 캘리브레이션 방법의 제안은 어안 렌즈 카메라와 라이다 간의 시스템 캘리브레이션과 라이다 간 시스템 캘리브레이션의 두 부분으로 진행되었다. 본 연구에서는 어안 렌즈 카메라와 라이다 간 상대표정요소를 구하는 방법으로 점 대 면 시스템 캘리브레이션을 제안하였다. 점 대 면 시스템 캘리브레이션 방법은 영상 기준점과 라이다 평면 패치 간의 기하학적 관계를 이용한 방법으로, i) 지상 기준점 좌표를 측정하는 과정이 필요 없으며, ii) 라이다 평면 패치의 일부만을 이용하여 해당 평면 위 모든 영상 기준점을 캘리브레이션에 사용할 수 있다는 장점이 있다. 제안된 라이다 간 시스템 캘리브레이션 방법은 어안 렌즈 카메라와 라이다 간 상대표정요소와 표정요소의 편차를 이용하는 방법으로, 광학 카메라와 라이다 간의 시스템 캘리브레이션 결과와 정밀도를 이용하여 전역 최적화를 수행하는 방법이다. 해당 방법은 센서 간 위치관계에 대한 제한조건 설정만으로 시스템을 구성하는 모든 센서에 대한 상대표정요소를 계산할 수 있으며, 구현이 용이하면서도 기존 방법들에 비하여 높은 정확도를 기대할 수 있다는 장점이 있다. 제안된 시스템 캘리브레이션 방법은 다양한 분석을 통하여 정확도가 검증되었으며, 영상 잔차 RMSE 기준 0.68에서 0.79픽셀 수준의 정확도를 보였다. 제안된 셀프 캘리브레이션 및 시스템 캘리브레이션의 결과는 최종적으로 데이터 융합에 사용되었으며, 제작된 융합 데이터는 기존 방법에 비하여 높은 정확도를 보였다. <br/> 본 연구는 어안 렌즈 카메라 셀프 캘리브레이션과 시야각 중첩도가 낮은 멀티 센서 시스템 캘리브레이션 방법을 제안하고, 센서 간 데이터 융합을 수행하였다. 제안된 방법은 구현이 편리하고 효율적이며 기존의 방법에 비하여 정확한 결과를 기대할 수 있다는 점에서 그 가치가 있다. 제안된 캘리브레이션 방법은 어안 렌즈 카메라의 셀프 캘리브레이션이 필요한 연구들에서 활용될 수 있을 것으로 판단되며, 실시간 또는 현장 시스템 캘리브레이션에 적용이 가능할 것으로 판단된다. <br/> <br/> 주요어 : 멀티 센서 시스템, 시스템 캘리브레이션, 어안 렌즈 카메라, 셀프 캘리브레이션, 데이터 융합, 백팩형 모바일 플랫폼