Vision-guided automatic state-recognition techniques for intelligent surgical robot systems

Abstract

최근 그 사용이 증가되고 있는 수술용 로봇 시스템에서 의도하지 않은 출혈 및 장기 손상은 치명적인 결과를 초래하므로 빠른 수술 상황 인지와 그에 따른 적절한 대처가 필요하다. 그러나 복강경 영상의 좁은 시야와 시술 부위에 대한 집중 때문에 수술자의 빠른 상황 판단이 어렵다. 따라서 응급상황 발생 시 수술자의 빠른 상황인지를 돕기 위한 자동 사물인지 기반의 위험요소 감지 및 회피 기술 개발은 지능형 수술로봇 시스템 구현에 중요한 요소이다. 본 논문에서는 수술 영상에서 상황인지에 사용될 수 있는 대표적인 정보로서 출혈, 수술도구 위치, 그리고 수술도구의 3차원 깊이 측정 등에 보편적으로 사용될 수 있는 영상처리 기법을 제안하였다. 제안된 방법은 잘 알려진 영상 및 신호처리 기법인 물체 분할(segmentation), 형판대응(template matching) 및 칼만필터(Kalman filter)를 조합한 새로운 복합 영상처리 기법이다. 색깔과 형태학 정보를 이용하여 대상 물체를 분할 검출한 결과와 영상 프레임간의 대응 정보를 칼만 필터에 입력하여 최적의 위치 정보를 추정하였다. 개발된 방법의 성능평가로서 출혈 인지 기능에서는 평가자가 수동으로 입력한 위치와 제안된 방법으로 자동 검출된 출혈 위치 간의 표준오차(RMSE)를 통해 평가하였으며 출혈의 흐름에 대해서도 분석하였다. 수술도구 위치 추적에 대한 성능평가 역시 수동적으로 입력된 수술도구의 궤적에 대한 자동 알고리즘의 민감도와 특이도를 통하여 평가 하였다. 또한 수술도구의 3차원 깊이 정보를 추가하여 수술 중 도구 움직임을 실시간으로 시뮬레이션 함으로써 응용 가능성을 보여주었다. 출혈 측정에서 평균 표준오차는 이미지 크기(640×480)의 0.7%이었으며, 출혈양이 증가하거나 지혈이 된 경우 그에 따른 출혈면적의 평균적인 추세선이 각각 증가 및 감소하는 것을 확인하였다. 수술도구 위치 측정의 평균 표준오차는 이미지의 7%, 수술도구 검출에 대한 민감도는 평균 86% 이었으며 특이도는 95%를 보임으로써 우수한 인지율을 보였다. 이와 같이 수술 상황 자동 인지에 사용하기 위한 영상처리기법의 성능평가를 통해 제안된 새로운 복합영상처리 기법이 수술 도중 자동 사물 검출 및 위치 추적을 위한 보편적인 알고리즘으로 향후 지능적 수술 로봇 시스템 구현에 유용하게 활용될 것으로 기대된다.

A number of robot-assisted surgical operation has been rapidly increasing over the past decade while the surgery with robots may have several potential issues. During the robot-assisted laparoscopic surgery, vascular injuries, which can be caused by mistreatment of surgical instruments, would be a major issue because the vascular injuries cause hemorrhage occurrences and tissue perforation that may be jeopardize the surgery itself. Limited vision through a laparoscope, limitations in agile re-configuration of the surgical instrument setup, or removal of bulky robotic tools and the surgical robot may hinder surgeons immediate emergency responses. To resolve this issue by providing preventive caution to surgeons, an advanced universal vision-based technique for object detection and tracking is proposed in this research. The suggested technique includes automatic detection of intraoperative hemorrhage and surgical instruments with depth information. This method locates the object region of interest by two common processes: feature extraction and tracking. Color and morphological information are used to segment the feature, and a Kalman filter is applied for robust tracking of the object locations with reduced error. Performance for hemorrhage and surgical instrument localization was quantitatively evaluated by root mean square error (RMSE) comparisons and instrument trajectory comparison with results of computerized methods and manual determination, respectively. Hemorrhage area variation analysis using proportionality of area increase and flow is also illustrated. Linearity of a positive slope for increased hemorrhage flow and negative slope for hemorrhage stanching were observed. Surgical instruments localization was evaluated through sensitivity and specificity measurement which were 86% and 96% respectively, and their depth information was validated through a simulation of their movement positions. It is concluded that the results are satisfying in the sense of over 80% state-recognition. Therefore, a vision-guided automatic state-recognition proposed in this study could minimize vascular injuries during the robot-assisted surgery.