PolySquare: A Search Engine for 3D Models with Tag Propagation

Abstract

Searching for desired 3D models is not easy because many of them are not well labeled; annotations often contain inconsistent information (e.g., uploaders personal way of naming) and lack important details (e.g., detailed ornaments and pattern) of each model. We introduce PolySquare, a search engine for 3D models based on tag propagation—the process of assigning existing tags to other similar but unlabeled models considering important local properties. For instance, a tag wheel of a wheelchair can be spread out to other objects with wheels. Furthermore, PolySquare allows people to interactively refine the search results by iteratively including desired shapes and excluding unwanted ones. We evaluate the performance of tag propagation by measuring the precision-recall of propagation results with various similarity thresholds and demonstrate the effectiveness of the use of local features. We also showcase how PolySquare handles the unrefined tags through a case study using real 3D model data from Google Poly.

3D 검색 사이트 상에서 원하는 모델을 찾는 일은 쉽지 않다. 대부분의 3D 모델들이 적당한 텍스트 설명을 포함하고 있지 않기 때문이다. 3D 모델의 작가들이 업로드 시에 직접 태그를 부여하기 때문에 모델과 직접적인 관련이 없는 설명 (e.g. 작가만의 명명 방법 사용)을 포함하거나 중요한 세부 사항 (e.g. 모델에 존재하는 장식과 패턴 등)이 부족한 경우가 많다. 본 연구는 중요한 지역적 특성이 유사하지만 태그를 가지고 있지 않은 모델들과 태그를 공유하는 태그 전파를 3D 모델 검색엔진에 도입하여 전반적인 검색 성능을 높이는 것을 목표로 한다. 예를 들어, 휠체어에 포함된 태그 `바퀴'가 바퀴가 달려있는 다른 물체들에게 전파될 수 있도록 한다. 이를 위해 태그 전파를 도입한 PolySquare라는 3D 모델 검색엔진을 제안한다. 더 나아가 PolySquare는 사용자가 직접 검색 과정에 참여하여 반복적으로 원하는 모양을 검색 결과에 포함시키고 그렇지 않은 모양을 검색 결과에서 제외시킬 수 있다. 태그 전파의 성능을 확인하기 위해 모델 유사도 임계값에 따른 정밀도-재현율을 측정하고, 지역적 특성을 태그 전파에 활용했을 때의 유용성에 대해 논의한다. 다음으로 PolySquare가 정제되지 않은 태그들에 대해 어떻게 대처하는지 확인하기 위해 구글 폴리 (Google Poly)의 실제 3D 모델 데이터를 사용하여 케이스 스터디를 진행한다.