Browse

객체 인식을 활용한 사진 관리 서비스의 사용자 경험 연구 : 구글 포토 내 검색 기능을 통한 되찾기(Retrieval)의 학습을 중심으로

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
강슬기
Advisor
이중식
Issue Date
2019-08
Publisher
서울대학교 대학원
Keywords
머신러닝컴퓨터비전객체인식사진검색사진관리
Description
학위논문(석사)--서울대학교 대학원 :융합과학기술대학원 융합과학부(디지털정보융합전공),2019. 8. 이중식.
Abstract
The practices of photo retrieving on personal smartphones have extended. Not only pictures are browsed by scrolling up and down, but also a picture is easily come out as a result of typing a certain keyword. The technology of object recognition has changed how people look and browse personal photos; it not only classifies similar photos, but also assigns the labels that represent the referent of the classification. For instance, Google Photos has applied the object recognition and search system to allow users to manage personal photos. Eventually, the novel use of searching photos on personal album is expected to change the aspects of how people retrieve a particular photo out of thousands of accumulated ones in their cloud system.
However, the novel technology is on its early stage and is at lack of leaving positive impression to the users. There is a gap between object recognition executed by the device and the user. When typing a query on its search bar for instance, the result is either none or countless number of results.
The purpose of this study is to identify of the points of inconvenience in smartphone photo albums using object recognition and to deliver a better photo search user experience. In this paper, previous studies and preliminary research were thoroughly reviewed and held to fully grasp understanding of the inner workings of the object recognition, and to build a general frame of how people use the personal photo search system. In the main research, six photos search tasks were designed for a week with a total of 16 participants, aged between 20s and 30s. Search strategy tips were given to the experiment participants in order to collect particular strategy when searching photos. After collecting a total of 672 search tasks and used strategies, a post-questionnaire was followed.
As a result of the analysis, the learning process of search system of the users has occurred. The study was able to identify how users learned the functions of photo search through strategy. As the number of 42 retrieval tasks, the average retrieval time of 16 users gradually decreased. As a result, the average retrieval time of the last day compared to the first day decreased by 31% from 51 seconds to 35 seconds. The average success rate of searches also rose by about 11% over 42 tasks performed each day for a week. The average number of search attempts of participants decreased by 28%. As the experience of photo retrieval is accumulated with the strategy provided, it is confirmed that the image of the learning and the improvement of the retrieval are improved in the photo retrieval using object recognition technology.
In the learning style of individual users, 12 out of 16 participants participated in the appearance of learning, and 3 showed that learning did not take place. The other one showed no influence on learning. If learning is not or is not affected, it can be inferred that there is a difference in learning depending on which strategies are used in the initial search and how to adapt to the search function.
Finally, 44.35% of the total search strategies were applied to the most commonly used strategies: 'use the correct name by using the high-level word (abstract concept) and the low-level word (concrete concept)'. Next was followed by using '(comma)', 'using search terms that appear on the screen like color', and 'using figures (women, men)'. The strategy that users individually formed was 12.20% of the total, and there was no difference in use over time. As for the strategies that the user made, 39.47% of the strategies were 'utilization of administrative area names', followed by 'automatic classification of people' and 'utilization of buildings'. Among the strategies that have been developed, 'Word usage tailored to Google Photos' has been found to recognize the characteristics of object recognition through experiences and form a search word by predicting it. In other words, as the experience of photo retrieval using object recognition accumulates, it shows the understanding of its characteristics.
Through the above analysis, the study has examined the point where object recognition technology is difficult for user when it is used as a search in the smartphone photo album, and added a brief suggestion on how to supplement it.
This study approached the user 's difficulty in using the object recognition technology as applied to the smartphone photo album. In addition, HCI (Human Computer Interaction) side has focused on the process of how the strategy made through the viewpoint of the device is accepted and transformed by the user. In addition, it is meaningful that the study tried to observe the interaction that occurred when the research of object recognition, which was concentrated only on improving the accuracy of recognition, was provided to actual users. Finally, it is meaningful that the study discussed the ways to utilize object recognition in order to utilize the medium of photography and sustainable use.
지난 봄에 촬영한 벚꽃 사진이 찾고 싶을 때, 스마트폰의 사진첩에서 벚꽃을 검색해본다. 뒤이어 앨범 안에 있는 모든 벚꽃 사진이 나타난다. 이처럼, 스마트폰으로 촬영한 나의 사진도 이제 키워드를 통해 검색이 가능하다. 과거에는 앨범을 만들어서 관리하거나 수많은 사진의 홍수 속에서 스크롤 내려가며 브라우징했다면, 이제는 머리 속에 떠오르는 검색어를 활용해 원하는 사진을 찾을 수 있는 것이다. 이는 컴퓨터 비전 분야에서 객체 인식 기술이 비약적인 발전을 이루고, 비슷한 특징을 가지는 사진을 묶어낸 후 적합한 이름을 붙이는 데까지 가능해진 덕분이다. 그러나, 검색을 활용해보면 그 결과의 범위가 너무 넓어서 검색의 효과가 없거나, 사용자가 활용한 검색어에 부합하는 결과가 나오지 않는 경우도 있다. 거기에 정확지 않은 결과가 나타날 때도 있어 사진 검색을 활용하는 초기의 사용자에게 부정적인 경험을 남기게된다.
이에 본 연구는 객체 인식을 활용한 스마트폰 사진첩에서 나타나는 불편함의 지점을 밝혀내고, 사진 검색 경험을 개선하고자 하는 목적을 갖고 시작되었다. 객체 인식이 스마트폰 사진 검색과 같은 실생활에 적용되었을 때 나타나는 이러한 어색한 결과는 사진이라는 대상의 특성과 기기의 내부적 특성, 이로 인해 발생하는 기기와 사람 사이의 인식 차이로 인해 발생한다. 본문에서는 객체 인식의 내부적 특성을 문헌 연구와 사전 조사를 통해 수집한 후, 검색을 보다 효율적으로 할 수 있는 전략으로 일반화 하였다. 이후 사용자에게 사진 검색의 경험 중 이러한 특성을 검색의 전략으로 활용할 수 있도록 팁(Tip)을 작성한 후 이를 실험의 참여자에게 제공하였다. 이후 16 명의 20-30 대를 대상으로 일주일동안 매일 여섯번의 사진 찾기 과업을 수행하는 실험을 통해 연구 자료를 수집하였다. 이를 통해 총 672개의 검색 과업의 기록과 사용된 전략, 그리고 사용자가 형성한 전략을 수집했으며, 일주일간의 실험이 완료된 후에는 사후 설문 데이터를 얻을 수 있었다.
분석의 결과로, 먼저 전략을 통해 사용자가 사진 검색의 기능을 학습하는 모습을 확인할 수 있었다. 42 회의 검색 태스크가 누적됨에 따라 16 명의 평균 검색 소요 시간은 점차 감소하였으며, 이를 시간의 흐름에 따른 변화의 축에서 살펴보면 첫 번째 날에 비해 마지막 날의 평균 검색 소요 시간이 51 초에서 35 초로 31% 가량 감소했다. 검색의 평균 성공율 또한 일주일 동안 매일 진행된 42 회의 태스크에 걸져 약 11% 상승하는 모습을 보였다. 실험 참여자의 평균 검색 시도 횟수도 28% 감소하였다. 이를 통해 제공된 전략과 함께 사진 검색의 경험이 누적될수록 객체 인식 기술을 활용한 사진 검색에서 학습의 모습과 검색의 개선이 나타남을 확인할 수 있었다.
개별 사용자의 학습 형태에서는, 16명 중 12명의 참여자가 학습의 모습이 나타난 경우에 해당되었으며, 3 명은 학습이 이뤄지지 않은 모습을 보였다. 나머지 1 명은 학습에 영향을 받지 않는 모습을 나타내었다. 학습이 이뤄지지 않거나 영향을 받지 않는 경우, 초반의 검색에서 어떤 전략을 활용하고 검색 기능에 적응하는지에 따라 학습에서의 차이가 생기는 것으로 유추해볼 수 있었다.
마지막으로 제공된 전략 중 가장 많이 사용된 전략은 상위어(상위 개념의 단어), 하위어(구체적인 단어)를 활용하여 정확한 명칭 사용하기로 전체 검색의 44.35%이 해당 전략을 활용한 것으로 나타났다. 그 다음으로는 ,(콤마) 사용하기, 색상과 같이 화면에서 드러나는 검색어 활용하기, 인물(여자, 남자) 활용하기가 뒤를 이었다. 사용자가 개별적으로 형성한 전략은 전체의 12.20%로 나타났으며, 시간이 흐름에 따라 그 사용의 차이는 나타나지 않았다. 사용자가 직접 제작한 전략으로는 행정구역명의 활용이 개별 전략의 39.47%를 차지했으며, 그 다음으로는 자동 분류된 인물 활용, 그리고 건축물의 활용이 주로 활용되었다. 형성된 전략 중 구글 포토에 맞춘 단어 활용은 과거의 경험을 통해 객체 인식의 특성을 인지하고, 이를 예측하여 검색어를 형성하는 것으로 나타났다. 즉, 객체 인식을 활용한 사진 검색의 경험을 누적할수록 그 특성에 대한 이해가 생기는 모습을 보여준다.
이상의 분석을 통해 객체 인식 기술이 스마트폰 사진첩 내에서 검색으로 활용될 때 사용자에게 어려움을 가져오는 지점에 대해 살펴본 후, 이를 보완할 수 있는 방안에 대한 간략한 제언을 덧붙였다.
본 연구는 객체 인식 기술이 스마트폰 사진첩에 적용되면서 나타난 사용의 어려움을 사용자의 관점에서 접근하였다. 더하여 HCI(Human Computer Interaction)의 측변에서, 기기의 관점을 통해 제작된 전략이 어떻게 사용자에게 수용되고 변형되는지 그 과정에 집중했다는데 그 융합적 의의를 가진다. 더하여 인식의 정확도를 높이는데에만 집중되었던 객체 인식의 연구가 실제 사용자에게 제공되었을 때 발생하는 인터랙션을 실험을 통해 관찰을 시도했다는데 의의를 갖는다. 마지막으로는 사진이라는 매체의 활용성과 지속 가능한 활용을 위해 객체 인식을 활용할 수 있는 방식에 대한 논의를 펼쳤다는 데 의의가 있다.
Language
kor
URI
http://hdl.handle.net/10371/161525

http://dcollection.snu.ac.kr/common/orgView/000000156719
Files in This Item:
Appears in Collections:
Graduate School of Convergence Science and Technology (융합과학기술대학원)Dept. of Transdisciplinary Studies(융합과학부)Theses (Master's Degree_융합과학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse