대화형 에이전트(챗봇, 스마트스피커)를 이용한 서비스 개발이 보편화되고 있다. 에이전트를 훈련시키기 위해서는 많은 양의 ‘대화’가 확보되어야 하지만, 초기 디자인에서는 이를 확보하기가 쉽지 않다. 이러한 난점을 해결하고자 다양한 발화데이터 수집하는 방안이 모색되고 있다. 본 연구에서는 아마존 미캐니컬터크를 활용해 발화데이터를 모으는 시도를 해보았다. 수집결과가 참여자에게 태스크를 어떻게 제시하느냐에 따라 영향을 받기에 태스크 디자인 요소(태스크 양, 보너스 보상 방식, Social Proof 기반 설명 방식)를 비교한 실험을 진행하였다. 분석 결과, 태스크 양이 많아지면 수집된 데이터의 질이 떨어졌으며, 보너스 보상 방식을 제공할 때 수집의 효율성이 높아졌다. 소셜프루프(Social Proof) 기반 설명 방식은 수집 결과의 다양성은 높이지만 효율성은 떨어뜨리는 것으로 나타났다. 본 연구는 크라우드소싱 기반의 학습데이터 수집에 있어 태스크 디자인 요소에 대한 디자인 가이드를 제언한다는 점에서 연구 의의가 있다.

Service development using a conversational agent(chatbot, smart speaker) is becoming popular. A large amount of ‘conversation’ must be secured to train an agent, but it is not easy to get it in the initial design. To solve the difficulty, various methods for collecting training data are being sought. In this study, we attempted to collect training data using MTurk. We compared the task design elements(task amount, bonus compensation method, explanation method based social proof) to be influenced by how the results were presented to participants. As a result of analysis, the quality of the collected data decreased when the amount of task increased, and the efficiency of collection increased when providing bonus compensation method. Providing explanation method based social proof show that the diversity of the collection results is higher but the efficiency is lowered. This study is meaningful in that it suggests a design guide for task design elements in collecting training data based on crowdsourcing.