이 연구에서는 텍스트 마이닝을 활용하여 산출한 학생 글의 특성을 평가자들의 채점 결과와 비교해 봄으로써, 평가를 위한 정량적인 정보 제공의 가능성을 타진해 보고자 하였다. 이를 위해 내용, 조직, 표현에 해당하는 평가 기준을 설정하고, 텍스트 마이닝 기법을 활용하여 학생 글을 분석 후, 항목에 따라 어떤 특징이 있는지를 살펴보았다. 연구 결과는 다음과 같다. CTM 지수를 사용하여 자료 활용 정도를 측정한 결과, 하 수준의 글에서는 제시문을 전혀 활용하지 않은 글이 다수 발견된 반면, 상위 수준의 글일수록 제시문을 활용하여 자신의 주장을 견지하는 근거로 사용하고 있었다. 연결망 분석을 통해 조직에서 주장과 근거의 긴밀성을 추정한 결과, 하위 수준의 글에서는 뚜렷한 핵심어를 살펴볼 수 없었고, 주장에 해당하는 어휘가 근거의 어휘들과 매우 약한 연관성만을 보이고 있었다. 반면, 상위 수준의 글일수록 주장을 나타내는 핵심 단어의 중심성이 더욱 뚜렷해지며, 근거에 해당하는 단어들과의 연결 관계도 긴밀해짐을 알 수 있었다. 어조의 경우, 상 수준의 글에는 다른 집단에 비해 어조를 짐작할 수 있는 다양한 어휘들이 사용되었다. 특히 단정적 어조를 나타내는 어휘들이 많았으며, 강조를 나타내는 부사들도 다채로운 양상을 보였다. 이에 반해 하위 수준의 글에는 감정을 나타내는 어휘들이 많았고, 추측의 표현을 자주 사용하는 것을 확인할 수 있었다. 이 연구를 통해 항목별로 수준에 따라 보이는 글의 특성에는 차이가 존재하고, 이러한 차이점을 텍스트 마이닝 분석 결과로 설명할 수 있음을 검증할 수 있었다.

This study compared the characteristics of students’ writings derived using text mining with the evaluation results of evaluators and examined the potential of providing quantitative information for evaluation. Therefore, evaluation standards for content, organization, and expression were established. Students’ writings were analyzed using the text mining technique and their characteristics were assessed according to the set standards. Our study found the following. The degree of data referencing was examined using the CTM index, and it was revealed that many writings that were given a low grade did not cite the given text at all, whereas better graded writings utilized it more frequently as evidence to support arguments. Network analysis was conducted to estimate the correlation between argument and evidence in organization. No key words were clearly identifiable in low grade writings, and vocabulary corresponding to their arguments was noticeably weakly correlated with the vocabulary used in the evidence. On the contrary, the study found that the centrality of key words demonstrating the argument was higher and the relationship with the terms corresponding to evidence became closer. In the case of tone, high grade writings employed a wider use of diverse vocabulary, which helped infer the tone in comparison to other groups. Vocabulary with an assertive tone was frequently observed, and adverbs for emphasis were much more varied. Conversely, low grade writings often employed vocabulary expressing emotion and used presumptive expressions more frequently. Our study demonstrates that differences are present in the characteristics of writings of varying levels according to the standards, and the differences can be explained based on text mining analysis results.