본 연구에서는 인공지능 기반의 서술형 문항 자동평가 시스템의 현재와 기술적 및 윤리적 도전을 살펴보고, 그 단기적인 활용 방안을 살펴보았다. 인공지능 서술형 문항 자동평가 시스템은 이미 광범위한 주제의 에세이 채점뿐만 아니라 정교한 과학적 개념을 묻는 문항에 대한 채점에도 사용될 만한 성능을 보이며 평가의 패러다임을 바꾸어가고 있다. 하지만 인공지능 서술형 자동평가 시스템은 (1) 자연어 처리의 기술적 한계, (2) 채점 신뢰도 문제, (3) 인간 사용자의 신뢰와 인위적 속임, (4) 고부담 시험에서의 윤리적 한계 등의 도전을 안고 있다. 이에 단기적으로는 인공지능 자동평가 시스템이 (1) 학습자에게 적응적인(adaptive) 학습 지원 도구로서, (2) 학습자에게 빠른 피드백을 제공하고, (3) 평가 준거의 빠른 분석을 가능케 하는 역할을 감당할 수 있다. 하지만 이러한 문제들이 기술적/윤리적으로 극복된다면, 인공지능 자동평가 시스템의 미래는 과학 등의 교과-특수적인 영역에서, 텍스트를 넘어서는 이미지 처리를 통해 (1) 시각적 표상에 대한 자동평가, (2) 실제 수행에 대한 자동평가, (3) 실시간 피드백과 과정중심 자동평가에 활용될 수 있을 것이다. 하지만 딥 러닝이 인공지능 기술의 급속한 발달을 주도하게 될 것을 누구도 예측하지 못하였듯이, 인공지능 자동평가 시스템의 미래적 가능성 역시 여전히 열려 있다고 하겠다.
This study primarily reviews the present of AI(Artificial Intelligence)-based automated evaluation of descriptive assessment with its technological/ethical issues, to derive short-term strategies for utilization of it. AI-based automated evaluation system of descriptive assessment have been driving force of paradigm change of evaluation, being used for scoring usual essays and even scientific concept problems. However, it also encounters some challenges such as (1) technological limitation of natural language processing, (2) a matter of scoring reliability, (3) user trust and deliberate cheating, and (4) ethical issues with respect to high-stake exams. Thus in short-term range, AI-based automated evaluation system can be used as (1) adaptive supporting tool for students’ learning, (2) fast learning analytic tools for students’ response, and (3) analysis of evaluation criteria. Yet, once those problems are overcome in technological/ethical aspects, AI-based system could be used for automated evaluation of (1) visual representation of mental model, (2) authentic practice, and (3) real-time feedback and process-based evaluation, in the dimension of image processing over text processing, in subject-specific sense. Though, as nobody predicted deep learning algorithm to be mainstream of AI technology like nowadays, a future possibility of AI-based automated evaluation system would surely be divergent.
