1. 코퍼스 기반 CALL 연구의 변인 코딩 결과 본 메타분석에서 사용한 32개 연구를 [표 1]에서 제시한 기준에 의해 변인별로 코딩한 결과는 다음 [표 2]와 같다. 하나의 논문에 다수의 연구 결과가 제시되어 있을 경우가 많고 연구 결과별로 코딩했기 때문에, 논문을 기준으로 했을 때 중복 코딩으로 제시된 경우가 일부 존재하며, 관련 내용이 없거나 명확하게 제시되지 않은 경우는 결측값으로 처리하였다. 2. 코퍼스 기반 CALL 연구의 평균 효과 크기 32개 논문에서 발췌한 134개의 연구 결과에 대한 평균 효과 크기를 구하기 이전에 동질성 검증을 실시하여 메타분석 모델을 결정하는 판단 기준으로 사용하였다[표 3]. 동질성 검증 결과 메타 분석에 사용한 연구들 사이에 동질성이 발견되지 않았기 때문에(Q=841.730, df=133, p=0.000), 랜덤효과 모형을 사용하여 평균 효과 크기를 산출하였다. [부록 1]에 제시된 개별 효과 크기를 바탕으로 산출한 코퍼스 기반 CALL 연구들의 평균 효과 크기는 다음 [표 4]와 같다. 본 연구에서는 랜덤효과모형을 채택했기 때문에 평균 효과 크기는 .613으로, 코퍼스 기반 CALL이 보통 수준 이상의 효과를 지니고 있는 것으로 판명되었다. 이를 U3 지수로 나타낼 경우 72.9로, 코퍼스 기반 CALL 교육을 실시하면 실시하지 않았을 때에 비해 22.9%의 향상이 있는 것으로 나타났다. 3. 코퍼스 기반 CALL 연구의 조절변인별 평균 효과 크기 본 연구에서는 코퍼스 기반 CALL 연구의 조절변인으로 논문의 종류, 실험 대상, 실험 기간, 코퍼스의 종류, 연역적 학습 제시의 유무, 표현 활동의 유무, 코퍼스 자료 수정의 실시 여부로 구분하여 134개의 연구 결과를 분류하여 각 변인별로 효과 크기를 분석하였다. 변인별 평균 효과 크기의 비교에는 본 연구 사례들이 동질한 분포를 지니지 않은 것으로 판명되었기 때문에 혼합효과 모형을 사용한 Q 테스트를 활용하였다. 1) 논문 종류별 평균 효과 크기의 비교 본 메타분석에 사용된 연구들을 학술지, 박사학위 논문, 석사학위 논문으로 구분하여 산출한 평균 효과 크기는 다음 [표 5]와 같다. 결과를 살펴보면 박사학위 논문의 평균 효과 크기가 .798로 가장 컸으며, 다음으로 석사학위 논문(.611), 학술지(.483)의 순으로 나타났다. z값과 95% 신뢰구간을 통해 살펴본 결과, 세 가지 논문 종류 모두에서 코퍼스 기반 CALL이 학생들의 학습 성취도 및 심리내적 요인에 통계적으로 유의미한 정적 효과를 가져왔음을 알 수 있다. 위의 세 가지 변인에 대해 동질성 검사를 실시한 결과(Q=3.551, df=2, p=0.169), 세 변인들의 효과 크기는 동질한 것으로 판명되었다. 이를 박스플롯으로 나타내면 좀 더 명확히 파악할 수 있다. [그림 2]를 보면 각 변인별 효과 크기의 신뢰구간에 모두 겹치는 부분이 존재하고 있으며, 따라서 특정 변인이 다른 변인보다 통계적으로 유의하게 더 효과가 있지는 않았다. 2) 실험 대상별 평균 효과 크기의 비교 실험 대상을 초등학생, 중학생, 고등학생, 대학생 이상 성인으로 구별하여 평균 효과 크기를 산출하였고, 그 결과는 다음 [표 6]에 제시되어 있다. 먼저 z값과 95% 신뢰구간을 통해 확인해 보면 고등학생(.735)과 초등학생(.545)에서는 통계적으로 유의한 정적 효과가 발견되었으나, 대학생 이상(.339)과 중학생(.072)에서는 코퍼스 기반 CALL이 유의미한 향상을 가져오지는 않는 것으로 판명되었다. 실험 대상별로 산출된 평균 효과 크기에 통계적 차이가 있는지 동질성 검사를 실시한 결과(Q=73.015, df=3, p=0.000), 실험 대상 사이에 평균 효과 크기가 동질하지 않은 것으로 나타났다. 이를 [그림 3]을 통해 자세히 살펴보면 고등학생과 초등학생 대상의 효과가 중학생에 비해 더욱 높은 것으로 나타났다. 고등학생 대상 연구를 제외하곤 사례수가 비교적 적기 때문에 다소 성급한 일반화일 수 있긴 하지만, 영어능력에 있어 상대적으로 우위에 있는 고등학생 이상을 코퍼스 기반 CALL의 대상으로 하는 것이 좀 더 효율적인 것으로 판단되며, 이는 코퍼스 기반 콘코던스 활동은 중급 이상의 학습자에게 적절하다는 선행 연구(Kaur & Hegelheimer, 2005)와도 일치하는 결과이다. 한편 초등학생 대상 연구에서 통계적으로 유의미한 결과가 도출된 것은 대상 연구의 사례수가 적다는 점과 실제 실험 수업 중 코퍼스 사용의 비중이 상대적으로 적었던 점, 그리고 종속변인으로 정의적 영역의 평가가 많았던 점 등이 영향을 끼진 것으로 보인다. 또 대학생 대상의 연구에서 통계적으로 유의한 효과가 나타나지 않은 것은 초등학생의 경우와 마찬가지로 대상 연구의 수가 적었다는 점이 큰 영향을 미친 것으로 보이며, 연구 기간이 상대적으로 적고, 매주 1회 정도 실시되는 강의 시간을 통해 실험이 실시된 경우가 대부분이여서 상대적으로 코퍼스 자료를 통한 언어 입력이 적었기 때문으로 보인다. 3) 실험 기간별 평균 효과 크기의 비교 실험 기간을 4주 단위로 나누어 평균 효과 크기를 산출하였다. [표 7]에서 볼 수 있는 것처럼 4개의 변인 모두에서 통계적으로 유의한 효과가 발견되었다. 실험 기간별로 산출된 평균 효과 크기에 대해 동질성 검사를 실시한 결과(Q=9.880, df=3, p=0.020), 효과 크기들이 동질하지 않은 것으로 나타났다. 이를 [그림 4]를 통해 살펴보면, 13주 이상 연구가 5-8주 연구에 비해 통계적으로 유의한 수준으로 더 효과가 있는 것으로 나타났다. 추론적이고 귀납적인 코퍼스 기반 CALL 학습의 특징을 고려해 볼 때, 처치 기간이 길수록 그 효과가 더 커지는 것으로 판단된다. 4) 코퍼스 종류별 평균 효과 크기의 비교 코퍼스의 종류는 BNC와 같은 대용량 일반 코퍼스, 교과서 코퍼스와 같은 특수 코퍼스를 분류하여 평균 효과 크기를 비교하였다. z값과 신뢰구간을 통해 확인할 수 있는 것처럼 두 종류의 코퍼스 모두에서 통계적으로 유의한 효과가 있는 것으로 나타났다. 한편 두 코퍼스 사이의 효과 크기에 있어서의 차이는 [그림 5]에서 확인할 수 있는 것처럼 통계적으로 유의한 수준(Q=2.580, df=1, p=0.108)의 차이는 아니었다. 5) 연역적 학습 내용 제시의 유무에 따른 평균 효과 크기의 비교 코퍼스 기반 CALL 실험 처치에서 연역적 학습 내용 제시가 존재하는 연구와 그렇지 않은 연구를 구분하여 평균 효과 크기를 구하였다. 이미 연구방법의 변인코딩 부분에서 언급했던 것처럼 코퍼스 기반 학습은 자료 기반 학습(Data-Driven Learning, DDL), 즉 귀납적 성격을 기본적으로 가지고 있으며, 연역과 귀납적 수업의 분류는 강도의 차이로 판단할 수 있는 일종의 연속체(continuum)로 이해할 수 있다. 하지만 본 연구에서는 편의상 코퍼스 기반 활동 이전에 교사의 문법 규칙 설명과 같은 연역적 요소가 포함된 연구와 그렇지 않은 경우, 두 가지로 구분하여 분석을 실시하였다. [표 9]에서처럼 연역적 요소가 존재하지 않는 귀납적인 학습 방법(.582)과 연역적 요소가 있는 학습 방법(.659) 모두에서 통계적으로 유의한 수준의 정적 효과가 발견되었다. 하지만 두 효과 크기의 차이가 통계적으로 유의한 수준은 아니었다(Q=0.366, df=1, p=0.545). 6) 표현 활동의 유무에 따른 평균 효과 크기의 비교 코퍼스 기반 CALL 실험 처치에서 말하기, 쓰기와 같은 표현 활동이 포함된 연구와 그렇지 않고 이해 활동으로만 실시된 연구를 각 연구 유형에 따라 평균 효과 크기를 산출하였다. 이 역시 표현 활동이 존재하는 경우와 그렇지 않은 경우 모두에서 통계적으로 유의한 효과가 발견되었다. 효과 크기는 이해 활동으로만 구성된 경우(.775)가 표현 활동이 포함된 경우(.529)보다 다소 높았고, 동질성 검정 결과에서도 통계적으로 유의한 차이가 나타났다(Q=4.824, df=1, p=0.028). 즉 표현 활동이 포함된 경우보다는 코퍼스를 활용해 이해 활동에 집중하는 것이 좀 더 효과적으로 보인다. 7) 코퍼스 수정의 유무에 따른 평균 효과 크기의 비교 메타분석의 대상이 된 연구 중 학생들의 수준을 고려하여 코퍼스에서 추출한 콘코던스 라인에서 어휘나 문장의 구조 등을 보다 쉽게 수정한 절차가 명시적으로 드러난 연구와 그렇지 않은 연구의 평균 효과 크기를 비교하였다. 그 결과 코퍼스를 수정한 연구(.340)와 그렇지 않은 연구(.698)에서 모두 통계적으로 유의한 정적 효과가 산출되었다. 두 연구에서 얻어진 효과 크기에 대해 동질성 검증을 실시하였다. 그 결과 [그림 8]에서처럼 콘코던스 라인을 수정하지 않은 경우가 보다 쉬운 난이도로 수정한 경우에 비해 통계적으로 유의한 수준에서 더 큰 효과를 거두는 것으로 나타났다(Q=14.287, df=1, p=0.000). 4. 코퍼스 기반 CALL 연구의 종속변인별 평균 효과 크기 조절변인별 평균 효과 크기를 비교에 이어, 코퍼스 기반 CALL 연구의 효과성을 종속변인별로 평균 효과 크기를 산출하여 비교하였다. 종속변인은 인지적 영역과 정의적 영역, 어휘와 문법의 두가지 기준을 사용해 분류하였다. 1) 인지적, 정의적 영역의 평균 효과 크기 비교 메타분석에 사용된 연구 결과 중 의사소통 능력이나 언어사용 능력과 같은 인지적 영역을 종속변인으로 측정한 경우와 흥미도, 자율성과 같은 정의적 영역을 측정한 경우로 구분하여, 그 평균 효과 크기를 비교하였다. 결과 [표 12]에 제시된 것처럼 두 영역 모두에서 통계적으로 유의한 정적 효과가 발견되었다. 두 영역의 효과 크기에 대해 동질성 검사를 실시한 결과, 두 변인의 효과 크기가 통계적으로 유의한 수준의 차이가 있는 것으로 나타났다(Q=6.096, df=1, p=0.014). 즉 코퍼스 기반 CALL을 실시한 경우 정의적 영역(.401)보다는 인지적 영역(.673)에서 더 큰 향상이 있는 것으로 판명되었다. 2) 어휘, 문법 능력의 평균 효과 크기 비교 메타분석에 사용된 연구 중 상당수는 코퍼스 기반 CALL을 실시했을 때 학생들의 어휘 능력 또는 문법 능력이 향상되는가를 검증하기 위한 것들로, 총 134개의 연구 결과 중 82개로 61.2%의 비중을 차지했다. 이에 어휘능력(연어능력 포함)과 문법능력을 종속변인으로 채택한 연구들을 분류하여 평균 효과 크기를 비교하였다. 그 결과 어휘 능력(.923)과 문법 영역(.582) 모두에서 통계적으로 유의한 수준의 정적 효과가 산출되었다. 두 영역의 효과 크기에 차이가 존재하는지 확인하기 위해 동질성 검사를 실시한 결과, 두 변인의 효과 크기가 동질하지 않은 것으로 나타났다(Q=6.315, df=1, p=0.012). 즉 코퍼스 기반 CALL을 실시하면 어휘 능력의 향상이 문법 능력 향상의 폭보다 통계적으로 유의한 수준에서 더 크게 발생했다.

This paper presents a quantitative meta-analysis of 32 corpus-based CALL articles which contain 134 individual experimental study results. For review of the previous studies, this study employs an analytical framework of corpus-based CALL research including 9 categories: publication types, subjects, treatment period, corpus types, dependent variables and so on. Individual articles on the effects of corpus-based CALL are examined and analyzed applying systematic procedures for research synthesis and meta-analysis measuring mean effect sizes. The result of meta-analysis of corpus-based CALL were as follows. First, average effect size of corpus-based CALL research is .613, which means that corpus-based CALL has the positive effects on the students` cognitive and affective domains. Secondly, more than 13-week treatment period is more effective than shorter period, and comprehension activities have more positive effect than production activities combined with comprehension activities. Thirdly, the effect sizes on cognitive domain and vocabulary are more larger than cognitive domain and grammar. The results of the study imply some suggestions for primary corpus-based CALL researchers. First, more experimental researches using corpus-based CALL are needed, especially for elementary- and middle-school students. Secondly. a more synthetic examination of the meta-analysis results should be done.