AI 영어 말하기 과제 효과: 대학생 1,033명 결과

바흐체셰히르 대학교(BAU) 영어 예비과정에서 한 모듈의 AI 말하기 과제를 75% 이상 완료한 경우 98%가 다음 레벨로 진급했고, 과제를 하나도 하지 않은 경우에는 42%였어요. 이 데이터가 보여 주는 것과 보여 주지 못하는 것을 정리했어요.

AI 말하기 과제, 효과가 있을까요?

이 데이터에서는 그래요. 다만 단서가 하나 있어요. AI 말하기 과제를 대부분 한 학생은 전혀 하지 않은 학생보다 훨씬 자주 다음 레벨로 진급했어요. 98% 대 42%예요. 한 대학의 영어 예비과정에서 1년 동안 나타난 강한 연관성이에요. 과제 때문에 진급했다는 증거는 아니고, 그 이유를 이 글에서 설명해요.

수치는 튀르키예 바흐체셰히르 대학교(BAU) 영어 예비과정(English Preparatory School)의 아보링고 플랫폼 데이터를, 모듈이 끝날 때마다 학교가 직접 내린 결정과 맞춰 본 결과예요.

각 건수는 사람 수가 아니라 모듈 결과예요. 학생 한 명이 8주짜리 모듈 하나를 마쳤을 때의 결과가 1건이에요. 1년 내내 수강한 학생은 여러 번 집계돼요.

분석 요약 자료에는 범위의 양 끝만 나와 있어요. 중간 구간에 대해서는 수치가 하나 있어요. 과제를 절반 넘게 완료한 학생은 모든 레벨에서 88% 이상의 비율로 진급했어요.

출처: 아보링고 플랫폼 데이터, 바흐체셰히르 대학교 영어 예비과정, 2025년 10월~2026년 5월.

무엇을 어떻게 측정했나요?

학생이 한 모듈에서 아보링고 과제를 얼마나 완료했는지와, 그 뒤 학교가 그 학생을 진급시켰는지를 비교했어요. 정의가 중요하니 모두 적어 둘게요.

• 대상: 영어 예비과정 학생 1,033명이에요. A1부터 프로피션시(proficiency) 과정까지 포함해요.
• 기간: 2025~26학년도예요. 10월부터 5월까지 8주짜리 모듈 네 개로 운영됐어요.
• 과제: 학교가 매주 각 반의 레벨에 맞춘 아보링고 연습을 배정했어요. AI 말하기(AI 튜터와의 대화), 발음, 문법, 어휘를 합친 구성이에요. 이 글에서 '말하기 과제'는 대화만이 아니라 이 주간 과제 묶음을 뜻해요.
• 과제 완료율: 한 모듈의 아보링고 과제 가운데 학생이 완료한 비율이에요. 구간은 과제 없음, 25% 이하, 75% 이상이에요.
• 다음 레벨로 진급: 8주 모듈이 끝날 때마다 학교가 학생을 다음 레벨로 올릴지, 같은 레벨을 다시 듣게 할지 결정해요. 학교가 자체적으로 내린 배치 결정이고, 아보링고 점수는 쓰이지 않았어요.
• 분석 단위: 한 모듈에서 다음 모듈로 넘어가는 이동이에요. 과제를 하나 이상 한 학생의 이동 1,719건을 분석했어요.

이 데이터가 보여 주지 않는 것은 무엇인가요?

과제 때문에 진급했다는 것은 보여 주지 않아요. 한계가 네 가지 있어요.

• 통제 집단이 없어요. 과제를 하라거나 하지 말라고 배정받은 학생은 없어요. 학생이 스스로 선택했고, 그 결과를 관찰했을 뿐이에요.
• 의욕 있는 학생은 둘 다 해요. 과제를 끝내는 학생은 수업에도 나오고, 복습하고, 질문도 할 가능성이 커요. 98%와 42%의 차이 가운데 일부는 과제가 아니라 학생의 차이를 반영해요.
• 한 학교, 한 해의 결과예요. BAU의 프로그램, 교수진, 학생이 모든 프로그램을 대표하지는 않아요. 다른 곳에서는 이 경향이 더 약할 수도, 더 강할 수도 있어요.
• 결과 지표는 진급이지 말하기 시험이 아니에요. 이 학생들의 말하기 점수는 따로 없어요. 그래서 향상 가운데 얼마만큼이 말하기에서 나왔는지는 말할 수 없어요.

숙제에 관한 연구 전반에도 같은 약점이 있어요. Cooper, Robinson, Patall이 1987~2003년의 숙제 연구를 종합한 논문은 숙제가 학업 성취에 긍정적인 영향을 준다는 대체로 일관된 근거를 찾았지만, 유형과 관계없이 모든 연구에 설계상 결함이 있었다고도 밝혔어요.

데이터 안에서 해 본 세 가지 확인

가장 먼저 나올 반론은 잘하는 학생이 과제도 더 많이 했을 뿐이라는 거예요. 세 가지 비교가 이 반론에 어느 정도 답해요.

• 같은 학생, 두 가지 결과. 학생 162명은 어떤 모듈 뒤에는 진급했고, 어떤 모듈은 다시 들었어요. 이 학생들의 과제 완료율은 진급하기 전 모듈에서 47%, 다시 듣게 되기 전 모듈에서 33%였어요. 학생을 자기 자신과 비교하면 능력처럼 변하지 않는 차이는 배제할 수 있어요.
• 두 번째 기회. 모듈을 다시 들은 적이 있는 학생 가운데, 그 뒤 과제를 절반 이상 완료한 학생은 88%가 다음 모듈에서 진급했어요. 절반 미만으로 완료한 학생은 47%였어요.
• 이전 결과를 고려해도. 이전 과제 완료와 이전 결과를 고려한 뒤에도, 완료율이 10%포인트 높아질 때마다 진급 오즈(odds)가 약 1.3배가 되는 관계가 그대로 나타났어요.

이 확인들은 우려를 줄여 주지만 없애지는 못해요. 학생은 밖에서 볼 수 없는 이유로 어떤 모듈을 힘들게 보낼 수 있고, 그러면 과제도 덜 하고 수업에서도 결과가 나빠질 수 있어요.

학교는 실제로 어떻게 운영했나요?

BAU는 이 연습을 학생이 알아서 찾아 하는 선택 사항으로 두지 않고, 학교가 정한 주간 루틴으로 만들었어요. 눈에 띄는 점은 세 가지예요.

• 매주, 레벨에 맞춰. 모두에게 같은 활동 모음을 주지 않고, 반마다 매주 자기 레벨에 맞는 연습을 받았어요.
• 참여는 고르지 않았어요. 학생의 79%가 한 해 동안 과제를 하나 이상 완료했고, 343명은 50개 이상 완료했어요. 하나도 하지 않은 학생도 있었고, 그래서 '과제 없음' 집단이 있어요.
• 학교가 사용 규모를 넓혔어요. BAU는 2025년 9월에 학생 700명으로 시작했어요. 2026년 9월 기준으로 학생용 라이선스 2,000개와 교원용 라이선스 300개를 보유하고 있어요.

강사 개개인이 수업을 어떻게 바꿨는지에 대한 수업별 기록은 없어서, 그 부분은 주장하지 않아요.

플랫폼은 얼마나 쓰였나요?

한 해 동안 학생 1,033명이 과제 36,212개를 완료했고, 그중 25,887개가 AI 대화였어요.

AI 피드백을 받은 뒤 점수가 오르나요?

같은 과제 안에서는 그래요. 학생이 AI 피드백을 받고 다시 시도했을 때, 살펴본 두 과제 유형 모두에서 평균 점수가 올랐어요.

점수는 같은 과제에서 받은 100점 만점 기준 평균이에요. 학생이 피드백을 바로 활용했다는 것을 보여 줘요. 한 달 뒤에 얼마나 남아 있었는지는 보여 주지 않고, 다시 시도하기로 한 학생은 그러지 않은 학생과 다를 수 있어요.

더 넓은 연구도 같은 방향을 가리켜요. Hattie와 Timperley의 피드백 연구 리뷰는 피드백을 학습에 가장 강력한 영향을 주는 요인 가운데 하나로 설명하고, 그 효과는 피드백의 유형과 주는 방식에 따라 달라진다고 해요. Bibauw 등이 연구 17편을 분석한 메타분석은 대화 시스템을 이용한 회화 연습이 제2언어 숙달도에 중간 크기의 효과(d = 0.58)를 보였다고 밝혔어요. 이 연구들은 효과를 검증하도록 설계됐지만, 아보링고의 사용 데이터는 그렇지 않아요.

어학교육원·교양영어 책임자와 코디네이터가 참고할 점은 무엇인가요?

• 접속 횟수가 아니라 모듈별 완료율을 보세요. 이 데이터에서 결과를 가른 지표는 완료율이었어요. 어떤 업체를 쓰든 학생별·분반별 완료율을 요청하세요.
• 과제를 하지 않는 학생을 일찍 찾으세요. 한 모듈에서 과제를 하나도 하지 않은 경우 진급한 비율은 42%였어요. 이 학생들에게는 모듈이 끝날 때가 아니라 첫 몇 주 안에 연락해야 해요.
• 연습은 매주 배정하고 레벨에 맞추세요. BAU가 이렇게 운영했어요. 우리 강의계획서에서 만든 연습은 필수로 정하기가 더 쉬워요. 설계하는 방법 하나는 대학 교양영어·ESP에 AI 말하기·쓰기 연습 더하기에서 볼 수 있어요.
• 두 번째 시도를 과제에 넣으세요. 피드백을 받고 다시 시도했을 때 점수가 올랐으니, 첫 시도만이 아니라 재시도에도 점수를 주세요.
• 진급 결정은 교수진에게 두세요. BAU에서는 누가 진급할지 학교가 결정했어요. AI 연습은 교수자와 함께 쓰는 도구예요. 교수자에게 판단 근거를 더해 줄 뿐, 교수자의 판단을 대신하지 않아요.

시범 운영을 한다면 처음부터 비교를 계획하세요. 예를 들어 분반끼리 비교하면 이 글에서 말할 수 있는 것보다 더 많은 것을 말할 수 있어요. 과정과 과제를 어떻게 구성하는지는 대학·목적별 영어교육에서 볼 수 있고, 데모가 필요하면 운영 중인 프로그램을 알려 주세요.

자주 묻는 질문

통제된 연구인가요?

아니요. 한 학년도의 관찰 데이터예요. 한 대학의 학생 1,033명이 대상이고, 통제 집단도 무작위 배정도 없어요. 과제 완료와 진급 사이의 연관성을 보여 줄 뿐, 인과관계의 증거는 아니에요.

과제는 얼마나 해야 충분한가요?

이 데이터로는 기준선을 정할 수 없어요. 75% 이상 완료한 경우에는 98%가 진급했고, 절반 넘게 완료한 학생은 모든 레벨에서 88% 이상의 비율로 진급했어요. 완료율이 10%포인트 높아질 때마다 진급 오즈도 높았으니, 전 구간에서 많이 할수록 결과가 좋았어요.

아보링고 점수로 진급이 결정됐나요?

아니요. 진급은 8주 모듈이 끝날 때마다 학교가 아보링고 점수와 무관하게 자체적으로 내린 배치 결정이에요.

초·중·고(K-12)에도 적용되나요?

알 수 없어요. 이 학생들은 집중 영어 프로그램을 듣는 대학 예비과정 학생이에요. 학습자가 더 어리거나, 주당 수업 시간이 더 적거나, 평가 방식이 다르면 결과가 달라질 수 있어요. 아보링고가 공개한 초·중·고 결과는 없어요.

말하기 실력이 늘었다는 증거인가요?

이 데이터만으로는 아니에요. 결과 지표는 학교가 결정한 진급이에요. 피드백 전후 점수는 같은 과제에서 피드백 뒤에 점수가 올랐다는 것을 보여 주는데, 이는 더 좁은 범위의 주장이에요.

참고 자료

• 아보링고 플랫폼 데이터, 바흐체셰히르 대학교 영어 예비과정, 2025년 10월~2026년 5월(학생 1,033명). 진급 결정은 학교가 내렸어요.
• Cooper, Robinson and Patall (2006), Does homework improve academic achievement? A synthesis of research, 1987–2003, Review of Educational Research 76(1)
• Hattie and Timperley (2007), The power of feedback, Review of Educational Research 77(1)
• Bibauw, Van den Noortgate, François and Desmet (2022), Dialogue systems for language learning: a meta-analysis, Language Learning & Technology 26(1)

아보링고 팀이 작성했어요. 자료 조사와 초안 작성에 AI를 활용했고, 참고한 자료는 본문에 링크로 달았어요.