▲ 뤼이드, 딥러닝 점수예측 모델 학습 효과 증명 논문

[뉴스에듀신문] 김순복 기자 = 뤼이드가 딥러닝 기술의 실질적 효과를 교육 시장에서 입증해 냈다.

뤼이드는 자사 AI 연구진이 제출한 딥러닝 기반 점수예측 모델의 학습 참여도 향상효과 검증에 대한 논문 (논문명: Prescribing Deep Attentive Score Prediction Attracts Improved Student Engagement)이 국제 최고 권위의 교육 인공지능 학회인 EDM에 정식 논문으로 채택됐다고 1일 밝혔다.

EDM(Educational Data Mining)은 효과적인 학습 환경을 제공하기 위한 머신러닝 및 데이터 과학 기반 연구를 선도하는 세계적 권위의 교육 인공지능 학회다. 올해 행사는 ‘학습자의 학습 성과 개선’이라는 주제로 오는 7월에 온라인으로 개최된다.

뤼이드는 이번 논문을 통해 자사의 AI 토익 튜터 ‘산타’에서 두 가지 점수 예측 모델에 대한 AB테스트를 진행한 결과, 더 높은 정확도의 딥러닝 점수예측 모델 적용시 사용자의 학습 참여도가 높아지고, 결과적으로 비즈니스의 성장을 견인한다는 것을 밝혀냈다. 

특히 이번 논문은 딥러닝 기술의 적용이 학습자에 미치는 긍정적 영향을 실제 학습 환경에서 입증해낸 전향적 연구라는 점에서 큰 의미를 갖는다. 수집한 데이터로 통제된 연구실에서 실험한 결과가 아닌 실제 서비스 환경에서 실사용자를 통해 밝혀낸 결과인 만큼 보다 실질적이라는 평가다. 실제로 해당 논문의 리뷰어는 “예측모델 연구와 이를 통한 실질적 가치 및 이익을 연결해낸 훌륭한 사례 연구”라고 평가했다. 

논문에 따르면 뤼이드 연구진은 지난 1월 한 달간, 자사 AI튜터 플랫폼인 ‘산타’ 유저 중 78,000명을 대상으로 AB테스트를 진행했다. 그룹을 나눠 한 그룹은 자체 연구 개발한 딥러닝 점수예측 모델을, 다른 그룹은 기존 점수 예측 모델을 적용했고 대상자들이 문제를 풀 때마다 실시간으로 자신의 예상 점수를 확인할 수 있도록 했다.

실험 결과, 점수예측 정확도가 높은 딥러닝 모델의 실험군이 기존 모델을 적용한 실험군 보다 학습참여도를 보여주는 총 6가지의 지표에서 일관되게 높은 수치를 보였다. ‘진단고사 완료율’, ‘서비스 가입률’, ‘서비스 가입 후 문제풀이 수’는 각각 1.49%, 3.29%, 13.48% 더 높았으며, 보다 적극적인 학습 참여도 측정 지표인 ‘결제 전환율’, ‘사용자당 평균 매출’, ‘전체 매출’에서도 각각 15.19%, 14.13%, 13.98% 더 높은 수치를 기록했다.

특히 이번 실험에 적용된 딥러닝 점수예측 모델은 뤼이드가 자체 연구 개발한 트랜스포머 기반의 ‘어세스먼트 모델링’으로 구현한 새로운 점수 예측 모델이다. 정확한 점수 예측에 필요한 실제 시험점수 데이터의 부족을 해결하기 위해 뤼이드 연구진은 학습 플랫폼에서 생성되는 유저의 문제풀이 데이터를 모델에 예비학습(pre-train)시키고 이를 점수 예측에 맞게 정교화(fine-tune)하는 기술을 제안한 바 있다. 이 기술을 적용한 점수예측 모델은 기존 모델 대비 MAE(Mean Absolute Error)기준 36.8%높은 예측 정확도를 보인다.

논문의 제1저자인 이영남 연구원은 “딥러닝을 연구하는 AI 연구원들도 이 기술을 어느 분야에 적용하여 어떻게 임팩트를 만들어낼 것인지에 대한 구체적인 답을 하긴 매우 어려운데, 뤼이드에서는 기술 연구와 실제 서비스 운영이 매우 밀접하고 유기적으로 기능하기 때문에 이번 연구가 가능했던 것”이라고 말했다. 또한 “이번 연구는 딥러닝을 실제 고객 서비스에 직접 적용하고 이를 통한 소비자 행동변화 및 비즈니스 영향력을 확인한 몇 안되는 사례 연구”라고 덧붙였다.

뤼이드 장영준 대표는 “딥러닝 기술의 실질적인 효과 검증없이 시장을 설득하는 것은 분명 한계가 있다”며 “뤼이드는 앞으로도 산업적 파급력을 기반으로 AI를 연구하고 빠른 상용화를 통해 기술의 실제 효과를 증명하면서 학계 및 산업계 모두가 주목하는 새로운 사례들을 만들어 나갈 것”이라고 말했다.