국내 DKT 관련 선행연구(1)

박나연, 이상민(2022). 간격 효과를 반영한 Deep Knowledge Tracing 기반 인공지능 모델 성능 개선 연구. 멀티미디어 언어교육, 25(4), 222-236.

 

위의 논문 내용을 요약함

• 서론
  • covid-19로 인해 급작스럽게 시행된 온라인 러닝은 교육에 많은 변화를 가져옴( Pandey & Srivastava, 2020)
  • 더불어 인공지능이 급격하게 발달함에 따라 다양한 기술이 사회 전반에 사용되기 시작, 교육분야도 마찬가지
  • 영어교육에서도 인공지능이 활용되고 있음(성수진, 2022; 홍선주 외, 2020)
  • 이러한 변화의 핵심에는 Knowledge Tracing(KT) 기술이 있음
  • 최근 들어 디지털화로 축적된 학습자 빅데이터가 활용 가능해지면서 교육에서도 학습자 데이터를 기반으로 한 인공지능을 활용한 KT 기술을 활용할 수 있게 됨
  • 기존 KT모델에서 한 걸음 더 나아간 DKT 모델이 개발된 이후 최근에는 모델의 성능을 개선시키고자 다양한 매개변인을 적용한 새로운 DKT 모델들이 등장하고 있으며, 언어교육 학습앱이나 플랫폼에서 부분적으로 적용되었음
  • DKT는 언어교육에서 앞으로 중요하게 사용될 핵심 기술 중 하나로 여겨지지만 우리나라 언어교욱 분야에서의 연구는 거의 전무한 실정
• 이론적 배경
  • KT 기반 인공지능 모델
    • 학습자 맞춤형 교육이 가능하려면 학습자의 현재 지식 상태를 근거로 가장 적합한 학습 콘텐츠와 학습 경로 등을 제시해야 하며, 그러기 위해서는 우선적으로 학습자의 현재 지식 상태를 정확하게 파악할 수 있어야 함
    • KT의 주요 핵심 과업은 학습자의 현재 지식 상태 파악과 미래학습 결과에 대한 예측임(Nagatani et al., 2019)
    • KT는 학습자의 문제풀이 데이터를 이용하여 머신러닝 기법으로 학습자의 개념별 맞힐 확률을 도출
      • 이때 개념은 학습을 통해 얻을 수 있는 지식 요소(KC)로서, 학습자는 일련의 학습활동에서 한가지 또는 그 이상의 KC와 상호작용을 하게 되고, KT는 이 활동에서 발생하는 학습자의 지식 상태 변화를 측정하고 예측
    • KT에서는 전통적으로 BKT, Collaborative filtering, Performance Factors Analysis 방식이 주로 사용되었는데, 다양한 실제적 학습 상황이나 학습자 변인들을 고려하지 않았다는 한계 존재(Choi et al., 2020; Qiu et al., 2011)
    • 최근 들어서는 Recurrent Neral Networks(RNNs)를 기반으로 한 DKT 주로 사용되고 있으며, 기존 KT모델에 비해 학습자 지식 상태를 더 풍부하게 보여주며, 성능이 향상된 것으로 알려져 있음(Nagatani et al, 2019)
  • DKT의 매개변인
    • 초기 BKT는 현실의 변인을 고려하지 않은 고정변인으로 지식상태를 측정하는 못한다는 한계점이 존재하였는데(Choi et al., 2020; Qiu et al., 2011) 이를 보완하고자 이후 BKT 모델에서는 다양한 매개 변인을 추가하게 됨
    • Qiu 외(2011)는 학습자가 최종 학습 이후 학습 내용을 망각 (forgetting)할 확률과 학습자가 알고 있는 내용을 실수(slip)로 틀릴 확률을 모델에 추가하였음
    • Lin과 Chi(2016)은 학습자 반응 시간과 교수자 개입(tutor intervention)을 매개 변인으로 추가해서 측정의 정확성을 향상하고자 함
    • 좀 더 최근에 개발된 DKT에서는 망각곡선 이론에 근거하여 시간추이에따른학습자의망각을1)같은KC 내에서이전과현재상호작용간의반복적시간차 이, 2)전체학습과정에서발생하는현재와이전상호작용간의시간차이, 3)학습자가같은KC를다루 는연습문제를시도하는빈도수로계산을한결과, 이전 모델에 비해 성능이 훨씬 더 개선 (Nagatani 외, 2019)
    • 망각곡선 이론에 근거하여 DKT에서 고려되어야 할 또 다른 중요한 이론은 간격 효과(spacing effect) 이론임
    • 지금까지 DKT의 성능을 향상시키고 현실을 반영하고자 다양한 매개 변인을 추가적으로 모델에 적용하는 시도를 하고 있으나, 아직까지 영어교육에서는 이 분야에 대한 연구가 거의 이루어지고 있지 않음
    • 본 연구에서는 영어학습에서 어떤 매개 변인을 사용하여야 DKT 모델의 성능을 향상시킬 수 있으며 더 정확하게는 학습자 지식 상태를 측정 및 예측할 소 있는지 알아보고자 함
    • 본 연구의 목적
      • LSTM기반의 DKT 모델에 간격 효과를 어떻게 적용할 수 있는가?
      • 간격 효과를 추가한 DKT 모델(SEDKT)이 기존 DKT 모델에 비하여 토큰별 정오답 예측 성능을  높일 수 있는가?
• 연구 방법
  • 본 연구는 두 과정 1) DKT 모델링과 2) 개발된 DKT 성능 개선 확인으로 나누어 진행
    • 첫 번째 과정에서는 간격 효과 이론을 반영하여 DKT 모델을 통해 도출하는 맞힐 확률의 정확성을 높일 수 있는 DKT를 모델링(SEDKT; Spacing-Effect added Deep model for Knowledge Tracing)
    • 다음으로는 토큰 단위의 추적을 통해 단어 혹은 품사 등의 개념 학습에 초점을 두고, 기존 DKT 모델에 학습자 성취도 예측에 영향을 미칠 부가적 요소를 더해 토큰별 정오답 예측에 더 좋은 성능을 보이는 DKT 기반의 발전모델을 개발
  • Duolingo에서 제공한 학습자 빅데이터(2,622,957개)를 이용하여 개발된 모델링의 성능이 실제로 개선되었는지 확인하는 과정을 거쳤으며, DKT 모델 정확성을 측정하기 위해 AUC와 ACC 보고
• 연구결과
  • DKT 모델링
    • 본 연구에서 사용한 DKT는 RNN기반의 KC모델로서, RNN 중에서도 길이가 긴 시퀀스에 대한 망각을 보완하는데 주로 활용되는 LSTM 모델을 사용함(Piech et al., 2015)
    • 원핫인코딩으로 표현된 벡터는 임베딩 과정을 거쳐, L1를 가장 잘 표현하는 임베딩 벡터를 RNN의 입력으로 사용하여 선형 매핑(linear mapping)과 활성화 함수를 거쳐 학습자의 지식 상태를 얻게 됨
    • h_t​=tanh(W_hx*​x_t​+W_hh​*h_t−1​+b_h​),
    • y_t​=σ(W_yh*​h_t​+b_y​)
  • 영어학습의 DKT 적용 및 SEDKT 모델링
    • DKT 입력을 위해 학습자가 연습한 KC 개수만큼 길이 k의 시퀀스를 구성
    • 각 시점별로 토큰별, 문장별 KC의 맞힐 확률을 도출하도록 모델링
    • 영어학습에서의 DKT 성능을 개선하고자 간격 효과를 반영한 손실함수를 모델링에 추가하는 과정을 거침 (Settles et al., 2018; Settles & Meeder, 2016)
    • Binary Cross Entropy를 활용한 손실함수 정의: BCELoss(y_hat​,y)=−(y⋅logy_hat​+(1−y)⋅log(1−y_hat​))
    • 문장 자체의 정오답 예측까지 고려한 모델을 만들고자 기존의 품사 단위의 정오답 손실에 문장 단위의 정오답 손실을 추가하여 문장 단위의 정오답을 예측하는 것이 각 품사별 정오답 예측하는데 도움을 주는지 실험함
    • 반복학습을 통해 간격 효과가 발생했다면 학습자가 문장을 반복할 때마다 해당 문장에 대한 기억이 다시금 상승하게 되어 정답을 응답할 확률이 높아질 것이라는 가정을 반영하여 아래와 같이 정의
      • 새롭게 정의한 문장 예측값 = 문장 예측값 + 문장 예측값*1/(2^(문장반복횟수-1))
        • 위 수식으로 인해 모델이 문장을 반복한다면 맞힐 확률이 올라갈 것을 고려함
        • 문장을 여러 번 반복할수록 가중치를 적게 주어 예측 확률 보정을 적게 할 수 있음
          • 모델의 예측값은 이미 이전 문장들의 정오답 관계들을 모두 반영한 확률이므로, 본 연구에서는 간격 효과가 DKT 모델 내부적 학습을 감소시키지 않도록 모델링
    • SEDKT 모델의 성능 시험 결과
      • 데이터셋
        • 2018 Duolingo Shared Task on Second Language Acquisition Modeling을 통해 제공된 데이터
        • 학습자를 구별하는 고유번호, 학습자가 거주하는 나라, 학습자가 Duolingo를 통해 해당 언 어를 공부한 후 경과 일수, 학습자의 기기 종류, session 종류(lesson, practice, test), exercise 종류( reverse_translate, reverse_tap, listen), 답을 하는데 걸린 시간 등이 있음
      • 학습 데이터 구성
        • 학습자의 품사별 정오답을 예측하기 위해 데이터 속 품사를 기준으로 실험을 진행, Duolingo 데이터에 정의된 16가지 품사 그대로 사용
        • Duolingo 빅데이터를 본 연구에서 개발된 SEDKT에 적용하기 위해서는 문장 단위의 입력이 필요, 실제 데이터 살펴본 결과 같은 품사 조합의 문장을 연습한 빈도가 한 달간 평균 3.24번, 최대 211번
      • SEDKT 빅데이터 실험 결과
        • 학습자의 품사별 정오답을 예측하는 모델을 기준으로 실험을 진행하고 사용자별 품사별 정오답을 추적하기 위해 Duolingo 데이터의 품사별(16가지) 맞힐 확률을 도출
        • Train set과 Test set은 전체 데이터를 9:1 비율로 나누어 진행
        • DKT 결과, 평균 0.687 AUC, SAKT는 0.685, SAINT 0.639, SEDKT는 0.720(기존 KT 모델에 비해 각각 3.3%, 3.5%, 8.1% 향상)
  • 결론 및 제언
    • 빅데이터에 기반한 학습자 프로파일링을 통한 학습자 맞품형 학습은 교육에서의 인공지능 분야에서 가장 촉망받고 있는 분야로 궁극적으로 개별 학습자의 지식 상태를 측정하여 학습을 예측하는 모델을 통해 학습자에게 최적화된 학습 경로와 학습 내용을 제공하는 적응형 학습이 목표(홍선주 외, 2020)인데 빅데이터, 인공지능 등의 발달로 한 걸음 더 목표에 다가가고 있음
    • 이 연구에서는 기존의 DKT 모델에 언어학습에서 중요한 변인인 간격 효과를 적용하는 한편, 단어 단위만 고려한 기존 모델에 문장 단위를 추가로 적용하여 새로운 DKT 모델을 개발
    • 본 연구는 언어교육에서 DKT 모델의 성능을 향상시켰다는 점에서 의의가 있으며, DKT 모델이 아직 많이 미흡하다는 점 또한 인식하는 계기를 마련함
    • 본 연구를 수행하는 동안 또다른 아쉬웠던 점은 교육분야에서도 인공지능에 대하여 지대한 관심이 있음에도 불구하고 그 관심이 아직은 피상적이며, 실질적이고 구체적인 연구로 이어지고 있지는 않다는 점
    • 현재까지 개발된 KT 모델은 학습환경이나 학습자 변인이 충분히 반영되지 못하고 있으므로 관련 연구가 필요
    • 또한 Liu 외(2021)에서 주장한 바와 같이 KT 모델들의 해석가능성 개선도 연구가 이루어질 필요가 있음
    • 이외에도 성능이 좋은 DKT 모델 개발은 훈련의 안전성(training stability)을 위해 대규모의 빅데이터가 필요한데 작은 사이즈의 데이터만 확보되는 교육 환경에서 학습 데이터가 작은 경우 활용이 가능한 DKT 모델이 개발될 필요도 있음
    • 본 연구에서 살펴본 바와 같이 언어교육에서의 KT 모델링 과정에서 다양한 학습자 변인이 모델링의 매개변인으로 입력이 되고, 이는 KT 모델의 성능에 직접적인 영향을 미치므로 인간의 학습에 미치는 다양한 변인을 도출하고 선택하여 최적화된 학습모델을 구축하기 위해서는 교육 전문가의 도움이 절