국내 DKT 관련 선행연구(2)

이성현(2022). Explainable feature 임베딩을 통한 지식 추적 성능 향상 연구. 국내석사학위논문. 서울대학교 대학원.

위의 논문을 요약함

• 초록
  • 코로나로 인해 비대면 교육이 자리잡으면서 컴퓨터나 모바일 기기를 이용해서 학습을 진행하는 온라인 학습이 보편화 되었음
  • 온라인 교육에서는 학습자의 학습 경과, 지식 상태에 따라 개인별 수준과 진도에 맞는 맞춤형 학습 자료를 제공하는 것이 중요하여 학습자의 지식 상태를 정확하게 추론하는 지식 추적(KT) 분야가 주목받고 있음
  • 딥러닝 기반의 지식 추적 모델은 기존의 지식 추적 모델보다 향상된 성능을 보고하고 있음
  • 하지만 현재 딥러닝 기반의 지식 추적 모델은 구조적 개선에만 집중하여 연구되었으며, 대부분 학습 대상 지식과 해당 지식에 대한 학습자의 응답만을 입력 값으로 취하는 제한적인 형태임
  • 이에 따라 딥러닝 기반의 지식 추적 모델들은 성능 향상에 대한 설명력이 부족한 실정임
  • 이와 같은 문제의식에서 출발하여 교육학적으로 유의미한 정보를 데이터셋에서 추가적으로 추출하여 딥러닝 기반의 지식 추적 모델에 입력 피처(학습자 관련, 대상 지식 관련, 기타)로 제공함으로써 다양한 구조를 가진 딥러닝 기반 지식 추적 모델의 성능을 향상시킬 수 있음을 보이고자 함
  • 본 연구에서 제안하는 추가 피처 임베딩을 적용하는 경우 모든 모델에 대하여 전반적인 성능 개선이 나타나는 것을 확인함
• 서론
  • 연구의 내용
    • 데이터의 전처리와 입력 및 모델 학습 등 여러 요인들이 복합적으로 해당 모델의 성능을 결정 함에도 딥러닝 기반 지식 추적 분야에서 해당 요소들과 관련한 연구는 상대적으로 관심을 받지 못함
  • 특히, 지식 추적은 사람의 학습 과정을 모델링 한다는 점에서 단순한 요소 추가가 아닌 전통적인 교육학 연구에서 다루어져 온 교육학적인 요인들을 고려하는 것이 모델의 성능 개선에 유용하게 활용될 수 있음
• 선행연구
  • 딥러닝 이전의 지식 추척 - BKT
    • BKT는 Corbett과 Anderson에 의해 제안되어 ITS에 적용된 최초의 지식 추적 모델로 알려져 있음[8]
    • BKT의 성능을 향상시키기 위한 다양한 모델이 제안되었으며, 예를 들면 학습자가 문제를 풀기 위하여 시도한 횟수나 시간을 고려하거나, 학습자가 도움을 받았는지 여부를 고려하거나, 학습자의 응답을 이진으로 구분하지 않고 부분 점수를 주는 것
    • 그럼엠도 불구하고 BKT는 문제의 순서를 고려하지 못했고, 하나의 모델당 하나의 개념에만 적용할 수 있다는 한계점이 존재
  • 딥러닝 기반 지식 추적 모델
    • 전통적인 지식 추적 모델에서의 접근법은 기본적으로 어떤 지식에 대한 사용자의 지식 상태가 정적이며, 상태 변화가 발생한 뒤엔 다시 다른 상태로 변경되지 못한다는 가정을 전제
    • 하지만 딥러닝 기반의 학습이 제안되며 학습자의 학습 기록을 고려하는 지식 추적 모델이 가능
    • 시퀀스 기반 지식 추적 모델 - DKT
      
      • DKT는 RNN 구조의 장점을 토대로 기존의 확률 기반 지식 추적 모델들의 한계점을 극복하고 뛰어난 성능 향상을 보였으나, 이후 연구를 통해 DKT 한계점 지적
        • hidden state를 통해서 학습자의 지식 상태를 정확하게 표현하기가 어려워 모델의 설명력이 부족
        • 응답을 기반으로 입력 값을 재현하지 못함
        • 시점마다 학습자의 지식 상태를 측정한 결과가 일관성이 없음
        • 이에 대하여 DKT 모델에 추가적인 regularixation term을 추가하여 해당 문제를 개선한 DKT+ 모델이 등장
    • 메모리 증강 기반 지식 추적 모델 - DKVMN
      • 학습자가 학습하는 개념이 복합적이라는 점을 고려하여 memory augmented neural network에 기반한 모델링 방법이 제안되었으며, Key-value 메모리를 활용함으로써 hidden state를 통해 학습자의 지식 상태를 추적하는 DKT 모델 대비 좀 더 개선된 표현력을 가짐
      • 대표적인 모델이 Dynamic Key-Value Memory Network(DKVMN)
        • Key matrix는 주어진 문제에서 각 개념들의 중요성을 계산
        • value matrix은 각 학습자가 각 개념들을 이해하고 있는 정도를 추적(DKVMN에서는 value matrix가 신경망의 일반적인 파라미터와 달리 시간에 따라 업데이트되는 메모리 행렬이라는 점이 특징)
        • Correlation weight w_t = Softmax(k_t*M^k) read operation과 write operation 모두에서 활용
          • k_t: 학습 대상 지식 e_t를 임베딩한 벡터
          • M^k: key 벡터
          • w_t: 학습 대상 지식들 사이의 잠재적 관계성
        • read operation
          • 학습자의 학습 성취도를 학습자의 지식 습득 수준에 기반하여 예측
          • 학습자의 지식 습득 수준은 학습자의 응답 r_t와 value 행렬의 메모리 벡터 사이의 가중합으로 구해지며 이 결과는 입력 값인 학습 지식 임베딩 벡터와 concatenate되어 전결합층으로 전달되어 summary vector f_t를 생성
        • write operation
          • read operation에서 학습자의 지식 습득 수준이 구해지고 나면 업데이트 되는데 학습자의 학습 기록이 상호작용으로 임베딩 행렬 B를 통해 임베딩
          • 이때 임베딩 벡터는 v_t로 학습자의 망각과 강화를 의미하는 erase와 add 벡터로 업데이트 되어 학습자의 학습 과정을 모델링
      • 어텐션 메커니즘 기반 지식 추적 모델 - SAKT
        • 자연어처리 분야에서 어텐션 매커니즘은 디코더에서 예측하는 시점마다 인코더의 데이터를 참고하되 연관성이 높은 부분에 가중치를 두는 방법
        • 학습자의 과거 학습 기록과 주어진 새로운 문제 사이의 연관성을 계산하여 정오답 예측
        • SAKT는 입력값을 Query, Key, Value로 임베딩한 이후 어텐션 층을 통과시키고, 이후 Feed-forward network, prediction layer를 통해 최종 결과값을 예측
        • SAKT 모델에서의 차이점은 셀프 어텐션 네트워크의 특징인 positional vector가 존재한다는 점
        • 임베딩 층의 결과값에 대하여 트랜스포머에서의 scaled-dot product와 멀티헤드 어텐션 매커니즘을 적용
        • Feed-forward 층을 통해선 앞선 어텐션 층의 결과에 대하여 비선형 활성화 함수를 통해 모델이 복잡한 관계에 대한 모델링을 할 수 있도록 설계
        • 최종적으로 시그모이드 함수를 적용하여 Feed-Forward 층의 결과값을 선형 변환하여 최종적으로 학습자의 지식 상태를 추정
    • 학습 성취에 영향을 미치는 요소 분석
      • 딥러닝 기반 지식 추적 모델에서 피처 추가를 통한 성능 향상 시도
        • Zhang et al[31]: 학습자의 응답 시간, 학습자에게 주어진 기회, 학습자의 첫번째 반응
        • Yang & Cheung[32]: CART를 이용하여 고유한 피처를 전처리한 후 DKT 모델에 입력하는 방법을 통해 학습자의 상태를 정교하게 모델링
        • Nagatani et al[1]: 망각이라는 요소를 딥러닝 기반 지식 추적 모델에 접목
          • 망각과 관련된 피처: 동일한 학습 대상 지식에 대하여 반복적으로 학습을 진행한 시간 차이, 학습자의 학습 기록 중 직전 학습 기록과 현재 학습 기록 사이의 시간 차이, 동일한 학습 대상 지식에 대하여 학습자가 풀이한 횟수
        • 학습 성취에 영향을 미치는 요인들

• 연구 방법 및 설계
  • 데이터셋과 피처
    • ASSISTments 데이터셋
      • 지식 추적 연구에 있어 가장 대표적인 데이터셋
      • ASSISTment라는 온라인 학습 플랫폼에서 수집된 학습자들의 학습 데이터셋
      • 주관식 및 객관식 등 다양한 타입의 문제를 포함하고 있음
      • 데이터셋에 포함된 피처는 총 30개
        • 고유 문항, 학습자, 문항에 대한 학습자 응답, 고유 문항이 포함하고 있는 지식, 문제 풀이 시도 횟수, 문항에 응답하는 데 걸린 시간, 힌트를 요청한 횟수, 최초 학습자 반응(문항 풀이 시도 or 힌트 요청)
      • ASSISTments2015는 다른 데이터셋과 다르게 문제 풀이 순서 정보만 추가 제공함
    • STATISTICS2011데이터셋
      • Carnegie Mellon University의 2011년도 가을 학기의 공학 통계 과정 학습자들의 학습 기록을 포함한 데이터
      • 47개의 피처가 포함되어 있음
        • 문항의 교육 과정상 위계, 최초 학습자 반응(문항 풀이 시도 or 힌트 요청), 교수자 존재 여부
    • 수학 분야 학습자 능력 측정 데이터셋(AIHUB)
      • 초등학교 1학년부터 중학교 3학년까지 온라인 평가에 응시한 학습자들의 학습 기록 데이터
      • 대표적인 피처: 학습자 성별, 학년, 문항이 포함된 고유한 시험 번호, 시험 문제를 푼 시간
    • Eedi 데이터셋
      • 영국에 본사를 둔 Eedi가 제공하는 데이터셋
      • 학습자의 오해를 진단하기 위해 설계가 된 문제를 제공하는데 오답 선택지가 학습자들이 쉽게 오해하기 좋은 항목들로 구성되어 있음
      • 초등학생부터 고등학생 학습자
      • 대표적인 피처: 학습자 학년, 사회 경제적 지원대상 여부, 고유한 학교 번호, 고유한 선생님 번호, 학습자의 학습 자신감 점수
    • Junyi15
      • 대만에 위치한 Junyi Academy Foundation에서 제공하는 데이터셋
      • Junyi Academy의 학습자들은 한가지의 문항에 대해서 중복 답변을 제출할 수 있으며, 힌트 요청이 가능
      • 초등학생부터 고등학생까지 포함
      • 대표적인 피처: 문항의 고유한 유형, 교수자 존재 여부, 시험 문제를 푼 시간, 문항에 응답하는데 소요된 시간 등
  • 피처 생성 방법 및 종류
    • 공통: 학습자 ID, 학습 대상 지식 ID, 정오답
    • 학습 대상 지식: 학습 대상 지식 난이도
    • 학습자: 학습자 학습 경험(학습자가 동일 학습 대상 지식 문항을 풀이한 누적 횟수), 학습자 학습 성과(학습자가 동일 학습 대상 지식 문항에 정답을 응답한 횟수), 학습자 학습 능력치(학습자의 학습 성과를 경험으로 나눈 값)
    • 기타: 최근 학습 성과(기준 시점 이전 2개 시점의 학습 성과), 반복 학습 여부(기존 시점과 직전 시점의 학습 대상 지식 동일 여부), 누적 반복 학습(동일 학습 대상 지식을 연속해서 학습하는 경우 누적 횟수)
  • 데이터 입력 방법
    • 데이터 처리
      • 학습 데이터 정보를 보존하면서도 데이터의 희소 문제를 완화하기 위하여 로그 이산화 진행
    • 데이터 임베딩
      • 전처리된 각각의 피처의 원핫인코딩 벡터를 학습이가능한 임베딩 레이어에 통과시켜 밀집 벡터로 변환
      • 이떄 밀집 벡터는 D/2차원을 갖는데 이떄 D는 각기 다른 아키텍처를 갖는 베이스라인 모델의 차원(hidden size)과 같음
      • 임베딩 레이어를 거친 임베딩 벡터는 기존 입력값의 임베딩 벡터와 함께 연결되어 통합 임베딩 벡터를 형성
      • 이후 최종적으로 통합 임베딩 벡터를 다양한 아키텍처의 모델에 지정된 차원으로 입력하기 위하여 선형 프로젝션 레이어를 통과시킴으로써 최종 입력 벡터로 변환
  • 실험
    • 데이터 전처리
      • 데이터 셋 중 문항 정보 혹은 학습 대상 지식 관련 정보가 없는 경우 결측값으로 제거
      • 학습자의 학습 기록이 10회 미마인 학습자나 학습 기록 제거
      • 입력 데이터의 길이는 100(학습자의 기록이 100 미만인 경우 패딩, 학습 기록이 100을 초과하는 경우 데이터를 분할하여 100 초과분에 대해선 해당 학습자의 새로운 학습 기록으로 간주)
      • 성능 평가는 학습자를 기준으로 하여 5-Fold cross validaation(교차검증) 실시
      • 학습 데이터 중 10%를 검증 데이터로 설정하여 하이퍼파라미터 조정과 오버피팅을 방지하기 위한 조기종료에 활용
      • 배치의 크기는 256, 에포크 100으로 설정하였으며 옵티마이저는 adam으로 학습
    • 성능 평가 지표
      • 모델의 성능은 선행 연구에서 사용된 것과 동일하게 일반적으로 사용되는 AUC(Area Under the Curve of Receiving Operator Characteristic)를 기반으로 평가
      • AUC는 ROC(Receiver Operating Characterisic) curve 아래 면적을 의미
      • ROC curve는 여러 분류 임계값(threshold)을 기준으로 Recall-False Positive Rate(FPR)의 변화를 시각화한 것으로 모든 분류임계값에서 분류 모델의 성능을 보여주는 그래프
      • FPR은 실제 False인 데이터 중에서 모델이 True로 분류한, 그리고 Recall은 실제 True인 데이터 중에서 모델이 True로 분류한 비율을 나타낸 지표로써, 이 두 지표를 x, y 축으로 놓고 그려지기 때문에 복합적으로 고려가 가능
    • 실험 결과
      • 제안하는 피처 추가 방법을 적용할 경우 모든 데이터셋에서 동일한 방법으로 피처를 추가하여 학습이 가능
      • 피처를 추가하여 학습을 하는 경우 성능 향상의 폭은 다르게 나타나지만 모든 모델, 데이터셋에서 성능 향상이 확인됨
  • 결론
    • 이 연구는 기존의 지식 추적 연구 분야에서 상대적으로 관심을 받지 못한 피처 추가에 초점을 맞추어, 이를 통해 입력 벡터에 기존의 베이스라인 연구 대비 추가적인 정보를 제공함으로써 딥러닝 기반 지식 추적 모델의 성능을 개선함
    • 하지만 피처를 추가하였을 때 모든 데이터셋에서 향상된 지식 추적 모델링의 성능이 균일하지 않았으며, 모델 혹은 데이터셋별로 성능 향상의 정도에 차이가 존재하는 것에 대한 명확한 분석이나 근거를 제시하지 못함