[논문 리뷰] 자동채점 관련

오늘은 자동채점과 관련한 학술지 2편을 리뷰하였다.

 

1. 신동광(2022). 채점자질의 적용이 영어 자동채점 모델의 성능에 미치는 영향. 교원교육, 38(6), 73-91.

• 연구문제

- 채점자질을 적용한 기계학습 방식(RF)과 채점자질을 적용하지 않은 딥러닝 방식(RNN, LSTM, GRU)의 채점 결과가 인간 채점 결과와의 일치도 비교에서 어느 정도의 차이를 보이는가?

- 각 채점영역의 기계학습에서 가장 큰 영향을 미치는 채점자질은 무엇인가?

• 분석자료

- Kaggle에서 무료로 공개하고 있는 에세이 데이터 300개

- 채점자질 추출: 미국 멤피스대학교의 지능형 시스템 연구소에서 운영하는 Coh-Metrix(http://141.225.61.35/cohmetrix2017)

• 분석방법

- 채점자질을 활용한 랜덤포레스트와 채점자질을 활용하지 않은 순환신경망 계열 모델 결과 비교

• 분석결과

- 채점영역 중 아이디어 및 내용에서 중요도가 높은 자질은 단어수, 어휘밀도, 인접문장간 개념 유사도, 구성의 경우 지시적 응집성, 연결사의 사용률, 인접 문장 간의 평균 최소 편집 거리 등으로 채점영역마다 점수를 예측하는 데 중요한 변수가 상이함.

 

 

2. 이경건, 하민수(2020). 인공지능 기반 자동평가의 현재와 미래: 서술형 문항에 관한 문헌 고찰과 그 너머. 교육학연구, 36(2), 353-382.

• 인공지능을 활용한 서술형 문항 자동평가의 현재

- 인공지능을 활용한 자동평가 연구들을 살펴보면 빠른 분석을 통해 채점의 효율성을 높이고, 강의실 내에서의 즉각적인 피드백을 제공하기 위한 형성평가용 시스템이 개발되고 있음.

- 학습도구로서의 인공지능 자동평가 활용은 고부담 평가에서의 인공지능 활용에 대한 거부감 최소화, 교사의 업무 부담 감소, 학생들에 대한 맞춤형 학습발달 등의 많은 장점이 있음.

 

• 인공지능 서술형 평가의 한계와 도전

- BERT 등의 기반 모델들은 학습 과정에서 신문 기사, 서적의 일부 등 정형화된 패턴의 문장 데이터를 사용하여 서술형 평가에서의 학생 응답과는 데이터의 특성이 다를 수 있음.

- 채점의 신뢰도 문제가 있으며, 관련하여 Ha&Nehm(2016)은 인공지능의 채점이 정확한지 여부를 확인하는 방법을 제안하였는데 인공지능에 완전히 의존할 경우 일치도(kappa)가 0.861인 반면 교사가 학생응답 중에서 정확도가 낮을 것으로 예상되는 9.2%만 수정하여도 일치도가 0.947까지 높아짐. 또한, 여러 채점모델을 만들어 채점모델 간 일치도를 확인하여 채점모델들이 생성한 결과가 일치하지 않는다면 채점 결과를 수정하여 일치도를 높일 수 있음. 이와 같은 방법은 인공지능과 교사의 협력 모델을 제시하는 것으로, 교사가 다시 확인하지 않아도 될 정도로 확실한 응답은 인공지능에게 맡기고 인간의 개입이 필요한 부분만 교사가 확인하여 교사의 업무 부담을 줄이면서 인공지능을 효율적으로 활용할 수 있는 방안임.