이명진, 최인봉, 동효관, 한정윤, 신효정(2023). 맞춤형 학습지원을 위한 다중양식 학습분석 지표 선정. 한국교육과정평가원. ORM 2023-30-27. 보고서 내용을 요약함
보고서 링크: 한국교육과정평가원 (kice.re.kr)
1. 필요성 및 목적
- 에듀테크의 발달과 교육환경의 변화, 학습분석 연구의 발전과 학습 데이터 분석 결과를 활용한 맞춤형 교육 지원 정책 추진으로 맞춤형 학습에서 데이터의 수집과 분석의 중요성이 강조됨
- 이에 블렌디드 학습 환경에 수집되는 온/오프라인 학습 데이터를 교육 이론과 데이터 주도의 분석 방법을 활용한 다중양식 학습분석을 위한 지표를 선정하고자 함
교육환경의 변화와 맞춤형 학습 지원
- 에듀테크의 발달과 교육환경의 변화
- 2020년 이후 교육환경의 디지털화가 급속히 진행됨에 따라 온라인 수업의 친숙성이 높아졌으며, 최근에는 블렌디드 러닝이 보편적인 수업의 형태로 자리잡음(교육부, 2020)
- 에듀테크는 개별 학습자의 특성, 학습 활동, 학습 이력 등의 다양한 데이터를 수집 및 저장할 수 있도록 하여 '다양한 학생들이 하나의 공간을 공유하는 교실'에서 개별 맞춤형 학습의 실현 가능성을 증대시킴
- 이러한 교육환경의 변화에 발맞추어 교육부는 디지털 기반의 신기술 활용과 학습 데이터 분석 결과를 수업에 활용하는 맞춤형 교육 지원 계획을 수립함(교육부, 2023)
- 맞춤형 학습지원을 위한 학습분석의 적극적 활용
- 교실에서의 맞춤형 학습을 지원하기 위해서는 개별 학생의 다양한 학습 과정 및 성취 데이터의 수집과 분석, 그리고 이를 통한 차별적 처방 제공의 근거를 제공하는 학습분석 연구를 활용할 필요가 있음
맞춤형 학습지원을 위한 효과적인 데이터 수집과 분석
- 실제적인 학습 장면을 반영한 다양한 데이터의 수집
- 최근까지의 학습분석 연구들에서 다루어진 데이터는 주로 온라인 학습활동 데이터에 치중되어 있었으며, 면대면 학습 환경을 반영하지 못함
- 교실 수업에서의 맞춤형 학습지원을 목적으로 할 때, 학습 데이터는 일상적인 학습 환경에서 수집될 필요가 있으며 예를 들어 교사의 관찰과 같은 기록 데이터 등이 있을 수 있음
- 활용 목적에 따른 데이터의 선별 및 지표 선정
- 학습분석을 활용하기 위해서는 대규모의 학습 데이터가 필요하나, 학습 과정에서 수집할 수 있는 다양하고 많은 학습 데이터가 모두 의미를 가진다고 보장하기는 어려움
- 위와 학습분석의 목적인 학습자의 현재 학습상황을 진단하고, 향후 학습 성과를 예측하며, 발생 가능한 잠재적 이슈를 해결하는 처방 필요를 고려하여 가치있는 데이터를 선별 및 조직하고 활용할 수 있는 지표를 선정하는 연구 필요
연구의 목적
- 디지털 기기를 활용하는 수업에서 개별 학습자를 위한 맞춤형 학습을 지원하기 위한 다중양식 학습분석에 활용할 온/오프라인 학습 데이터를 수집, 선별, 통합하여 학업성취와 자기조절을 예측하는 학습 지표를 선정하고자 함
2. 맞춤형 학습지원과 학습분석 연구
- 맞춤형 학습지원을 위해 이루어진 다중양식 학습분석 연구, 학업성취에 큰 영향을 미치는 것으로 알려진 학습에서의 자기조절연구, 그리고 학습 과정으로서의 형성평가의 기능과 의미에 대한 연구를 살펴보고 향후 교육 이론을 기반으로 학습 데이터 변인을 추출하고 분석하기 위한 기초로 삼고자 함
개인화 학습을 위한 다중양식 학습분석 연구 동향
- 학습분석 연구의 의미와 활용
- 교육 빅 데이터의 축적은 교육적 데이터 마이닝을 거쳐 학습분석 연구로까지 이어지고 있음
- 교육적 데이터 마이닝은 학습 데이터로부터 특정한 패턴을 찾아내는 '현상 이해'를 목적으로 함
- 반면, 학습분석은 교육 데이터 마이닝을 통해 수집, 가공, 분석된 결과를 교수학습 개선을 위한 처방에 활용하여 궁극적으로 '학습 성과의 향상'을 목적으로 함(조일현, 박연정, 김정현, 2019; Elias, 2011)
- 맞춤형 교육을 위한 다중양식 학습분석
- 선행연구들에서 확인할 수 있는 다중양식 데이터의 종류와 수집 맥락에 관한 시사점은 아래와 같음
- 첫째, 온라인 학습 데이터와 함께 수집 및 분석된 오프라인 학습 데이터의 종류로는 음성, 시선 등 기기를 통해 수집되는 행동 데이터와 호흡이나 맥박 등의 생리 데이터 등이 주로 수집되었고, 전통적 방법 중에서 학생의 자기보고에 의한 방법은 상대적으로 빈번히 사용된 반면, 교사의 관찰 자료를 활용하는 연구는 매우 드물었음
- 둘째, 학습 데이터 수집 맥락은 데이터의 종류와 연결되는데, 다중양식 학습분석에서 선호되는 행동 및 생리 데이터는 인위적인 학습 맥락에서 수집되므로 다수의 연구가 실제적인 수업 환경을 반영하지 못함
- 위와 같은 점을 고려하면 교사의 관찰 자료를 통해 자연스러운 수업 맥락에서 수집된 학습 데이터로부터의 분석 결과를 도출하려는 접근이 필요함
- 선행연구들에서 확인할 수 있는 다중양식 데이터의 종류와 수집 맥락에 관한 시사점은 아래와 같음
- 학습 데이터 수집에서 교육 이론의 중요성
- 학습분석 연구에서 데이터 모델을 정의할 때 교육이론은 중요한 역할을 하는데, 달성하고자 하는 교육적 처치의 목적에 따라 수집되어야 할 학습자의 특성, 학습 맥락 특성 등이 정해지기 때문임
- 그러나 학습분석 연구에서 교육 이론을 기반으로 학습 데이터를 수집한 연구가 부족하고(Mangaroska & Giannakos, 2018), 그 중에서도 목표 행동에 대한 점검과 통제를 기반으로 학습뿐만 아니라 학습자의 전반적 성장에 지속적으로 영향을 미치는 것으로 알려진 자기조절 이론을 적용한 연구가 특히 드물게 나타남(함윤희 외, 2021; Mangaroska & Giannakos, 2018)
학습에서의 자기조절과 학업성취
- 학습에서의 자기조절
- 학습에서의 자기조절 행동은 대게 자기조절학습으로 명명되어 오랫동안 연구되어 왔으며, 자기조절학습은 학습자가 스스로 학습 요구를 파악하여 자신의 인지, 동기, 행동을 조절하고 통제하며 목표를 달서할 수 있도록 노력하는 것을 의미함(Zimmerman, 2002)
- 자기조절학습의 단계에 대한 대표적인 모형을 제시한 Zimmerman(2002)은 자기조절학습이 사전 숙고 단계, 수행 단계, 자기 성찰 단계의 순환적 과정에 의해 일어난다고 주장함
- 자기조절과 학업성취
- 학습에서의 자기조절에 관한 많은 연구들은 자기조절이 학업성취에 긍정적 영향을 미친다고 보고함(마서민, 이정화, 손사결, 박병기, 2019; Boekaerts & Corno, 2005)
- 노트하기, 정교화나 조직화 등 기억 방법의 활용, 계획 세우기와 자기 점검 및 반성 등과 같은 학습 전략의 연습이 인지/초인지 조절 능력을 향상시키고, 이를 통해 학업성취 역시 향상될 수 있음. 이러한 측면에서 자기조절이 노력을 통해 향상될 수 있으므로 학습 장면에서 중요하게 다루어질 필요가 있음(최단비, 김경성, 2015)
학습 과정으로서의 형성평가
- 학생평가 관점의 변화와 형성평가의 기능
- 학생평가는 학교 교육을 통해 학생들이 어떤한 교육적인 행동 변화를 가져왔는지 측정하는 것으로, 학습 결과에 대한 평가에서 학습을 위한 평가를 거쳐 학습으로서의 평가로 변화하여 왔음
- 학습으로서의 평가는 학생이 평가의 주체가 되어 스스로 평가 결과 정보를 활용하여 자신의 학습 과정에 적용해 나가는 방식을 말하며, 형성평가가 '학습으로서의 평가' 목적에 가까운 기능을 함
- 형성평가는 학생의 학습을 돕기 위해 학습의 진행 또는 변화 상황을 확인하고자 하는데, 최근에는 정의적 영역까지 확장되어 교사와 학생의 상호 작용과 피드백을 통해 효과적인 학습 전략 수립, 학습동기 유발 및 자기 성찰의 기회를 제공하는 기능까지도 요구됨
- 학습으로서의 형성평가
- 형성평가는 학생의 학업성취 향상과 교사의 수업 개선을 촉진하는 긍정적인 기능을 하고 있음에도 불구하고, 지속적인 형성평가의 시행 준비, 채점, 평가 결과 피드백 등은 교사에게 큰 부담으로 작용하고 있음(김희경, 박종임, 정연준, 박상욱, 김 창환, 이채희, 최재화, 2014; Van der Kleij, 2013)
- 이에 2014년부터 교실에서의 맞춤형 교육을 지원하기 위한 형성평가 체제 도입 연구를 시작으로 에듀테크의 발전과 함께 지속적으로 개선되어, 2023년에는 클라우드 기반의 온라인 형성평가 시스템 서비스를 시작함. 이와 같은 서비스가 완전학습을 지원하는 도구로서 활용되기를 기대하고 있음
3. 다중양식 학습분석을 위한 데이터 수집
- 한국교육과정평가원 연구협력 초등학교 3개교의 5학년 과학과 수업에서 온라인 형성평가 시스템을 약 8주간 활용하여 실제 수업 상황에서의 온/오프라인 학습 데이터를 수집하였음
- 학생 데이터는 형성평가 및 학습 활동 로그 기록, 자기보고 응답을 수집하였고, 교사 데이터는 학생의 수업 중 행동 관찰기록을 수집하였음
온라인 형성평가 시스템을 활용한 학습 활동 데이터
- 온라인 형성평가 시스템 사용 시의 학습 활동 데이터
- 조지민, 구자옥, 김준식, 송민호, 이소라, 김태환(2021), 조지민, 이명진, 김현정, 송민호, 김태환, 곽혜정(2022)이 개발한 온라인 형성평가 시스템을 연구의 목적에 맞게 개선 및 활용하여 형성평가를 통한 학습 활동 데이터를 수집하였음
- 학습 활동 데이터를 수집하기 위한 목적에 맞추어 형성평가 문항에 대한 접근점을 두 곳으로 설정
- 첫 번째 접근점은 기본문제풀기로 평가기준(상, 중, 하)별 3문항씩 모두 9문항으로 이루어짐
- 문항 번호는 학습자가 문항에 접근하였을 경우(조건 1), 문항에 접근하였으나 답안을 선택하지 않은 경우(조건 2), 문항에 접근하고 답안을 선택한 경우(조건 3), 문항에 접근하지 않은 경우(조건 4)에 따라 번호 아이콘의 색을 다르게 하여 학습자가 자신이 해결한 문항과 그렇지 않은 문항을 직관적으로 알아볼 수 있도록 하였음
- 기본문제풀기는 즉시적 피드백을 제공하기에 용이하도록 모두 선다형 문항으로 구성, 자동채점 된 이후에 교사와 학생에게 결과를 즉시 보고
- 기본문제풀기를 진행하는 동안 학생은 언제라도 문제풀이를 중단하고 평가 결과를 확인할 수 있으며, 주요 학습 내용과 관련 자료 등에 접근할 수도 있음
- 또한 오답 문항에 대해서는 다시풀기 기회 제공
- 두 번째 접근점은 '더 풀어보기'로 평가기준별로 각 3문항씩 배치하여 자신이 원하는 수준의 문항을 풀 수 있음
- 문제풀이에 대한 결과를 즉시 알 수 있도록 하였고, 이후 문제를 다시 풀어보거나, 문제풀이 또는 학습자료를 보거나, 다른 문항에 접근하거나, 시스템을 끝내는 등의 네 가지의 선택적 활동을 할 수 있게 설계하였음
- 첫 번째 접근점은 기본문제풀기로 평가기준(상, 중, 하)별 3문항씩 모두 9문항으로 이루어짐
- 자기조절 행동과 관련해서는 온라인 학습에서의 자기조절 행동에 관하여 지속적인 연구를 실시한 Winne와 Hadwin(1998)의 이론적 틀을 차용함
학생과 교사의 직접 응답을 통한 학습 활동 데이터
- 학생의 자기보고식 설문을 활용한 학습 활동 데이터
- 학생이 자기보고식 설문에 응답하게 하여 학습자의 자기조절과 관련한 영향 요인을 측정하고 온라인 학습 활동 데이터만으로 이해하기 어려운 부분에 대한 보충자료로 활용하고자 함
- 교사의 관찰에 따른 체크리스트를 활용한 학습 활동 데이터
- 교사가 학생의 학습 활동을 관찰하게 하여 학생의 자기보고에서 나타나는 사회적 바람직성(social desirability)이나 자신에 대한 명확한 이해 부족의 한계를 극복하고자 함
다중양식 학습 데이터 수집
- 다중양식 학습 데이터 수집 대상 및 방법
- 3개의 초등학교의 5학년 각 2개 학습의 학생 162명과 담임 및 과학 전담교사 12명이 연구에 참여
- 약 15분 정도 온라인 형성평가 시스템을 활용하고, 이후 5분간 교사가 가장 정답률이 낮은 문항을 중심으로 수업 내용을 정리하도록 함
- 온라인 형성평가 시스템 DB Architecture 설계
4.맞춤형 학습지원을 위한 다중양식 학습분석 지표 선정
- 본 연구에서는 이론을 기반으로 하는 하향식 분석 방법과 데이터를 기반으로 하는 상향식 분석 방법을 모두 활용하여 학습 결과인 형성평가 표준화 점수와 성취에 대한 예측정화도에 높은 상관을 보이는 데이터 변인을 다중양식 학습분석 지표로 선정하였음
다중양식 학습분석을 위한 지표 선정 방법
- 학습분석을 위한 데이터 선별 방법
- 최근 각광받고 있는 기계학습이나 딥러닝 방법을 활용하였으며, 이는 모형의 설명력과 해석의 타당성을 확보하는 것이 쉽지 않아 교육 이론을 참고함
- 교육 이론을 기반으로 하는 학습 데이터 선별을 위해 학업성취에 영향을 미치는 요인뿐만 아니라, 학습과 일상생활에까지 영향을 미치지만 그간 학습분석 연구가 상대적으로 이루어지지 않은 자기조절에 대한 선행연구와 PISA에서 2015년부터 컴퓨터 기반 평가로 전환하면서 고려되었던 분석 변인들(OECD, 2020)을 참조하였음
다중양식 학습분석 지표 대상군 추출
- 다중양식 학습분석 지표 선정 절차
- 학습의 결과인 학업성취는 2개 영역 7개 성취기준에 대한 매 차시의 형성평가 점수를 활용, 총 60 문항 중 58개 문항에 대하여 162명의 학생이 응답한 자료를 바탕으로 문항반응이론 모형 중 라쉬 모형을 활용하여 7개 성취기준 점수를 표준화하였음
- 학업성취와 함께 자기조절력의 측정치로는 현재 학습 상태나 수행에 대한 평가를 의미하는 메타인지적 점검에 해당하는 수행에 대한 예측정확도 (calibration; Rivers, Dunlosky, & Persky, 2020)를 산출하여 사용
- 상향식 방법과 하향식 방법을 결합하여 데이터를 수집 · 통합 · 분석함으로써 학습분석 모형의 정확성과 예측력을 증진시킬 학습 데이터 지표를 선정
- 교육 이론을 바탕으로 한 학습분석 지표 추출
- 교사의 체크리스트 데이터와 학습 결과 간 상관분석을 실시한 결과, 형성평가에서 시스템이 제공하는 학습 자료 외에 교과서 등을 활용하는 행동(항목 3), 학습 전략(구조화) 사용 행동(항목 4), 수업 중 교사에게 궁금한 점에 대해 질문하는 행동(항목 6)이 학습 결과와 유의미한 상관을 나타냄(<표 8> 참고)
- 교사 체크리스트 데이터와 학생의 학습 활동에 관한 로그 데이터 간 상관분석을 실시한 결과, 교사 체크리스트는 학생의 주요 학습 활동과 유의미한 상관을 가지는 것으로 나타났음. 이는 교사의 관찰이 학생의 학습 활동을 잘 반영하는 것을 의미(<표 9> 참고)
다중양식 학습분석 지표 선정
'전공(측정평가) 논문' 카테고리의 다른 글
국내 DKT 관련 선행연구(2) (0) | 2024.10.28 |
---|---|
국내 DKT 관련 선행연구(1) (1) | 2024.10.28 |
한국교육과정평가원 국가수준 학업성취도 평가의 컴퓨터 적응형 검사 이슈페이퍼 요약 (0) | 2024.07.28 |
[논문 리뷰] 자동채점 관련 (0) | 2023.03.02 |
[보고서 리뷰] 컴퓨터 기반 서·논술형 평가를 위한 자동채점 방안 설계 (0) | 2023.03.01 |