한국교육과정평가원(원장 성태제, 이하 평가원)은 3일 본원 대회의실에서 시도교육청 및 교육 관련기관 관계자, 자연언어처리 전문가, 교육평가 전문가들이 참여하는 「한국어 서답형 문항 자동채점 프로그램 시연 및 세미나」를 개최했다.
평가원은 대규모 평가에서 서답형 문항의 활용을 제고하고 채점의 효율화를 도모하기 위해, 2012년부터 2013년에 걸쳐 서답형 문항 자동채점 프로그램을 기초 단계부터 설계하고 그 채점 신뢰도를 검증하는 연구를 진행해 왔다.
평가원은 “이번 세미나는 한국어 서답형 문항 자동채점 프로그램을 소개·시연하고, 국가수준 학업성취도 평가의 교과별 시범 적용 결과 및 채점자와의 연계 효과 분석, 향후 자동채점 프로그램의 활용 방안 등 프로그램을 홍보하고 연구 결과의 활용 범위를 넓혀가기 위해 기획되었다”고 밝혔다.
평가원 성경희 부연구위원은 “서답형 문항은 수험자의 자유로운 응답을 허용하기 때문에 창의력, 문제해결력, 비판력, 논리적 일관성 등의 고등정신 능력을 평가하는 데 효과적인 반면에, 채점 비용과 채점 결과의 공정성 문제로 대규모 평가에서 널리 사용하기 어려운 측면이 있다”며 “대규모 평가의 경우에는 간단한 기입형 문항(단어·구 수준)이 다수를 차지하고 있으므로 컴퓨터 자동채점의 가능성이 매우 큰 편이며, 이를 통해 많은 인력과 시간이 투입되는 현재 채점 체제의 채점 비용 문제를 해결할 수 있을 것”이라고 내다봤다.
평가원 김명화 연구위원은 “학업성취도 평가와 같은 대규모 고부담 평가에서는 높은 채점의 정확성과 신뢰도가 요구돼, 채점의 정확성을 위하여 고부담의 채점자 훈련 및 양질의 채점자를 활용하기 위해 경력교사를 활용하고 있다”며 “그럼에도 불구하고, 단어·구 수준의 단답형 문항의 채점에서는 인간의 피로도와 같은 오류로 인하여 채점의 신뢰도가 낮은 경향이 있다”고 지적했다.
또한 “채점의 부담과 비용을 줄이기 위하여 자동채점 프로그램을 활용할 수 있으나 자동채점 프로그램도 채점의 유연성 및 융통성이 요구되는 문항의 경우에는 적절히 채점하지 못하는 경향이 있어, 상당수의 외국의 대규모 평가에서는 인간채점과 자동채점을 연계하여 사용하고 있다”며 “컴퓨터는 인간의 채점을 보조하고, 인간의 채점의 불완전성을 보완한다는 것이 적절할 것이다”고 언급했다.
평가원 김완수 연구위원은 “2012년 학업성취도 평가 국어 교과의 경우 중학교에서 624,595명이 응시하였고, 서답형 문항에 따라 차이가 있으나 10%~35%의 학생에 대해 부분 점수를 부여하였는데 이는 수작업 채점으로 처리하기에는 너무 많은 분량”이라고 설명하며 “자동채점 시스템 및 수작업 채점의 효율성을 동시에 높일 수 있는 방안을 수립해야 한다”고 말했다.
함수민 기자
.gif)
.jpg)
.jpg){kind=small}
.jpg)
.jpg)
.jpg)
.jpg)
