AI로 문항 열 개를 만드는 일과 응시자 한 명의 승진 점수를 결정하는 일은 모두 ‘평가 자동화’로 묶이기 쉽다. 그러나 앞의 오류는 배포 전에 고칠 수 있고, 뒤의 오류는 개인의 기회와 신뢰를 바꾼다. 같은 모델을 쓰더라도 위험, 검증, 승인, 이의제기가 달라야 한다. 평가 업무를 출제와 채점 두 칸으로만 나눠도 부족하다. 평가 목적, 학습목표, 문항 초안, 정답·루브릭, 배포, 응답 수집, 자동 점수, 인간 검토, 결과 사용, 이의제기, 개선이 이어진다. 각 단계의 오류가 다음 단계로 전파된다. 문제를 만든 사람이 자동채점 설정과 결과 승인까지 혼자 맡으면 편향과 이해상충을 발견하기 어렵다.
AI 자동채점의 핵심 질문은 정확도가 몇 퍼센트인가가 아니다. 어떤 결정을 내리는지, 누가 불이익을 받는지, 오류를 발견·설명·뒤집을 수 있는지다. 학습 피드백과 승진 탈락을 같은 통제로 운영하지 않는다.
문항 초안과 점수 결정은 위험이 다르다
문항 초안은 평가자가 검토하기 전까지 학습자에게 영향을 주지 않는다. 여러 후보를 빠르게 만들고 중복·난이도·표현을 비교하는 데 AI를 활용할 수 있다. 잘못된 문항은 삭제하고 다시 만들 수 있다. 다만 출처, 정답, 편향, 저작권, 기밀은 여전히 사람 검토가 필요하다. 점수 결정은 이미 제출된 개인 응답을 해석한다. 모델이 비표준 표현, 장애·언어 차이, 창의적 대안, 직무 맥락을 놓치면 결과가 바로 불이익으로 이어진다. 사후에 정정하더라도 학습자의 신뢰와 일정이 손상된다. 자동채점은 더 높은 증거와 복구 능력을 요구한다.
피드백 초안은 두 단계 사이에 있다. 낮은 위험의 연습문제에서는 즉시 피드백이 학습에 도움을 줄 수 있다. 그러나 피드백이 능력 낙인, 관리자 보고, 보충 배치로 연결되면 영향이 커진다. ‘점수가 아니다’라는 이름보다 실제 사용을 기준으로 위험을 분류한다. 평가표에 다섯 질문을 붙인다. 결과가 개인의 자격·배치·승진·보상에 쓰이는가, 잘못된 결과를 되돌릴 수 있는가, 응시자가 이유를 이해하는가, 인간 검토가 실제로 가능한가, 집단별 오류를 감사할 수 있는가다. 하나라도 어려우면 자동화 수준을 낮춘다.
67% 활용과 41% 유보가 동시에 나타난 이유
EU 학교교육 플랫폼의 2026년 설문에서는 응답자의 67%가 평가 준비에 AI를 사용한다고 답했다. 반면 41%는 성적·총괄평가에 AI를 사용하지 않았고, 31%는 형성 피드백에도 사용하지 않았다고 답했다. 학교 설문이라 기업 비율로 옮길 수 없지만, 평가 자료 생성과 결과 판단을 동일하게 받아들이지 않는 태도를 보여준다.
도표 번호별 항목은 원 설문 페이지와 함께 확인한다. 학교 교사의 응답을 기업 평가자의 사용률로 일반화하지 않는다.
활용과 유보가 함께 나타나는 이유는 효용과 위험이 단계마다 다르기 때문이다. 문항 아이디어, 예시 답안, 표현 수정은 검토 가능한 초안이다. 성적과 인증은 사람에게 직접 영향을 주고 설명·이의제기까지 필요하다. 기업교육도 ‘평가에서 AI 사용’이라는 한 정책 대신 단계별 정책을 가져야 한다. 설문은 자기보고이며 표본·문항·응답 범위가 있다. 67%가 효과를 입증하거나 41%가 금지를 정당화하는 수치는 아니다. 다만 실제 사용이 이미 평가 준비에 들어왔으므로 비공식 사용을 방치하기보다 승인된 흐름과 기록을 만드는 근거가 된다.
출제선은 내용 타당도와 정답 가능성을 검수한다
출제선의 첫 승인자는 학습목표 소유자다. 문항이 무엇을 재려는지, 실제 직무의 중요한 행동을 대표하는지 확인한다. AI가 그럴듯한 문제를 많이 만들어도 목표 밖의 지식, 사소한 암기, 특정 도구 경험만 재면 타당하지 않다. 둘째 승인자는 현업 SME다. 사실, 최신 규정, 예외, 정답의 복수 가능성을 본다. 생성형 AI는 존재하지 않는 정책과 출처를 만들 수 있다. 숫자·고유명사·법적 기준은 공식 원문으로 전수 확인한다.
셋째는 평가 설계자다. 난이도, 단서, 중복, 표현, 접근성, 시간, 채점 가능성을 본다. 한 문화·직무·언어에만 익숙한 사례가 특정 집단을 불리하게 하지 않는지 확인한다. 합리적 편의를 제공해도 핵심 역량이 유지되는지 본다. 문항에는 계보를 남긴다. 학습목표, 원자료, 생성일, 모델·설정, 작성자, 수정자, 승인자, 유효기간을 연결한다. 업데이트가 생기면 영향을 받은 문항과 응시 결과를 추적한다. AI 생성 여부 라벨만으로는 충분하지 않다.
배포 전에는 실패 표본을 넣는다. 모호한 답, 다른 방식의 정답, 비원어민 표현, 짧지만 정확한 답, 장황하지만 틀린 답, 접근성 도구를 거친 답을 시험한다. 문항이 의도하지 않은 표현 능력을 재는지 확인한다.
채점선은 편향·일관성·설명 가능성을 통제한다
채점선은 루브릭을 먼저 고정한다. 정확성, 근거, 판단, 안전, 설명을 관찰 가능한 행동으로 쓴다. ‘전문적이다’, ‘논리적이다’ 같은 넓은 표현은 모델과 인간 모두 다르게 해석한다. 치명 오류와 부분점수 기준을 분리한다. 대표 답안으로 인간 평가자끼리 보정한 뒤 AI를 비교한다. 우수·보통·미흡뿐 아니라 경계답안, 창의적 대안, 언어 차이, 합리적 편의 사례를 넣는다. 전체 일치율만 보지 않고 항목별 오탐·누락, 점수 차이, 집단별 차이를 본다.
모델이 점수와 이유를 내더라도 설명을 사실로 믿지 않는다. 생성된 설명은 사후 합리화일 수 있다. 루브릭 항목과 응답의 근거 문장을 연결하고 평가자가 확인한다. 응시자에게는 어떤 기준에서 무엇이 부족했는지 구체적으로 제공한다. 경계 점수, 고위험 결정, 모델과 인간의 불일치, 이의제기 사례는 인간이 전수 검토한다. 낮은 위험의 형성평가에서도 일정 표본을 무작위 재채점해 드리프트를 찾는다. 모델 업데이트와 프롬프트 변경을 기록하고 이전 점수와 단순 비교하지 않는다.
언어별 검증이 필요하다. 한국어와 일본어의 주어 생략, 존칭, 사내 약어, 직무 용어가 점수에 영향을 줄 수 있다. 번역된 동일 문항이 같은 난이도를 보장하지 않는다. 현지 SME와 평가자가 표본을 이중 채점한다. EC 가이드의 서면과제 피드백 시나리오는 교사가 AI 결과를 검토하고, 개인정보·편향·정확성을 점검하며, 전문적 판단을 유지하는 절차를 제시한다. 학교 사례이므로 기업 채점의 법적 절차가 아니지만 ‘인간 검토’가 단순 승인 버튼이 아니라 구체적 검증행동이라는 점을 보여준다.
AI 피드백은 평가자의 검토와 학습자의 설명·이의제기 경로 안에서 사용해야 한다.
평가자는 AI 점수를 고칠 권한뿐 아니라 고친 이유를 기록할 시간과 보호를 가져야 한다. 모델과 다른 판단을 자주 내린 평가자를 비효율로 평가하면 인간 검토는 형식이 된다. 불일치를 품질 신호로 보고 루브릭·모델·과제 문제를 조사한다.
모델 정확도보다 평가 시스템 전체를 시험한다
AI 채점기는 단독으로 작동하지 않는다. 응답 수집 형식, 전처리, 언어 감지, 루브릭, 프롬프트, 모델, 후처리, 인간 검토, 결과 시스템이 이어진다. 모델 벤치마크가 좋아도 파일 변환에서 문장이 잘리거나, 표·수식·보조기기 출력이 누락되면 점수가 왜곡된다. 첫 시험은 입력 무결성이다. 원응답과 모델 입력이 같은지, 이미지·표·각주·코드·음성이 보존되는지 확인한다. 익명화가 의미 있는 직무 맥락을 제거하지 않는지도 본다. 변환 오류는 모델 정확도와 별도로 기록한다.
둘째는 루브릭 충실성이다. 모델이 총점만 비슷하게 내고 항목별 근거는 다르게 보는지 살핀다. 치명 오류를 평균점수로 상쇄하지 않는지, 창의적 대안을 허용하는지, 증거가 없는 추론을 하지 않는지 시험한다. 셋째는 운영 일관성이다. 같은 답을 시간·순서·배치가 달라져도 비슷하게 처리하는지 본다. 비결정적 출력이 허용되는 범위와 재실행 규칙을 정한다. 점수가 달라질 때 더 높은 값을 선택하는 방식은 공정하지 않다.
넷째는 인간-시스템 상호작용이다. 평가자가 모델 점수에 끌리는 자동화 편향, 낮은 점수를 더 오래 검토하는 선택편향, 처리량 압력을 시험한다. 모델 점수를 보기 전에 일부 답안을 독립 채점해 기준을 유지한다. 다섯째는 결과 전송이다. 수정된 점수가 LMS·HR 시스템에 정확히 반영되는지, 이전 값이 캐시나 보고서에 남지 않는지 확인한다. 이의제기 정정이 자격·배치·알림까지 전파되는지 추적한다.
OECD·EC 프레임워크는 AI 시스템을 목적 적합성, 출력, 영향, 한계 관점에서 평가하는 역량을 다룬다. 학교 리터러시 기준이지만 자동채점기를 하나의 모델이 아니라 사회기술적 시스템으로 보게 하는 참고가 된다.
평가자는 출력만 보지 않고 목적, 데이터, 영향, 한계와 인간 책임을 함께 검토한다.
시스템 시험 결과에는 통과·실패뿐 아니라 사용 제한을 남긴다. 짧은 사실 답에는 사용 가능하지만 표·코드에는 불가, 형성피드백에는 가능하지만 인증에는 불가처럼 범위를 적는다. 공급자가 업데이트하면 영향 범위부터 다시 시험한다.
평가 데이터는 학습자료보다 더 엄격하게 분리한다
응답에는 직무지식, 개인 경험, 장애, 언어, 업무성과, 고객정보가 섞일 수 있다. 채점에 필요하지 않은 이름·부서·관리자 정보를 모델 입력에서 제거한다. 익명화 키는 별도 시스템에 보관하고 채점 공급자에게 전달하지 않는다. 목적을 분리한다. 점수 산출, 피드백, 모델 개선, 연구, 인사 분석은 다른 목적이다. 채점을 위해 제출한 응답을 공급자 모델 학습이나 강사 성과평가에 자동 사용하지 않는다. 새로운 목적은 고지·권리·보존·접근을 다시 검토한다.
보존기간은 원응답, 모델 입력, 출력, 인간 수정, 최종점수, 이의제기마다 다를 수 있다. 감사와 이의제기에 필요한 기간을 확보하되 무기한 저장하지 않는다. 삭제 요청이 백업과 공급자 하위처리자까지 적용되는지 시험한다. 평가 로그 접근도 최소화한다. 관리자는 최종 결과와 필요한 지원을 볼 수 있어도 개인의 미완성 답안과 프롬프트를 모두 볼 필요는 없다. 품질팀은 익명 표본과 오류 유형을 우선 사용한다. 소규모 집단 통계로 개인이 추정되지 않게 한다.
국가 간 운영에서는 데이터 위치와 국외 이전을 확인한다. 한국 본사와 일본 법인이 같은 도구를 쓰더라도 개인정보, 고용, 교육 기록의 처리 근거와 내부 규칙이 다를 수 있다. 현지 법률 검토와 노사·직원 고지를 별도로 둔다. 공급자 계약에는 입력의 재사용 금지, 보안 사고 통지, 하위처리자, 삭제, 모델 변경, 감사 협조, 데이터 반환을 넣는다. 계약 종료 뒤에도 과거 점수의 설명과 이의제기가 가능하도록 필요한 기록을 조직이 보유한다.
평가자 훈련은 AI와 일치하는 연습이 아니다
평가자 교육의 목표를 모델 점수와의 일치율로 두면 사람이 모델의 편향을 학습한다. 먼저 루브릭과 직무 기준으로 인간 평가자끼리 독립 채점한다. 불일치가 왜 생겼는지 설명하고 기준을 수정한 뒤 AI 결과를 비교한다. 훈련 표본에는 쉬운 정답보다 어려운 경계 사례를 많이 넣는다. 짧고 정확한 답, 우회적이지만 타당한 답, 정중하지만 근거가 없는 답, 다른 문화·언어 표현, 접근성 도구를 사용한 답, 치명 오류가 하나 섞인 높은 점수 답을 포함한다.
AI와 다를 때 평가자는 세 선택을 한다. 모델 오류로 보고 사람 점수를 유지한다. 루브릭이 모호해 재검토한다. 자신의 판단이 틀렸음을 인정하고 수정한다. 어느 선택이든 근거를 남긴다. 일치 자체를 보상하지 않는다. 평가자 피로와 시간도 측정한다. 자동점수가 먼저 보이면 빠르지만 자동화 편향이 커질 수 있다. 경계 답안은 AI 점수를 가린 상태에서 독립 채점하고, 낮은 위험 표본은 AI 보조를 허용하는 혼합 방식을 시험한다.
평가자의 언어·직무 배경도 결과에 영향을 준다. 일본어 답을 한국어로 번역해 채점하거나 반대의 경우, 번역이 책임 주체와 뉘앙스를 바꿀 수 있다. 현지 평가자를 두고 공통 루브릭의 행동 기준을 맞춘다. 인증 전에는 평가자 자격을 확인한다. 표본 재채점, 치명 오류 발견, 이의제기 설명, 개인정보 취급, 시스템 중단을 수행해야 한다. 도구 사용법 시험만 통과해서는 안 된다.
오류가 발견된 날의 복구 순서를 정한다
첫 단계는 영향을 멈추는 것이다. 문제가 있는 문항·모델·루브릭의 새 점수 전송을 중단하고, 이미 전송된 결과가 어떤 결정에 쓰였는지 확인한다. 모든 자동채점을 멈출 필요는 없지만 범위를 명확히 격리한다. 둘째는 사실 보존이다. 원응답, 입력, 모델·버전, 설정, 출력, 인간 수정, 전송 기록을 변경 불가능한 형태로 보존한다. 개인정보 접근을 최소화한다. 원인을 확정하기 전 추정과 사실을 구분한다.
셋째는 영향평가다. 특정 문항, 언어, 집단, 기간, 평가자에 오류가 집중됐는지 본다. 개인 한 명의 이의제기가 시스템 오류를 발견한 경우 같은 조건의 모든 결과를 재검토한다. 넷째는 통지와 임시조치다. 당사자에게 무엇이 확인됐고 언제 재평가되는지 알린다. 자격 만료·배치·승진 불이익을 보류할지 결정한다. 기술적 세부보다 개인이 해야 할 행동과 권리를 분명히 한다.
다섯째는 독립 재채점과 정정이다. 문제가 된 모델·설정을 반복하지 않는다. 훈련된 평가자가 원응답을 다시 보고, 필요하면 다른 과제로 재평가한다. 정정값이 모든 연결 시스템에 반영됐는지 확인한다. 여섯째는 재발 방지다. 개인 주의가 아니라 루브릭, 데이터, 승인, 모니터링, 계약, 교육을 고친다. 같은 실패 조건의 변형 표본으로 다시 시험하고 재개 승인자를 둔다. 복구 시간과 피해를 다음 위험등급에 반영한다.
한국·일본의 자격 운영에서는 설명 책임을 남긴다
한국의 대규모 사내 인증에서는 처리량과 일정 때문에 자동채점 비중이 빠르게 커질 수 있다. 평가 건수뿐 아니라 경계 답안 수, 인간 검토시간, 이의제기, 정정 통지, 시스템 재전송을 인력계획에 넣는다. 검토 인력 없는 자동화는 비용을 미래 오류로 미룬다. 승진·배치와 연결할 경우 평가 목적을 다시 승인한다. 과정 수료를 위해 만든 문항과 루브릭이 직급 판단의 타당성을 자동으로 갖지 않는다. 실제 업무 성과, 수행과제, 관리자 관찰, 구술을 결합하고 한 점수의 문턱을 피한다.
일본의 職能資格・社内認定에서는、何を一人で担当でき、どの業務に上位者レビューが必要か를 결과에 표시한다. 합격·불합격만 통지하지 않고 판단 근거, 보충 OJT, 재평가 조건을 설명한다. 稟議 기록에는 AI의 역할과 최종 決裁者를 남긴다. 양국 모두 학습자의 이의제기를 협조성 부족으로 평가하지 않는다. 관리자에게 이의제기 원문을 불필요하게 공유하지 않고 독립 평가자가 본다. 정당한 문제 제기는 평가 시스템의 품질 신호다.
다국어 공통시험은 번역 동등성을 별도 시험한다. 동일 문항이라도 법규, 직무권한, 사례 친숙도가 다르면 난이도가 달라진다. 국가 순위보다 각 언어 안의 신뢰도와 개선 전후를 본다. 위원회는 분기마다 세 표본을 본다. 모델과 인간이 일치한 답, 경계에서 갈린 답, 이의제기로 뒤집힌 답이다. 숫자 요약과 실제 근거를 함께 읽어 자동화 범위를 유지·축소·확대한다.
고위험 판단으로 넘어가는 네 갈래
첫 갈래는 교육 접근이다. 시험 점수가 필수 과정, 재교육, 현장 권한에 영향을 주는가. 둘째는 인사 결정이다. 배치, 승진, 보상, 계약에 쓰이는가. 셋째는 법적·안전 영향이다. 자격과 규제 준수를 증명하는가. 넷째는 감시다. 행동·표정·감정·생체 신호를 이용하는가. EU의 2026년 교육용 AI 가이드라인은 입학·접근, 학습성과 평가, 교육 수준 결정, 시험 중 금지행동 모니터링 같은 용도를 고위험 범주와 연결해 설명한다. EU 법률의 적용 여부는 조직·지역·용도에 따라 법률 검토가 필요하다. 기업은 이 표를 자동 법률판정이 아니라 위험 식별 질문으로 사용한다.
평가 결과가 접근·수준·감시에 영향을 줄수록 인간 감독과 법률 검토를 강화해야 한다.
고위험으로 갈수록 자동 점수의 역할을 제한한다. 저위험 연습은 즉시 피드백을 제공해도 된다. 내부 자격은 AI가 증거를 정리하고 사람이 판정한다. 승진·해고·법정 자격은 AI 단독 결정을 허용하지 않고 별도 평가 증거와 이의제기를 둔다. 용도 변경도 다시 승인한다. 학습 코칭용 점수가 나중에 인사평가에 넘어가면 위험이 바뀐다. 처음 동의와 정확도 검증만으로 새 용도를 정당화하지 않는다. 데이터, 모델, 의사결정자를 다시 검토한다.
이의제기 없는 자동채점은 운영상 완결되지 않는다
응시자는 AI 사용 여부, 평가 기준, 데이터, 결과 사용, 인간 검토, 이의제기 방법을 알아야 한다. “알고리즘이 계산했다”는 설명은 충분하지 않다. 구체적인 루브릭 항목, 근거, 사람이 수정한 기록을 제공한다. 이의제기는 원래 평가자와 독립된 사람이 본다. 같은 자동 점수를 반복 실행하는 것은 재평가가 아니다. 원응답, 루브릭, 모델·버전, 입력, 출력, 인간 수정, 유사 답안의 처리 기록을 확인한다.
기한과 임시조치도 정한다. 자격 만료나 배치가 임박했다면 이의제기 동안 불이익을 보류할지 결정한다. 오류가 확인되면 당사자 점수만 고치지 않고 같은 문항·모델에 영향받은 결과를 재검토한다. 이의제기 데이터는 품질 자산이다. 어떤 표현과 집단에서 오류가 반복되는지, 루브릭이 모호한지, 검토자가 형식적으로 승인했는지 본다. 이의제기 수가 적다고 품질이 높다는 뜻은 아니다. 경로를 몰랐거나 불이익을 두려워했을 수 있다.
학습자에게 재도전 기회를 제공할 때 같은 문항을 암기하게 하지 않는다. 목표와 난이도는 같고 표면 조건이 다른 과제를 사용한다. 평가 오류 정정과 실제 역량 부족에 대한 보충학습을 구분한다.
파일럿에서 확인할 여섯 개의 오류율
첫째는 인간 기준 대비 점수 차이다. 평균뿐 아니라 경계답안에서 얼마나 갈리는지 본다. 둘째는 거짓 통과다. 기준 미달 답을 통과시킨 비율이다. 안전·법무에서는 특히 중요하다. 셋째는 거짓 탈락이다. 충분한 답을 낮게 채점해 기회를 빼앗는 오류다. 넷째는 설명 오류다. 점수는 같아도 잘못된 이유를 제시하면 학습을 해친다. 다섯째는 집단별 오류 차이다. 성별, 연령, 장애, 언어, 고용형태별 차이를 보되 작은 집단의 개인정보를 보호한다. 차이가 보이면 능력 차이로 해석하지 않고 과제·접근·모델을 조사한다.
여섯째는 시간에 따른 드리프트다. 모델, 루브릭, 평가자, 응답 분포가 바뀌면 같은 답의 점수가 달라질 수 있다. 고정 표본을 정기적으로 재채점하고 변경 시점을 기록한다. 정확도 한 숫자로 합치지 않는다. 95% 일치라도 5%가 모두 특정 언어와 경계 점수에 몰리면 고위험이다. 오류의 위치와 피해를 본다. 표본수와 신뢰구간도 함께 보고한다.
파일럿은 과거 답안의 오프라인 검사로 시작한다. 개인정보를 비식별화하고 사용 권리를 확인한다. 실제 결정에는 쓰지 않은 상태에서 인간 평가와 비교한다. 기준을 통과한 뒤 낮은 위험의 형성평가에 제한하고, 모니터링을 거쳐 범위를 검토한다.
기업 자격·승진 평가에서는 문턱을 더 높인다
사내 자격은 업무 권한과 고객 위험에 연결될 수 있다. 한 번의 자동점수 대신 지식 확인, 실제형 수행과제, 구술 설명, OJT 관찰을 결합한다. AI는 증거 정리와 누락 확인을 돕고 최종 판정은 자격위원회가 한다. 승진 평가에서는 직무성과와 교육평가를 섞지 않는다. 학습 과정의 미완성 초안과 질문 로그를 태도 점수로 쓰지 않는다. 평가 목적, 사용자료, 보존기간, 접근자를 별도로 고지한다. 평가받는 사람이 자신의 기록을 확인할 수 있어야 한다.
한국 기업에서는 빠른 대규모 인증이 자동채점 확대를 압박할 수 있다. 경계 점수 표본, 직무별 오류, 이의제기 처리 인력을 비용에 포함한다. 일본 기업의 職能資格·社内認定에서는 OJT 관찰과 평가위원회의 설명을 남기고、配置・昇格へ使う場合は手続を分ける。 장애와 언어에 대한 합리적 편의를 사전에 설계한다. 음성·보조기기·추가시간이 응답 형식을 바꿀 수 있다. 핵심 역량이 아니라 입력 방식 때문에 점수가 달라지지 않게 표본을 시험한다.
평가자와 모델의 이해상충도 공개한다. 공급자가 정확도를 검증하고 같은 자료로 성능을 홍보하지 않게 내부 독립 표본을 둔다. 교육부서의 처리량 목표가 인간 검토를 줄이지 않도록 최소 검토 비율과 중단 기준을 계약한다.
다음 평가부터 승인선을 다시 그린다
첫째, 평가 흐름을 한 장에 그린다. 목적, 문항, 정답, 채점, 검토, 결과 사용, 이의제기의 담당자와 시스템을 표시한다. 한 사람이나 한 모델에 집중된 권한을 찾는다. 둘째, 결과의 피해와 복구 가능성으로 위험을 나눈다. 형성피드백, 과정 수료, 사내 자격, 승진·배치에 다른 자동화 한도를 둔다. 실제 사용이 바뀌면 다시 승인한다.
셋째, 대표·경계·실패 답안으로 오프라인 검증한다. 전체 일치율, 거짓 통과·탈락, 설명, 집단 차이, 드리프트를 본다. 기준과 중단 조건을 배포 전에 적는다. 넷째, 인간 검토와 이의제기를 운영비에 넣는다. 검토자 훈련, 이중 채점, 재평가, 결과 정정, 통지까지 계산한다. 자동화가 이 비용을 감출 뿐 없애지는 못한다.
다섯째, 종료 조건을 계약한다. 치명 오류, 특정 집단의 오류 격차, 설명 불능, 모델 변경 미통지, 삭제 실패가 기준을 넘으면 새 점수 전송을 멈춘다. 공급자가 복구했다고 알려도 내부 대표·경계·실패 표본으로 재검증하고 승인자가 재개한다. 종료 뒤에도 과거 응시자의 설명·정정 권리를 지킬 기록을 보존한다. AI 자동채점의 목표는 평가자를 없애는 것이 아니다. 반복 판독을 보조하면서 평가자가 더 중요한 근거·예외·공정성에 집중하게 하는 것이다. 출제와 점수 결정을 다른 승인선에 놓고, 설명과 이의제기가 실제로 작동할 때 자동화는 속도가 아니라 신뢰를 높인다.
그 신뢰는 높은 정확도 선언이 아니라, 잘못된 점수를 발견하고 멈추고 설명하고 바로잡는 운영에서 만들어진다.
함께 읽을 글
출처
- European Commission, Guidelines on the ethical use of artificial intelligence and data in teaching and learning: https://op.europa.eu/en/publication-detail/-/publication/f692aa0b-17a7-11f1-8870-01aa75ed71a1/
- European School Education Platform, Survey on artificial intelligence in teaching and learning: https://school-education.ec.europa.eu/en/discover/surveys/survey-artificial-intelligence-teaching-and-learning
- OECD and European Commission, Empowering learners for the age of AI: https://www.oecd.org/content/dam/oecd/en/publications/reports/2026/06/empowering-learners-for-the-age-of-ai_2f8315e7/65cd27d4-en.pdf