AI 시대 역량평가는 정답 암기보다 실제 업무 수행을 확인해야 합니다. 지식시험과 수행과제를 목적에 맞게 결합하고, 산출물·판단 근거·AI 사용 범위·수정 과정을 증거로 묶어 배치·승진·인증에 쓸 수 있는 타당하고 공정한 평가를 설계하는 법을 제시합니다.

AI 시대 역량평가, 지식시험보다 업무 산출물을 보라

지식시험은 왜 AI 시대에 더 약해졌나

AI가 답을 만들어 주는 시대에도 지식은 필요하다. 안전 규정, 제품 기준, 법적 의무, 핵심 개념을 모르면 좋은 판단을 할 수 없다. 문제는 객관식 점수와 짧은 서술형 답안만으로 ‘업무를 해낼 수 있다’고 결론 내리는 데 있다. 답을 알고 있는 것, AI가 만든 답에서 오류를 찾는 것, 불완전한 정보로 결정을 내리고 책임지는 것은 서로 다른 능력이다.

기업교육이 평가하려는 대상도 바뀌었다. 생성형 AI를 사용하지 못하게 한 상태에서 암기력을 재면 개인의 기초 지식은 볼 수 있다. 그러나 실제 직무에서는 AI를 쓸 수 있는데 시험에서만 금지하면 업무 수행을 제대로 재지 못할 수 있다. 반대로 AI를 무제한 허용하고 결과물만 제출하게 하면 누가 어떤 판단을 했는지 알기 어렵다. AI 허용 여부보다 평가하려는 역량과 증거를 먼저 정해야 한다.

여기서 말하는 진정성 있는 역량평가는 실제 업무 또는 그와 가까운 조건에서 과제를 수행하게 하고, 산출물과 판단 과정이 직무 기준에 맞는지 확인하는 방식이다. ‘실제와 비슷해 보이는 과제’만으로 충분하지 않다. 시간, 데이터, 이해관계자, 위험, 검토 절차, 품질 기준이 실제 역할의 핵심을 반영해야 한다.

시험형과 수행형은 같은 역량을 다르게 본다

평가 요소	지식시험 중심	업무 수행 중심
질문	무엇을 알고 있는가	주어진 조건에서 무엇을 해낼 수 있는가
과제	객관식·단답·개념 서술	실제 문서·분석·대화·결정·개선
AI 조건	일괄 금지 또는 탐지	금지·제한·허용을 과제 목적에 맞게 구분
증거	최종 답안과 점수	산출물, 출처, 판단 근거, 수정, 검토 기록
채점	정답 일치	정확성, 판단, 품질, 안전, 설명 가능성
피드백	오답 정정	과정의 약점과 다음 수행 개선

수행형이 언제나 우월한 것은 아니다. 기초 지식을 빠르게 확인하거나 법정 필수 개념을 점검할 때는 짧은 지식시험이 효율적이다. 다만 배치, 승진, 자격, 고위험 업무 권한처럼 중요한 결정을 내릴수록 한 형식에 의존하면 오판 비용이 커진다. 지식 확인과 수행 증거를 결합하는 편이 안전하다.

OECD의 2026년 직업교육 보고서는 VET의 전체 주기를 개발, 전달, 평가, 결과로 구분한다. 평가 단계에는 자격·교육과정에 근거한 시험 문항과 과제 개발, 학습성과와 평가방법에 따른 평가, 시험 결과 검증과 습득 스킬 인증이 포함된다. 평가가 문항 제작 한 단계가 아니라 기준 설정부터 결과 검증까지 이어지는 체계라는 뜻이다.

AI 시대 역량평가 — OECD 직업교육 개발·전달·평가·결과 전체 주기 Table 1.2

OECD는 평가를 시험 문항 생성만이 아니라 학습성과, 평가방법, 결과 검증, 스킬 인증이 연결된 주기로 본다.

산출물만 보면 안 된다 판단 과정까지 증거로 남겨라

잘 만든 보고서 하나가 역량을 완전히 증명하지는 않는다. 타인의 템플릿을 복사했을 수 있고, AI가 거의 전부 작성했을 수 있으며, 우연히 좋은 결과가 나왔을 수도 있다. 반대로 초안은 부족해도 오류를 발견하고 근거를 찾아 수정하는 과정에서 높은 역량이 드러날 수 있다.

평가 증거는 네 묶음으로 남기는 것이 좋다.

최종 산출물: 보고서, 코드, 분석, 상담 기록, 설계안, 의사결정 메모
근거 묶음: 사용한 데이터·출처, 가정, 제한, 검증 방법
과정 흔적: 초안, AI 사용 범위, 주요 선택, 피드백 전후 수정
설명·방어: 평가자의 질문에 판단 이유와 대안을 설명하는 짧은 구술

모든 프롬프트를 강제로 제출하게 할 필요는 없다. 중요한 것은 과제에서 허용한 AI의 범위와 검증 행동을 증명하는 것이다. 예를 들어 시장분석 과제라면 AI로 초안을 만드는 것은 허용하되, 주요 수치의 원문 확인, 상충 자료의 처리, 최종 권고의 책임은 사람이 보여줘야 한다. 민감정보가 포함된 직무라면 샌드박스 데이터와 승인 도구만 쓰게 한다.

OECD의 PISA 2029 Media and AI Literacy 평가 프레임워크 초안도 실제 세계 과제를 사용해 학교·일·여가·시민생활·사회관계 맥락에서 분석, 정보 평가, 협업, 창작을 보려 한다. 전문가 그룹은 전체 평가시간의 절반을 ‘분석·평가’와 ‘창작’에 각각 25%씩 배분할 것을 권고했다. 기업의 직무평가에 그대로 옮길 수는 없지만, 지식 재생보다 판단과 제작에 충분한 시간을 줘야 한다는 설계 원칙은 유용하다.

AI 사용 금지 과제와 허용 과제를 구분하라

평가 패키지에는 세 종류의 과제를 섞을 수 있다.

첫째는 AI 금지 구간이다. 긴급 안전 절차, 핵심 규정, 도구 장애 시 대응처럼 외부 도움 없이 즉시 회상해야 하는 지식과 판단을 본다. 금지 이유와 감독 방식을 명확히 하고 필요한 범위만 짧게 평가한다.

둘째는 AI 제한 허용 구간이다. 승인 도구, 지정 데이터, 특정 기능만 허용한다. 학습자가 AI 결과를 검증하고 수정하는 능력을 본다. 실제 업무 통제와 가장 비슷한 조건을 만들 수 있다.

셋째는 AI 공개 허용 구간이다. 사용할 도구와 방법을 스스로 고르게 하되, 출처·가정·한계·품질검증·인적 책임을 설명하게 한다. 생산성뿐 아니라 도구 선택과 감독 역량을 본다.

이 세 구간을 분리하면 ‘AI를 썼으니 부정행위’와 ‘AI를 쓰면 모두 실력’이라는 양극단을 피할 수 있다. 같은 직무에서도 응급 대응 지식은 금지 구간, 고객 데이터 분석은 제한 허용, 개선안 기획은 공개 허용으로 설계할 수 있다.

EU Council의 2026년 결론은 교육·훈련에서 AI 관련 결정이 교육 목적에 기반해야 하고, AI가 교사의 전문적 판단과 책임을 대체해서는 안 된다고 강조한다. 교사는 AI 출력을 비판적으로 평가하고 한계와 편향을 설명하며, 도구의 공동 설계·선택·평가·맥락화에 참여해야 한다. 기업교육에서도 평가 자동화가 평가자의 직무 판단을 대신해서는 안 된다는 기준으로 읽을 수 있다.

AI 시대 역량평가 — EU Council의 AI 출력 비판적 평가와 전문적 판단 원칙

EU Council은 AI가 전문적 판단을 보조해야 하며, 교육자가 출력의 한계와 편향을 평가하고 도구 설계·선택·평가에 참여해야 한다고 명시한다.

직무별 수행평가 패키지는 이렇게 설계한다

첫 단계는 평가 주장이다. “AI 활용 역량”처럼 넓게 쓰지 말고, 관찰할 수 있는 문장으로 바꾼다. 예를 들어 “고객 데이터를 보호하면서 AI 요약의 핵심 오류를 찾아 수정하고, 최종 답변의 근거를 설명할 수 있다”처럼 쓴다.

둘째는 업무 표본이다. 그 역할의 모든 업무를 시험할 수 없으므로 빈도, 위험, 사업 중요도, 학습 가능성을 기준으로 3~5개 핵심 장면을 고른다. SME 한 명의 기억에만 의존하지 말고 실제 오류, 고객 문의, 품질 기록, 우수자 인터뷰를 함께 본다.

셋째는 조건과 자원이다. 시간, 도구, 데이터, 동료 협업, 참고자료, AI 사용 범위를 실제 업무와 가깝게 정한다. 장애를 일부러 넣을 수도 있다. 정보가 불완전하거나 이해관계자 요구가 충돌하는 장면에서 판단이 드러난다.

넷째는 채점 루브릭이다. 정확성만 보지 말고 문제 정의, 근거 품질, 위험 인식, AI 출력 검증, 의사결정, 커뮤니케이션, 수정 능력을 나눈다. ‘좋음·보통·미흡’ 대신 각 수준에서 관찰되는 행동과 치명 오류를 적는다.

다섯째는 피드백과 재도전이다. 역량평가가 선발만을 위한 것이 아니라면 어떤 행동을 고치면 다음 수준에 도달하는지 알려줘야 한다. 첫 시도와 재시도의 차이도 중요한 학습 증거다.

예를 들어 영업관리자 평가에서는 고객 요구와 내부 수익 데이터를 주고 제안 우선순위를 만들게 할 수 있다. AI로 초안을 만드는 것은 허용하되 수치 원문, 반대 근거, 고객별 위험, 최종 의사결정 메모를 제출하게 한다. 이어서 평가자가 가정을 바꾼 질문을 던져 결과가 아니라 판단 모델을 확인한다.

평가 신뢰도는 이중 채점과 이의제기로 지킨다

수행평가는 실제에 가깝지만 채점자 판단이 개입된다. 그래서 객관식보다 품질관리 장치가 더 필요하다. 채점자는 예시 산출물로 사전 보정하고, 경계 점수와 고위험 결정은 두 명이 독립 채점한다. 의견이 다르면 어떤 루브릭 항목에서 갈렸는지 기록한다.

AI 채점 도구를 쓰더라도 사람의 최종 검토를 없애지 않는다. AI는 누락 확인, 표현 패턴, 루브릭 초안 적용을 보조할 수 있지만, 직무 맥락과 예외, 합리적 편의, 창의적 대안을 놓칠 수 있다. 모델 버전, 입력, 평가 기준, 사람이 수정한 이유를 기록하고 정기적으로 표본을 재채점한다.

평가 대상자에게도 투명성이 필요하다. 무엇을 평가하는지, AI를 어디까지 쓸 수 있는지, 어떤 데이터가 수집되는지, 결과가 배치·승진·인증에 어떻게 쓰이는지, 이의제기와 재평가 절차가 무엇인지 알려야 한다. 장애, 언어, 도구 접근 차이로 불리하지 않도록 합리적 조정을 제공하되 평가하려는 핵심 역량은 유지한다.

승진·배치에 연결하기 전 통과해야 할 타당성 문턱

첫 문턱은 내용 타당성이다. 과제가 실제 역할의 중요한 장면과 기준을 대표하는가.

두 번째는 과정 타당성이다. 좋은 점수가 의도한 판단·검증 능력 때문에 나온 것인지, 도구 숙련이나 템플릿 접근 차이 때문인지 확인한다.

세 번째는 채점 일관성이다. 평가자와 시점이 달라도 비슷한 수행에 비슷한 결과가 나오는지 본다.

네 번째는 결과 공정성이다. 성별, 연령, 장애, 언어, 고용형태별 통과율과 오류 유형을 살피되 작은 집단의 개인정보를 보호한다. 차이가 보이면 곧바로 능력 차이로 해석하지 말고 과제 맥락, 접근권한, 채점 편향을 조사한다.

다섯 번째는 예측·전이 증거다. 평가 점수가 이후 실제 업무 품질, 오류, 독립 수행, 관리자 관찰과 어떤 관계가 있는지 추적한다. 관계가 약하면 과제나 루브릭을 바꾼다.

AI 시대 역량평가의 목적은 AI를 잡아내는 것이 아니다. 사람이 AI를 포함한 실제 업무환경에서 문제를 정의하고, 근거를 확인하고, 위험을 통제하고, 결과를 설명하고, 피드백 뒤 개선할 수 있는지를 확인하는 것이다. 정답 수를 세는 시험에서 업무 증거를 검토하는 체계로 옮길 때, 교육 이수와 실제 스킬 사이의 거리가 줄어든다.