AI 교육 기준선, 빨라졌다는 느낌보다 비교할 업무를 먼저 정하라

교육이 끝난 뒤에는 예전의 일을 정확히 복원하기 어렵다

AI 교육 성과 측정은 교육이 끝난 뒤 설문을 보내는 일보다 먼저 시작해야 한다. 무엇을 얼마나 잘하던 사람이 어떤 조건에서 달라졌는지 알 수 있어야 한다. 도입 전 기록이 없다면 참가자가 ’훨씬 빨라졌다’고 말해도 무엇과 비교한 답인지 확인하기 어렵다.

AI 교육 기준선은 교육 이전의 업무 수행을 비교 가능한 형태로 기록한 기준이다. 단순한 지식시험 점수만 뜻하지 않는다. 수행한 일의 범위, 소요시간, 품질, 검토와 재작업, 사용한 도구와 도움의 조건을 함께 남겨야 한다. 이후 변화가 무엇을 의미하는지 해석하기 위한 출발점이다.

예를 들어 제안서 초안을 만드는 시간이 줄었다고 하자. 교육 전에는 자료 찾기부터 최종 검토까지 포함했고, 교육 후에는 첫 초안이 나온 순간에 시간을 멈췄다면 두 기록은 비교할 수 없다. 숫자가 정밀해 보여도 시작과 끝이 다르면 성과의 의미가 달라진다.

사후 회상은 업무가 얼마나 어려웠는지, 새 도구에 얼마나 만족하는지에 영향을 받을 수 있다. 회상 설문은 경험을 이해하는 자료로 남기되 실제 수행시간과 같은 종류의 증거로 취급하지 않는 편이 좋다. ’편해졌다’는 반응과 ’동일 품질의 완료시간이 줄었다’는 관찰은 다른 질문의 답이다.

교육 담당자는 시작 전에 업무 책임자와 비교할 과제를 정해야 한다. 과정이 끝난 뒤 가장 보기 좋은 사례를 골라 성과로 제시하면, 평소보다 쉬운 일을 선택했는지 확인하기 어렵다. 성공을 보여 줄 자료를 나중에 찾기보다 어떤 변화가 성공인지 먼저 합의해야 한다.

시간 기록 옆에 품질 판단을 붙여야 하는 이유

2026년 9월 아시아개발은행이 공개한 Yvonne Jie Chen, Jie Gong, Jin Li, Zibo Zhao의 연구는 창작 과제에서 AI 접근이 작업시간과 품질에 미치는 영향을 살폈다. 전문 창작자와 학생 219명이 두 차례 일러스트레이션 과제를 수행했다. 두 번째 과제에서 AI 접근권을 받은 집단과 두 과제 모두 AI 없이 수행한 집단을 비교했다.

이 연구에서 첫 과제는 모든 참가자가 AI 없이 수행한 기준선이었다. AI 접근권은 무작위로 배정됐으며 사용 자체는 자율이었다. 따라서 접근권을 제공한 효과와 실제 사용자의 특성을 구분해야 한다. 연구가 2026년에 발표됐지만 실험은 2024년에 진행됐다는 점도 현재 도구에 적용할 때 고려해야 한다.

ADB Economics Working Paper 862, Figure 2, PDF 22쪽·본문 18쪽. 위는 집단별 평균과 불확실성, 아래는 접근권 제공 집단의 시간 분포다. 일반 사무직이나 AI 교육과정의 효과를 측정한 자료는 아니다.

연구에서는 AI 접근권을 받은 집단의 작업시간이 감소했다. 그러나 작업시간 변화만으로 결과물의 질까지 좋아졌다고 말할 수는 없다. 별도로 평가한 최종 품질의 평균 개선은 통계적으로 유의하지 않았다. 이것은 품질이 완전히 같다는 증명도, 모든 참가자의 품질이 나빠졌다는 뜻도 아니다.

기업교육에 적용할 핵심은 단순하다. 시간을 줄였다는 지표를 품질 확인 없이 성과로 삼지 않는다. 같은 시간에 더 좋은 결과를 냈는지, 같은 품질을 더 짧은 시간에 달성했는지, 낮아진 품질과 시간을 맞바꿨는지 구분해야 한다. 세 경우는 교육 후 필요한 조치가 서로 다르다.

일을 오래 했다는 이유로 잘했다고 평가하는 것도 피해야 한다. 품질 기준을 이미 충족했다면 더 오래 붙잡는 것이 낭비일 수 있다. 반대로 화면에 결과가 빨리 나타났다고 업무가 끝난 것은 아닐 수 있다. 기준선은 속도와 정성을 어느 한쪽으로 숭배하기 위한 장치가 아니라, 필요한 결과에 이르는 과정을 비교하기 위한 장치다.

먼저 고정할 것은 사람의 속도보다 업무의 경계다

업무시간 비교를 시작할 때 가장 먼저 정할 것은 측정 단위다. 보고서 한 건, 고객 문의 한 건, 점검 결과 한 건처럼 이름만 같아도 실제 범위는 다를 수 있다. 입력 자료가 준비된 상태인지, 누락 정보를 직접 찾아야 하는지, 누구의 승인이 있어야 완료인지 확인해야 한다.

가상의 고객 문의 업무라면 ’답변 작성’과 ’문의 해결’을 구분할 수 있다. 답변 문장을 만드는 데 걸린 시간은 짧아져도 사실 확인이나 다른 부서의 판단을 기다리는 시간은 그대로일 수 있다. 교육의 목표가 문장 작성인지 문의 해결인지에 따라 기록할 범위가 달라진다.

이 표는 현장 기록을 위한 제안이다. 모든 업무에 같은 기준을 강제로 적용할 필요는 없다. 다만 한 업무를 비교하는 동안에는 무엇을 포함했는지 일관되게 설명할 수 있어야 한다. 정할 수 없는 항목이 있다면 사후 분석에서 그 한계를 숨기지 않는다.

팀 전체의 업무가 연결돼 있다면 다른 사람에게 넘어간 시간을 확인해야 한다. 작성자의 시간이 줄고 검토자의 시간이 늘었다면 조직 전체의 절감은 별도로 계산해야 한다. 교육 참가자 개인의 경험과 팀이 부담한 총노력을 함께 보는 이유다.

여기서 필요한 기록이 반드시 정교한 시스템 로그일 필요는 없다. 표본 과제의 시작·종료 시점과 주요 검토 시간을 간단히 남길 수도 있다. 기록 방식의 정밀도를 높이기 전에 같은 의미의 시간을 재고 있는지부터 확인하는 편이 낫다.

품질 기준은 결과를 본 뒤에 바꾸지 않는다

AI 교육을 마치고 결과물이 보기 좋아졌다는 이유로 품질이 높아졌다고 판단하면 형식과 실질이 섞인다. 문장이 매끄러워져도 근거가 틀렸거나, 후속 담당자에게 필요한 정보가 빠졌을 수 있다. 업무의 사용 목적에 맞는 품질 기준이 먼저 필요하다.

ADB Economics Working Paper 862, Figure 4, PDF 24쪽·본문 20쪽. 전문가 평가를 정규화한 최종 품질 비교다. 접근권 제공의 평균 품질 개선은 통계적으로 유의하지 않았으며, 시간 감소와 동일한 결론으로 읽을 수 없다.

앞서 소개한 연구는 시간과 최종 품질을 별도로 측정했다. 기업도 시간을 먼저 줄이고 나중에 품질을 해석하기보다 두 항목을 함께 설계할 수 있다. 예를 들어 정확성, 요구사항 충족, 후속 활용 가능성 중 해당 업무에 중요한 기준을 고른다. 모든 직무에 추상적인 ‘완성도’ 점수 하나를 적용하는 방식은 피한다.

평가자는 교육 전후에 같은 기준을 사용해야 한다. 가능하다면 어느 시점의 결과물인지 모르게 검토하면 새 도구에 대한 기대가 판단에 섞이는 것을 줄일 수 있다. 결과물만으로 시점을 숨기기 어렵다면 그 제약을 기록하고 복수의 근거를 사용한다.

품질 기준이 달라졌다면 변경 자체를 나쁜 일로 볼 필요는 없다. 고객 요구가 높아지거나 업무 책임이 바뀔 수 있다. 다만 새 기준으로 얻은 점수를 과거 점수와 단순 비교해서는 안 된다. 기존 기준에 따른 비교와 새 기준에 대한 준비 상태를 나눠 보여 줘야 한다.

기준선의 목적은 과거 방식을 고정하는 것이 아니다. 변화가 생겼을 때 무엇이 달라졌는지 설명할 수 있게 하는 것이다. 품질 기준을 갱신하되, 비교가 끊기는 시점을 표시해야 한다.

교육 효과와 새 도구의 효과를 한 숫자에 담지 않는다

교육과 동시에 모델이 바뀌고, 내부 자료 연결이 개선되고, 승인 절차가 간소화됐다면 성과는 여러 변화의 결과일 수 있다. 교육이 도움이 됐다는 가능성과 교육만이 원인이라는 주장은 구분해야 한다. 기준선이 있어도 전후 비교만으로 원인을 모두 가려낼 수는 없다.

교육팀은 관찰 기간에 바뀐 조건을 함께 남겨야 한다. 도구와 버전, 접근권한, 입력 자료, 업무량, 사례 구성, 검토자 변경 등이 해당된다. 모든 영향을 통계적으로 제거할 수 없더라도 기록이 있어야 결과를 해석할 때 잘못된 확신을 줄일 수 있다.

또한 도구를 사용할 때의 수행과 학습자가 익힌 역량은 다르다. 업무 목표가 도구와 함께 잘 수행하는 것이라면 AI 사용 조건에서 평가할 수 있다. 독립 판단 능력의 유지가 중요하다면 별도의 과제로 확인해야 한다. 두 목표를 구분하지 않으면 도구 성능 향상을 사람의 학습으로 보고할 수 있다.

비교집단을 마련할 수 있다면 도움을 받을 수 있지만, 이름만 비교집단이라고 인과성이 보장되지는 않는다. 참여 동기나 업무 유형이 크게 다르면 출발점부터 다르기 때문이다. 현장 여건에 맞는 평가 설계를 선택하고, 설명할 수 있는 범위를 명확하게 남겨야 한다.

기준선은 엄밀한 실험을 대신하는 만능 해법이 아니다. 최소한 무엇이 변했는지 모르는 상태에서 성과를 단정하지 않도록 하는 장치다. 교육 담당자는 ’개선이 관찰됐다’와 ’교육이 개선을 만들었다’를 구분해 보고할 책임이 있다.

교육 전 기록이 없을 때는 주장부터 좁힌다

이미 교육을 시작했다면 기준선이 없다는 이유로 평가를 모두 포기할 필요는 없다. 기존 업무 기록이나 결과물을 활용할 수 있는지 확인할 수 있다. 다만 과거 자료와 현재 자료의 업무 범위, 품질 기준, 보존 방식이 같은지 먼저 살펴야 한다.

과거의 우수 사례만 남아 있거나 실패한 과제가 빠져 있다면 대표성이 부족하다. 기록이 남아 있는 사람과 그렇지 않은 사람의 차이도 확인해야 한다. 보존된 자료가 있다는 사실과 비교에 적합하다는 판단은 별개다.

과거 자료를 신뢰하기 어렵다면 현재 수행을 새 출발점으로 삼을 수 있다. 이후 추가 교육이나 업무 개선에 따른 변화를 추적하되, 이전 교육의 전체 효과를 복원했다고 말하지 않는다. 평가의 범위를 솔직하게 제한하는 편이 불확실한 과거를 숫자로 꾸미는 것보다 낫다.

참가자의 체감 변화는 별도로 기록할 수 있다. 어떤 단계가 쉬워졌고 무엇이 여전히 어렵다고 느끼는지 물으면 후속 교육 설계에 도움이 된다. 다만 그 답을 측정한 절감시간으로 바꾸어 비용 절감액을 계산하지 않는다. 자기보고와 관찰 자료는 서로 다른 역할을 갖는다.

작게 시작하더라도 다음 과정에서는 사전 기록을 남기는 절차를 마련해야 한다. 평가 양식을 사후에 만드는 관행이 반복되면 매번 같은 한계에 부딪힌다. 교육 신청 단계에서 비교 업무와 담당자를 정하는 것만으로도 다음 평가의 출발점이 달라진다.

성과 기준을 정하는 회의에 업무 책임자가 들어와야 한다

ACCA가 2026년 9월 게재한 Pantelis Kazakis의 글은 AI 제안에 구체적 업무 문제, 현재 성과의 기준, 책임 있는 담당자가 필요하다고 제안한다. 도입 활동 자체와 실제 운영 성과를 나눠 보라는 실무적 관점이다. 이 글의 운영 제안을 기업교육 효과가 입증된 공식으로 읽을 필요는 없지만, 기준선을 교육팀 혼자 정할 수 없다는 점은 분명하다.

교육팀은 학습 목표를 설명하고 업무 책임자는 실제 완료 조건과 품질을 정의해야 한다. 데이터 담당자는 어떤 기록을 같은 방식으로 확보할 수 있는지 확인한다. 평가 결과를 누가 어떤 결정에 사용할지도 함께 합의해야 한다.

이 과정에서 숫자를 많이 모으는 것보다 결정과 연결되는 기록을 고른다. 다음 과정의 내용을 바꿀 것인지, 적용 업무를 넓힐 것인지, 도구 연결이나 검토 절차를 먼저 손볼 것인지에 따라 필요한 근거가 달라진다. 아무 결정에도 쓰이지 않는 상세 기록은 현장의 부담만 늘릴 수 있다.

개인별 순위를 만드는 것과 교육을 개선하는 것도 구분한다. 기록이 곧바로 인사평가에 쓰인다고 느끼면 참가자는 어려운 사례를 피하거나 시간을 유리하게 보고할 수 있다. 수집 목적과 사용 범위를 설명하고 실제 운영도 그 약속에 맞춰야 한다.

다음 교육의 첫 산출물은 비교 가능한 업무 기록이다

AI 교육 기준선은 복잡한 분석 기법보다 비교 가능한 업무 정의에서 시작한다. 무엇을 끝낸 것으로 볼지, 어느 품질을 충족해야 하는지, 준비와 검토까지 어떤 시간을 포함할지 합의해야 한다. 이 조건이 없으면 사후에 많은 숫자를 모아도 해석은 불안정하다.

운영을 시작할 때는 대표적인 과제를 고르고 사전 수행을 기록한 뒤, 같은 기준으로 볼 후속 과제를 준비할 수 있다. 쉬운 사례만 남지 않도록 사례의 범위를 정하고, 기록 중 바뀐 조건도 남긴다. 모든 현장에 정해진 표본 수나 기간이 있는 것은 아니다. 업무의 변동성과 평가 목적에 맞춰 설계해야 한다.

결과를 보고할 때는 시간, 품질, 재작업, 조건 변화를 함께 설명하자. 일부 항목이 개선되고 다른 항목은 그대로라면 그 상태를 보여 주면 된다. 한 개의 성공률로 압축하기보다 다음 조치를 정할 수 있는 형태가 유용하다.

AI 교육을 잘 평가하는 조직은 긍정적인 답변을 많이 얻는 조직이 아니다. 무엇이 달라졌고 무엇은 아직 모르는지 설명할 수 있는 조직이다. 교육을 열기 전에 먼저 비교할 일을 정하자. 그래야 끝난 뒤의 성과가 체감에 머물지 않고 다음 학습과 업무 개선의 근거가 된다.

함께 읽을 글

• AI 역량 확장 평가, 빨라진 일보다 새로 가능해진 일을 보라
• AI 유창성 평가는 프롬프트 시험이 아니다: 11개 행동 지표로 측정하기
• 교육 효과 측정, 사후 설문보다 시작 전 비교 설계가 먼저다

출처

• Yvonne Jie Chen, Jie Gong, Jin Li, Zibo Zhao. Better Technology, Worse Motivation: Generative Artificial Intelligence’s Mediocrity Trap. ADB Economics Working Paper 862, 2026-09. 원문. 2024년 창작 과제 실험, 전문·학생 창작자219명. AI 접근권 효과이며 기업교육 효과 연구가 아님.
• Pantelis Kazakis. The AI productivity trap. ACCA Accounting and Business, 2026-09. 원문. 기준선·담당자·운영성과에 관한 저자의 실무 제안. 직접적인 교육효과 검증자료 아님.