이전에는 하지 못했던 일을 AI의 도움으로 처음 해냈다면, 몇 시간을 절약했다고 적어야 할까. 비교할 이전 작업 시간이 없으므로 절감 시간을 계산하기 어렵다. 그렇다고 성과가 없었다고 할 수도 없다. 반대로 새로운 결과물을 하나 만들었다는 이유만으로 업무 역량이 넓어졌다고 선언하는 것도 성급하다. 실무에서 쓸 만한지, 다시 수행할 수 있는지, 어디까지 책임질 수 있는지가 아직 확인되지 않았기 때문이다.
AI 역량 확장 평가는 기존 업무의 속도와 별도로, 직원이 새로 수행할 수 있게 된 과업의 범위와 조건을 확인하는 일이다. 도구를 써 본 경험이나 생성한 결과물 수를 세는 방식과 구분한다. 이전에는 직접 처리하지 않았던 과업을 일정한 품질로 수행하고, 필요한 검토와 도움을 요청할 수 있게 됐는지가 핵심이다. AI 없이 모든 과정을 혼자 해야만 성과로 인정하자는 뜻은 아니다. 무엇이 가능해졌고 어떤 지원이 여전히 필요한지를 정확하게 설명하자는 뜻이다.
기업교육 담당자에게 이 관점은 새로운 평가 질문을 제공한다. 교육 후 얼마나 빨라졌는지에 더해, 이전에는 미루거나 외부에 맡기거나 시도하지 않았던 어떤 일을 할 수 있게 됐는지 묻는다. 다만 업무를 더 많이 맡게 됐다는 사실과 능력이 성장했다는 판단은 분리해야 한다. 새로운 과업이 늘어도 품질과 판단의 부담을 다른 사람이 대신 떠안는다면, 개인의 역량이 확장됐다고 보기 어렵다.
절감 시간에는 이전에 하지 않던 일이 들어갈 자리가 없다
시간 절감은 같은 종류의 일을 전후로 비교할 때 유용하다. 기존 보고서를 더 빨리 작성하거나 반복 자료를 적은 노력으로 정리했다면, 수행 조건을 맞춰 속도의 변화를 확인할 수 있다. 그러나 처음 시도한 업무에는 이전 시간이 없을 수 있다. 억지로 외부 전문가의 작업 시간을 기준으로 가져오면, 업무 수준과 품질이 다른 비교가 된다.
가정해 보자. 영업기획 담당자가 고객 요구를 정리한 뒤, AI의 도움을 받아 간단한 데이터 탐색을 직접 해 본다. 예전에는 분석 부서에 질문을 보내기 전까지 검토하지 못했던 가설을 스스로 좁힐 수 있게 됐다. 이때 성과는 분석 부서의 시간을 얼마 줄였다는 주장보다, 어떤 질문을 더 구체적으로 만들었는지에 있을 수 있다. 최종 분석을 대체하지 않았더라도, 다음 판단에 필요한 준비의 범위가 넓어진 것이다.
다른 직원은 교육 후 간단한 시제품을 만들어 동료에게 아이디어를 설명할 수 있다. 시제품이 운영 환경에 투입되는 제품은 아니지만, 말로만 하던 논의를 구체적인 검토로 바꿀 수 있다. 이 경우에도 ‘개발 역량 확보’처럼 넓은 이름을 붙이면 과장이다. 아이디어를 검토 가능한 형태로 표현하는 과업을 어떤 수준까지 수행했는지 설명하는 편이 정확하다.
시간으로 추가 환산해 기존 대시보드에 넣는 대신, 성과의 종류를 나누면 된다. 같은 일의 속도 향상, 같은 일의 품질 개선, 새로운 일의 수행 가능성은 각각 다른 증거를 요구한다. 세 종류를 모두 하나의 생산성 수치로 합치면 무엇을 더 가르쳐야 할지 판단하기 어렵다. 교육 담당자는 먼저 어떤 변화가 일어났는지를 분류한 뒤 적절한 확인 방법을 선택해야 한다.
새로운 과업이 반복됐다는 사실은 관찰의 시작점이다
AI를 통해 직종의 경계를 넘는 활동을 반복하는 현상은 최근 사용 자료에서도 관찰된다. OpenAI의 2026년 9월 연구는 4월부터 7월까지 지속적으로 관찰한 약 6,200명의 이용자를 대상으로, 이전에 사용했던 직종 밖 과업이 직무로 분류된 AI 활동에서 차지하는 비중을 살폈다. 이 비중의 이용자 평균은 13.1%에서 25.9%로 높아졌다. 전체 근무시간의 비중이나 교육 효과를 나타내는 수치는 아니다.
OpenAI, Work at the Frontier: How workers are unlocking new ways of working, 6쪽 Figure 3. 관찰된 메시지에서 이전에 사용한 직종 밖 과업이 차지하는 비중이다. 전체 업무량·숙련도·성과 증가율과 구분해야 한다.
이 자료는 새로운 활동을 한 번 해 보는 것과 일상적으로 다시 사용하는 것을 나누어 볼 이유를 제공한다. 동시에 해석의 한계도 분명하다. 시간이 흐르면 반복 사용으로 분류될 수 있는 과업 자체가 누적된다. 메시지 사용 기록만으로 결과물의 품질, 실제 조직의 승인, 직원의 독립적인 이해 수준을 확인할 수는 없다. 따라서 반복 사용은 역량 확장의 증명서가 아니라, 더 자세히 관찰할 대상을 찾는 신호로 쓰는 것이 적절하다.
기업의 교육 평가에서도 같은 구분이 필요하다. 새로운 과업을 두 번 했다는 사실보다 두 번째에는 무엇이 달랐는지 본다. 처음에는 강사가 대부분의 조건을 정해 주었지만 다음에는 직원이 문제를 정리했는지, 같은 예제를 반복한 것인지 실제 업무에 적용한 것인지 확인한다. 단순한 재사용과 수행 범위의 확대를 나누어야 학습의 진전을 설명할 수 있다.
사용 빈도가 낮다고 무조건 실패인 것도 아니다. 특정 예외 상황에서만 필요한 과업은 자주 반복되지 않는다. 중요한 것은 업무상 필요할 때 다시 수행할 수 있는가다. 반복 횟수만 목표로 삼으면 실제 수요가 없는 결과물을 만들어 내도록 유도할 수 있다. 과업의 주기와 필요성을 함께 보아야 한다.
‘새로 할 수 있다’는 주장에는 과업의 끝을 적는다
역량 확장을 평가할 때 가장 먼저 정할 것은 과업의 종료 조건이다. ‘데이터 분석을 할 수 있다’는 표현은 너무 넓다. 자료의 이상값을 찾는 일, 설명 가능한 가설을 만드는 일, 통계적 검정을 수행하는 일, 결과를 경영 판단에 사용하는 일은 서로 다르다. 어디까지 수행했는지 정하지 않으면 작은 성공을 큰 전문성으로 확대하게 된다.
과업은 업무 담당자가 결과를 인수할 수 있는 단위로 적는 것이 좋다. 예를 들어 ‘초안 작성’만으로는 어떤 수준의 초안인지 불분명하다. 독자, 목적, 필요한 근거, 검토자가 확인할 항목이 명시된 초안이라면 판단할 기준이 생긴다. 산출물이 존재한다는 사실과 다음 사람이 사용할 수 있다는 사실을 구분할 수 있다.
| 평가하려는 변화 | 확인할 질문 | 성과를 과장하는 표현 |
|---|---|---|
| 새로운 문제 탐색 | 이전에 다루지 못한 질문을 검토 가능한 형태로 만들었는가 | 새로운 분야의 전문가가 됐다 |
| 새로운 산출물 작성 | 실제 인수 기준을 충족하는 결과물을 만들었는가 | 결과물을 생성했으니 역량을 확보했다 |
| 반복 수행 | 조건이 달라진 사례에서도 필요한 도움을 받아 수행했는가 | 같은 예제를 다시 했으니 현업 적용이 끝났다 |
| 판단 범위 확대 | 결과의 한계와 추가 검토가 필요한 지점을 설명하는가 | AI 답변이 그럴듯하니 이해한 것이다 |
| 업무 활용 | 결과가 실제 검토나 다음 행동에 사용됐는가 | 공유한 횟수가 많으니 사업 가치가 생겼다 |
표에 있는 질문을 모두 한 번에 점수화할 필요는 없다. 과정의 목적에 맞는 종료 조건을 먼저 정한다. 아이디어 탐색 과정이라면 운영용 결과물의 완성도를 요구할 필요가 없을 수 있다. 반대로 실제 고객에게 전달할 산출물을 만드는 과정이라면 탐색 수준의 성공으로 평가를 끝낼 수 없다. 교육의 약속과 평가의 끝을 맞추는 것이 우선이다.
과업을 잘게 쪼개기만 해도 문제가 생긴다. 결과물을 여러 조각으로 나눠 각 조각을 새로운 역량으로 세면 숫자는 쉽게 늘어난다. 그러나 실무에서는 그 조각들을 연결하는 판단이 더 중요할 수 있다. 분리된 기능 수보다 업무의 한 구간을 책임 있게 진행할 수 있는지를 보아야 한다. 평가 단위는 지표를 크게 보이게 하는 방식이 아니라 현업의 인수 기준에 맞춰 정한다.
전문지식을 빌린 수행과 스스로 판단하는 범위를 구분한다
AI가 잘 설명한 내용을 직원이 읽었다는 사실만으로 그 분야의 판단 능력이 생겼다고 볼 수는 없다. 반대로 도움을 받아 과업을 수행했다고 해서 아무 역량도 늘지 않았다고 판단할 필요도 없다. 실무의 수행은 도구와 동료, 절차의 도움을 포함한다. 중요한 것은 그 지원 구조 안에서 직원이 어떤 판단을 맡았는가다.
예를 들어 AI가 생성한 분석 초안을 활용해 현업의 질문을 정리했다면, 직원은 분석 결과의 모든 세부 사항을 독립적으로 검증하지 못할 수 있다. 그렇더라도 자료의 출처를 확인하고, 적용할 수 없는 조건을 표시하고, 전문가에게 물어볼 질문을 구체화했다면 의미 있는 수행이다. 이를 ‘독립 분석’이라고 부르지 않고 ‘검토 요청을 준비하는 분석 보조’로 기록하면 성과와 한계를 함께 설명할 수 있다.
평가에서는 결과물 옆에 판단 이유를 짧게 남기게 한다. 왜 이 방법을 택했는지, 어떤 자료가 부족했는지, 어디서 멈추고 도움을 요청했는지를 확인한다. 설명을 길게 쓰게 하는 것이 목적은 아니다. 우연히 좋은 답을 얻은 것과 업무 조건을 이해해 결과를 선택한 것을 구분하려는 것이다. 필요하다면 조건 하나가 바뀐 사례를 제시해 판단이 어떻게 달라지는지도 본다.
도구 없이 수행하게 하는 평가는 목적이 분명할 때 사용한다. 장애가 발생해도 반드시 유지해야 하는 기본 판단이나, 직접 이해해야 하는 핵심 개념을 확인할 수 있다. 그러나 실제 업무가 AI와 함께 수행하도록 설계돼 있는데 모든 평가에서 AI를 금지하면, 교육 목표와 시험 조건이 어긋난다. 도구 사용 상황과 독립 판단 상황을 무엇 때문에 나누는지 설명해야 한다.
검증을 중요하게 보는 정도부터 서로 다를 수 있다
새로운 과업을 늘리려는 직원과 그 결과를 승인해야 하는 조직이 기대하는 능력은 같지 않을 수 있다. 직원은 도구로 결과를 만드는 능력을 먼저 생각하고, 관리자는 결과를 검토하고 잘못된 판단을 멈추는 능력을 더 중요하게 볼 수 있다. 이 차이를 두고 어느 한쪽이 틀렸다고 하기보다, 평가에 들어갈 행동을 함께 정해야 한다.
IBM Institute for Business Value의 2026년 CHRO 연구에서 AI 결과를 감독·검증하거나 무효화하는 능력을 중요하게 선택한 비율은 CHRO 등 경영진 71%, 직원 38%였다. 두 집단의 별도 설문 결과이며 실제 능력 수준의 차이가 아니다. 중요하다고 생각하는 항목이 다를 수 있다는 자료를, 교육에서는 기대 행동을 명확하게 만드는 계기로 활용할 수 있다.
IBM, Designing the Thinking Organization, 인쇄면 28쪽(PDF 30쪽), Figure 3. 경영진과 직원이 중요하게 보는 역량의 차이를 보여 준다. 본문에서 비교한 71%와 38%는 첫 번째 항목이며, 다른 항목의 판단력 수치와 섞지 않았다.
기업교육 담당자는 ‘검증할 줄 안다’를 구체적인 행동으로 바꿔야 한다. 원자료로 돌아가 확인할 수 있는지, 서로 충돌하는 답을 비교하는지, 불확실한 내용을 확정적으로 전달하지 않는지, 자신의 권한 밖에서 결론을 내리지 않는지 등을 과업에 맞춰 정한다. 검증이라는 단어에 동의했다고 해서 실제 평가 기준도 같아지는 것은 아니다.
검토자가 모든 오류를 대신 고치는 상태도 구분해야 한다. 직원이 초안을 만들었지만 전문가가 거의 전부 다시 작성한다면, 새로운 산출물을 만들었다는 기록만으로 성과를 설명할 수 없다. 어떤 수정이 반복됐는지, 직원이 다음 수행에서 이를 반영했는지 확인한다. 전문 검토는 계속 필요할 수 있지만, 검토자의 부담과 학습자의 판단이 어떻게 변하는지는 보아야 한다.
개인의 새 능력이 팀의 재작업으로 상쇄되지 않는지 본다
직원이 이전에 하지 않던 일을 직접 처리하면 다른 팀의 역할도 달라진다. 간단한 요청을 스스로 해결해 전문가가 복잡한 문제에 집중할 수 있다면 가치가 생긴다. 그러나 검증되지 않은 결과물이 많이 넘어와 수정과 설명이 늘어난다면 팀 전체의 부담은 커질 수 있다. 개인의 수행 범위와 조직의 운영 결과를 나누어 기록할 이유다.
새 과업을 평가할 때는 인수자에게도 묻는다. 전달된 결과물이 이전보다 구체적인 판단을 가능하게 했는지, 필수 정보가 갖춰졌는지, 다시 요청해야 할 내용이 줄었는지 확인한다. 막연한 만족도보다 실제로 수정하거나 보완한 지점을 남기는 편이 교육에 도움이 된다. 어느 부분에서 전문성이 더 필요한지도 드러난다.
다만 검토 시간이 늘었다는 이유만으로 바로 실패라고 해서는 안 된다. 새 업무를 배우는 초기에는 설명과 확인이 더 필요할 수 있다. 정착에 필요한 지도 비용과 지속적으로 반복되는 재작업을 구분한다. 다음 수행에서 개선되는지 보지 않고 첫 결과만 비교하면, 새로운 역량을 만드는 시도 자체를 막을 수 있다. 반대로 개선이 없는데 모든 부담을 학습 중이라는 말로 덮어서도 안 된다.
기존 업무가 밀려나는지도 살펴야 한다. 새 과업을 해낼 수 있게 됐어도 기존의 핵심 업무를 계속 늦추고 있다면 역할의 범위와 우선순위를 조정해야 한다. 교육 성과를 인정하는 것과 업무를 무제한 추가하는 것은 다른 결정이다. 새로 생긴 능력을 어디에 사용할지, 무엇을 줄이거나 넘길지는 관리자와 함께 정해야 한다.
시도할 과업은 낯설다는 이유보다 필요한 이유로 고른다
역량 확장을 보여 주기 위해 화려한 과업을 선택하면 평가가 시연 행사로 끝나기 쉽다. 교육에서는 인상적인 결과물을 만들었지만 실제 업무에서 쓸 사람이 없다면 반복할 이유도 약해진다. 새로운 분야라는 점보다 해결해야 할 업무 문제가 있는지를 먼저 확인해야 한다.
출발점은 기존 업무에서 자주 멈추는 작은 구간일 수 있다. 다른 팀에 질문을 보내기 전에 필요한 정보를 정리하지 못하는 문제, 아이디어를 보여 줄 형태로 만들지 못하는 문제, 여러 자료에서 비교 기준을 잡지 못하는 문제 등이 있다. 이 구간을 직원이 더 잘 준비하게 되면 전문 부서와의 협업도 좋아질 수 있다. 새로운 역량의 가치는 전문 역할을 대체했는지에만 달려 있지 않다.
위험과 권한도 고려한다. 학습용 자료로 탐색할 수 있는 과업과 실제 고객이나 운영 환경에 영향을 주는 과업은 평가 절차가 달라야 한다. 업무의 결과를 승인할 사람 없이 직원에게 새로운 분야를 끝까지 맡기는 것은 교육 설계가 아니다. 어디까지 시도할 수 있고, 어떤 결과는 전문 검토를 받아야 하는지 정한 뒤 수행을 확장한다.
참여자가 새 과업을 원하지 않거나 현재 업무에 필요하지 않은 경우도 있다. 역량 확장을 모든 직원의 공통 목표로 강제할 필요는 없다. 어떤 직무에서는 기존 업무의 정확성과 안정성이 더 중요한 교육 목표일 수 있다. 새로운 일을 해내는 능력과 기존 일을 신뢰할 수 있게 수행하는 능력 중 어느 하나만 우수한 성과로 취급해서는 안 된다.
성과 보고에는 가능해진 일과 남은 조건을 함께 쓴다
AI 교육 성과 보고의 한 줄을 바꿔 보자. ‘새로운 분석 업무 수행 가능’ 대신 ‘정해진 자료에서 이상 징후를 찾아 검토 질문을 작성할 수 있으며, 최종 해석은 전문 담당자의 확인이 필요함’이라고 적을 수 있다. 길이는 조금 늘지만 무엇이 달라졌는지 훨씬 명확해진다. 이 설명은 다음 교육과 배치의 판단에도 바로 사용할 수 있다.
보고에 포함할 핵심은 과업의 이전 상태, 새로 확인한 수행, 적용 조건, 품질을 확인한 방식, 남은 지원이다. 이전에는 그 과업을 하지 않았는지, 다른 부서에 맡겼는지, 시도했지만 품질을 맞추지 못했는지도 구분한다. 그래야 단순히 담당자가 바뀐 것인지, 처리 가능한 범위가 넓어진 것인지 설명할 수 있다. 과거의 상태를 기억에만 의존하기보다 교육 시작 전에 짧게 기록해 두는 편이 낫다.
교육이 원인이라는 주장에는 별도의 주의가 필요하다. 도구의 성능이 좋아졌거나 새로운 자료를 받았거나 경험 많은 동료가 도와준 영향일 수 있다. 교육 전후의 변화가 보였다는 사실과 교육 때문에 변했다는 결론은 다르다. 운영 보고에서는 확인한 변화를 먼저 설명하고, 다른 조건이 어떻게 달라졌는지도 남긴다. 인과효과를 검증하려면 그 목적에 맞는 별도의 설계가 필요하다.
AI 역량 확장 평가의 목적은 시간 절감 지표를 버리는 것이 아니다. 시간만으로는 보이지 않는 변화를 정확하게 추가하는 것이다. 새로운 과업을 시도했고, 반복해 수행했으며, 업무에 필요한 품질과 판단의 조건을 확인했다면 의미 있는 교육 성과로 설명할 수 있다. 가능해진 일의 범위를 넓게 포장하는 대신 그 끝을 분명히 적을 때, 기업은 새 역량을 믿고 사용할 수 있다.
함께 읽을 글
- 생성형 AI 학습효과 착시: 결과물은 좋아졌는데 실력은 남았는가
- AI 시대 역량평가, 지식시험보다 업무 산출물을 보라
- AI 시대 데이터 해석 역량: 분석 도구 사용법보다 판단 질문을 가르쳐야 한다
출처
- Alex Martin Richmond and Caroline Chin / OpenAI Economic Research. Work at the Frontier: How workers are unlocking new ways of working. 2026년 9월. 공식 발표, PDF. 미국 등록 이용자의 관찰된 AI 메시지 자료이며 전체 업무시간이나 교육 인과효과를 측정한 자료가 아니다.
- IBM Institute for Business Value. Designing the Thinking Organization: 5 focus areas for CHROs as AI reshapes work. 2026년 9월. 공식 연구 페이지, PDF, 9월 21일 발표와 방법론. 2026년 4~6월 경영진 1,500명과 정규직 직원 8,800명을 각각 조사했으며, 역량 중요도의 응답을 실제 역량 수준으로 해석하지 않았다.