생성형 AI 학습효과 착시: 결과물은 좋아졌는데 실력은 남았는가

팀장이 교육 직후 받은 보고서는 놀랄 만큼 좋아졌다. 문장은 단정했고 표는 깔끔했으며, 누락되던 경쟁사 정보도 들어 있었다. 그런데 일주일 뒤 같은 담당자에게 AI 없이 핵심 가정을 설명해 달라고 하자 답이 흔들렸다. 수치를 어디서 가져왔는지, 서로 충돌하는 근거 중 무엇을 버렸는지, 조건이 달라지면 권고를 어떻게 바꿀지 말하지 못했다. 결과물의 수준은 올라갔지만 사람의 판단 능력이 함께 자랐다고 보기는 어려운 장면이다.

기업교육에서 생성형 AI는 두 가지 일을 동시에 한다. 당장의 과업을 더 잘 수행하게 하고, 그 과정에서 새로운 지식과 전략을 익히는 계기도 된다. 앞의 효과는 보조 성과, 뒤의 효과는 학습 또는 역량 변화다. 둘은 겹치지만 같지 않다. AI가 좋은 초안을 제공하면 산출물은 즉시 개선될 수 있으나, 학습자가 그 구조를 이해하고 다른 문제에 옮겨 쓰지 못하면 도움을 끄는 순간 효과도 사라진다.

따라서 생성형 AI 학습효과를 묻는 질문은 “AI를 썼을 때 점수가 올랐는가”에서 끝날 수 없다. “무엇이 사람에게 남았는가”, “새로운 상황에서도 꺼내 쓸 수 있는가”, “AI가 틀렸을 때 알아차릴 수 있는가”, “업무 품질과 위험이 함께 개선됐는가”까지 분리해서 확인해야 한다. 이 구분이 없으면 생산성 도구 도입을 학습 성과로 포장하거나, 반대로 보조를 받았다는 이유만으로 실제 역량 변화를 놓치게 된다.

산출물 점수 하나로 학습을 판정하면 생기는 착시

교육 직후 산출물만 평가하면 세 가지가 섞인다. 첫째는 모델이 이미 가진 지식과 표현력이다. 둘째는 사용자가 문제를 정의하고 맥락을 제공하며 결과를 검증한 능력이다. 셋째는 상호작용을 통해 새로 습득한 지식과 전략이다. 최종 문서에는 세 요소가 한꺼번에 드러나므로 점수가 높아도 어느 부분이 사람의 변화인지 알 수 없다.

이 착시는 업무가 복잡할수록 커진다. 예를 들어 영업 제안서의 문장 품질은 생성형 AI가 빠르게 올릴 수 있다. 그러나 고객의 실제 제약을 반영했는지, 수익성이 낮은 요구를 거절할 수 있는지, 출처가 불분명한 시장 수치를 제거했는지는 다른 문제다. 겉으로 매끄러운 문서가 중요한 위험을 감출 수도 있다. 교육 성과를 산출물 완성도와 동일시하면 표현의 향상을 판단의 향상으로 오인한다.

반대 방향의 오판도 있다. AI를 사용한 결과라는 이유만으로 학습을 인정하지 않으면, 질문을 고치고 반례를 찾으며 설명을 비교하는 과정에서 실제로 일어난 변화를 포착하지 못한다. 계산기와 검색이 사고를 무조건 약화하지 않듯, 생성형 AI도 사용 방식에 따라 인지적 발판이 될 수 있다. 핵심은 도구 사용 유무가 아니라 사람이 수행한 사고 행동과 도움 제거 뒤의 잔존 능력이다.

운영 지표부터 둘로 나눌 필요가 있다. 보조 성과에는 소요 시간, 초안 품질, 오류 감소, 처리량, 고객 응답 속도를 둔다. 학습 성과에는 개념 회상, 근거 평가, 오류 탐지, 설명, 새로운 문제 전이, 독립 수행을 둔다. 같은 대시보드에 표시하되 한 점수로 합산하지 않는다. 생산성이 크게 올라도 잔존 역량이 약하면 교육 설계를 보완해야 하고, 학습은 컸지만 업무 시간이 줄지 않았다면 도구와 프로세스를 다시 살펴야 한다.

0.670이라는 평균효과보다 먼저 봐야 할 91.444%

2026년 3월 공개된 ChatGPT 학습효과 메타분석은 35개 연구, 4,193명, 134개 효과크기를 종합했다. 무작위효과모형의 전체 효과는 Hedges’ g 0.670, 95% 신뢰구간 0.495~0.844였다. 인지적 성과는 g 0.872, 비인지적 성과는 g 0.539로 추정됐다. 평균값만 보면 생성형 AI가 학습을 상당히 돕는다는 결론을 내리기 쉽다.

그러나 연구 간 이질성 I²는 91.444%였다. 관찰된 차이 대부분이 단순 표집오차가 아니라 연구 조건의 차이와 연결됐다는 뜻이다. 과목, 학습 기간, 활용 방식, 평가 형태, 참여자 특성이 달라지면 효과도 크게 달라졌다. 이 수치는 “AI가 효과적이다”라는 한 문장보다 “어떤 조건에서 누구에게 무엇이 효과적인가를 따로 확인해야 한다”는 판단을 요구한다.

35개 연구를 종합한 효과는 긍정적이었지만, 평균값만으로 모든 교육 맥락을 설명할 수는 없다. 원문 전체 페이지를 변형 없이 사용했다.

메타분석의 연구는 주로 학교와 대학 맥락에 놓여 있다. 기업의 성인 학습자는 과업 책임, 기존 전문성, 시간 압박, 데이터 보안, 성과평가라는 조건을 함께 가진다. 학교 시험에서의 인지 점수 향상을 직장 내 전이와 동일시하면 안 된다. 다만 높은 이질성은 기업교육에도 직접적인 설계 교훈을 준다. 평균효과를 도입 근거로 쓰기보다 직무, 숙련도, AI 권한, 피드백 방식별로 효과를 검증해야 한다.

같은 분석의 출판편향 검토와 조절변수 결과도 단순한 승패 판정을 경계하게 한다. 작은 연구와 서로 다른 개입이 섞여 있으며, 기간과 주제에 따라 효과가 달랐다. “생성형 AI 과정은 효과크기 0.670을 보장한다”고 쓰는 것은 잘못이다. 그 값은 특정 시점까지 포함된 연구들의 평균 추정치다. 내부 파일럿의 기준선이나 목표치로 기계적으로 옮기지 말고, 측정 설계를 정교하게 만드는 경고등으로 사용해야 한다.

연구별 효과가 넓게 퍼져 있다는 점은 평균효과보다 조건별 차이를 먼저 확인해야 함을 보여준다. CC BY-NC-ND 자료의 원본 전체 페이지이며 상업 게시 전 승인이 필요하다.

도움을 뗀 뒤에도 남는 능력을 세 번 재라

잔존 역량은 한 번의 사후시험으로 충분히 드러나지 않는다. 교육 직후에는 방금 본 문장과 절차를 기억해 답할 수 있고, 평가 형식에도 익숙하다. 최소한 세 시점을 두는 편이 낫다. 첫 번째는 AI를 사용할 수 있는 보조 수행, 두 번째는 짧은 간격 뒤 AI 없이 하는 독립 수행, 세 번째는 2~4주 뒤 낯선 조건에서 하는 전이 수행이다.

보조 수행에서는 실제 업무와 같은 도구를 허용한다. 목표는 사람이 AI를 포함한 자원을 이용해 품질 기준을 달성할 수 있는지 보는 것이다. 프롬프트의 화려함보다 문제 정의, 자료 선택, 민감정보 처리, 검증, 수정, 최종 책임을 관찰한다. 이 점수는 실무 준비도에 가깝다.

독립 수행에서는 AI를 모두 금지할 필요는 없다. 평가하려는 요소만 분리한다. 예컨대 핵심 개념과 위험 신호는 도움 없이 설명하게 하고, 긴 문서 작성은 허용 도구로 수행하게 한다. 중요한 가정을 구술로 방어하게 하거나, AI가 만든 오류가 섞인 답안을 주고 찾아내게 하면 결과물 뒤의 이해가 드러난다.

전이 수행에서는 표면이 다른 문제를 준다. 마케팅 사례로 배운 근거 검증을 채용 데이터나 구매 의사결정에 적용하게 하거나, 익숙한 고객 유형 대신 이해관계가 충돌하는 사례를 제시한다. 학습자가 기존 답을 복제하지 않고 원리를 꺼내 새 조건에 맞게 조정하는지를 본다. 이 단계가 없다면 과정 안에서만 잘한 것을 직무 전이로 과장하기 쉽다.

세 측정의 차이는 사람을 낙인찍기 위한 점수가 아니다. 보조 수행은 높고 독립 수행이 낮다면 AI가 설명을 대신했을 가능성이 있다. 독립 수행은 높지만 전이가 낮다면 사례가 너무 좁았을 수 있다. 세 점수가 모두 낮으면 기초지식이나 과제 난이도를 살펴야 한다. 차이의 패턴이 다음 학습 처방을 정한다.

기업교육 실험은 보조 성과와 잔존 역량을 분리한다

파일럿 설계에서 가장 흔한 실수는 AI 사용 집단과 비사용 집단의 최종 산출물만 비교하는 것이다. 이 방식은 “도구를 쓰면 업무가 좋아지는가”에는 답하지만 “도구 사용 과정에서 사람이 배우는가”에는 답하지 못한다. 두 질문을 모두 다루려면 측정 조건을 교차시켜야 한다.

첫 단계에서 참여자를 직무경험과 사전역량이 비슷하도록 나눈다. 한 집단은 생성형 AI와 구조화된 코칭을 사용하고, 다른 집단은 기존 자료와 코칭을 사용한다. 양쪽 모두 같은 업무 과제를 수행한다. 이때 시간과 품질을 재서 보조 성과를 비교한다. 단, 도구 접근 경험의 차이를 반드시 기록해야 한다.

둘째 단계에서는 두 집단 모두 같은 제한 조건에서 독립 과제를 수행한다. AI를 끄거나, 동일한 최소 기능만 허용한다. 문제 유형은 같되 내용은 바꾼다. 개념 회상뿐 아니라 오류 탐지, 근거 설명, 반례 제시를 포함한다. 여기서 나타나는 차이가 잔존 역량에 더 가깝다.

셋째 단계는 일정 시간이 지난 뒤 현업 지표와 연결한다. 재작업률, 승인 반려, 고객 정정, 보안 위반, 관리자 관찰, 스스로 해결한 예외 사례를 본다. 학습자와 관리자의 기대효과를 측정하더라도 자기보고만으로 결론 내리지 않는다. 실제 행동과 품질 기록이 함께 있어야 한다.

학습 기간과 주제에 따라 효과가 달라졌다는 결과는 내부 실험에서도 직무·숙련도·개입 기간을 분리해야 한다는 근거가 된다.

무작위 배정이 어려운 기업에서는 단계적 도입을 활용한다. 팀별 시작 시점을 달리하거나 같은 팀의 AI 도입 전후를 비교하되, 업무량·관리자·계절 요인을 함께 기록한다. 통계적 완벽함보다 비교 가능성을 높이는 기본 통제가 중요하다. 교육 참여자가 적으면 평균 차이보다 개인별 변화 궤적과 실패 사례를 깊이 분석하는 편이 유용하다.

측정표에는 점수만 적지 말고 각 지표가 어떤 질문에 답하는지 붙인다. 초안 작성시간은 도구의 즉시 생산성, 근거 오류율은 산출물의 안전성, 도움 없는 설명 점수는 잔존 이해, 새로운 사례의 해결률은 전이, 30일 뒤 재작업률은 현업 지속성을 본다. 서로 다른 질문을 한 열에 합쳐 ‘AI 학습지수’로 만들면 원인을 잃는다.

인과 표현도 측정 수준에 맞춰야 한다. 비교집단과 사전 측정이 없으면 “교육 뒤 점수가 올랐다”고 쓸 수는 있어도 “교육 때문에 올랐다”고 단정하기 어렵다. AI 모델 업데이트, 업무 난이도, 관리자 피드백, 참여자의 자발적 연습이 함께 영향을 줄 수 있다. 파일럿 보고서에는 확인한 관계와 아직 배제하지 못한 설명을 구분해 적는다.

AI 사용 전후의 사고 흔적을 증거로 남기는 법

사고 흔적은 모든 대화를 감시하자는 뜻이 아니다. 필요한 증거만 목적에 맞게 남겨야 한다. 입력 전체를 수집하면 영업비밀, 고객정보, 개인의 초안이 불필요하게 쌓이고 감시받는 느낌이 학습을 위축시킨다. 평가 목적에 필요한 행동 신호를 먼저 정의한 뒤 최소한으로 수집한다.

유용한 증거는 네 종류다. 문제를 어떻게 다시 정의했는지 보여주는 짧은 계획, 채택하거나 버린 근거와 이유, AI 오류를 발견해 수정한 기록, 피드백 뒤 전략을 바꾼 설명이다. 프롬프트 전문보다 중요한 선택 몇 개를 학습자가 직접 주석으로 남기게 한다. “왜 이 출처를 믿었는가”, “어떤 위험 때문에 답을 바꿨는가” 같은 질문이 판단을 드러낸다.

평가자는 결과와 과정의 일치를 본다. 최종 문서에 정확한 수치가 있어도 출처를 설명하지 못하면 검증 능력을 인정하기 어렵다. 반대로 초안에 오류가 있었지만 스스로 발견하고 적절히 고쳤다면 학습의 증거가 된다. 생성형 AI 시대에는 처음부터 완벽한 답보다 오류를 탐지하고 회복하는 능력이 더 중요해진다.

로그를 쓰려면 고지와 보존정책이 필요하다. 어떤 데이터를 왜 모으는지, 누가 보는지, 언제 삭제하는지, 성과평가에 쓰이는지 알려야 한다. 민감한 업무는 실제 데이터 대신 합성 사례를 쓴다. 원문 대화가 꼭 필요하지 않다면 행동 체크와 학습자 설명만 남긴다. 학습 분석을 인사 감시로 전환하면 참여자는 안전한 답만 만들고 실험을 멈춘다.

채점 루브릭은 “프롬프트를 잘 썼다”가 아니라 행동 수준을 묘사한다. 초급은 AI 답을 그대로 채택한다. 중급은 사실과 출처를 확인하고 명백한 오류를 고친다. 고급은 문제의 경계를 바꾸고 상충 근거를 비교하며, AI를 쓰지 않아야 할 조건까지 판단한다. 숙련도를 도구 이름이나 기능 수가 아닌 책임 있는 판단으로 정의해야 기술이 바뀌어도 평가가 남는다.

생산성 KPI와 학습 KPI가 충돌할 때의 판단

생성형 AI 도입 초기에 생산성이 오르고 학습이 약해지는 상황은 이상하지 않다. 템플릿과 초안이 즉시 제공되면 과업은 빨라지지만, 사람이 직접 구성하고 회상할 기회는 줄 수 있다. 이때 AI를 금지하는 대신 업무의 위험도와 학습 필요도에 따라 사용 규칙을 달리해야 한다.

반복적이고 오류 비용이 낮은 업무는 생산성을 우선한다. 이미 숙련된 사람이 회의록 형식을 다듬거나 표준 이메일을 만드는 경우가 그렇다. 반면 신규자의 핵심 판단, 안전 절차, 고객 예외 처리처럼 장기적으로 독립 수행이 필요한 영역에서는 의도적 마찰을 남긴다. 먼저 자신의 가설을 쓰게 한 뒤 AI와 비교하거나, AI 답에서 오류를 찾은 다음 최종안을 만들게 한다.

조직 차원의 판단표에는 네 축이 필요하다. 과업 오류의 피해, 사람이 장기적으로 보유해야 할 지식, AI 없이 대응해야 하는 빈도, 검증 가능한 근거의 유무다. 피해가 크고 독립 대응이 필요할수록 잔존 역량 기준을 높인다. 오류 비용이 낮고 검증이 쉬운 과업은 보조 성과를 더 크게 볼 수 있다.

세계경제포럼의 2026년 학습 보고서에 실린 2019~2025년 자기보고 스킬 추세에서는 인간 중심 역량 다수가 2019년 수준을 회복하지 못한 모습이 나타난다. 이 도표는 AI가 원인이라는 인과를 증명하지 않는다. 다만 기술 활용 지표가 좋아지는 것과 협업·자기조절·사고 같은 역량이 함께 자라는지는 별도로 확인해야 한다는 문제를 보여준다.

도구 활용과 인간 중심 역량의 변화가 같은 속도로 움직이지 않을 수 있다. WEF 자료는 CC BY-NC-ND이므로 원본 전체 페이지를 유지했으며 상업 게시 전 별도 승인이 필요하다.

경영진에게는 두 KPI의 관계를 그대로 보고해야 한다. “처리시간 25% 감소, 독립 오류탐지 점수 변화 없음”처럼 쓴다. 하나의 종합점수로 감추지 않는다. 생산성 이익이 분명하지만 핵심 역량이 약해졌다면 코칭과 평가를 보강하고, 학습은 좋아졌으나 생산성이 낮다면 도구 접근과 워크플로를 개선한다. 충돌을 드러내는 것이 실패가 아니라 더 나은 투자 판단의 출발점이다.

학교 연구를 직장에 옮길 때 지켜야 할 경계

최근 연구의 상당수는 학생, 수업, 과제 점수를 대상으로 한다. 기업교육은 참여자가 성인이고, 업무 성과와 책임이 있으며, 학습 여부가 승진·배치와 연결될 수 있다. 학교에서 효과가 있었다는 이유로 같은 프롬프트, 같은 평가, 같은 개입 기간을 사내 과정에 복제하면 외적 타당성이 약하다.

첫째, 참여자의 기존 전문성을 구분한다. 초보자는 AI의 매끄러운 오류를 알아채기 어렵고, 숙련자는 빠른 초안을 활용해 더 깊은 검토에 시간을 쓸 수 있다. 평균효과는 두 집단의 다른 메커니즘을 가린다. 파일럿 결과는 직급보다 실제 과업 숙련도와 AI 경험별로 본다.

둘째, 업무의 결과 지연을 고려한다. 교육 직후 시험 점수가 올라도 실제 품질이나 고객 결과는 몇 주 뒤 나타날 수 있다. 단기 평가와 30·60일 현업 지표를 연결하고, 그 사이 관리자 지원과 업무기회를 기록한다. 전이가 없을 때 교육만 탓하지 말고 사용할 기회가 있었는지도 확인한다.

셋째, 윤리와 데이터 경계를 추가한다. 학생 연구에서 허용된 공개 도구가 기업의 기밀정보에는 적합하지 않을 수 있다. 승인 환경, 데이터 비식별화, 로그 접근, 삭제, 저작권 검토가 학습 설계 안에 들어가야 한다. 안전 규칙 때문에 실제 업무와 다른 과제를 썼다면 그 한계도 결과 해석에 적는다.

넷째, 자발적 학습과 의무 평가를 구분한다. 실험 참여가 인사결정과 연결되면 행동이 달라진다. 연구 동의, 교육 개선용 데이터, 인사평가용 데이터를 가능한 한 분리한다. 소규모 집단의 결과를 공개해 개인이 추정되지 않게 한다. 기업교육의 효과성은 점수뿐 아니라 신뢰와 공정한 운영까지 포함한다.

한국과 일본의 인사 운영에서는 결과 해석까지 설계한다

한국 기업에서는 생성형 AI 교육이 전사 디지털 전환 과제와 빠르게 결합되는 경우가 많다. 수료율과 사용량을 임원 보고에 넣기 쉽지만, 사용량 증가는 업무기회와 승인 도구 접근의 차이도 반영한다. 영업·기획·개발처럼 AI 사용 기회가 많은 직군과 현장·생산·고객접점 직군을 같은 기준으로 비교하면 교육효과가 아니라 직무환경을 재게 된다. 직무군별 기준선을 두고, 사용할 기회가 있었는지 먼저 확인해야 한다.

성과평가와의 연결도 신중해야 한다. 교육용 독립 수행 결과를 곧바로 승진이나 저성과 판단에 쓰면 학습자는 시행착오를 숨긴다. 교육 단계에서는 오류 유형과 개선 속도를 코칭에 쓰고, 인사결정에 활용하려면 별도의 타당화·고지·이의제기 절차를 거친다. 특히 대화 로그나 초안에는 개인의 사고 과정과 업무정보가 섞이므로 관리자에게 원문 전체를 제공하는 관행은 피한다.

일본 기업의 OJT 문맥에서는 현장 상사와 선배의 관찰이 전이 측정에 강점이 될 수 있다. 다만 “잘하고 있다”는 총평보다 관찰 장면을 정해야 한다. 예를 들어 AI가 제안한 근거를 원문과 대조했는지, 고객 예외를 발견했는지, 자신이 확신하지 못하는 부분을 에스컬레이션했는지를 짧은 양식으로 기록한다. 職能資格이나 사내 인증과 연결할 때도 최종 산출물, 설명, 일정 기간의 OJT 관찰을 함께 본다.

한국과 일본 모두 연공·직급이 AI 숙련도를 보장하지 않는다. 젊은 직원의 도구 사용 속도가 빠를 수 있지만 직무 위험을 판단하는 경험은 부족할 수 있고, 숙련자는 업무 맥락이 깊지만 새로운 인터페이스에 익숙하지 않을 수 있다. 한쪽을 ‘디지털 원어민’, 다른 쪽을 ‘저항 집단’으로 부르면 교육 처방을 놓친다. 도구 조작, 직무 판단, 검증, 책임 있는 중단을 서로 다른 축으로 진단한다.

다국어 업무에서는 언어도 별도 조건이다. 한국어나 일본어로 입력했을 때 근거 접근성과 오류 유형이 영어와 다를 수 있다. 같은 모델이라도 사내 용어, 존칭, 법률 표현, 문서 관행에서 품질이 달라진다. 영어 연구의 평균효과를 현지 업무에 적용하기 전, 실제 언어와 문서 형식으로 평가한다. 번역 품질만 보지 말고 숫자·고유명사·책임 주체가 보존되는지도 확인한다.

노사 관계와 개인정보 보호 관점에서는 목적 외 사용을 통제해야 한다. 교육 개선을 위해 모은 로그가 나중에 근태나 태도 평가로 전환되면 신뢰가 무너진다. 수집 목적, 접근자, 보존기간, 인사 활용 여부를 사전에 문서화하고 변경 시 다시 알린다. 개인별 원문보다 집단별 오류 패턴을 우선 활용하고, 학습자가 자신의 기록을 확인하고 정정할 수 있게 한다.

두 나라에서 공통으로 유효한 보고 형식은 세 문장이다. “AI 사용 조건에서 무엇이 개선됐는가”, “도움을 제한했을 때 무엇이 남았는가”, “현업에서 어떤 조건이 전이를 돕거나 막았는가”를 각각 답한다. 이 세 문장을 분리하면 경영진은 도구 투자, 교육 설계, 관리자 지원 중 어디를 바꿔야 하는지 더 분명하게 판단한다.

다음 과정부터 바꿀 평가 계약

새로운 도구를 도입하기 전에 과정 책임자, 현업 관리자, 학습자 사이의 평가 계약을 한 장으로 정리할 수 있다. 첫 줄에는 이 과정이 높이려는 업무 결과와 사람이 보유해야 할 역량을 각각 쓴다. 둘을 같은 문장에 섞지 않는다. 예를 들어 “제안서 초안 시간을 줄인다”와 “시장 수치의 출처와 한계를 독립적으로 검증한다”를 나란히 둔다.

다음에는 AI 허용 조건과 증거를 적는다. 어떤 도구와 데이터가 허용되는지, 어느 구간에서 도움 없이 수행하는지, 무엇을 제출하고 얼마나 보관하는지 명시한다. 보조 수행·독립 수행·전이 수행의 시점도 정한다. 고위험 과업은 평가자 두 명과 이의제기 절차를 둔다.

마지막에는 성공과 중단 기준을 함께 적는다. 생산성은 올랐지만 치명 오류가 늘면 확대하지 않는다. 독립 수행이 기준 아래면 보충 학습을 제공한다. 특정 집단에서 격차가 커지면 접근권한과 과제 편향을 점검한다. 도구 버전이 바뀌면 같은 기준으로 재검증한다. 성공 사례만 찾는 파일럿보다 실패 조건이 분명한 파일럿이 안전하다.

점수의 주인도 지정해야 한다. 과정 운영자는 학습 증거를 관리하고, 현업 관리자는 실제 수행 기회를 제공하며, 데이터 담당자는 집단별 품질과 누락을 점검한다. 도구 공급자는 모델 변경과 장애를 알리지만 학습자의 역량을 최종 판정하지 않는다. 역할이 모호하면 낮은 점수는 교육 탓, 높은 점수는 도구 덕으로 돌리는 선택적 해석이 생긴다.

결과를 읽는 회의에서는 평균보다 네 사례를 먼저 본다. AI 사용 때도 독립 수행 때도 높은 사람, 보조 성과만 높은 사람, 독립 수행만 높은 사람, 둘 다 낮은 사람이다. 각 사례의 작업 흔적과 업무환경을 비교하면 평균표에서 보이지 않던 원인이 드러난다. 보조 성과만 높은 사람에게는 설명·회상·전이 과제를, 독립 수행만 높은 사람에게는 도구 선택과 워크플로 코칭을 제공할 수 있다.

평가 계약은 도구가 바뀔 때마다 전면 재작성할 필요는 없다. 사람이 보유해야 할 역량과 치명 오류 기준은 안정적으로 두고, 허용 기능·로그·검증 표본만 버전별로 갱신한다. 모델 이름을 학습목표로 쓰면 제품 업데이트 때 과정 전체가 낡는다. “상충 근거를 찾아 결론을 수정한다”, “민감정보를 입력하지 않고 필요한 맥락을 제공한다”처럼 기술에 덜 종속된 행동으로 목표를 적는다.

마지막으로 과정 종료 시점에 측정도 끝내지 않는다. 30일 뒤에는 사용 기회와 재작업, 60일 뒤에는 독립 해결과 오류 회복을 확인한다. 현업에서 AI 사용이 금지되거나 과업이 배정되지 않았다면 전이 실패로 분류하지 않는다. 교육, 도구, 관리자, 업무기회 중 어느 조건이 막혔는지를 남겨 다음 투자 판단으로 돌려보낸다.

생성형 AI 학습효과의 핵심은 AI가 만든 결과물의 수준이 아니다. 사람이 도구와 함께 일하면서 더 좋은 질문을 만들고, 근거를 판별하고, 위험을 통제하며, 도움을 뗀 뒤에도 원리를 다시 꺼낼 수 있는가에 있다. 산출물과 사람의 변화를 분리해 측정할 때 기업교육은 AI 도입의 홍보 지표를 넘어 실제 역량 전략이 된다.

이 구분은 단기 효율과 장기 인재육성을 함께 지키는 최소 조건이다.

함께 읽을 글

• AI 리터러시 교육의 기준: 한 번의 특강보다 반복 훈련이 성과를 만든다
• AI 시대 기업교육의 성패는 강의 수가 아니라 성과-학습 루프에 달려 있다

출처

• Wu et al., ChatGPT’s impact on student learning outcomes: a meta-analysis of 35 experimental studies: https://www.nature.com/articles/s41599-026-07019-z
• World Economic Forum, Shaping the Future of Learning: Education Readiness for the Age of AI: https://reports.weforum.org/docs/WEF_Shaping_the_Future_of_Learning_2026.pdf