교육 성과의 인과관계, 교육 없이도 달라졌을 결과를 물어라

성과 보고서의 동사부터 근거에 맞춘다

교육 이후 오류율이 낮아졌다. 교육이 오류율을 낮췄다. 두 문장은 비슷해 보여도 요구하는 증거가 다르다. 앞의 문장은 관찰한 변화를 설명한다. 뒤의 문장은 그 변화의 원인을 교육에 돌린다. 기업교육 성과를 보고할 때는 이 차이를 먼저 지켜야 한다.

교육이 끝난 시기에 업무량이 줄었을 수도 있다. 새 시스템이 실수를 막아 주었거나, 쉬운 업무가 늘었거나, 관리자 검토가 강화됐을 수도 있다. 이런 변화가 교육과 동시에 일어났다면, 좋아진 결과를 모두 교육의 성과로 계산하기 어렵다. 교육 효과를 깎아내리자는 뜻이 아니라 다음 투자에서 무엇을 유지해야 하는지 정확히 알자는 뜻이다.

교육 성과의 인과관계는 실제 교육을 받은 뒤의 결과와, 같은 대상이 그 교육을 받지 않았더라면 얻었을 결과 사이의 차이를 묻는다. 뒤의 결과는 실제로 동시에 관찰할 수 없다. 이를 반사실이라고 하며, 평가 설계는 비교 가능한 다른 자료로 그 결과를 추정하려는 작업이다.

교육 전 점수는 이 질문에 필요한 자료지만 답 그 자체는 아니다. 시간이 지나면서 생기는 변화까지 멈춘 상태를 뜻하지 않기 때문이다. 교육의 영향을 설명하려면 교육 외의 이유로 얼마나 달라졌을지 함께 살펴야 한다. 비교집단을 두는 이유도 단순히 다른 팀을 하나 더 측정하기 위해서가 아니다.

비교집단이라는 이름보다 실제로 받은 지원이 중요하다

2026년 9월 Cuilian Tang 등의 전력기업 현장 연구에서는 적응형 전달 방식과 기존의 일률적 교육을 비교했다. 두 집단은 같은 교육과정과 일정, 예정 시간을 공유했지만 전달 매체, 학습 순서, 피드백, 학습 속도 조절 등이 함께 달랐다. 따라서 이 비교가 겨냥하는 것은 교육을 전혀 하지 않은 상태와의 차이가 아니라 두 운영 묶음 사이의 차이다.

아래 그림은 지식시험 점수의 경로를 보여 준다. 파란 실선은 적응형 조건, 붉은 점선은 기존 교육 조건이며, 교육 전·직후·추적 시점이 나란히 제시돼 있다. 교육을 받은 집단 하나의 상승만 보여 주는 그림과는 해석의 범위가 다르다. 그럼에도 이 자료만으로 AI 알고리즘 하나의 효과나 실제 안전 성과를 주장할 수는 없다.

Tang 외, Figure 3. 파란 실선은 적응형 전달 묶음, 붉은 점선은 기존 교육. 지식시험은 0–20점 척도이며 세로축은 전체 범위를 표시하지 않는다. 오차막대는 평균의 95% 신뢰구간. 업무 성과 그래프가 아니다.

논문은 교육 묶음의 차이와 실제 배정 단위를 분석 자료에서 복원할 수 없다는 한계를 명시한다. 이 글에서는 그 결과를 특정 플랫폼의 효과 보증으로 사용하지 않는다. 오히려 어떤 비교를 했는지, 분석에서 무엇을 확인하지 못했는지를 결과와 함께 설명한 점에 주목한다.

국내 기업에서도 비교집단이 아무 지원도 받지 않는 경우는 드물다. 기존 매뉴얼을 읽고, 선배에게 질문하고, 부서별 교육을 받고 있을 수 있다. 새로운 과정의 추가 가치를 묻는다면 이런 일상적 지원이 있는 상태와 비교하는 것이 목적에 맞을 수 있다. 반대로 ‘교육이 아예 없는 상태’를 분석했다고 표현하면 실제 비교와 어긋난다.

보고서에는 교육집단과 비교집단이 각각 무엇을 받았는지 써야 한다. 콘텐츠, 학습 시간, 도구 접근권, 피드백, 관리자 지원 중 같게 유지한 것과 달라진 것을 구분한다. 이 표를 만들기 어렵다면 교육 효과의 해석도 아직 준비되지 않은 것이다. 강의 제목이나 과정명만 같다고 같은 처치를 받은 것은 아니다.

좋아진 이유를 경쟁 가설로 적어 본다

대안 설명은 평가가 끝난 뒤 방어적으로 덧붙이는 단서가 아니다. 교육을 설계할 때부터 예상하고 자료를 남겨야 하는 검토 대상이다. 가령 상담 교육 뒤 재문의가 줄었다면, 상담 역량 향상 외에 정책 변경, 고객 구성 변화, 문의 분류 방식 변경도 검토할 수 있다.

이때 가능한 이유를 끝없이 나열하는 것은 도움이 되지 않는다. 해당 업무에서 실제로 일어날 만하고 결과를 바꿀 수 있는 변화부터 적는다. 현업 관리자와 함께 업무 일정과 시스템 변경 이력을 확인하면 교육팀의 기록만으로는 찾기 어려운 설명이 드러난다. 아래 표는 그 논의를 위한 가상 예시다.

이 표의 목적은 모든 대안 설명을 완벽히 제거하는 데 있지 않다. 어떤 설명을 자료로 확인했고 무엇은 남아 있는지 드러내는 데 있다. 확인하지 못한 설명이 중요하다면 결론을 좁히거나 다음 평가에서 그 부분을 우선 설계한다. 자료가 없다는 이유로 그 변화가 없었다고 간주하지 않는다.

원인이 여러 개일 수도 있다. 교육과 새로운 도구가 함께 있어야 수행이 좋아졌다면, 두 요소를 분리해 한쪽의 공로로 계산하는 것보다 결합된 운영의 효과를 묻는 편이 의사결정에 맞을 수 있다. 평가 질문은 반드시 단일 원인을 찾아내는 형태여야 하는 것은 아니다. 무엇의 추가 가치를 알고 싶은지 먼저 정해야 한다.

출발점이 비슷해도 같은 속도로 변한다고 보장할 수 없다

무작위 배정이 어려운 기업에서는 다른 부서의 전후 변화를 비교하는 방식을 검토할 수 있다. Andrew Baker, Brantly Callaway, Scott Cunningham, Andrew Goodman-Bacon, Pedro H. C. Sant’Anna의 방법론 논문은 이런 차분의 차분 설계를 체계적으로 다룬다. 최종 출판은 2026년 6월이며, 상세한 개념은 공개된 저자 원고와 함께 확인했다.

가장 단순한 형태에서는 교육집단의 전후 변화에서 비교집단의 전후 변화를 뺀다. 그러나 계산이 간단하다고 해석까지 자동으로 성립하지는 않는다. 교육이 없었더라도 두 집단의 평균 변화가 같았을 것이라는 가정이 필요하다. 이는 처음 점수가 같았다는 말과 다르다.

예를 들어 같은 출발 점수를 가진 두 영업팀 중 한쪽만 신규 시장을 맡게 됐다면 이후의 변화 경로는 달라질 수 있다. 교육 대상 팀이 실적 악화 때문에 선정됐다면 선정 사유 자체가 이후 추세와 연결될 수도 있다. 전후 숫자를 계산하기 전에 누가 왜 먼저 교육을 받았는지 알아야 한다.

교육 이전의 여러 시점 자료는 두 집단의 경로를 살피는 데 도움이 된다. 그렇지만 과거의 선이 비슷해 보인다는 이유만으로 교육 이후에 필요한 가정이 증명된 것은 아니다. 각 팀의 고객, 업무, 인력 변화도 함께 확인해야 한다. 비교집단을 고를 때는 출발 점수의 근접성보다 왜 비교할 만한 변화 경로라고 보는지 설명할 수 있어야 한다.

여러 부서가 서로 다른 시점에 교육을 시작하면 더 신중해야 한다. 이미 교육을 받은 부서를 나중에 교육받는 부서의 단순 비교 대상으로 섞는 방식은 해석을 어렵게 할 수 있다. 이런 상황에서는 과정 운영 일정과 평가 목표를 분석 담당자에게 먼저 공유하고, 어떤 시점의 어떤 집단을 비교할지 합의한다. 임의의 통계 도구에 자료를 넣고 인과관계라는 이름을 붙이는 순서가 되어서는 안 된다.

분석에서 사라진 사람도 결과의 일부다

교육을 시작한 사람, 설문에 응답한 사람, 끝까지 참여한 사람, 분석에 포함된 사람은 같지 않을 수 있다. 수료자만 분석하면 교육을 마치기 어려웠던 직원의 경험이 빠질 수 있다. 그 빠짐이 교육 방식이나 성과와 연결돼 있다면 해석에 영향을 준다.

앞선 전력기업 연구의 참여자 흐름도는 모집부터 각 측정 시점까지의 이동을 구분한다. 또한 원래 배정에 쓰인 교육 배치 식별자가 익명 분석 자료에 보존되지 않았다는 제약을 본문에서 설명한다. 인원수뿐 아니라 누가 어떤 단위로 배정됐는지를 남기는 일이 중요하다는 실무적 교훈을 얻을 수 있다.

Tang 외, Figure 2. 모집·기초 측정·분석 표본·후속 측정의 흐름. 원래 배정 단위의 식별자가 분석 자료에 없다는 별도 한계가 있으므로, 이 그림만으로 배정의 적절성을 검증할 수는 없다.

기업의 평가 운영에서는 개인정보를 줄이면서도 배정과 추적에 필요한 연결 정보는 관리할 수 있어야 한다. 교육 배정 단위, 교육 시작일, 측정 시점, 응답 여부, 제외 사유를 사전에 정한 방식으로 보관한다. 실제 참석한 반과 처음 배정된 반이 달라졌다면 두 기록을 혼동하지 않는다.

무작위 배정을 했다는 말만으로 모든 분석 문제가 해결되는 것도 아니다. 참여하지 않은 사람을 제외하거나, 성과가 잘 나온 수료자만 다시 고르면 처음의 비교가 달라질 수 있다. 효과를 무엇에 대해 말하는지, 교육을 배정받은 집단인지 실제 참여한 집단인지 구분하고 분석 담당자와 처리 원칙을 정한다.

누락 비율이 두 집단에서 비슷하다는 사실 역시 충분한 보증은 아니다. 같은 비율로 빠졌어도 빠진 이유는 다를 수 있다. 확인 가능한 특성을 비교하고, 다른 처리 방식에서도 결론이 유지되는지 검토하되 확인하지 못한 이유까지 해결됐다고 쓰지 않는다. 교육팀은 이런 한계를 숨기기보다 후속 자료 수집에 필요한 운영 조건으로 제시해야 한다.

인과관계가 불확실해도 다음 결정은 구체적으로 할 수 있다

엄격한 비교 설계가 없는 기존 과정도 평가할 가치는 있다. 다만 전후 개선을 보고하면서 원인을 확정하지 않으면 된다. 관찰한 변화, 함께 일어난 사건, 비교의 한계, 다음에 확인할 내용을 구분해 제시하면 의사결정자는 근거가 허용하는 범위를 이해할 수 있다.

예를 들어 “교육이 오류를 줄였다” 대신 “참여자의 오류율이 낮아졌으며 같은 기간 시스템 변경의 영향은 분리하지 못했다”고 쓸 수 있다. 이어서 다음 운영에서 두 조건을 어떻게 기록하고 비교할지 제안한다. 이것은 책임을 피하는 문장이 아니라 다음 예산에서 추가 확인이 필요한 부분을 분명히 하는 문장이다.

해석의 강도와 운영 결정의 크기도 맞춰야 한다. 근거가 제한적이더라도 되돌리기 쉬운 소규모 개선을 시험할 수는 있다. 반면 전사 확대나 기존 지원의 대폭 축소처럼 영향이 큰 결정에는 더 강한 비교와 현업 결과가 필요할 수 있다. 통계적 확실성만 기다리는 것도, 작은 전후 변화로 큰 결정을 정당화하는 것도 피해야 한다.

지식시험, 적용 의향, 실제 업무 행동, 조직 성과는 서로 다른 결과다. 앞 단계에서 차이를 발견했다고 다음 단계의 차이가 자동으로 따라오는 것은 아니다. 예산 심의에서 요구하는 결과가 실제 업무 개선이라면 평가도 그 지점까지 연결해야 한다. 측정하지 않은 결과는 앞으로 확인할 대상으로 남긴다.

효과를 더 크게 말하기보다 비교 질문을 더 정확하게 만든다

교육 담당자가 현업과 처음 합의할 질문은 “성과가 얼마나 올랐는가”보다 구체적이어야 한다. 누구에게 제공한 어떤 지원을, 어떤 대안과 비교해, 언제의 어떤 결과로 판단할 것인지 정한다. 이 문장이 명확하면 교육과 무관한 변화와 추가로 기록할 정보도 정리하기 쉬워진다.

과정 시작 전에는 대상 선정과 비교 방식, 함께 바뀌는 조건을 확인한다. 운영 중에는 배정 변경, 지원 추가, 측정 조건 변경을 기록한다. 결과를 보고할 때는 개선 폭과 함께 그 개선을 교육에 연결하는 논리, 그리고 여전히 남아 있는 대안 설명을 제시한다. 평가를 마지막 설문 단계에만 맡기지 않는 운영이 필요하다.

좋은 성과 보고서는 교육의 공로를 최대한 크게 적은 문서가 아니다. 어떤 지원을 유지하거나 바꾸면 되는지, 무엇을 더 확인해야 하는지 판단할 수 있는 문서다. 교육 이후의 변화와 교육 때문에 생긴 변화를 구분할 때, 기업교육은 더 신뢰할 수 있는 투자 논의를 만들 수 있다.

함께 읽을 글

• AI 교육 기준선, 빨라졌다는 느낌보다 비교할 업무를 먼저 정하라
• 직무전환 교육 성과, 면접 기회와 실제 소득을 구분하라
• 교육 효과 측정, 사후 설문보다 시작 전 비교 설계가 먼저다

출처

• Cuilian Tang, Yaxu Cao, Quanyu Shen, Shaohua Kang, Yanan Yang, Pengcheng Chang, Mengmeng Fan. AI-driven adaptive training for utility employees: a three-wave cluster-randomized field experiment on cognitive-load and personalization-fit pathways. Frontiers in Psychology 17:1944626, 2026-09-17. 원문. 운영 묶음 비교, 원래 배정 식별자의 분석 자료 부재, 실제 업무 성과 미측정에 유의.
• Andrew Baker, Brantly Callaway, Scott Cunningham, Andrew Goodman-Bacon, Pedro H. C. Sant’Anna. Difference-in-Differences Designs: A Practitioner’s Guide. Journal of Economic Literature 64(2), 498–557, 2026-06. 출판 정보·초록. 공개 저자 원고, v3 2025-06-17, 개념 확인에 사용. 유료 최종본 전체를 읽은 것으로 표시하지 않음.