소규모로 먼저 해 봤으니 확대해도 된다는 결론은 너무 빠를 수 있다. 참여자가 과정을 끝냈고 만족했으며 사후 점수도 올랐다고 하자. 아직 남는 질문은 많다. 누구를 모집했는가. 운영자가 평소보다 얼마나 더 도왔는가. 교육하지 않았어도 비슷하게 달라졌을 가능성은 없는가. 새 부서에서는 같은 지원을 제공할 수 있는가. 작은 실험은 이 질문을 없애는 절차가 아니라, 다음 결정을 위해 질문을 더 분명하게 만드는 과정이다.
소규모 교육 실험은 제한된 인원과 범위에서 교육의 실행 가능성, 학습 과정, 효과의 단서를 확인하는 시험 운영이다. 무엇을 확인하려는지에 따라 필요한 설계와 해석이 달라진다. 운영 절차를 점검하는 실험과 효과를 비교하는 실험을 같은 성공 기준으로 평가해서는 안 된다. 특히 적은 참여자의 좋은 반응을 조직 전체의 효과로 확대해서 읽지 않는 것이 중요하다.
운영 성공과 학습 효과는 서로 다른 문장으로 보고한다
교육이 계획대로 진행됐다는 사실은 가치 있는 성과다. 직원이 참여 시간을 확보했고, 접속이 원활했으며, 실습 자료가 제때 제공됐다면 더 큰 운영을 준비하는 데 도움이 된다. 그러나 이 사실만으로 업무 역량이 향상됐다고 말할 수는 없다. 반대로 점수 변화가 뚜렷하지 않더라도 운영상의 병목을 발견하고 수정했다면, 그 실험은 다음 단계에 필요한 정보를 제공한 셈이다.
2026년 9월 Pilot and Feasibility Studies의 편집진은 학술지의 지난 활동을 돌아보며, 파일럿과 실행 가능성 연구가 향후 연구의 불확실성을 확인하고 해결하는 토대라는 점을 강조했다. 실행 가능성의 목표와 다음 단계로 진행하는 기준을 명확히 알리는 문제도 남아 있는 과제로 다룬다. 이는 기업교육의 효과를 검증한 자료가 아니라 연구 설계에 관한 편집 논설이다.[1] 교육 파일럿에서도 시작 전에 어떤 불확실성을 줄일지 정해야 한다는 관점으로 읽을 수 있다.
기업교육 담당자는 결과 보고서의 첫 문장을 나눠 쓰는 편이 좋다. ’정해진 지원 인력으로 과정을 운영할 수 있었다’와 ’참여자의 특정 과제 수행이 달라졌다’는 서로 다른 주장이다. 전자는 운영 기록으로, 후자는 적절한 과제와 비교 설계로 뒷받침해야 한다. 두 문장을 합쳐 ’교육 효과와 확장성 확인’으로 쓰면 어떤 근거가 부족한지 보이지 않는다.
실험의 질문을 하나로 줄이라는 뜻은 아니다. 여러 질문을 다룰 수 있지만 각각에 맞는 자료가 있어야 한다. 참여자의 반응, 학습 과정, 업무 적용, 운영 비용을 한꺼번에 조사했다면 무엇을 직접 관찰했고 무엇을 물어서 파악했는지 표시한다. 자료가 없는 질문은 결과를 추정해 채우지 말고 다음 검증의 대상으로 남긴다. 그 구분이 파일럿의 설명력을 높인다.
모두 수료했어도 누가 얼마나 도왔는지는 남는다
완료율은 학습자가 끝까지 참여했다는 사실을 보여 준다. 그 과정이 스스로 수행할 수 있을 만큼 명확했는지, 담당자가 매번 개입해 완주를 도왔는지는 별도의 문제다. 파일럿에는 열의가 높은 운영자와 협조적인 현업 관리자가 집중될 수 있다. 이런 지원이 확대 운영에서도 가능한지 모르면 높은 완료율만으로 운영 가능성을 판단하기 어렵다.
2026년 9월 Wang과 동료들이 발표한 마취과 교육 예비 연구에는 과제 수행 점수 외에 운영 충실도와 감독 부담을 정리한 그림이 포함되어 있다. AI 가상 표준화 환자 세션의 완료뿐 아니라 교원의 수정, 주제에서 벗어난 응답, 안전하지 않은 피드백과 기술적 중단도 함께 기록했다. 아래 그림의 값은 해당 시험 운영의 기록을 요약한 것이며, 모든 환경에서 같은 수준으로 작동한다는 보장은 아니다.[2]
Wang 외, Figure 4. 위 패널은 참여자 수준 비율의 평균과 표준편차, 아래 패널은 예정된 80개 세션에서 기록한 사건 수다. 완료율과 운영 중 개입·사건을 구분해 읽어야 한다. 원자료 대화 기록의 완전한 독립 재분석에는 제한이 있다. ©2026 Wang 외, CC BY 4.0.
기업교육에서는 도움의 종류를 구분해 기록할 수 있다. 계정 문제를 해결한 지원, 과제의 뜻을 다시 설명한 지원, 잘못된 내용을 수정한 개입, 학습자의 판단을 대신한 도움은 의미가 다르다. 마지막 경우가 많다면 과정을 완료했다는 기록이 독립 수행 능력을 과장할 수 있다. 지원 건수만 더하지 말고 어떤 판단이 운영자의 도움에 의존했는지 살펴야 한다.
기록은 운영자에게 책임을 묻기 위한 장부가 아니다. 정상 운영에서 제공할 지원을 설계하는 자료다. 파일럿 담당자가 문제를 조용히 해결할수록 결과는 매끄러워 보이지만, 다음 담당자는 같은 문제를 다시 만난다. 해결한 문제와 소요 시간, 바꾼 안내를 남겨야 확대 후 필요한 역할과 자원을 산정할 수 있다. 도움을 숨기는 문화에서는 파일럿이 확장성의 문제를 드러내기 어렵다.
작은 표본의 큰 변화에는 다른 설명이 들어갈 여지가 크다
적은 인원의 결과에서는 특정 참여자의 변화가 전체 평균에 큰 영향을 줄 수 있다. 시작 점수가 낮은 사람이 많이 포함됐는지, 이미 관심이 높은 사람이 자원했는지, 관찰에서 빠진 사람이 어떤 특성을 가졌는지도 확인해야 한다. 숫자가 좋아 보인다는 이유로 이 조건들을 생략하면 다음 집단에서 다른 결과가 나왔을 때 이유를 설명하기 어렵다.
사전·사후 차이를 보는 것만으로 교육이 원인이라고 확정할 수는 없다. 같은 과제를 다시 풀며 익숙해졌거나, 현업에서 관련 업무를 경험했거나, 다른 지원을 받았을 수 있다. 비교집단을 두었다고 모든 문제가 해결되는 것도 아니다. 배정 방식과 기초 조건, 실제 제공된 지원이 다르면 비교의 의미가 달라진다. 파일럿의 규모가 작다는 사실은 이런 차이를 무시해도 된다는 이유가 되지 않는다.
결과가 뚜렷하지 않을 때도 주의가 필요하다. 적은 자료에서 차이를 확인하지 못한 것과 효과가 없다고 확인한 것은 다르다. 반대로 큰 차이가 관찰됐다고 다음 모집에서도 같은 크기로 나타난다고 기대해서는 안 된다. 결과의 범위와 불확실성을 함께 보고하고, 이번 설계로 어느 정도까지 판단할 수 있는지 설명해야 한다. 통계적 판단이 필요한 실험이라면 기획 단계부터 적절한 분석 지원을 연결하는 편이 낫다.
현업 보고에서는 평균 하나에 모든 해석을 맡기지 말자. 개인별 변화의 분포, 빠진 자료, 과제 조건, 지원의 차이를 함께 검토할 수 있다. 다만 작은 집단의 상세 결과를 넓게 공유하면 개인이 쉽게 식별될 수 있으므로, 공개 범위와 개선 대화의 목적을 정해 필요한 수준으로 제시한다. 더 많은 숫자를 보여 주는 것보다 의사결정에 영향을 주는 조건을 정확히 남기는 일이 중요하다.
시범 운영 비용과 반복 운영 비용을 섞으면 예산이 틀어진다
파일럿에는 초기 준비 비용이 들어간다. 사례를 제작하고, 운영자를 교육하고, 시스템을 설정하는 비용은 매번 같은 크기로 발생하지 않을 수 있다. 반면 현업 질문 대응, 평가, 콘텐츠 수정, 예외 처리에 드는 시간은 반복 운영에서도 필요하다. 일회성 비용을 모두 제외한 뒤 저렴하다고 설명하거나, 초기 비용을 그대로 곱해 확대가 불가능하다고 단정하면 판단이 왜곡된다.
Wang과 동료들의 연구는 교육 경로별로 시험 운영 비용과 반복 비용을 나누어 제시했다. 아래 그림은 제공 비용의 구성과 학습자당 비용을 비교한 자료다. 연구자들은 이를 운영 부담의 기술적 설명으로 한정하며, 정식 비용효과성 분석으로 해석하지 않는다.[2] 기업교육도 지출 내역을 분리하는 데 참고할 수 있지만, 그림의 금액을 국내 비용 기준이나 투자 수익으로 전용할 수는 없다.
Wang 외, Figure 5. 단위는 중국 위안(CNY)이며 A·B·C 교육 경로의 비용을 나타낸다. 왼쪽은 파일럿 제공 비용의 구성, 오른쪽은 학습자당 파일럿·반복 비용이다. 비용효과성이나 국내 교육비를 산출한 그래프가 아니다. ©2026 Wang 외, CC BY 4.0.
자체 비용표에서는 현금 지출과 내부 인력의 시간을 구분해 남기는 편이 유용하다. 내부 전문가가 제공한 검수와 코칭을 무료로 취급하면 확대 후 필요한 자원이 보이지 않는다. 반대로 시간을 비용으로 환산할 때는 어떤 기준을 썼는지 밝혀야 한다. 정교해 보이는 금액이라도 가정이 불명확하면 부서 간 비교에 쓰기 어렵다.
다음 규모를 검토할 때는 학습자 수만 늘리지 말고 지원 구조가 어떻게 바뀌는지 살핀다. 한 명의 전문가가 모든 질문을 받는 구조를 유지할 수 있는지, 현업 관리자가 담당할 부분을 인계할 수 있는지, 추가된 부서의 예외를 누가 검수할지 결정해야 한다. 파일럿의 인당 비용을 전체 인원에 곱하는 계산은 이런 변화를 충분히 반영하지 못한다. 확대 계획에는 비용과 함께 운영 역할의 변화가 들어가야 한다.
확대·수정·추가 검증은 서로 다른 결정을 뜻한다
파일럿 결과를 성공과 실패로만 나누면 유용한 중간 판단이 사라진다. 운영은 가능하지만 평가 과제가 부적절할 수 있고, 학습 반응은 좋지만 현업 적용 기회가 없을 수 있다. 특정 집단에서는 작동했지만 다른 직무에는 사례가 맞지 않을 수도 있다. 이런 경우 필요한 결정은 각기 다르다. 결과를 하나의 색상으로 압축하기 전에 어떤 문제를 다음 단계에서 해결할지 정해야 한다.
| 이번에 확인한 상태 | 다음 결정의 방향 | 남겨야 할 근거 |
|---|---|---|
| 운영이 안정됐지만 효과 비교는 부족함 | 제한된 범위에서 비교 검증을 설계함 | 참여 조건·비교할 과제·필요한 관찰 |
| 학습 과정에서 같은 오류가 반복됨 | 안내·실습·지원 구조를 수정함 | 오류 장면과 수정 후 확인할 행동 |
| 특정 지원자에게 운영이 집중됨 | 역할을 나누어 다시 시험함 | 지원 종류·담당·소요 시간 |
| 결과는 긍정적이나 대상 조건이 좁음 | 다른 조건의 집단에서 확인함 | 기존 집단과 새 집단의 차이 |
기업교육 의사결정을 위한 편집자의 제안이다. 검증된 성공 기준이나 모든 파일럿에 공통인 진행 규칙이 아니다.
진행 기준은 가능하면 결과를 보기 전에 정한다. 어떤 운영 문제가 반복되면 먼저 고칠지, 어떤 자료가 빠지면 확대 결정을 미룰지, 누구의 검토가 필요한지 합의해 두는 것이다. 실험을 하면서 예상하지 못한 문제가 생기면 기준을 수정할 수 있지만, 수정 이유와 시점을 남겨야 한다. 결과에 맞춰 기준을 조용히 바꾸면 파일럿이 학습보다 정당화의 도구가 되기 쉽다.
다음 검증은 이전 실험의 복제가 아니라 남은 질문에 대한 답이어야 한다. 설명이 불명확했다면 더 큰 인원을 모집하기 전에 안내를 고쳐 확인한다. 다른 직무에서도 같은 과제가 유효한지 알고 싶다면 대상 조건을 넓혀 살핀다. 효과의 크기를 판단하려면 그 질문에 맞는 설계와 자료 규모를 검토한다. 모든 불확실성에 대한 답이 ’참여자를 더 모은다’는 것은 아니다.
파일럿의 마지막 산출물은 다음 사람이 쓸 판단 기록이다
최종 보고서에는 확인한 사실과 아직 모르는 점을 나란히 남겨야 한다. 누가 어떤 조건에서 참여했는지, 무엇을 제공했고 무엇이 달라졌는지, 운영 중 무엇을 바꾸었는지, 다음 판단에 어떤 자료가 필요한지 적는다. 잘된 점만 모은 사례집보다 이런 기록이 다른 부서의 시행착오를 줄이는 데 도움이 된다.
특히 시범 운영을 맡은 사람이 계속 담당하지 않을 가능성을 고려하자. 예외를 처리한 방식과 지원이 필요했던 순간이 기록되지 않으면 다음 운영자는 완성된 교육만 인계받고 실제 운영 지식은 잃는다. 콘텐츠 파일과 함께 판단 근거를 넘겨야 파일럿에서 얻은 학습이 조직에 남는다. 인수인계 대상에는 성공 사례뿐 아니라 해결하지 못한 문제도 포함되어야 한다.
소규모 교육 실험의 가치는 큰 효과를 빨리 증명하는 데만 있지 않다. 적은 범위에서 무엇이 작동하고 어떤 조건이 더 필요한지 밝혀, 다음 결정을 더 정확하게 만드는 데 있다. 결과 발표를 준비한다면 ‘좋았으니 확대하자’ 다음에 붙일 문장을 먼저 써 보자. 어느 조건에서, 어떤 지원으로, 무엇을 더 확인하면서 확대할 것인지가 그 문장의 핵심이다.
함께 읽을 글
출처
- Lancaster, G. A., Thabane, L., Mbuagbaw, L., & Bremner, S. A. (2026-09-22). Celebrating the 10th anniversary of Pilot and Feasibility Studies—what have we achieved?. Pilot and Feasibility Studies, 12, 136. 편집 논설, 실행 가능성 연구의 설계·보고·진행 기준에 관한 논의. 기업교육 효과 실증 자료가 아니다.
- Wang, X., Sang, A., Zhang, J., Tang, H., Liu, Y., Zhao, Z., Liu, J., Xu, M., & Li, X. (2026-09-08). AI-driven virtual standardized patients combined with scenario-based simulation in anesthesiology training: a randomized pilot study. Frontiers in Medicine, 13, 1927674. 단일기관 예비 연구의 운영 충실도·감독·비용 기록(Figures 4–5). 단기 시뮬레이션 결과이며 장기 실무 효과·비용효과성을 입증하지 않는다.