교육 전이 측정도구: 만족도 다음에 무엇을 어떻게 물어야 하는가

대시보드는 초록색이었다. 수료율 97%, 만족도 4.7점, 추천 의향 91%. 교육팀은 성공을 보고했지만 사업부장은 한 가지를 물었다. “그래서 현장에서 무엇이 달라졌습니까?” 화면에는 답이 없었다. 한 달 뒤 행동 설문을 추가했지만 이번에는 학습자가 “잘 활용하고 있다”고 답한 비율만 생겼다. 어떤 상황에서 무엇을 했는지, 상사도 같은 변화를 봤는지, 성과가 좋아지지 않았다면 교육과 환경 중 어디가 막혔는지는 알 수 없었다.

교육 전이 측정은 만족도 다음 칸에 ‘업무에 적용했습니까’를 넣는 작업이 아니다. 학습한 지식·기술·태도가 현업의 과제에서 사용되고 유지되는지, 그 사용을 돕거나 막는 조건이 무엇인지 판단할 증거를 설계하는 일이다. 따라서 가장 유명한 측정도구를 먼저 고르는 것이 아니라, 어떤 결정을 내릴지부터 정해야 한다. 프로그램을 개선할 것인지, 관리자의 지원을 바꿀 것인지, 행동 변화를 입증할 것인지, 사업성과와의 관계를 탐색할 것인지에 따라 질문·시점·응답자·자료가 달라진다.

45편을 모아도 ‘표준 설문 한 장’은 나오지 않았다

2026년 Journal of Workplace Learning의 체계적 범위 문헌고찰은 직장 내 교육 전이 평가도구를 일곱 데이터베이스에서 검색했다. 최초 1,748건에서 중복 496건을 제거해 1,252건을 선별했고, 320건의 보고서 확보를 시도했다. 48건을 구하지 못해 272건의 전문을 평가했으며, 다른 언어 16건과 주제·포함기준에 맞지 않는 211건을 제외해 45편을 최종 분석했다. 포함 연구 참여자는 합계 24,096명이었다.

일곱 데이터베이스의 1,748건이 최종 45편으로 좁혀졌다. 많은 연구가 있다는 사실보다, 포함 연구의 맥락과 도구가 서로 달라 하나의 보편적 측정법으로 수렴하지 않았다는 점이 더 중요하다.

도구는 독립형, 여러 척도를 조합한 형태, 특정 산업과 프로그램에 맞춘 형태로 나뉘었다. 가장 자주 쓰인 독립형 도구는 Learning Transfer System Inventory(LTSI)였지만, 연구마다 구성개념과 측정 시점, 분석 목적이 같지 않았다. 학습자 준비도, 교육 설계, 동료·상사 지원, 조직 맥락, 행동과 결과가 서로 다른 조합으로 측정됐다.

이 결과를 “LTSI가 정답”이라고 읽으면 오히려 검토의 핵심을 놓친다. 전이는 단일한 심리상태가 아니며, 도구는 서로 다른 질문에 답한다. 지원환경의 병목을 진단하는 질문지와 실제 행동이 바뀌었는지 확인하는 관찰표, 업무성과의 변화를 추적하는 데이터는 대체 관계가 아니다. 같은 프로그램에서도 의사결정 단계에 따라 조합해야 한다.

또한 검토는 영어 출판물과 미국·고소득 국가 연구에 치우쳤다. 도구의 번역·수정 방식도 일관되지 않았고 자기보고 중심 연구가 많았다. 45편이라는 수는 근거의 범위를 보여 주지만, 특정 기업의 측정도구가 자동으로 타당하다는 인증서가 아니다.

첫 갈림길은 행동 결과를 묻는가, 전이 조건을 묻는가다

교육 전이 측정에서 가장 흔한 혼선은 결과와 원인을 한 점수로 합치는 것이다. “배운 것을 적용했다”, “상사가 지원했다”, “내용이 업무와 관련 있었다”를 평균내 82점이라고 보고하면 무엇을 바꿔야 할지 알 수 없다. 행동이 낮고 지원도 낮은 집단과 행동은 높은데 내용 타당성이 낮다고 느낀 집단이 같은 점수를 받을 수 있다.

측정 질문을 먼저 두 갈래로 나눈다.

실제 사용과 수행이 달라졌는가

여기서는 관찰 가능한 행동과 산출물을 본다. 협상 교육이라면 BATNA를 기억하는지보다 실제 제안서에 대안을 만들었는지, 고객 대화에서 양보조건을 기록했는지 확인한다. 안전교육이라면 규정 지식을 맞히는 것과 위험을 발견해 보고·중지한 행동을 구분한다. 코딩 교육이라면 자기평가보다 코드리뷰의 결함 유형, 작업 완결성, 도움요청의 질을 볼 수 있다.

왜 사용하거나 사용하지 못했는가

여기서는 학습자 준비도, 내용 타당성, 연습의 현실성, 사용기회, 자기효능감, 상사·동료 지원, 도구·정책의 장벽을 진단한다. 행동이 낮을 때 재교육이 필요한지, 관리자 개입이 필요한지, 업무 프로세스를 고쳐야 하는지를 판단하려는 질문이다. 지원 점수가 높다고 전이가 일어났다고 말할 수는 없지만, 행동이 막힌 원인을 좁히는 데 필요하다.

결과 질문과 조건 질문은 같은 대시보드에 놓을 수 있지만 같은 지표로 합치지 않는다. 행동 변화가 충분한데 지원이 낮다면 개인의 비공식 노력으로 버티고 있을 가능성이 있다. 지원이 높은데 행동이 낮다면 과제 기회, 내용 타당성, 숙련 난이도를 다시 봐야 한다. 두 축의 조합이 개선 방향을 만든다.

두 번째 갈림길은 어떤 결정을 언제 내릴 것인가다

측정 시점은 ‘사후 몇 개월이 정답인가’로 정할 수 없다. 새 행동을 처음 써 볼 수 있는 날짜와 결정 마감에 맞춰야 한다. 과정 직후에는 지식·기술의 획득과 적용계획을 볼 수 있지만, 업무 전이를 관찰하기에는 이르다. 첫 과제가 2주 뒤라면 30일 측정이 가능하고, 분기 결산에서만 쓰는 역량이라면 90일도 빠를 수 있다.

다섯 시점은 각각 다른 질문에 답한다.

기준선을 건너뛰고 사후점수만 보면 변화량을 알 수 없다. 교육 전부터 잘하던 사람과 처음 배운 사람을 같은 ‘현재 수준’으로 평가하게 된다. 비교집단이 없을 때도 최소한 과거 산출물, 사전 시나리오 수행, 관리자 관찰기록 중 하나를 남겨야 한다. 사업지표는 계절성·인력변화·도구 업데이트의 영향을 받으므로 전후 차이를 교육효과로 단정하지 않는다.

측정 빈도도 응답 부담과 맞춰야 한다. 매주 40문항을 보내면 응답률과 품질이 함께 떨어진다. 짧은 반복 펄스는 핵심 장벽과 행동을 추적하고, 깊은 진단은 사전·중간·종료 의사결정에 제한한다. 언제나 묻는 대신 변화가 일어날 가능성이 있는 시점에 묻는다.

세 번째 갈림길은 누가 가장 가까이에서 증거를 볼 수 있는가다

학습자는 의도, 자신감, 보이지 않는 시도와 장벽을 가장 잘 안다. 관리자는 업무 우선순위와 반복 행동을 볼 수 있다. 동료는 협업 과정의 작은 변화를 볼 수 있고, 시스템은 실제 사용 흔적을 남긴다. 어느 한 응답자도 완전하지 않다.

• 학습자 자기보고는 적용 여부를 빠르게 넓게 묻고, 동기·인식·숨은 장벽을 이해하는 데 유용하다. 기억오류와 사회적 바람직성, 평가에 대한 불안의 영향을 받는다.
• 상사 평가는 업무 맥락과 성과 기대에 가깝지만 모든 행동을 보지 못하고 후광효과·관계 편향이 생길 수 있다.
• 동료·고객 관찰은 협업·서비스 행동을 가까이서 보지만 평가기준을 공유하지 않으면 일관성이 떨어진다.
• 업무 산출물·시스템 로그는 실제 행동 흔적을 제공하지만 행동의 질과 이유를 자동으로 설명하지 않는다. 클릭이나 사용횟수는 올바른 판단과 같지 않다.
• 객관화된 수행과제는 같은 조건에서 비교하기 쉽지만 실제 업무의 복잡성과 결과 책임을 모두 재현하기 어렵다.

중요도가 낮은 탐색 프로그램에서는 학습자 펄스와 표본 인터뷰만으로도 다음 개선을 결정할 수 있다. 반면 안전·규제·고객 손실과 연결된 역량이라면 자기보고만으로 충분하지 않다. 관찰기준을 정한 관리자 평가, 실제 산출물, 독립된 품질자료를 결합해야 한다. 증거 수준은 과정의 가격이 아니라 잘못 판단했을 때의 위험에 비례해야 한다.

응답자를 늘리는 것만으로 삼각검증이 되지는 않는다. 학습자는 ‘사용 빈도’, 관리자는 ‘수행 품질’, 로그는 ‘행동 흔적’을 보도록 역할을 나눠야 한다. 세 사람이 같은 모호한 문항에 답하면 편향만 세 번 수집한다.

도구 이름보다 문항 수·구성개념·사용 시점을 비교한다

문헌고찰의 Table 2는 독립형 도구의 차이를 구체적으로 보여 준다. LTSI version III는 총 89문항으로, 프로그램 고유 11요인 63문항과 일반 영역 5요인 26문항을 포함했다. 학습자 준비도, 전이 동기, 긍정·부정 결과, 개인 전이역량, 동료·상사 지원, 상사 제재, 지각된 내용 타당성, 전이 설계와 사용기회 같은 구성개념을 넓게 다룬다. 일반 영역에는 전이 노력과 성과 기대, 변화 저항·개방성, 수행 자기효능감, 성과 코칭 등이 포함된다.

FITT는 53문항으로 관리자 지원, 조직의 장애요인, 교육의 타당성, 조직·개인 촉진요인, 전이에 대한 개인 태도를 다뤘다. MEVIT는 28문항으로 전이기회에 대한 통제, 동기, 교육요소와 사회·업무 맥락을 포함했다. HSTEP는 5문항으로 간결했으며 교육 3개월 뒤 사용된 사례가 정리됐다. 원문 표에서 LTSI의 측정 시점은 보고되지 않았고, FITT·MEVIT·HSTEP도 각 연구의 적용 시점이 달랐다.

도구의 길이와 구성개념, 측정 시점은 서로 다르다. 유명도나 문항 수가 아니라, 이번 의사결정에 필요한 범위와 응답 부담, 사용권한, 현지 타당도를 함께 비교해야 한다.

긴 도구는 시스템 전반을 진단하는 데 유리하지만 반복측정과 현장 실행에는 부담이 크다. 짧은 도구는 빠른 펄스에 적합하지만 어떤 장벽을 고쳐야 할지 충분히 분해하지 못할 수 있다. 산업 특화 도구는 맥락 타당성이 높을 수 있으나 다른 직군과 직접 비교하기 어렵다. 선택표에는 다음 항목을 넣어야 한다.

1. 답하려는 의사결정 질문
2. 포함된 구성개념과 제외된 영역
3. 대상 집단에서의 검증 근거
4. 측정 시점과 반복 사용 가능성
5. 응답시간과 운영비용
6. 라이선스·번역·문항 수정 권한
7. 점수 해석과 오판 위험

LTSI 이름을 붙이고 일부 문항만 임의로 번역·삭제하면 기존 타당도 근거를 그대로 가져올 수 없다. 상용 척도나 저작권 있는 문항을 허가 없이 복제해서도 안 된다. 정식 도구를 쓰려면 이용조건을 확인하고, 번역본은 번역·역번역, 인지면담, 파일럿, 신뢰도와 구조 검증을 거친다. 내부 문항을 새로 만들었다면 기존 도구의 구성개념을 참고했다고 밝히고 ‘자체 진단’으로 관리해야 한다.

한 문항에는 하나의 행동, 하나의 시간창, 하나의 상황만 넣는다

도구를 직접 설계할 때는 문장 품질이 데이터 품질을 좌우한다. “나는 배운 내용을 자주 효과적으로 활용하며 동료에게도 공유한다”는 문항에는 빈도, 품질, 공유 세 행동이 섞여 있다. 무엇에 동의했는지 알 수 없다. “교육이 도움이 됐다”는 문항은 만족도와 유용성, 성과를 구분하지 못한다.

좋은 문항은 구체적인 시간창과 행동을 둔다.

• 나쁜 예: 배운 내용을 업무에 잘 적용했다.
• 개선 예: 지난 30일 동안 고객 이의제기 회의에서 교육에서 연습한 근거 확인 질문을 몇 번 사용했는가.
• 나쁜 예: 상사가 전이를 지원했다.
• 개선 예: 첫 적용 뒤 7일 안에 상사가 내 산출물을 기준표에 따라 검토했는가.

빈도와 품질도 분리한다. 새 행동을 다섯 번 썼어도 모두 잘못 적용했을 수 있다. 사용 횟수는 로그나 자기기록으로, 품질은 행동기준을 적용한 산출물·관찰평가로 본다. ‘해당 없음’을 허용해 적용기회가 없었던 사람을 미적용자로 오분류하지 않는다. 적용기회 자체는 중요한 환경 지표로 따로 집계한다.

응답척도는 질문과 맞아야 한다. 동의 척도로 실제 빈도를 묻지 않는다. 빈도는 0회, 1회, 2~3회처럼 회상 가능한 범주를 쓰고, 품질은 수행 수준의 행동 앵커를 둔다. 익명성이 필요한 조직진단과 개인 코칭용 기록도 분리한다. 평가 불이익이 예상되면 자기보고가 과장될 수 있으므로 결과 사용범위를 명확히 고지한다.

점수보다 먼저 ‘판단 규칙’을 문서화한다

데이터를 수집한 뒤 좋은 이야기를 골라내면 측정은 홍보가 된다. 사전에 어떤 패턴이 나오면 무엇을 할지 정한다. 예를 들어 다음과 같은 규칙을 둘 수 있다.

• 지식 도달은 높고 행동 사용이 낮으며 적용기회도 낮다: 재교육보다 과제·권한을 조정한다.
• 사용 빈도는 높지만 품질이 낮다: 예제 추가보다 관찰 피드백과 오류 교정을 강화한다.
• 자기보고는 높고 관리자·산출물 증거가 낮다: 문항 해석, 평가 불안, 관찰기회를 확인한다.
• 팀별 차이가 크고 관리자 지원 차이와 함께 움직인다: 콘텐츠보다 관리자 계약과 업무 배정을 시험한다.
• 행동은 바뀌었지만 사업지표가 움직이지 않는다: 지표의 시간차, 다른 원인, 목표 행동의 타당성을 재검토한다.

이 규칙은 통계적 유의성과 동일하지 않다. 표본이 작으면 신뢰구간과 개별 사례를 함께 보고, 반복 측정의 방향성과 운영 중요도를 본다. 표본이 충분하다면 사전 수준, 역할, 팀, 노출 정도를 통제한 분석과 비교집단을 고려할 수 있다. 그래도 관찰연구에서 나온 상관을 교육의 인과효과로 단정해서는 안 된다.

점수 기준도 파일럿 없이 외부 벤치마크를 가져오지 않는다. ‘4점 이상이면 전이 성공’ 같은 임의 문턱은 조직과 업무의 기준을 숨긴다. 먼저 행동기준과 허용 가능한 오류 수준을 정하고, 실제 성과·관찰과 점수 관계를 확인한 뒤 해석 범위를 좁힌다.

자기보고가 가장 흔하다는 사실은 편의성과 정확성을 구분하라는 경고다

2025년 직장 이러닝 전이의 체계적 문헌고찰은 2000년 1월부터 2024년 10월까지 문헌 31건을 분석했다. 근거리·원거리 전이를 여섯 개의 이분형 하위범주로 정리했고, 측정은 자기보고, 제3자 평가, 객관 자료로 나뉘었다. 자기보고가 가장 흔했지만 공통 척도와 방법은 부족했다.

자기보고는 버릴 자료가 아니다. 외부에서 보이지 않는 시도, 자신감, 장벽, 도움요청을 가장 효율적으로 수집한다. 문제는 그 답을 실제 수행과 같은 것으로 취급하는 데 있다. 기억은 최근 사건에 끌리고, 질문 문구와 평가 불안이 응답을 바꾸며, ‘사용했다’는 판단 기준도 사람마다 다르다.

따라서 최소 증거 묶음을 만든다. 저위험 프로그램은 학습자 자기보고 + 적용 사례 표본 검토, 중위험 프로그램은 학습자 + 관리자 행동평가 + 산출물, 고위험 프로그램은 기준화된 수행평가 + 실제 로그·품질자료 + 독립 검토처럼 설계할 수 있다. 고위험이라고 문항을 무조건 늘리는 것이 아니라, 동일 원천에 의존하지 않는 증거를 늘린다.

한국 기업은 수료율 대시보드에 네 개의 층을 더해야 한다

기존 LMS 대시보드를 폐기할 필요는 없다. 수료율과 참여율은 접근·운영의 건강도를 보여 준다. 다만 이를 학습과 전이, 성과로 부르지 않으면 된다. 대시보드를 다섯 층으로 나누면 의사결정이 선명해진다.

1. 접근·참여: 배정, 시작, 수료, 이탈, 학습시간
2. 학습 도달: 지식·기술 수행, 오류 유형, 피드백 반영
3. 전이 조건: 적용기회, 내용 타당성, 상사·동료 지원, 도구·정책 장벽
4. 업무 행동: 사용 빈도, 수행품질, 새로운 맥락에서의 사용, 유지
5. 관련 성과: 품질, 속도, 위험, 고객, 매출 등 목표와 연결된 지표

각 층에는 소유자가 다르다. L&D는 학습 도달과 도구 품질을, 현업 관리자는 과제·관찰·피드백을, 데이터 담당자는 로그와 결과지표의 정의를, HR은 평가 사용범위와 개인정보 보호를 책임진다. 한 팀이 모든 데이터를 소유하면 측정 가능성에 따라 목표가 왜곡된다.

첫 도입에서는 전사 공통 50문항보다 중요한 프로그램 하나를 고른다. 의사결정 질문 한 개, 목표 행동 두세 개, 전이 조건 세네 개, 증거 원천 두 개를 정한다. 기준선을 남기고 첫 적용 시점에 다시 측정한다. 결과가 프로그램 개선으로 실제 이어졌는지까지 기록한 뒤 다른 과정으로 확장한다.

일본 법인에서는 평가와 육성의 사용범위를 먼저 합의한다

일본 기업의 OJT와 현장 지도에서는 상사의 관찰이 중요한 증거가 될 수 있다. 하지만 인사평가와 육성 피드백이 섞이면 학습자는 실패와 도움요청을 숨길 수 있다. 자기신고、上司評価、業務ログ를 결합하기 전에 각 데이터가 코칭, 프로그램 개선, 배치, 승진 중 어디에 쓰이는지 명시해야 한다.

현지 도구를 만들 때는 문항의 일본어가 자연스러운지만 보지 않는다. 역할 경계, 稟議, 자격요건, 집단 의사결정처럼 행동이 나타나는 맥락이 한국 본사와 다를 수 있다. 공통으로 유지할 것은 목표 수행과 최소 증거이며, 관찰자와 적용 과제, 측정 시점은 현지 업무주기에 맞춘다. 한국어 설문의 점수와 일본어 설문의 점수를 직접 비교하려면 번역 등가성과 측정불변성까지 검토해야 한다.

현장 부담도 의사결정 비용으로 본다. 지도원이 매주 긴 평가표를 작성해야 하면 형식적 점수가 쌓인다. 짧은 행동 앵커와 월 1회 사례대화를 결합하거나, 이미 존재하는 업무기록에서 증거를 가져오는 편이 낫다. 측정이 OJT 시간을 잠식해 전이를 방해하지 않게 해야 한다.

좋은 도구는 더 많은 점수를 만드는 것이 아니라 다음 행동을 좁힌다

교육 전이 측정의 출발점은 설문지가 아니다. 어떤 결정을 언제 내릴지, 그 결정을 틀렸을 때 위험이 무엇인지 정하는 일이다. 행동 결과와 전이 조건을 나누고, 변화가 나타날 시간에 맞춰 측정하며, 가장 가까이에서 증거를 보는 사람과 시스템을 조합한다. 검증된 도구를 쓰더라도 구성개념, 이용권한, 번역과 현지 타당도를 확인해야 한다.

수료율은 운영 질문에 답하고, 만족도는 경험을 말하며, 자기보고는 보이지 않는 시도와 인식을 알려 준다. 어느 것도 혼자서 전이 전체를 증명하지 않는다. 좋은 측정도구는 숫자를 늘리지 않는다. 행동이 낮을 때 재교육할지, 과제를 제공할지, 관리자 지원을 바꿀지, 목표 자체를 다시 정의할지 선택지를 좁힌다. 그때 측정은 보고용 장식이 아니라 학습 시스템을 고치는 장치가 된다.

함께 읽을 글

• 교육 ROI 대시보드: 수료율 이후 HRD가 봐야 할 사업 KPI
• AI 리터러시 교육의 기준: 한 번의 특강보다 반복 훈련이 성과를 만든다
• AI 시대 기업교육의 성패는 강의 수가 아니라 성과-학습 루프에 달려 있다

출처

1. González Ortiz de Zárate 외, Workplace training transfer: a systematic scoping review of evaluation tools for adult learning, Journal of Workplace Learning, 2026년 1월 16일. https://doi.org/10.1108/JWL-03-2025-0068
2. Aidan O’Neill, Transfer of workplace e-learning: A systematic literature review, Social Sciences & Humanities Open, Vol. 11, 2025. https://doi.org/10.1016/j.ssaho.2025.101407

첫 번째 문헌고찰은 영어 출판물과 미국·고소득 국가 연구의 비중이 높고, 도구·맥락·측정 시점이 이질적이다. 두 번째 문헌고찰도 31건의 기존 연구를 종합했으며 특정 도구의 인과효과를 입증하지 않는다. 본문은 상용 척도의 문항을 복제하지 않았고, 제시한 의사결정 트리와 증거 수준은 기업교육 운영을 위한 실무 재구성이다.