학습분석 설명가능성: 직원이 납득할 수 없는 점수는 코칭이 되지 못한다

월요일 아침, 한 직원이 사내 학습 포털을 연다. 화면에는 ‘역량 위험 높음’과 추천 과정 세 개가 보인다. 지난 분기에는 보통이었는데 왜 높아졌는지, 어떤 행동이 근거인지, 누락된 프로젝트가 반영됐는지는 알 수 없다. 팀장은 다른 화면에서 같은 점수를 보고 면담 일정을 잡는다. 직원은 교육 추천을 받은 것인지, 낮은 성과자로 분류된 것인지조차 구분하지 못한다.

이 장면에서 필요한 것은 점수 옆의 도움말 아이콘이 아니다. 학습분석 설명가능성은 직원·관리자·교육담당자가 분석 결과의 목적, 데이터 근거, 계산 범위, 불확실성, 사용 한계와 다음 행동을 이해하고, 오류를 정정하거나 사람에게 이의를 제기할 수 있게 만드는 설계다. 모델의 내부 작동을 기술자에게 해설하는 것만으로 끝나지 않는다. 결과를 받은 사람이 “왜 나에게 이 결과가 나왔고, 무엇을 바꿀 수 있으며, 잘못됐다면 어디서 바로잡는가”에 답할 수 있어야 한다.

기업교육의 판단은 간단하다. 납득할 수 없는 점수는 코칭이 아니라 통지이며, 정정할 수 없는 설명은 감시의 해설에 그친다. 추천·지원용 분석과 배치·평가·보상에 영향을 주는 분석을 먼저 분리하고, 점수 화면에서 거꾸로 데이터와 운영 절차를 설계해야 한다.

질문 1. 점수를 보여 줬는데 왜 설명했다고 할 수 없는가

점수 공개와 설명은 다르다. “위험 78점”은 결과를 노출했을 뿐이다. “최근 90일의 필수과정 미완료와 역할 기준표의 공백 때문에 점수가 올랐다”는 문장은 근거를 덧붙였지만, 데이터가 맞는지, 왜 그 기준을 썼는지, 무엇을 해야 하는지는 여전히 비어 있다. “해당 역할 기준은 6개월 전 버전이며 신규 프로젝트 기록은 아직 반영되지 않았다. 직원은 프로젝트 증거를 추가하거나 사람 검토를 요청할 수 있다”까지 가야 운영 가능한 설명이 된다. 여기서 78점과 기간은 설명 구조를 보여 주기 위한 가상 예시다.

설명은 최소 세 층을 가진다.

소스코드나 전체 산식을 공개하는 것은 이 세 층의 대체물이 아니다. 복잡한 계수표는 정확해도 직원의 질문에 답하지 못할 수 있다. 반대로 짧은 문장도 목적·근거·한계·행동·구제 절차를 정확히 연결하면 더 유용하다. 설명가능성의 품질은 정보량이 아니라 올바른 사람이 올바른 결정을 내리도록 돕는가로 평가한다.

질문 2. 직원 화면에서 거꾸로 무엇을 설계해야 하는가

첫 화면은 한 문장으로 결과의 성격을 밝혀야 한다. “이 점수는 다음 달 교육 지원 우선순위를 위한 추천이며 인사평가에 사용되지 않는다”와 “이 점수는 자격 배치 검토의 참고자료이며 최종 판단은 지정 심의자가 한다”는 전혀 다른 시스템이다. 이용 목적과 실제 영향경로가 다르면 설명 수준, 검토자, 보존기간과 이의제기 시간도 달라져야 한다.

그 다음에는 역할별로 필요한 설명을 나눈다.

2023년 ECIS 선행 연구가 사용한 자극 화면은 이 차이를 선명하게 보여 준다. 직원 화면에는 자신의 조용한 시간, 회의, 감정 자기점검 같은 정보가 보이고, 팀장 화면에는 팀의 근무시간 이후 활동과 직군별 행동 비교가 보인다. 같은 시스템 안에서도 관리자가 직원보다 더 넓은 행동 정보를 가지는 구조다.

ECIS 2023 선행 학회판 Figure 2의 직원 화면(왼쪽)과 팀장 화면(오른쪽). 이 그림은 2026년 최종 저널 논문의 동일 화면이나 최종 표본을 뜻하지 않는다. 본문에서는 정보 접근의 비대칭을 설명하는 선행 자극자료로만 사용한다.

설명가능성을 강화하려면 직원에게 관리자 화면을 그대로 복제해 주는 것으로 끝내지 않는다. 어떤 항목이 왜 수집됐고, 어느 의사결정에 들어가며, 직원은 자신의 맥락을 어떻게 추가할 수 있는지까지 제공해야 한다. 관리자의 더 넓은 가시성이 정당한지, 직원의 정정권과 협의 절차가 같은 속도로 넓어졌는지도 본다.

질문 3. 한 장의 역량 점수카드에는 무엇이 있어야 하는가

점수카드는 숫자보다 먼저 데이터 계약을 보여 줘야 한다. 최소 항목은 다음 아홉 가지다.

1. 목적: 추천, 지원, 자격 확인, 위험 감지 중 무엇인가.
2. 영향: 수료·배치·평가·보상·징계에 사용되는가, 사용되지 않는가.
3. 관찰기간: 어느 날짜부터 어느 날짜까지의 데이터인가.
4. 데이터 출처: LMS, 과제, 현장 앱, 관리자 관찰, 자기보고 중 무엇인가.
5. 주요 근거: 결과에 크게 작용한 확인 가능한 사건은 무엇인가.
6. 기준과 비교집단: 직무·레벨·지역·고용형태 중 무엇과 비교했는가.
7. 불확실성과 누락: 데이터 공백, 표본 부족, 오래된 기준, 모델 적용 한계는 무엇인가.
8. 다음 행동: 학습, 과제, 코칭, 증거 추가 중 무엇을 선택할 수 있는가.
9. 정정과 이의제기: 담당자, 제출할 증거, 처리기한, 결과 통지와 복구는 어떻게 되는가.

‘주요 근거’는 모델의 feature importance를 인과설명으로 바꾸지 않는다. “과정 미완료가 점수를 12점 낮췄다”는 표현은 그 과정을 완료하면 실제 역량이 12점 오른다는 뜻처럼 읽힌다. 모델 안에서 결과에 기여한 계산상 요인인지, 관찰된 행동인지, 사람이 승인한 판단인지 구분한다. “현재 모델에서 최근 과제 증거가 없어 위험 신호로 처리됐다”와 “과제를 하지 않아 역량이 낮다”는 다른 주장이다.

비교집단도 숨은 설계가 되기 쉽다. 같은 직무명이라도 신규 입사자와 숙련자, 본사와 현장, 전일제와 단시간 근무자의 학습기회가 다르다. 점수는 개인 속성처럼 보이지만 기준집단 선택의 결과다. 직원이 자신의 기준을 확인하고 잘못된 직무·레벨 매핑을 고칠 수 있어야 한다.

질문 4. 투명하게 공개하면 신뢰가 자동으로 높아지는가

그렇지 않다. 2026년 Information & Management 논문은 독일 근로자를 대상으로 한 시나리오 설문에서 People Analytics의 기술 수준이 기술통계·예측·처방 중 무엇인지가 이론모형의 인식을 바꾸지 않았다고 보고한다. 더 중요한 것은 관리자가 직원 행동에 관해 직원 본인보다 많은 정보를 갖게 되는 정보 비대칭이었다. 프라이버시 우려는 조직 신뢰를 낮추고, 위험 인식은 유용성 인식보다 컸다. 정보 비대칭을 인식하지 못한 참가자의 반응은 덜 부정적이었다. 투명성은 사람이 위험과 효용을 판단하게 했지만, 그 판단에 따라 행동할 선택지를 주지는 못했다.

이 결론은 “설명하지 않는 편이 낫다”는 뜻이 아니다. 숨겨진 비대칭은 신뢰가 아니라 무지다. 설명이 비대칭을 드러냈다면 접근권한, 목적 제한, 정정, 선택, 이의제기, 인간 검토를 함께 바꿔야 한다는 뜻이다. 조직이 “우리는 많이 안다”고 알리면서 직원에게는 아무 권한도 주지 않으면, 설명은 감시의 범위를 확인시킬 뿐이다.

최종 논문의 선행 버전인 ECIS 2023 연구에서는 초기 551명 가운데 주의·이해 확인을 통과한 독일 근로자 338명을 분석했다. 구조모형에서 프라이버시 위험과 조직 신뢰의 경로계수는 −.575, 조직 신뢰와 이직 의도의 경로계수는 −.596이었고, 이직 의도 분산의 조정 R²는 56.1%였다. 이는 시나리오 설문과 구조모형의 연관이며 실제 이직의 인과효과가 아니다. 2026년 최종 논문의 표본·계수와 동일하다고 가정해서도 안 된다.

ECIS 2023 선행판 Figure 3과 Table 2. 프라이버시 위험, 신뢰, 유용성, 이직 의도의 구조적 연관을 보여 주지만 학습분석 점수가 실제 이직을 일으킨다는 인과증거는 아니다. 최종 저널판의 결과 수치로 인용하지 않는다.

질문 5. 개인 결과를 설명할 때 무엇을 말하지 말아야 하는가

첫째, 상관을 원인으로 말하지 않는다. “낮은 참여 빈도가 위험 점수에 기여했다”는 모델 설명과 “참여가 적어서 역량이 낮아졌다”는 인과 주장은 다르다. 교육 참여와 성과는 업무량, 관리자 지원, 프로젝트 기회, 시스템 접근성의 영향을 함께 받는다.

둘째, 데이터 공백을 사람의 결함으로 바꾸지 않는다. LMS 기록이 없다는 것은 학습하지 않았다는 뜻이 아니다. OJT, 고객 대응, 동료 지원, 문서 작성 같은 업무 경험이 다른 시스템에 있거나 기록되지 않았을 수 있다. 반대로 클릭과 체류시간이 많다고 숙련을 뜻하지 않는다. 점수카드는 ‘관찰되지 않음’, ‘미완료’, ‘낮은 수행’을 서로 다른 상태로 표시해야 한다.

셋째, 설명을 행동조작으로 쓰지 않는다. 직원이 점수를 올리기 위해 클릭 수, 로그인 시간, 과정 수를 게임하게 만들면 데이터는 좋아지고 역량은 그대로일 수 있다. 다음 행동은 지표를 올리는 요령이 아니라 실제 과제, 피드백, 코칭, 증거 추가와 연결한다.

넷째, 불확실성을 작은 글씨로 숨기지 않는다. 표본이 적거나 직무 기준이 오래됐거나 새 역할에 모델을 전용했다면 점수보다 경고가 먼저 보여야 한다. 임계값 근처에서는 ‘높음/낮음’ 대신 범위와 사람 검토 필요를 표시한다. 공급자가 신뢰구간을 제공하지 않더라도 데이터 완전성, 최근성, 적용범위, 검증집단의 공백은 조직이 설명할 수 있다.

질문 6. 이의제기는 고객센터가 아니라 학습 운영이어야 하지 않는가

맞다. 이의제기는 오류 신고 폼이 아니라 결과를 다시 판단하는 운영 루프다.

점수 통지
  → 근거·한계 확인
    → 데이터 정정 또는 맥락 증거 제출
      → 지정된 사람의 독립 검토
        → 유지·수정·취소와 이유 통지
          → 연결된 추천·배치·평가 결과 복구
            → 데이터·모델·운영 규칙 개선

접수번호만 주고 같은 모델이 자동으로 재계산하면 인간 검토가 아니다. 검토자는 점수를 만든 팀이나 직접적인 인사 이해관계자와 역할을 분리하고, 원자료·기준·모델 버전·직원 증거를 함께 볼 수 있어야 한다. 결정은 유지·수정·취소 중 하나로 기록하고, 이유와 영향을 받은 후속 시스템을 알려야 한다.

정정 범위는 화면 하나보다 넓다. 잘못된 직무코드가 추천 과정, 역량 프로필, 인재풀, 관리자 보고서로 전파됐다면 모든 파생결과를 찾고 복구한다. 처리기간 동안 불리한 결정을 보류할 조건도 정한다. 필수 자격 만료처럼 안전과 운영 연속성이 걸린 경우에는 임시 수동평가와 대체 학습경로를 마련한다.

이의제기 데이터는 모델 품질의 핵심 증거다. 접수율이 낮다고 정확한 것은 아니다. 직원이 절차를 모르거나 불이익을 걱정하거나 설명을 이해하지 못했을 수 있다. 직군·성별·연령·고용형태별 제기율, 수정률, 처리시간, 반복 오류, 철회 이유를 보되 소수집단을 다시 식별하지 않도록 집계 기준을 둔다.

질문 7. AI 리터러시 교육을 하면 설명 책임이 끝나는가

AI 리터러시는 직원에게 모델을 믿는 법을 가르치는 과정이 아니다. 어떤 시스템이 어떤 목적으로 쓰이고, 결과를 어떻게 해석하며, 위험·한계·권리와 인간 검토가 무엇인지 이해하게 하는 역량이다. 교육받은 직원만 점수를 이해해야 하는 구조라면 인터페이스가 실패한 것이다. 설명 화면은 별도 과정 없이도 핵심을 이해할 수 있어야 하고, 교육은 역할별 판단과 감독 능력을 더해야 한다.

EU AI Office의 공식 Q&A는 AI 리터러시를 조직의 제공자·배포자 역할, 시스템 위험, 직원의 기술지식·경험·교육 차이, 이용 맥락과 영향을 받는 사람에 맞춰 설계하도록 설명한다. 최소 내용에 일반적 AI 이해뿐 아니라 조직에서 쓰는 시스템, 위험과 완화, 법적·윤리적 측면을 포함한다. 한 번의 공통 이러닝과 수료증으로 충분하다고 하지 않는다.

EU AI Office Q&A의 Article 4 관련 최소 내용. 이 화면은 학습분석 점수마다 동일한 법적 의무나 보편적 설명권이 생긴다는 증거가 아니다. 2026년 Digital Omnibus의 최종 공포·발효와 각 시스템의 적용범위는 별도로 확인해야 한다.

EU AI Act Article 86도 범위를 좁게 읽어야 한다. 특정 Annex III 고위험 AI 시스템의 출력에 근거한 결정이 개인에게 법적 효과나 중대한 불리한 영향을 줄 때, 해당 사람은 AI의 역할과 결정의 주요 요소에 관한 명확하고 의미 있는 설명을 받을 수 있다. 모든 학습 대시보드, 추천, 자기계발 점수에 자동으로 적용되는 일반 조항은 아니다. 시스템이 교육·직업훈련 또는 고용·근로자 관리의 고위험 범주에 들어가는지, 실제 결정과 영향이 무엇인지, 다른 EU·국내법이 어떤 권리를 주는지 관할 전문가가 확인해야 한다.

법의 적용 여부와 별개로 HRD 운영선은 더 단순하게 둘 수 있다. 개인에게 점수를 보여 주거나 그 점수로 지원·기회를 달리한다면 목적·근거·한계·다음 행동·정정·사람 검토를 제공한다. 설명을 법무 문구가 아니라 학습 품질의 일부로 본다.

질문 8. 코칭 점수와 인사결정 점수는 어디서 갈라야 하는가

같은 모델을 ‘참고용’이라고 부르며 두 용도에 쓰지 않는다. 코칭은 사람이 더 잘 배우고 수행하도록 지원하는 활동이다. 당사자가 목표를 이해하고, 증거를 추가하며, 다른 경로를 선택하고, 실수를 안전하게 드러낼 수 있어야 한다. 인사결정은 기회·보상·배치·평가에 영향을 준다. 검증, 승인, 기록, 이의제기와 독립성의 수준이 더 높아야 한다.

용도 전환은 새 시스템 도입으로 취급한다. 자기계발 추천에 쓰던 점수를 인재선발에 연결한다면 기존 동의나 공지만 재사용하지 않는다. 목적, 데이터, 타당성, 공정성, 노무·개인정보, 설명과 이의제기를 다시 승인한다. 관리자 화면에서 CSV로 내보낼 수 있는 기능도 실제 영향경로다. 공식 API가 아니라 수기 복사로 인사자료에 들어가도 용도 전환이다.

한국 기업에서는 HRD, People Analytics, 개인정보, 노무, 정보보안, 현업 책임자가 함께 사용금지선을 적어야 한다. “교육 추천 외 사용 금지”라는 문장만 두지 말고 인재회의·승진·저성과자 관리·채용·징계 자료에 포함하지 않는지 접근권한과 로그로 검증한다. 법률 판단은 각 조직의 처리 목적과 근로관계에 맞춰 별도로 받는다.

질문 9. 설명가능성을 어떤 숫자로 운영해야 하는가

설명 화면을 만들었다는 완료율로 끝내지 않는다. 최소 세 종류의 지표를 본다.

이해 품질은 직원이 자신의 말로 점수의 목적, 주요 근거, 금지 용도, 다음 행동과 정정 방법을 설명할 수 있는지 확인한다. ‘읽음’ 클릭이 아니라 짧은 이해 확인과 사용자 인터뷰를 쓴다. 직군·언어·접근성 조건별 차이를 본다.

절차 품질은 설명 제공률, 데이터 출처 표시율, 이의제기 접수부터 첫 응답과 종결까지의 시간, 수정·취소율, 연결된 파생결과 복구율, 같은 원인의 재발률을 본다. 수정률이 높으면 모델이 나쁘다고 단정하지 않고 어떤 데이터·직무·기준에서 반복되는지 찾는다. 수정률이 0이면 완벽함보다 절차의 접근성과 독립성을 먼저 의심한다.

학습 가치는 설명 뒤 직원이 적절한 학습·코칭·증거 추가를 선택했는지, 실제 수행증거가 개선됐는지, 도움요청과 대화가 늘었는지 본다. 점수를 높이는 행동과 업무 수행을 구분한다. 교육 참여가 늘어도 필요한 사람이 과도하게 낙인찍히거나 질문을 줄였다면 성공이 아니다.

파일럿은 실제로 영향이 낮은 추천 한 가지에서 시작한다. 직무 하나, 데이터 출처 두세 개, 관찰기간 하나를 고정한다. 점수 없이 근거와 추천만 제공하는 화면, 점수와 근거를 함께 제공하는 화면을 비교할 수 있다. 다만 직원에게 불리한 결정을 실험하지 않고, 집단별로 설명 이해와 행동 선택이 달라지는지 본다. 4~6주 동안 이의제기와 데이터 정정을 열어 둔 뒤, 모델 정확도보다 설명 실패 유형을 분류한다.

출시 조건은 다음처럼 명확해야 한다.

• 목적과 금지 용도가 첫 화면에서 구분된다.
• 각 개인 결과가 확인 가능한 데이터 사건으로 역추적된다.
• 누락·오래된 기준·적용범위 밖 사례가 경고로 표시된다.
• 직원이 증거를 추가하고 사람 검토를 요청할 수 있다.
• 코치가 점수를 성실성·태도·잠재력으로 확대 해석하지 않도록 훈련받는다.
• 정정이 추천·프로필·관리자 보고서까지 전파된다.
• 모델·기준·데이터 변경 때 설명도 함께 회귀시험한다.
• 중단 뒤 점수 없이 코칭을 이어 갈 대체경로가 있다.

질문 10. 결국 좋은 설명은 무엇을 바꾸는가

좋은 설명은 점수를 더 그럴듯하게 만드는 장식이 아니다. 직원에게는 자신의 데이터와 맥락을 회복할 권한을, 관리자에게는 숫자 대신 확인할 질문을, HRD에는 분석이 책임질 수 있는 범위를 준다. “당신은 위험군이다”를 “현재 관찰된 증거는 이렇고, 빠진 정보는 이것이며, 다음 선택과 정정 절차는 여기 있다”로 바꾼다.

학습분석은 사람을 완성된 값으로 분류하는 기술이 아니라 불완전한 증거로 더 나은 지원 결정을 내리는 운영이어야 한다. 그래서 설명가능성의 마지막 항목은 산식이 아니라 행동 가능성이다. 직원이 이해하고 질문하고 고치고 선택할 수 없다면, 그 점수는 정교할수록 더 강한 일방 통지가 된다. 코칭은 점수를 전달하는 순간이 아니라 근거를 함께 해석하고 다음 행동을 합의하는 순간에 시작된다.

함께 읽을 글

• AI 리터러시 교육의 기준: 한 번의 특강보다 반복 훈련이 성과를 만든다
• AI 시대 기업교육의 성패는 강의 수가 아니라 성과-학습 루프에 달려 있다
• 중간관리자 AI 교육이 없으면 AI 도입은 팀장 앞에서 멈춘다

출처

1. Miriam Klöpper, Frantz Rowe, People analytics, trust erosion and intention to leave: the role of information asymmetry, Information & Management 63(4), Article 104346, 2026. https://doi.org/10.1016/j.im.2026.104346
2. Miriam Klöpper, Every Break You Take, Every Click You Make — Empirical Insights on Employees’ Perception of People Analytics, ECIS 2023 Research Papers 356. https://aisel.aisnet.org/ecis2023_rp/356/
3. European Commission AI Office, AI Literacy — Questions & Answers, 2025년 11월 19일 최종 업데이트. https://digital-strategy.ec.europa.eu/en/faqs/ai-literacy-questions-answers
4. European Union, Regulation (EU) 2024/1689 — Artificial Intelligence Act. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX%3A32024R1689
5. European Commission, AI Act — Shaping Europe’s digital future, 2026년 7월 20일 업데이트 확인. https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai

2026년 최종 논문은 시나리오 설문에 기반한 인식 연구이며 실제 조직 도입이나 실제 이직의 인과효과를 추정한 현장실험이 아니다. ECIS 2023 자료는 최종 논문의 선행 학회판으로, 표본과 계수를 최종판과 동일하다고 간주하지 않았다. EU 자료는 유럽 규정의 범위와 현재 입법 상태에 따라 달라질 수 있으므로 이 글은 법률 자문이 아니라 기업교육 운영 기준을 제안한다.