데이터 분석 직무 2차 면접이 끝나고 세 면접관이 회의실에 남았다. 같은 40분을 들었고, 지원자는 재고 예측 모델을 다시 만든 경험을 같은 순서로 설명했다. 그런데 채점표에는 5점 만점에 4점, 3점, 2점이 적혔다. 먼저 입을 연 사람이 4점을 준 본부장이었고, 15분 뒤 세 등급은 4점으로 정리됐다. 질문지도 역량 항목도 셋이 똑같이 받았다. 달랐던 것은 답변이 아니라 그 답변을 무엇으로 치느냐였다.
면접관 교육은 질문 목록과 금지 질문 안내를 배포하는 일이 아니다. 같은 지원자의 같은 답변을 서로 다른 면접관이 같은 근거로 같은 등급에 놓도록 판정 기준을 훈련하고, 남은 편차를 측정해 다시 좁히는 운영 과정이다. 질문 설계는 무엇을 물을지 정하고, 판정 설계는 무엇을 들었을 때 몇 점을 줄지 정한다. 스킬 기반 채용이 무너지는 지점은 대개 앞쪽이 아니라 뒤쪽이다.
기업교육 관점에서 내릴 결론은 분명하다. 채용 기준을 스킬로 바꾸려면 공고 문구보다 판정자를 먼저 바꿔야 한다. 학력 요건을 지우고 역량 항목을 새로 쓴 조직에서 채용 결과가 거의 그대로였던 이유도 여기에 있다. 문서는 바뀌었는데 방에 앉은 사람의 눈금은 그대로였다.
학위 요건을 지운 공고가 채용 결과를 바꾸지 못한 이유
Burning Glass Institute와 하버드 경영대학원의 Sigelman·Fuller·Martin이 2024년에 내놓은 분석에서 2014년부터 2023년 사이 고용주가 학위 요건을 없앤 직무 수는 네 배로 늘었다. 그러나 새로 학위 요건이 사라진 공고 가운데 실제로 무학위 지원자 채용으로 이어진 비율은 4%에 못 미쳤다. 분석 대상 기업 중 3분의 1 남짓만 무학위 채용을 실질적으로 늘렸고, 나머지 3분의 2는 대졸자 채용 비중을 그대로 두거나 오히려 높였다. 2026년 Rao·Weathers·Martin의 후속 연구에서도 학위 요건을 뺀 기업의 무학위 자격 보유자 채용 비중 증가폭은 2%포인트에 그쳤다.
이 숫자를 제도의 실패로 읽으면 절반만 본 것이다. 요건을 지우는 일은 서류에서 끝나지만 채용은 사람이 결정한다. 학위 칸이 없어져도 면접관의 머릿속 기준선은 사라지지 않는다. 익숙한 학교 이름이 없으면 같은 답변이 더 얕게 들리고, 경력 공백이 있으면 같은 사례가 덜 신뢰되며, 말투가 편안하면 근거가 얇아도 통과된다.
스킬 기반 채용의 산출물은 두 종류다. 공고 문구, 역량 모델, 질문지, 채점표는 몇 달이면 완성된다. 판정은 다르다. 면접이 열릴 때마다 새로 일어나고, 그 자리에 있는 사람의 기억과 비교 대상에 따라 매번 다시 만들어진다. 앞쪽만 교체하고 뒤를 그대로 두면, 조직은 스킬 기반 채용을 도입했다고 보고하면서 예전과 같은 사람을 뽑는다.
채용에서 가장 어려운 일은 사람을 찾는 것이 아니라 스킬을 판정하는 것이다
검증이 왜 어려운지는 OECD가 2026년 스킬 우선 노동시장 보고서에 모아 둔 조사 결과에서 드러난다. 2021년 미국 중소기업 약 300곳을 대상으로 한 맥킨지 조사에서 스킬·역량·평판의 검증이 가장 큰 채용 과제로 꼽혔고, 응답자의 절반 가까이가 이를 핵심 우려로 지목했다. 2023년 고용주 1,500곳 조사에서는 하드스킬 검증이 어렵다고 답한 비율이 66%, 소프트스킬 검증이 어렵다고 답한 비율이 57%였다.
한편 영국 고용주 조사에서 채용 시 결정적이거나 상당히 중요하다고 답한 요인 1위는 관련 직무 경험으로 61%였다. 학위나 학위 동등 자격은 20%에 그쳤다. 검증하기 가장 어려운 것을 가장 크게 보고 있다는 뜻이다.
문제는 경험이 성과를 잘 예측하지 못한다는 점이다. Schmidt와 Hunter가 1998년에 정리한 메타분석에서 19개 채용 방법 가운데 일반 인지능력 검사와 업무표본 검사의 평균 타당도가 가장 높았고, 유사 직무의 경력 연수와 교육 연수는 예측력이 뚜렷하게 낮았다. 81개 연구 표본을 다시 종합한 Van Iddekinge 등의 2019년 분석도 입사 전 직무경험이 이후 성과의 나쁜 예측치라는 결론에 이르렀다.
가장 널리 쓰이는 신호가 가장 약한 예측치이고, 가장 필요한 일이 가장 어렵다. 이 간격은 도구가 아니라 훈련으로 메운다. 검사를 추가해도 검사가 걸러 주지 못하는 영역은 남고, 그 영역의 판정은 결국 면접관이 한다.
면접관이 실제로 판정하는 것은 시간 관리와 감정 조절 같은 구성개념이다
영국의 2024년 고용주 스킬 조사에서 스킬 부족으로 채우지 못한 결원의 69%는 사람·대인 스킬 부족이 원인의 일부였다. 항목별로 보면 자기 시간과 과업 우선순위 관리가 48%로 가장 많았고, 자기 감정을 다루거나 타인의 감정에 대응하는 능력이 37%, 고객 응대가 36%, 팀워크가 35%, 직원 관리와 동기부여가 35%였다.
영국 교육부의 고용주 스킬 조사 2024년 전국 보고서 52쪽 Figure 2-7. 채용에서 확보하기 어려운 스킬 상위 항목은 대부분 표준 시험으로 정리되지 않고 면접에서 사람이 판정하는 구성개념이다.
이 목록의 성격을 보면 왜 등급이 갈리는지 설명이 된다. 코딩 테스트는 알고리즘 숙련을 가려 주지만 “일정이 겹쳤을 때 스스로 우선순위를 조정했는가”는 가려 주지 않는다. 자격증은 회계 지식을 증명하지만 이견이 있는 상대와 합의에 이르렀는지는 증명하지 않는다. 시험이 답을 주지 못하는 영역이 결원이 가장 많이 생기는 영역이고, 그 판정은 방 안의 사람에게 남는다.
구성개념은 이름만 있고 정의가 없으면 각자 다른 것을 잰다. 팀워크라는 한 단어를 누구는 갈등 조정 행동으로, 누구는 일정 공유의 성실성으로, 누구는 회의에서의 발언량으로 읽는다. 같은 답변에 다른 등급이 붙는 것은 주의력의 문제가 아니라 정의의 문제다.
등급을 가르는 것은 질문이 아니라 증거의 등급이다
같은 답변을 듣고도 등급이 갈리는 첫 이유는 면접관마다 인정하는 증거의 수준이 다르기 때문이다. 채용 면접의 증거는 세 단계로 나뉜다.
| 증거 등급 | 지원자가 제시하는 것 | 확인 방법 | 이 등급만으로 줄 수 있는 최대 |
|---|---|---|---|
| 말한 것 | 역할, 책임 범위, 판단 기준에 관한 진술 | 후속 질문으로 구체성과 일관성 확인 | 다음 단계 진행 여부 판단 |
| 한 것 | 본인이 실제로 수행한 행동, 시점, 상대, 결과 | 상황·행동·결과 순서로 되짚어 묻기 | 직무 요건 충족 가능성 |
| 검증된 것 | 산출물, 과제 수행, 평판 조회, 자격·기록 | 원본 확인, 업무표본, 제3자 확인 | 최종 합격 등급 |
앞의 40분짜리 면접으로 돌아가면 차이가 그대로 드러난다. 4점을 준 사람은 지원자가 서술한 행동을 ’한 것’으로 받아들였고, 2점을 준 사람은 모델을 다시 만들었다는 진술을 뒷받침할 산출물이 없다고 보아 ’말한 것’에 묶어 두었다. 3점을 준 사람은 절충했다. 셋 다 성실했고 셋 다 다른 규칙을 썼다.
운영 규칙은 단순하다. 증거 등급을 올리지 못하면 점수를 올리지 않는다. 채점표에는 점수와 함께 그 점수를 지지하는 증거가 어느 등급인지 적는다. 그러면 디브리핑에서 “왜 4점입니까”가 아니라 “그 판단은 어느 등급의 증거에 기대고 있습니까”를 물을 수 있다. 앞 질문은 방어를 부르고, 뒤 질문은 확인 절차로 이어진다.
척도만 주고 앵커를 주지 않으면 면접관은 각자의 기억을 기준으로 삼는다
구조화 수준이 높은 면접일수록 타당도와 함께 평가자 신뢰도, 평가자 간 일치도가 올라가고 특정 집단에 대한 불리한 영향은 줄어든다. 미국 인사관리처가 정리한 구조화 면접 기준에서 최고 수준의 구조화는 모든 지원자에게 같은 질문과 같은 후속 질문을 던지는 데서 끝나지 않고, 답변을 숙련 수준의 기준점에 맞춰 채점하는 데까지 간다. 질문만 통일하고 기준점을 주지 않으면 구조화는 절반에서 멈춘다.
1점부터 5점까지 척도를 주고 각 점수에 미흡·보통·우수·탁월 같은 형용사만 붙이면 면접관은 비교 대상을 스스로 찾는다. 대개는 최근에 본 지원자이거나 지금 그 자리에서 일하고 있는 사람이다. 앞 순번에서 강한 지원자를 본 면접관의 3점과, 약한 지원자를 연달아 본 면접관의 3점은 같은 숫자가 아니다.
앵커는 그 비교 대상을 문장으로 고정하는 장치다. 일본 경제산업성이 산업계와 함께 만든 IT 스킬 표준은 11개 직종군과 35개 전문 분야에서 스킬별 숙련 수준을 문장으로 정의한다. 마케팅 직종의 판매채널 전략 분야에서 커뮤니케이션 스킬의 레벨 4는 특정 제품의 전략을 맡은 팀 리더로서 팀원과 소통하며 과업을 수행하는 수준이고, 레벨 5는 소규모 시장에서 마케팅 활동을 실행하며 사내 관리자와 소통하는 수준이다. 레벨 6은 복수 제품군과 서비스 라인을 책임지며 중간 규모 시장의 운영을 설계하고 경영진과 소통한다.
OECD의 2026년 스킬 우선 노동시장 보고서 78쪽 Table 4.4. 세 레벨을 가르는 것은 형용사가 아니라 책임 범위, 시장 규모, 소통 상대라는 세 축이다.
여기서 배울 것은 마케팅 직무의 내용이 아니라 문장의 구조다. 채용 면접의 앵커도 같은 방식으로 쓴다. “커뮤니케이션이 뛰어남” 대신 “이해관계가 다른 타 부서 관리자와 합의를 만들고 그 결과를 문서로 남긴 경험을 두 건 이상 설명한다”처럼 관찰 가능한 대상과 규모를 넣는다. 앵커에 사람의 성격을 묘사하는 단어가 들어가면 판정은 다시 각자의 인상으로 돌아간다.
캘리브레이션 세션은 회의가 아니라 같은 자료로 함께 채점하는 실습이다
면접관 교육을 강의로만 하면 편차는 줄지 않는다. 편향의 이름을 아는 사람과 모르는 사람이 같은 답변에 같은 점수를 주지는 않는다. 편차는 같은 자료로 함께 채점하고 차이의 이유를 확인하는 반복에서만 줄어든다.
- 실제 면접 녹취나 모의 면접 영상, 지원자 과제 산출물을 자료로 쓴다. 가상의 사례로 만든 대본은 실제 판정에서 갈리는 애매한 지점을 담지 못한다.
- 참가자는 자료를 보고 각자 채점한 뒤 점수와 근거를 제출한다. 이때 다른 사람의 점수를 보지 않는다.
- 진행자는 점수 분포를 동시에 공개하고, 2점 이상 벌어진 항목만 골라 토론한다. 일치한 항목에 시간을 쓰지 않는다.
- 토론의 질문은 “누가 맞았는가”가 아니라 “당신은 어느 문장을 어느 등급의 증거로 읽었는가”다.
- 세션이 끝나면 논쟁이 된 지점을 앵커 문장에 반영한다. 세션의 산출물은 합의된 점수가 아니라 개정된 앵커다.
한 번으로 끝나는 세션은 오래가지 않는다. 직무가 바뀌고 면접관이 교체되므로 직무군별로 채용 시즌 시작 전에 한 번, 시즌 중간에 한 번 여는 편이 현실적이다. 세션 기록은 다음 세션의 교재가 된다.
독립 채점을 먼저 하지 않으면 남는 것은 합의가 아니라 동조다
앞의 사례에서 세 사람의 등급이 4점으로 모인 것은 판정이 일치한 결과가 아니다. 먼저 말한 사람의 숫자가 나머지의 기준점이 된 결과다. 디브리핑을 시작하면서 점수를 공개하고 토론하면, 직급이 높은 사람이나 목소리가 큰 사람의 판단이 자연스럽게 출발점이 된다. 그 뒤의 대화는 검증이 아니라 조정이 된다.
구조화 면접의 표준 절차는 순서가 반대다. 패널 구성원이 지원자 답변을 각자 채점한 뒤, 점수 차이가 큰 항목을 토론으로 해소한다. 순서를 뒤집으면 그 토론은 이견 해소가 아니라 최초 발언의 확장이 된다.
절차 하나만 바꿔도 문제의 상당 부분이 줄어든다. 면접이 끝나면 방을 나가기 전에 각자 채점표를 봉하고, 디브리핑에서 모든 점수를 동시에 공개한 뒤 벌어진 항목만 다룬다. 이 순서를 지키면 조직은 덜 오염된 판정과 면접관 사이의 실제 편차 데이터를 함께 얻는다. 조정된 뒤의 점수만 남기면 편차는 기록에서 사라지고, 사라진 편차는 교육 대상이 되지 않는다.
토론에서 다뤄야 할 것은 최종 등급이 아니라 판단의 경로다. 같은 답변을 한 사람은 주도적 역할로, 다른 사람은 팀 성과를 자기 것으로 옮긴 서술로 읽었다면, 그 차이는 지원자의 문제가 아니라 앵커의 공백이다. 진행자는 결론을 내리는 사람이 아니라 이 공백을 찾아 기록하는 사람이다.
판정 이력이 없으면 편차가 큰 면접관은 끝까지 발견되지 않는다
면접관 자격을 한 번 부여하고 끝내는 조직에서는 누가 계속 후하게 주는지, 누가 특정 배경의 지원자에게만 엄격한지 아무도 모른다. 사후에 문제가 드러나도 근거가 남아 있지 않다. 판정 권한은 자격증이 아니라 유효기간이 있는 운영 권한으로 다뤄야 한다.
- 초기 인증은 교육 이수가 아니라 채점 실습 통과로 판정한다. 기준 사례 세트에서 다수 판정과 일정 범위 안에 들어야 면접에 투입한다.
- 재인증 주기를 정한다. 1년에 한 번, 또는 해당 직무군 면접을 6개월 이상 하지 않았다면 다시 실습을 거친다.
- 면접관별 판정 이력을 남긴다. 평균 점수, 항목별 점수 분포, 최종 채용자의 온보딩 이후 평가와의 관계를 함께 본다.
- 편차가 큰 면접관을 배제 대상이 아니라 코칭 대상으로 다룬다. 후하게 주는 습관과 특정 항목만 낮게 주는 습관은 다른 처방이 필요하다.
이 데이터를 인사평가에 연결하면 곧바로 왜곡이 생긴다. 면접관들이 중간 점수로 몰리고 근거 기록이 형식적으로 바뀐다. 판정 이력은 다음 교육 회차를 설계하는 자료로만 쓰고, 사용 범위를 처음부터 문서로 못 박아 둔다.
AI가 후보를 좁혀도 판정의 책임은 사람에게 남는다
지원자 규모가 커지면 초기 선별은 알고리즘의 몫이 된다. 알고리즘은 사람의 특정 편향을 줄이기도 하지만, 설계와 학습 데이터와 사용 방식에 따라 기존 편향을 재생산하거나 증폭한다. 선별 도구를 넣으면서 면접관 교육을 줄이는 조직은 판정의 총량을 줄인 것이 아니라 판정 위치를 옮긴 것이다.
OECD 국가 평균으로 2025년부터 2030년 사이 채용에서 스킬 평가를 위해 사전 검사를 쓰겠다고 답한 고용주는 절반에 가까웠고, 약 3분의 1은 성격 검사나 논리 추론 검사 같은 심리측정 도구를 쓰겠다고 답했다. 검사와 면접을 함께 쓰는 구조에서 위험한 것은 두 결과가 어긋날 때 규칙이 없는 상태다. 검사 점수가 높은데 면접 등급이 낮으면 무엇을 우선하고 누가 책임지는지 미리 정하지 않으면, 매번 그 자리에서 즉흥적으로 결정된다.
편향을 줄이는 절차 자체도 검증 대상이다. 핀란드 최대 고용주인 헬싱키시는 2020년에 13개 직무를 골라 익명 선별을 시범 운영했고, 이민 배경 지원자가 면접에 초대되고 최종 채용되는 비율이 높아졌다. 임금과 이직률에서 유의한 차이는 없었고 전체 지원자 수, 특히 여성 지원자 수는 늘었다. 다만 익명 선별은 서류 단계의 단서를 지울 뿐이다. 면접이 시작되면 판정은 다시 사람에게 돌아온다.
채용 판정 기준과 교육 평가 기준이 어긋나면 온보딩이 그 비용을 치른다
면접에서 4점을 받은 사람이 입사 후 같은 역량 항목에서 초급으로 분류되면, 조직은 교육을 다시 설계하거나 그 사람의 성장 속도를 문제 삼는다. 대개는 뒤쪽을 고른다. 그러나 원인은 사람이 아니라 두 기준이 다른 것을 재고 있다는 데 있다.
이 어긋남은 세 지점에서 생긴다. 첫째, 채용의 척도와 교육의 척도가 다른 단어를 쓴다. 채용은 5점 척도로, 교육은 초급·중급·고급으로 관리하면 변환식이 사람마다 달라진다. 둘째, 채용은 잠재력을 보고 교육은 현재 수행을 본다. 같은 항목이라도 판정 시점의 질문이 다르다. 셋째, 채용 채점표가 입사 시점에 폐기된다. 근거 기록이 넘어가지 않으면 온보딩은 아무 정보 없이 처음부터 다시 진단한다.
해법은 두 기준을 합치는 것이 아니다. 채용은 채용의 질문을, 교육은 교육의 질문을 유지하되 같은 스킬 식별자를 쓰고 채점표의 근거 문장을 온보딩 담당자에게 넘긴다. 확인된 것과 확인하지 못한 것을 구분해 넘기면 첫 3개월 설계가 달라진다. 확인하지 못한 항목이 온보딩의 우선 과제가 되고, 확인된 항목에서는 중복 교육을 뺀다.
한국 기업의 면접관 교육은 대개 면접 사흘 전 자료 배포에서 끝난다
한국 기업의 면접관 교육 현실은 대체로 비슷하다. 채용 시즌 며칠 전 인사팀이 면접 진행 안내와 질문지, 금지 질문 목록을 보내고 1시간짜리 사전 설명회가 열리기도 한다. 여기까지가 교육의 전부이고 그다음은 각자의 경험과 감각에 맡겨진다. 현업 관리자에게 면접은 본업이 아니라 시즌마다 얹히는 업무여서 준비 시간을 더 요구하기도 어렵다.
이 조건에서 효과가 큰 것은 시간을 늘리는 쪽이 아니라 순서를 바꾸는 쪽이다. 설명회를 제도 안내로 채우는 대신 실제 지원자 답변 두세 개를 함께 채점하고 갈린 지점만 다루면, 같은 1시간이 다른 결과를 낸다. 질문지에 앵커 문장을 붙이고 채점표에 증거 등급 칸을 한 줄 추가하는 것도 시간을 거의 쓰지 않는다.
저항도 예상해야 한다. 면접관과 지원자 모두 구조화 수준이 낮은 면접을 선호하는 경향이 있다. 대화가 자연스럽고 서로 통했다는 느낌이 남기 때문이다. 그 느낌이 판정의 정확도와 같지 않다는 점을 먼저 합의하지 않으면 절차는 시즌 중반에 조용히 풀린다. 임원과 팀장이 같은 면접에 들어가는 구성에서 독립 채점을 지키려면, 절차가 권위보다 앞선다는 말을 인사팀이 아니라 경영진이 먼저 해야 한다. 면접관 배정도 관성으로 두지 않는다. 특정 관리자가 3년 내내 같은 직무의 면접을 혼자 맡고 있다면, 그 직무의 채용 기준은 사실상 그 사람의 기준이다.
면접관 교육의 성과는 합격률이 아니라 여섯 개의 편차 지표로 본다
교육 만족도와 이수율로는 판정 품질을 알 수 없다. 합격률도 답이 아니다. 기준이 느슨해져도 올라가고 지원자 풀이 나빠져도 내려간다. 면접관 교육이 작동했는지 확인하려면 편차 자체를 봐야 한다.
- 디브리핑 전 점수의 산포: 같은 지원자에 대한 독립 채점 점수의 최대·최소 차이가 교육 전후로 줄었는가.
- 2점 이상 벌어진 항목의 비율: 어떤 역량 항목에서 반복적으로 벌어지는가. 그 항목의 앵커가 개정 대상이다.
- 증거 등급 기록률: 채점표에 점수만 있고 근거 등급이 비어 있는 비율은 얼마인가.
- 면접관별 평균 이탈도: 같은 직무군에서 특정 면접관의 평균 점수가 전체 평균과 얼마나 떨어져 있고, 그 차이가 시간이 지나도 유지되는가.
- 채용 판정과 온보딩 평가의 어긋남: 면접 상위 등급자가 입사 후 같은 역량에서 낮게 평가되는 비율은 얼마인가.
- 탈락 사유의 서술 가능성: 불합격 사유를 앵커 문장과 증거 등급으로 설명할 수 있는 건수의 비율은 얼마인가.
여섯 지표를 한 점수로 합치지 않는다. 산포가 줄었어도 모두가 중간 점수로 몰린 결과일 수 있고, 이탈도가 큰 면접관이 유일하게 증거를 요구하는 사람일 수도 있다. 직무군별로, 역량 항목별로 나눠 보고 앵커 개정으로 이어지는지 확인해야 의미가 있다.
면접 질문지를 다시 만드는 일은 한 달이면 끝난다. 판정을 맞추는 일은 끝나지 않는다. 사람이 바뀌고 직무가 바뀌고 지원자가 바뀌는 동안 편차는 계속 새로 생긴다. 스킬 기반 채용을 제도가 아니라 운영으로 다루겠다는 결정은, 질문을 늘리는 대신 판정자를 계속 훈련하고 그 편차를 계속 측정하겠다는 결정과 같은 말이다.
함께 읽을 글
출처
- OECD, A Skills-First Labour Market, Getting Skills Right, 2026: https://www.oecd.org/en/publications/a-skills-first-labour-market_2e1b85f0-en.html
- Department for Education, Employer Skills Survey 2024: Full UK research report, 2026: https://www.gov.uk/government/publications/employer-skills-survey-2024-uk-findings
- U.S. Office of Personnel Management, Structured Interviews, Assessment & Selection: https://www.opm.gov/policy-data-oversight/assessment-and-selection/other-assessment-methods/structured-interviews/