같은 교육을 여러 언어로 제공했다는 사실만으로 평가 점수를 한 줄에 놓고 비교할 수는 없다. 문항의 조건이 달라졌거나 선택지가 다른 힌트를 주었다면 직원은 서로 다른 문제를 푼 셈이다. AI로 문항을 빠르게 번역할수록 교육담당자는 번역된 파일의 수와 같은 역량을 확인할 수 있는 문항의 수를 구분해야 한다.
다국어 AI 교육평가는 AI를 활용해 여러 언어의 평가 문항을 만들거나 검토·채점할 때, 언어 차이가 평가하려는 역량과 판단 기준을 바꾸지 않는지 확인하는 일이다. 여기서 필요한 평가 동등성은 글자나 문장 길이가 같다는 뜻이 아니다. 응답자가 판단에 필요한 정보를 비슷하게 얻고, 같은 수행 기준에 따라 평가받을 수 있는지를 검토하는 문제다.
최근 다국어 AI 모델 연구는 번역의 형식적 완성과 의미 보존이 다르다는 점, 번역 오류가 측정된 정답률과 관련될 수 있다는 점을 보여 준다. 다만 아래 두 연구는 모델을 대상으로 한 프리프린트이며 기업 직원의 교육효과를 시험한 자료가 아니다. 기업교육에 적용할 절차는 이 차이를 전제로 한 운영 제안이다. 실무자가 부딪히는 다섯 질문에 답하면서 비교 가능한 평가의 조건을 정리한다.
평가문항 번역 파일이 모두 열리면 검수가 끝난 것인가
파일이 열리고 문항이 비어 있지 않다는 확인은 필요하다. 그러나 그것만으로 의미가 보존되었다고 판단할 수는 없다. 보기의 개수와 정답 번호가 같아도 예외 조건이 빠지면 답이 달라질 수 있다. 평가하려는 지식은 그대로인데 특정 언어의 문장만 이해하기 어려워지는 경우도 있다. 형식, 의미, 실제 응답 과정은 각각 살펴야 한다.
2026년 10월 Al Sahili 등의 연구에서는 영어 평가 자료를 11개 목표 언어로 확장했다. 복구 작업을 수행한 두 자료 묶음에서는 계획한 문항·언어 조합 6,820개 중 6,816개가 구조적 검증을 통과했다. 이때의 99.94%는 예정된 조합을 얼마나 확보했는지를 나타낸다. 번역 의미의 정확도가 99.94%라는 뜻이 아니다. 연구진도 자동 검증만으로 언어 간 난이도 동등성을 확정할 수 없다고 구분했다.[1]
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation, p. 5 Table 3. 원문 발췌. 원본.
그림 1. 두 자료 묶음의 예정 조합과 구조적 검증 통과 조합. 99.94%는 수급·구조 검증 범위이며 직원의 정답률이나 번역 의미의 정확도가 아니다. 출처: Al Sahili, Patras & Purver, 2026, p.5 Table 3의 숫자표 발췌. 원문 내부 미번역.
기업교육에서도 문항 목록을 먼저 고정해 두는 편이 좋다. 원문 문항의 식별자에 언어별 버전을 연결하고, 번역 완료, 형식 확인, 의미 검토, 사전 시행의 상태를 나눠 기록한다. 검토가 끝난 문항만 분모에 넣어 완료율을 계산하면 실패하거나 보류한 문항이 사라진다. 전체 계획 중 어디까지 확인했는지 보여 주어야 다음 작업도 정할 수 있다.
형식 검사에는 누락된 문항, 보기의 수와 순서, 정답 표시의 연결, 그림 참조, 수치와 단위의 일치 등을 포함할 수 있다. 자동으로 확인할 수 있는 항목은 반복 작업을 줄이는 데 도움이 된다. 다만 수치가 모두 남았어도 그 수치 사이의 관계가 달라질 수 있다. 숫자 보존 검사가 계산 문제의 의미까지 검증한다고 보아서는 안 된다.
번역본을 열어 보는 담당자와 문제를 풀어 보는 담당자의 역할도 다르다. 전자는 텍스트나 화면이 정상적으로 전달되는지 확인하고, 후자는 어떤 조건을 읽고 답을 골랐는지 설명한다. 두 확인을 같은 ‘검수 완료’ 칸에 합치면 책임이 모호해진다. 작은 문항 묶음부터 상태를 구분해 운영하면 전체를 일괄 승인했다가 다시 확인하는 일을 줄일 수 있다.
이 연구의 목표 언어에는 한국어와 일본어가 포함되지 않았다. 해당 절차를 그대로 도입하면 두 언어의 문제도 해결된다는 근거로 쓸 수 없다. 우리 회사의 용어, 업무 사례, 대상자의 읽기 환경으로 따로 확인해야 한다. 참고할 것은 완료율 수치가 아니라, 파일의 성립과 문항의 의미를 구분하는 관점이다.
언어별 정답률이 다르면 직원의 역량이 다른 것인가
정답률 차이는 확인할 신호이지만 원인을 바로 알려 주지는 않는다. 사전 경험과 교육 기회, 문항 표현, 평가 시간, 화면 구성, 채점 방식이 함께 영향을 줄 수 있다. 언어별 평균만 보고 낮은 집단에 보충교육을 배정하면 문항의 문제를 직원의 부족함으로 돌릴 위험이 있다. 점수 비교 전에 무엇이 달랐는지 확인해야 한다.
Thellmann 등의 2026년 5월 연구는 원문과 대응하는 651개 문항·언어 조합에서 모델 평가 결과를 분석했다. 영어 원문의 정답 여부와 원문 자체의 문제 등을 조정한 전체 분석에서, 네 가지 AI 오류 주석 방식으로 확인한 번역 오류는 약 6~8퍼센트포인트 낮은 정답 확률과 관련됐다. 이는 모델 평가의 상관분석이며 직원의 시험 점수가 그만큼 떨어진다는 뜻이 아니다.[2]
Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation, p. 9 Figure 1. 원문 발췌. 원본; CC BY 4.0.
그림 2. 번역 오류와 모델 정답 확률의 관련성을 나타낸 원문 Figure 1. 왼쪽은 영어 정답 여부를 조정한 전체 분석, 오른쪽은 영어로 정답을 낸 경우의 분석이다. 점은 평균한계효과, 막대는 95% 신뢰구간이다. 행 이름은 오류 주석 방법이며 해당 모델 자체의 성적 순위가 아니다. 비생성 기준인 xCOMET-XXL의 왼쪽 구간은 0을 포함한다. 출처: Thellmann et al., 2026, p.9. 내부 미번역.
기업교육에 가져올 판단은 명확하다. 낮은 점수를 능력의 차이로 해석하기 전에, 평가 도구가 같은 질문을 하고 있는지 확인해야 한다. 반대로 번역 오류가 있을 수 있다는 이유만으로 실제 학습 격차를 모두 없다고 볼 수도 없다. 문항과 학습자 양쪽의 조건을 살피고, 어느 설명을 뒷받침하는 증거가 있는지 나눠야 한다.
가상 사례로, 고객 요청에서 ’예외 승인이 필요한 경우’를 고르는 문제를 생각해 보자. 한 언어에서 예외라는 조건이 빠졌다면 업무 지식을 아는 사람도 다른 답을 고를 수 있다. 다른 문항에서는 정답 보기만 유난히 자세한 표현으로 번역되어 답을 추측하기 쉬워질 수 있다. 이는 연구에서 관찰한 기업 사례가 아니라 문항 검토 시 살펴볼 오류를 설명하는 예시다.
사전 시행에서는 정답과 오답만 수집하기보다 문항을 어떻게 이해했는지 일부 응답자에게 설명하게 할 수 있다. 어떤 단어가 낯설었는지, 어느 조건이 답을 결정했는지, 보기 사이의 차이가 무엇이라고 읽혔는지 확인한다. 이 과정은 정답률 차이의 원인을 확정하는 실험은 아니다. 수정할 표현이나 추가 분석이 필요한 문항을 찾는 데 쓰는 확인 절차다.
같은 정답률이 나왔다고 난이도가 같다고 결론 내리는 것도 이르다. 우연히 평균이 같거나 서로 다른 오류가 상쇄됐을 수 있다. 국가나 언어 집단을 공통 점수로 비교하려면 표본의 준비 정도와 문항 구성, 시행 조건을 함께 검토해야 한다. 중요한 배치나 자격 판단에 쓰는 평가라면 담당 분석자와 필요한 검증 범위를 정하는 편이 적절하다.
AI가 번역하고 다른 AI가 확인하면 평가 동등성이 확보되는가
두 번의 자동 검토는 확인 경로를 늘릴 수 있지만 독립적인 정답을 만들어 주지는 않는다. 같은 원문의 모호함을 두 모델이 똑같이 해석할 수 있고, 보기의 자연스러움을 높이다가 판단에 필요한 차이를 줄일 수도 있다. 다른 모델이 ’문제없음’이라고 답했다는 사실만으로 검토를 끝내지 말아야 한다. 무엇을 비교했고 무엇을 확인하지 못했는지를 남기는 것이 중요하다.
역번역도 보조 확인 수단으로 사용한다. 번역본을 원래 언어로 되돌려 조건이 빠졌는지 확인하는 데 도움을 받을 수 있다. 그러나 원문과 비슷한 문장이 돌아왔다고 목표 언어의 독자가 같은 문제를 읽는다는 보장은 없다. 현지에서 드물게 쓰는 표현이나 보기 사이의 미묘한 차이는 역번역에서 드러나지 않을 수 있다. 역번역 결과와 실제 독자의 해석은 별도로 확인한다.
업무 전문가와 언어 검토자의 역할을 나누면 판단 근거가 선명해진다. 업무 전문가는 어떤 행동과 판단을 평가하는지, 정답을 가르는 조건이 무엇인지 확인한다. 언어 검토자는 그 조건이 자연스럽고 정확하게 전달되는지, 불필요한 단서가 추가됐는지 살핀다. 한 사람이 두 역량을 갖췄다면 두 관점을 구분해 기록할 수 있다. 역할을 나눈다는 뜻이 반드시 검토 인원을 늘리라는 것은 아니다.
원문을 그대로 지키는 것이 언제나 올바른 검토는 아니다. 원문 자체에 모호한 조건이나 잘못 연결된 정답이 있을 수도 있다. 번역자가 그것을 발견했다면 해당 언어에서만 조용히 고치지 말고 원문 담당자에게 되돌려야 한다. 원문과 다른 언어의 영향 범위를 확인한 뒤 버전을 함께 갱신한다. 영어 원문을 절대적인 기준으로 두면 최초 오류가 모든 언어로 복제될 수 있다.
현지화로 사례를 바꿀 때에는 유지할 요소를 먼저 정한다. 사람 이름이나 장소를 바꾸더라도 판단에 필요한 정보, 선택지 간 차이, 요구하는 추론은 유지할 수 있어야 한다. 특정 지역의 제도나 업무 권한이 정답을 결정한다면 단순한 표현 교체가 아니라 별도의 문항 설계가 필요하다. 서로 다른 업무 조건을 억지로 같은 문제로 취급하지 않는 것도 공정한 운영의 일부다.
AI 채점은 문항 번역과 별도로 검증해야 한다. 문항이 적절하게 번역되었다고 서술형 답안을 언어별로 같은 기준에 따라 채점한다는 보장은 없다. 의미가 유사한 답안에 같은 근거를 적용하는지, 문체나 길이를 과도하게 평가하지 않는지 확인할 필요가 있다. 앞의 두 연구를 사람의 답안에 대한 AI 채점 정확도 검증으로 제시해서는 안 된다. 자동 채점을 사용할지는 별도 검토 결과로 판단해야 한다.
모든 나라에 같은 문항과 합격선을 적용해야 공정한가
공정성은 겉으로 같은 문장을 나눠 주는 것으로 확보되지 않는다. 회사가 공통으로 요구하는 판단과 현지 업무에서 달라지는 조건을 먼저 구별해야 한다. 업무의 목적과 책임이 같은 부분은 공통 기준으로 확인할 수 있다. 다른 권한과 절차가 적용되는 부분까지 하나의 정답으로 묶으면 평가가 실제 수행과 어긋날 수 있다.
예를 들어 본사와 해외 거점에서 고객 문의를 이관하는 경로가 다르다면, 특정 부서명을 맞히는 문항을 그대로 공유하기 어렵다. 공통으로 평가할 것이 권한 밖의 요청을 식별하고 적절한 담당자에게 연결하는 판단인지부터 정한다. 이후 현지의 유효한 이관 경로를 반영한다. 이는 회사별 업무 확인을 전제로 한 설계 예시이며 국가별 절차를 일반화한 설명이 아니다.
비교 가능한 공통 부분과 현지 수행 확인 부분을 나누어 보고하는 방법도 검토할 수 있다. 전체를 하나의 총점으로 합치기 전에 각 점수가 어떤 역량을 뜻하는지 설명한다. 공통 부분의 의미와 난이도도 검증 전에는 같다고 가정하지 않는다. 현지 문항을 별도로 두었다는 이유만으로 다른 언어 집단이 더 쉬운 평가를 받는다고 단정할 수도 없다.
합격선은 번역 품질의 문제를 덮는 조정 장치로 사용하면 안 된다. 특정 언어의 점수가 낮다는 이유로 기준부터 낮추면 무엇이 문제였는지 알기 어렵다. 먼저 문항과 채점, 시행 조건을 살핀다. 수행 기준을 새로 정할 필요가 있다면 그 이유와 근거를 명확히 하고 해당 평가의 담당 체계에서 검토한다. 잘못된 문항을 낮은 합격선으로 보상하는 것은 해결이 아니다.
언어 능력 자체가 직무 역량에 포함되는 평가도 있다. 고객과 특정 언어로 소통해야 하는 역할이라면 필요한 언어 수행을 확인할 수 있다. 반대로 기술적 판단을 평가하는 문제에서 불필요하게 어려운 표현을 쓰면 다른 능력을 함께 측정하게 된다. 무엇을 평가할 것인지 먼저 정해야 언어의 차이가 제거할 대상인지, 평가할 대상인지 구분할 수 있다.
국가별 순위를 서둘러 만들기보다 비교의 범위를 설명하는 보고가 필요하다. 사용한 문항과 언어별 버전, 시행 조건, 검토 완료 범위, 아직 확인하지 못한 부분을 함께 제시한다. 비교 가능한 근거가 부족하면 공통 순위 대신 각 집단 안에서 필요한 지원을 찾는 용도로 제한할 수 있다. 같은 표에 넣을 수 있다는 이유만으로 같은 의미의 점수가 되지는 않는다.
작은 문항 묶음으로 시작한다면 무엇을 남겨야 하는가
처음부터 모든 과정을 동시에 바꾸기보다, 여러 언어에서 공통으로 쓰는 한 평가를 골라 운영을 확인하는 편이 현실적이다. 그 평가가 수료 확인인지, 학습 진단인지, 업무 배치 판단인지 정한다. 결과가 쓰이는 결정에 따라 필요한 검토의 깊이도 달라진다. 문항 수를 빨리 늘리기보다 한 문항이 어떤 근거로 승인되는지 설명할 수 있게 만드는 일이 중요하다.
기록은 원문 식별자에서 시작한다. 원문 버전, 목표 언어, 번역본 버전, 평가하려는 역량, 정답의 이유, 의미 검토자, 남은 쟁점을 연결한다. 수정할 때에는 어느 표현을 왜 바꿨는지 남긴다. 원문이 바뀌면 영향을 받는 번역본을 찾을 수 있어야 한다. 번역 파일 이름만 관리하면 오래된 정답과 새 문항이 섞일 수 있다.
교육팀은 평가 목표와 문항 목록을 관리하고, 현업은 업무 조건과 정답 근거를 확인한다. 현지 검토자는 언어와 사례의 해석을 살피며, 분석 담당자는 점수 비교의 조건을 검토한다. 담당자가 적다면 한 사람이 여러 역할을 맡을 수 있지만 확인 항목까지 합쳐 버리지는 않는다. 무엇이 완료됐고 무엇이 보류됐는지 구분할 책임은 남아야 한다.
사전 시행에서 발견한 문제는 응답자에게만 돌리지 않는다. 조건 누락이나 정답 연결 오류가 확인되면 해당 문항의 사용과 비교 범위를 검토하고 수정본을 다시 확인한다. 이미 결과를 활용했다면 영향을 받은 판단을 담당자에게 연결해 재검토한다. 조용히 파일을 바꾸고 이전 점수와 새 점수를 그대로 합치면 기록이 실제 평가를 설명하지 못한다.
운영 지표도 역할에 맞게 나눈다. 계획한 전체 문항·언어 조합 중 어디까지 확보했는지, 의미 검토를 마친 범위는 어디인지, 사전 시행에서 어떤 문제가 발견됐는지, 수정 후 무엇을 다시 확인했는지 본다. 오류 발견 건수가 많다는 이유만으로 검토가 실패했다고 평가해서는 안 된다. 중요한 것은 문제를 발견하고 처리한 상태와 아직 남은 불확실성이다.
다국어 AI 교육평가의 성숙도는 번역 속도보다 점수의 의미를 설명하는 능력에서 드러난다. AI는 초안을 만들고 비교할 항목을 찾는 데 사용할 수 있다. 최종적으로는 같은 판단을 요구하는 문항인지, 그 판단을 확인할 운영 조건이 갖춰졌는지를 책임 있게 결정해야 한다. 언어가 달라도 기준을 공유하려면 먼저 무엇이 같아야 하는지부터 분명히 해야 한다.
함께 읽을 글
출처
- Zahraa Al Sahili, Ioannis Patras, Matthew Purver. Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation, arXiv:2610.20221v1, 2026-10-14. 원문, PDF. p. 3~7, Table 3. 프리프린트. 구조적 검증과 의미·난이도 동등성은 구별하며 한국어·일본어는 목표 언어에 포함되지 않는다.
- Klaudia-Doris Thellmann, Bernhard Stadler, Michael Färber, Jens Lehmann. Quantifying the Impact of Translation Errors on Multilingual LLM Evaluation, arXiv:2605.24904v1, 2026-05-24. 원문, PDF. p. 7~10, Figure 1. 프리프린트. 번역 오류와 모델 정답률의 관련성 분석이며 사람의 교육 효과나 인과 효과를 입증하지 않는다.