“좋은 프롬프트를 하나 써 보세요.” AI 교육 뒤 평가에서 자주 나오는 과제다. 응시자는 역할, 목적, 출력 형식, 제약 조건을 길게 적는다. 모범 템플릿과 비슷하면 높은 점수를 받는다. 그러나 실제 업무에서는 처음부터 필요한 맥락을 모두 알기 어렵고, 모델의 첫 답도 완전하지 않다. 질문을 고치고, 빠진 조건을 찾고, 출처를 확인하고, 때로는 AI 사용을 중단하는 과정에서 유창성이 드러난다.
AI 유창성은 말을 길게 거는 기술이 아니다. 목표를 분명히 하고, 적절한 상호작용 방식을 선택하며, 결과의 품질과 위험을 판별하고, 인간의 책임 아래 작업을 완성하는 행동 묶음이다. 한 번의 프롬프트보다 대화 전체에서 어떻게 탐색·위임·검증·수정했는지가 중요하다. 도구 기능이 바뀌어도 이 행동은 남는다.
기업교육이 평가해야 할 대상도 프롬프트 문법에서 업무 판단으로 옮겨가야 한다. “페르소나를 넣었는가”를 세는 시험은 템플릿 기억을 잰다. “고객의 모호한 요구를 확인했는가”, “AI가 만든 수치를 원문과 대조했는가”, “민감정보를 빼고 필요한 맥락을 제공했는가”를 관찰하면 실제 업무 역량을 본다. 결과물, 대화 행동, 짧은 설명을 함께 묶어야 한다.
프롬프트를 잘 쓰는 사람과 AI를 잘 다루는 사람은 다르다
정교한 첫 프롬프트가 유용한 상황은 분명히 있다. 반복 업무의 입력과 출력이 안정적이고 품질 기준이 명확하면 템플릿이 시간을 줄인다. 문제는 모든 AI 업무를 첫 입력의 완성도로 평가할 때 생긴다. 불확실한 업무에서는 좋은 사용자가 처음부터 답을 안다고 가장하지 않는다. 작은 시도로 모델의 이해를 확인하고, 빠진 정보를 보충하며, 결과를 보고 문제 정의 자체를 바꾼다.
프롬프트 중심 시험은 세 가지를 놓친다. 첫째, 대화 중에 드러나는 진단 능력이다. 모델이 질문을 오해했을 때 사용자는 표현만 바꾸는지, 목표·대상·자료의 문제를 다시 보는지 살펴야 한다. 둘째, 결과 이후의 판별 능력이다. 그럴듯한 답을 채택하지 않고 사실·논리·맥락·권리를 확인하는 행동이다. 셋째, 사용하지 않을 판단이다. 기밀, 고위험 결정, 설명할 수 없는 자동화에서는 사람 검토나 다른 도구로 전환해야 한다.
산출물만 채점하면 우연히 좋은 답을 받은 사람과 체계적으로 품질을 만든 사람을 구분하기 어렵다. 반대로 대화 로그만 보면 최종 책임과 업무 품질을 놓친다. 평가는 세 층으로 설계한다. 산출물은 기준을 충족했는지, 대화 행동은 어떻게 품질을 만들었는지, 설명은 왜 그 선택을 했는지 확인한다. 세 증거가 서로 맞을 때 유창성을 인정한다.
초보자에게 “전문가처럼 프롬프트를 쓰라”고 요구하면 표현 기술이 직무지식을 가릴 수 있다. 영업 신입이 화려한 구조를 쓰더라도 고객 수익성의 핵심 변수를 모르면 좋은 의사결정을 만들지 못한다. 숙련자가 짧은 질문으로도 중요한 가정을 빠르게 검증할 수도 있다. 글자 수, 명령문 수, 특정 키워드를 점수화하지 말아야 하는 이유다.
9,830개 대화가 드러낸 흔한 행동과 드문 행동
Anthropic이 2026년 2월 공개한 AI Fluency Index 연구는 9,830개의 대화를 분석했다. 24개 행동을 검토하고, 대화에서 안정적으로 관찰할 수 있는 11개 지표를 제시했다. 가장 흔한 행동은 반복이었다. 85.7%의 대화에서 사용자가 후속 상호작용을 했다. 목표를 명료화한 비율은 51.1%, 예시를 제공한 비율은 41.1%, 출력 형식과 상호작용 방식을 지정한 비율은 약 30%였다.
가장 눈에 띄는 공백은 검증이었다. 사실을 확인하는 행동은 8.7%에 불과했다. 이 수치를 모든 AI 사용자에게 그대로 일반화해서는 안 된다. 분석 대상, 모델, 대화 맥락, 행동 탐지 방식이 특정되어 있고, 관찰되지 않은 행동을 사용자가 전혀 하지 않았다고 단정할 수도 없다. 그럼에도 조직이 교육에서 반복과 형식 지정은 많이 가르치면서 사실 확인과 맥락 보완을 덜 다루는지 점검하게 만드는 신호다.
반복은 흔했지만 사실 확인은 드물었다. 공식 연구 페이지의 원본 도표를 변형하지 않고 사용했다.
비율을 합격선으로 쓰면 안 된다. “반복을 세 번 했으니 유창하다”거나 “모든 대화에서 사실 확인이 있어야 한다”는 뜻이 아니다. 사실 확인이 필요 없는 창작 브레인스토밍도 있고, 한 번의 명확한 질문으로 끝나는 단순 업무도 있다. 행동의 존재보다 과업 위험과 목적에 맞는 행동을 적절한 시점에 선택했는지가 중요하다.
조직은 내부 대화 로그를 같은 방식으로 무단 분석해서는 안 된다. 원 연구의 공개 지표를 학습 설계 참고로 쓰는 것과 직원의 실제 대화를 인사평가에 수집하는 것은 전혀 다른 문제다. 사내 평가는 합성 데이터와 모의 과제로 운영하고, 필요할 경우 행동 여부만 기록한다. 실제 로그를 쓰려면 목적, 고지, 접근권한, 보존기간, 삭제, 이의제기를 정해야 한다.
반복이 유창성을 키우지만 횟수만 세면 안 된다
연구에서 반복이 관찰된 대화는 8,424개, 반복이 없었던 대화는 1,406개였다. 반복이 있는 상호작용에서는 목표 조정, 맥락 보완, 결과 수정 같은 다른 유창성 행동도 더 나타났다. 첫 답을 끝으로 보지 않고 대화를 진행하는 태도가 여러 행동의 기회를 만든다는 의미다.
반복은 그 자체의 점수보다 문제를 재정의하고 결과를 개선하는 기회로 해석해야 한다.
그러나 반복 횟수는 쉽게 게임화된다. 같은 요청을 표현만 바꿔 여러 번 보내거나, 목적 없이 “더 좋게”를 반복해도 횟수는 늘어난다. 오히려 모델의 확신을 키우고 잘못된 방향에 고착될 수 있다. 평가자는 각 반복이 무엇을 바꿨는지 본다. 새로운 근거를 넣었는가, 실패 원인을 진단했는가, 품질 기준을 구체화했는가, 반례를 시험했는가가 관찰 대상이다.
좋은 반복은 네 유형으로 나뉜다. 탐색 반복은 문제 공간과 가능한 대안을 넓힌다. 명료화 반복은 대상, 제약, 성공 기준을 구체화한다. 검증 반복은 사실, 계산, 출처, 반례를 확인한다. 수정 반복은 발견한 문제에 따라 결과와 워크플로를 고친다. 한 과제에서 네 유형이 모두 필요하지는 않지만, 사용자는 어떤 반복이 지금 필요한지 설명해야 한다.
교육 과제는 첫 답을 의도적으로 불완전하게 만들 수 있다. 고객 요청에 중요한 예산 조건을 빼거나, 서로 충돌하는 두 자료를 주거나, AI 답에 오래된 수치를 섞는다. 학습자가 단순 재요청으로 끝내는지, 부족한 맥락을 찾아 질문하고 근거를 대조하는지 관찰한다. 정답을 빨리 얻는 것보다 오류가 있는 대화를 회복하는 능력을 본다.
반복 효율도 평가한다. 고급 사용자는 필요 없는 왕복을 줄이고 중요한 불확실성에 집중한다. “몇 회 이상”을 요구하면 짧게 끝낼 수 있는 업무를 늘린다. 루브릭에는 반복의 수 대신 변화의 질, 중단 기준, 최종 검증을 넣는다. 같은 실패가 세 번 이어지면 다른 자료나 사람에게 전환하는 판단도 유창성이다.
산출물을 만들수록 검증 행동이 줄어드는 역설
AI가 표, 파일, 코드 같은 산출물을 만든 대화는 1,209개였고 그렇지 않은 대화는 8,621개였다. 산출물이 있는 대화에서는 사실 확인이 3.7%포인트, 추론을 묻는 질문이 3.1%포인트, 빠진 맥락을 찾는 행동이 5.2%포인트 낮게 관찰됐다. 완성된 형태가 사용자의 검증을 줄였을 가능성을 시사한다.
완성된 파일이나 표는 신뢰감을 높이지만, 내용 검증을 대신하지 않는다. 차이는 연관이며 인과로 단정하지 않는다.
이 결과는 산출물 생성이 나쁘다는 뜻이 아니다. 표와 코드는 업무 생산성의 핵심 가치다. 또한 관찰 연구의 차이는 과업 유형, 대화 길이, 사용자의 목적 등 다른 요인에서 나왔을 수 있다. 기업교육이 취할 결론은 산출물을 금지하는 것이 아니라 완성도가 주는 신뢰 착시를 상쇄하는 검증 절차를 넣는 것이다.
표를 만들게 했다면 행·열 정의와 원자료 연결을 확인한다. 코드를 만들게 했다면 테스트 사례, 실패 조건, 의존성, 보안 검토를 제출하게 한다. 문서를 만들게 했다면 주요 주장마다 출처와 최신성을 표시하고, 반대 근거를 하나 이상 찾게 한다. 산출물 유형별로 검증 행동이 달라야 한다.
‘artifact’가 보이면 평가자가 더 높은 점수를 주는 편향도 경계한다. 잘 정돈된 슬라이드와 실행되는 데모는 설득력이 크지만, 학습목표가 문제 정의와 위험 판단이라면 시각적 완성도는 제한적으로 채점한다. 내용 정확성, 근거, 예외, 책임 있는 수정이 먼저다. 디자인 기준이 필요하면 별도 항목으로 분리한다.
산출물을 받는 동료의 검증 가능성도 유창성에 포함한다. 파일 안에 출처, 가정, 버전, 수정자, 검토 상태를 남겨야 다른 사람이 이어서 판단한다. 혼자 좋은 결과를 얻는 능력에서 팀이 검토 가능한 결과를 만드는 능력으로 기준을 높이는 것이다.
11개 행동을 직무 과제로 바꾸는 채점표
11개 지표를 모든 직무에 같은 비중으로 적용하면 또 다른 체크리스트 시험이 된다. 먼저 직무 장면을 고른다. 빈도, 오류 피해, 불확실성, 협업 필요성, 민감정보를 기준으로 AI 사용이 중요한 3~5개 장면을 선택한다. 그 장면에서 필요한 행동만 루브릭으로 가져온다.
예를 들어 채용 공고 개선 과제에서는 목표·대상 명료화, 차별적 표현 점검, 법적·사내 기준 확인, 대안 비교가 중요하다. 재무 요약 과제에서는 데이터 범위, 계산 검증, 기간 일치, 출처, 예외 에스컬레이션이 핵심이다. 창의적 캠페인 과제에서는 탐색 폭, 브랜드 제약, 저작권 위험, 인간의 선택 이유를 본다. 같은 ‘AI 활용’도 행동 조합이 다르다.
| 평가 축 | 관찰 질문 | 초급 행동 | 숙련 행동 |
|---|---|---|---|
| 목표 명료화 | 무엇을 위해 누구에게 쓰는가 | 받은 요청을 그대로 입력 | 이해관계자·성공기준·제약을 재정의 |
| 맥락 관리 | 필요한 정보와 금지 정보는 무엇인가 | 자료를 과다 입력하거나 핵심을 누락 | 최소 맥락을 제공하고 민감정보를 제외 |
| 반복·조정 | 첫 답의 문제를 어떻게 고쳤는가 | 목적 없는 재요청 | 실패 원인을 진단하고 조건을 변경 |
| 판별 | 무엇을 확인하고 버렸는가 | 매끄러운 답을 바로 채택 | 사실·논리·편향·권리를 원문과 대조 |
| 책임 | 언제 사람에게 넘기거나 중단했는가 | 모든 결정을 AI에 위임 | 위험 수준에 따라 검토·중단·에스컬레이션 |
과제는 결과물과 행동 메모를 함께 받는다. 행동 메모에는 중요한 선택 세 개, 버린 답과 이유, 확인한 출처, 남은 불확실성을 쓰게 한다. 모든 대화를 제출시키지 않아도 된다. 평가자는 결과와 메모가 맞는지 짧은 구술로 확인한다. 이 방식은 사후에 꾸며 쓴 설명을 줄이고 실제 판단을 드러낸다.
치명 오류는 총점과 별도로 둔다. 고객 개인정보 입력, 존재하지 않는 출처 채택, 안전 경고 무시, 법적 결정을 무검토 자동화한 경우에는 문장 품질이 높아도 통과시키지 않는다. 치명 오류의 범위는 직무 SME, 보안, 법무, 현업이 함께 정한다. 너무 넓게 잡으면 학습자가 실험하지 않고, 너무 좁으면 위험을 놓친다.
대화 로그를 평가할 때 지켜야 할 프라이버시 선
실제 업무 대화는 풍부한 증거처럼 보이지만 평가용으로 가장 먼저 선택할 데이터는 아니다. 개인의 미완성 생각, 고객정보, 건강·노무 정보, 동료에 대한 의견, 영업비밀이 섞인다. 모델 공급자와 사내 시스템에 이미 저장된 로그라도 교육 부서가 인사평가에 재사용할 권한이 자동으로 생기지 않는다.
우선순위는 모의 과제의 관찰 데이터다. 합성 고객, 가상 수치, 승인된 샌드박스를 사용하고 평가에 필요한 행동만 태깅한다. 원문 대신 “목표 확인 여부”, “출처 대조 여부”, “에스컬레이션 여부”처럼 최소 신호를 남긴다. 평가자도 전체 대화를 볼 필요 없이 선택 이유와 결과를 확인한다.
실제 로그가 꼭 필요하면 목적 제한을 문서화한다. 교육 개선인지, 자격 인증인지, 품질 감사인지 구분하고 서로 다른 보존기간과 접근자를 둔다. 직원에게 수집 범위와 결과 사용을 알리고 자신의 기록을 열람·정정할 경로를 제공한다. 관리자에게 개인별 프롬프트 전문을 일괄 제공하지 않는다.
자동 행동 탐지 모델도 검증 대상이다. 11개 지표가 관찰 가능하다는 연구 결과가 한국어·일본어 사내 대화에서 같은 정확도를 보장하지 않는다. 짧은 표현, 존댓말, 내부 약어, 도메인 용어가 분류를 바꿀 수 있다. 표본을 사람이 이중 코딩해 오탐·누락을 확인하고, 모델 점수만으로 인증이나 인사결정을 내리지 않는다.
평가 데이터와 운영 로그를 분리하면 학습자의 심리적 안전도 지킨다. 처음 배우는 사람은 실패하고 잘못 묻는 과정을 거친다. 그 기록이 저성과 증거로 남는다고 느끼면 모범 답안만 복제한다. 교육 공간의 실험을 보호하면서 고위험 업무의 책임 기록은 별도 통제로 관리해야 한다.
초급·중급·고급을 도구명이 아니라 판단 수준으로 나눈다
초급은 승인 도구를 안전하게 열고 기본 요청을 만드는 수준에 머물지 않는다. 목표와 대상, 금지 데이터를 확인하고, 결과를 사람이 검토해야 한다는 사실을 안다. 단순 과제에서 명백한 오류를 찾고, 모르는 부분을 표시한다. 기능 메뉴를 많이 아는 것보다 안전한 시작과 중단이 중요하다.
중급은 업무 맥락에 맞게 상호작용을 조정한다. 첫 답을 진단하고 부족한 자료를 보충하며, 사실·수치·출처를 원문과 대조한다. 여러 대안을 비교하고 자신의 선택 이유를 남긴다. 반복 업무에는 템플릿을 만들되 모델과 데이터가 바뀌면 다시 검증한다.
고급은 AI를 포함한 워크플로를 설계하고 다른 사람의 검토 가능성을 높인다. 과업을 인간·AI·규칙 기반 시스템으로 분해하고, 위험에 따라 승인선을 둔다. 편향과 실패 사례를 찾아 레드팀 테스트를 설계하며, 로그와 산출물의 계보를 관리한다. 필요할 때 자동화를 멈추고 조직의 통제를 바꾼다.
OECD와 유럽연합 집행위원회가 2026년 6월 제시한 AI Literacy Framework는 Engage, Create, Manage, Shape의 네 영역과 19개 역량을 둔다. 단순 사용을 넘어 AI와 상호작용하고, 함께 만들고, 사용을 관리하고, 시스템의 사회적 방향에 참여하는 구조다. 학교교육을 위한 프레임워크이므로 기업 직무등급의 검증된 기준으로 그대로 쓸 수는 없다. 다만 유창성을 프롬프트 작성 하나로 축소하지 않는 개념적 지도는 제공한다.
네 영역과 19개 역량은 AI 사용, 창작, 관리, 사회적 형성까지 범위를 넓힌다. 기업에서는 직무 위험과 책임에 맞춰 다시 타당화해야 한다.
한국 기업의 레벨 체계는 직급과 분리하는 편이 안전하다. 신입도 특정 도구 조작은 빠를 수 있고, 임원도 위험 판단과 책임 배분에서는 고급 행동을 보일 수 있다. 일본 기업의 職能資格이나 OJT 평가도 연차가 아니라 관찰 행동과 담당 가능한 업무 범위로 연결한다. 각 레벨은 교육 이수시간이 아니라 독립 수행과 검토 책임으로 정의한다.
한 사람의 점수를 팀의 운영조건과 함께 읽어라
행동 점수가 낮다고 곧바로 개인 역량 부족으로 결론 내리면 교육이 조직 문제를 가린다. 사실 확인을 하지 않은 직원에게 원문 데이터베이스 접근권한이 없었을 수 있다. 맥락을 충분히 제공하지 못한 이유가 기밀 입력 금지와 승인된 대체 데이터 부재일 수 있다. 반복 없이 첫 답을 쓴 배경에는 시간당 처리량을 요구하는 KPI가 있을 수 있다. 행동은 개인과 환경의 상호작용이다.
평가 결과표에 네 개의 환경 항목을 붙인다. 승인 도구에 실제로 접근했는가, 검증할 원자료가 제공됐는가, 작업시간에 검토가 포함됐는가, 관리자와 동료가 이의제기를 받아들이는가다. 같은 점수라도 조건이 다르면 처방이 달라진다. 접근이 없으면 도구·데이터 문제를 해결하고, 시간이 없으면 프로세스와 KPI를 바꾸며, 이의제기가 막히면 관리자 행동을 다룬다.
팀 분포도 평균 하나로 읽지 않는다. 목표 명료화는 높고 검증이 낮은 팀, 반복은 많지만 중단 판단이 약한 팀, 개인 간 차이가 큰 팀을 나눈다. 첫 번째 팀에는 원문 대조 절차, 두 번째 팀에는 실패 전환과 에스컬레이션, 세 번째 팀에는 업무기회와 코칭 접근의 차이를 확인한다. 같은 ‘AI 유창성 과정’을 전사에 반복하는 대신 행동 공백별로 모듈을 배치한다.
관리자 평가도 함께 본다. 관리자가 AI 산출물을 빠르게 승인하고 출처 확인을 요구하지 않으면 직원의 검증 행동은 정착하기 어렵다. 관리자를 위한 과제에서는 부하가 제출한 AI 보조 문서에 어떤 질문을 던지는지 관찰한다. 근거, 예외, 민감정보, 책임자, 중단 기준을 묻는 행동이 있어야 팀의 유창성이 유지된다.
성과지표와 행동지표의 관계는 일정 기간 뒤 검증한다. 검증 행동이 높은 사람이 실제 재작업과 고객 정정을 줄였는지, 반복의 질이 높은 팀이 예외 처리 속도를 높였는지 본다. 관계가 없으면 행동 정의나 관찰 과제가 잘못됐을 수 있다. 연구에서 제시된 11개 지표를 권위 있는 고정 목록으로 두지 말고 내부 업무 결과와 연결해 계속 다듬는다.
People Analytics에서는 작은 집단의 순위를 공개하지 않는다. 직무, 성별, 연령, 장애, 고용형태별 차이를 살피되 표본이 작으면 개인이 추정된다. 격차가 보이면 능력 차이라고 단정하지 않고 도구 접근, 언어, 과제 친숙도, 평가자 편향을 조사한다. 개인 프롬프트를 공개해 우수사례로 공유할 때도 당사자의 동의와 기밀 제거가 필요하다.
한국·일본의 실제 문서로 언어 편향을 시험한다
영어로 개발된 행동 탐지와 교육 사례가 한국어 업무에서 같은 방식으로 작동한다고 가정하지 않는다. 한국어는 주어와 목적을 생략하고 맥락을 이어가는 표현이 많다. 짧은 후속 질문이 목표 명료화인지 단순 수정인지 자동 분류가 놓칠 수 있다. 사내 약어와 제품명, 존칭, 숫자 단위도 모델과 평가자의 해석을 바꾼다.
한국 기업의 모의 과제는 실제 결재 문서와 고객 대화의 구조를 반영한다. 예를 들어 임원 보고 요약에서는 결론을 앞세우되 근거 수치와 책임 부서를 보존하게 한다. 고객 답변에서는 정중한 표현보다 약속 가능한 범위와 예외 에스컬레이션을 본다. 공공기관·금융·의료처럼 규제가 강한 업무는 공개 모델 대신 승인 환경과 합성 자료를 쓴다.
일본어에서는 主語の省略、敬語、社内用語、稟議の前提가 행동 관찰을 어렵게 한다. 모호한 요청을 그대로 받지 않고 関係者、決裁条件、期限を確認したか를 본다. AI가 만든 자연스러운 경어가 실제 권한을 넘어선 약속을 포함하지 않는지 확인한다. 稟議書에서는 결론의 매끄러움보다 반대 의견, 리스크, 승인 조건, 원자료 링크가 남았는지가 중요하다.
OJT 관찰자는 결과물만 보지 말고 짧은 질문을 사용한다. “最初の回答で何を疑ったか”, “どの情報を入力しなかったか”, “誰の確認が必要か”에 답하게 한다. 한국어판에서도 “무엇을 빼고 왜 뺐는가”, “어디서 사람 검토로 넘겼는가”를 묻는다. 같은 행동 개념을 유지하되 언어와 조직의 의사결정 방식에 맞게 질문을 현지화한다.
다국적 조직에서 국가별 점수를 직접 순위화하는 것도 피한다. 사용할 수 있는 모델, 데이터 접근, 법적 의무, 문서 형식이 다르면 과제 난이도가 같지 않다. 공통 핵심행동은 유지하면서 사례와 합격선을 현지 책임 범위에 맞춘다. 국가는 서로 비교하는 단위보다 각자 개선 전후를 보는 단위로 삼는다.
언어별 루브릭을 만들 때는 번역가만이 아니라 현업 SME와 평가자가 함께 표본을 코딩한다. 같은 대화의 행동 존재와 수준을 독립 판단하고, 불일치 이유를 기록한다. 단어가 없어서가 아니라 암묵적 맥락 때문에 판단이 달라졌다면 예시를 추가한다. 자동 분석은 이 인간 기준이 안정된 뒤 보조적으로 사용한다.
인증보다 코칭에 먼저 쓰는 이유
새 루브릭을 곧바로 사내 인증과 승진에 연결하면 평가자는 안정적으로 채점하기 전에 큰 결정을 내리게 된다. 학습자는 행동을 개선하기보다 점수에 맞춘 흔적을 만든다. 첫 1~2회는 형성평가와 코칭에 사용해 어떤 문항이 직무를 대표하는지, 평가자 간 차이가 어디서 생기는지 확인한다.
코칭 피드백은 “프롬프트가 부족하다”가 아니라 다음 행동을 제시한다. 목표가 모호했다면 이해관계자와 성공 기준을 한 문장씩 쓰게 한다. 검증이 빠졌다면 핵심 주장 세 개의 원문을 찾게 한다. 반복이 길었다면 각 회차에서 바뀐 가정과 중단 기준을 표시하게 한다. 행동은 다음 과제에서 다시 관찰한다.
팀 단위 피드백도 중요하다. 사실 확인이 낮은 이유가 개인의 태도만은 아닐 수 있다. 원문 데이터 접근권한이 없거나, 처리량 KPI가 검증 시간을 허용하지 않거나, 관리자부터 AI 결과를 바로 쓰고 있을 수 있다. 개인 점수와 함께 도구·데이터·업무량·승인선의 장벽을 조사한다.
인증으로 전환할 때는 평가자 보정, 경계 점수의 이중 채점, 합리적 편의, 이의제기, 재평가를 둔다. 자동 탐지 점수는 보조 자료로만 쓴다. 직무와 언어별 오탐을 확인하고, 모델 버전이 바뀌면 재검증한다. 인증의 유효기간과 담당 가능한 업무 범위도 명확히 한다.
평가자 보정에서는 우수 답안만 공유하지 않는다. 결과물은 좋지만 검증 흔적이 없는 사례, 반복은 많지만 목표가 바뀌지 않은 사례, 산출물은 미완성이어도 치명 오류를 발견해 중단한 사례를 함께 채점한다. 어느 행동이 총점보다 우선하는지 토론하고 불일치 이유를 루브릭에 반영한다. 경계 점수는 두 평가자가 독립 판단한 뒤 합의하며, 학습자에게는 점수보다 다음 과제에서 바꿀 행동을 알려준다.
운영 첫 분기에는 합격률 목표를 두지 않는다. 특정 직군의 합격률이 예상보다 낮으면 교육 난이도, 과제 친숙도, 데이터 접근, 평가자 엄격도를 먼저 확인한다. 인증 규모를 늘리기 전 실제 업무 품질과의 관계가 나타나는지 검증한다. 행동 지표가 현업 결과를 설명하지 못하면 사람을 더 훈련시키기보다 지표와 과제를 고친다.
AI 유창성 평가의 목적은 가장 길고 정교한 프롬프트를 쓴 사람을 찾는 것이 아니다. 불완전한 대화에서 목표를 세우고, 필요한 맥락을 제공하고, 결과를 의심하고, 근거를 확인하고, 책임 있게 고치거나 멈추는 사람을 기르는 일이다. 11개 행동 지표는 순위표가 아니라 이런 판단을 관찰하고 코칭하기 위한 출발점이다.
함께 읽을 글
출처
- Anthropic, The AI Fluency Index: https://www.anthropic.com/research/AI-fluency-index
- OECD and European Commission, Empowering learners for the age of AI: An AI literacy framework for primary and secondary education: https://www.oecd.org/content/dam/oecd/en/publications/reports/2026/06/empowering-learners-for-the-age-of-ai_2f8315e7/65cd27d4-en.pdf