AI 피드백 품질, 맞는 말보다 지금 필요한 지적을 골라라

틀리지 않은 조언도 연습을 엉뚱한 곳으로 이끈다

신입 직원이 고객 불만에 답하는 연습을 한다고 가정해 보자. 답변은 정중하지만 확인되지 않은 보상을 약속한다. AI는 문장을 짧게 쓰고 공감 표현을 보강하라는 조언을 준다. 두 조언 모두 문서 편집에는 도움이 될 수 있다. 그러나 이번 교육의 목표가 권한 범위 안에서 대응하는 것이라면, 가장 먼저 다룰 문제를 놓친 피드백이다.

기업교육 담당자가 AI 피드백 품질을 검토할 때는 이 차이를 구분해야 한다. 사실에 맞는 조언인가, 지금 이 학습자에게 먼저 필요한 조언인가, 그 조언을 받은 뒤 무엇을 다시 해 보게 할 것인가. 문장이 자연스럽고 오류 설명이 정확하더라도 이 질문에 모두 답한 것은 아니다. 학습자가 수정해야 할 항목만 늘어나고 핵심 판단은 그대로 남을 수 있다.

여기서 AI 피드백 품질은 학습자의 수행을 해석하고 다음 연습을 돕는 조언의 적절성을 뜻한다. 문법 교정의 정확도나 답변 속도보다 범위가 넓다. 특히 사내강사와 현장 전문가의 역할은 생성된 문구를 매끄럽게 고치는 데 그쳐서는 안 된다. 무엇을 지금 다루고 무엇을 뒤로 미룰지 정하는 교육적 판단이 필요하다.

이 글의 고객 응대와 보고서 사례는 그 판단을 설명하기 위한 가상 상황이다. 아래의 최근 연구는 대학 글쓰기와 학교 수업을 다룬다. 기업의 모든 직무에 같은 결과가 나온다는 증거로 쓰기보다, 사내교육에서 어떤 검토를 빠뜨리고 있는지 점검하는 출발점으로 읽어야 한다.

피드백의 종류를 늘려도 초점은 한쪽에 쏠릴 수 있다

2026년 9월 공개된 Norah Almousa 등의 연구는 대학 글쓰기 수업의 교사 피드백과 언어모델이 만든 피드백을 비교했다. FeedType이라는 자료를 구축하고, 문단에 대한 피드백이 과제 조건, 개념, 내용 보강, 명확화, 오류 지적, 칭찬, 기타 중 어디에 초점을 두는지 분석했다. 여러 종류를 한 번이라도 생성하는지와 실제로 어떤 종류에 치우치는지는 별개의 평가였다.

비교한 모델들은 교사의 피드백 분포를 그대로 재현하지 못했다. 일부는 내용 보강이나 오류 지적에 더 집중했다. 아래 도표는 기본 프롬프트 조건에서 모든 수업을 합친 분포다. 막대가 높다는 이유만으로 해당 피드백이 나쁘다는 뜻은 아니다. 다만 기능 목록에 다양한 피드백이 있다는 사실만으로 상황에 맞게 사용된다고 판단할 수 없다는 점을 보여 준다.

Almousa 외, Figure 2, PDF 7쪽. 대학 글쓰기의 문단 피드백 분포이며, 기업교육 효과나 모델의 종합 성능 순위가 아니다.

학습 단계에 따른 적응성 분석은 한 교사가 맡은 작문 수업에 한정됐다. 연구의 범위를 넘어 모든 전문가의 이상적인 피드백 비율을 정할 수는 없다. 또한 교사와 분포가 비슷하다는 것만으로 학습 효과가 검증되는 것도 아니다. 실제 학습 개선을 측정한 기업교육 실험으로 소개해서는 안 된다.

사내교육에 적용할 때는 모델 이름별 우열보다 우리 과정의 피드백이 반복해서 무엇을 요구하는지 살펴볼 만하다. 문제 정의가 부족한 초안에도, 이미 방향이 정해진 최종안에도 계속 “더 자세히 설명하라”는 조언이 붙는가. 수치의 근거가 없는 문서에 표현 교정만 집중되는가. 이 질문은 평균 만족도 설문에서 찾기 어려운 운영상 문제를 드러낼 수 있다.

검토 표본도 보기 좋은 사례만 골라서는 안 된다. 초안과 수정안, 요구를 잘 이해한 학습자와 과제 조건부터 혼동한 학습자의 응답을 함께 놓는다. 고객 응대라면 정상 처리와 권한을 넘는 요청을 구분한다. 표본 수를 먼저 크게 늘리기보다 어떤 차이가 피드백 초점을 바꾸어야 하는지 정하는 편이 실무 검토에 유용하다.

전문가가 남길 것은 완성 문구보다 선택의 이유다

현장 전문가에게 AI 피드백을 수정해 달라고 요청하면 완성된 답변만 돌아오기 쉽다. 그러면 다음 검토자는 무엇이 달라졌는지는 알지만 왜 달라졌는지는 알기 어렵다. 전문가의 경험을 교육 운영에 남기려면 수정 문장과 함께 선택 이유를 기록해야 한다.

앞선 고객 응대 사례에서는 “공감 문구를 더한다”보다 “승인되지 않은 보상 약속을 먼저 제거하고 확인 절차를 설명하게 한다”가 우선일 수 있다. 이때 이유는 전문가의 개인 취향이 아니라 이번 과제의 목표와 업무상 제약에 연결돼야 한다. 같은 문장도 친절한 표현을 연습하는 과제에서는 다른 순서로 다룰 수 있기 때문이다.

검토 기록에는 AI의 원래 조언, 학습자의 수행 근거, 유지하거나 바꾼 부분, 먼저 다룰 이유, 다음 연습을 나란히 둔다. 모든 문장을 장황하게 해설할 필요는 없다. “과제 조건 누락을 먼저 수정해야 이후 표현 연습이 의미 있음”처럼 다른 강사가 판단을 재현할 만큼 구체적이면 된다.

이 표는 연구에서 검증된 채점 도구가 아니라 기업교육을 위한 운영 제안이다. 부서별로 정답이 달라질 수 있는 판단은 별도로 표시한다. 모든 검토를 하나의 점수로 합치면 사실 오류와 교육적 우선순위 차이가 섞이므로, 초기에는 항목별 판단을 남기는 것이 좋다.

학습자 진단과 AI의 해석을 같은 사실로 취급하지 않는다

Tobias Hoppe, Katharina Loibl, Timo Leuders는 2026년 9월 논문에서 AI를 활용하는 교사의 판단을 ‘메타진단’이라는 관점으로 설명했다. 교사가 직접 관찰한 단서와 AI가 자료를 해석해 내놓은 추론을 평가하고 통합하는 과정이다. AI의 분석은 이미 한 차례 해석을 거친 결과이므로 관찰된 사실과 동일하게 취급할 수 없다는 구분이 중요하다.

아래의 DiaCoM 도식은 상황과 개인의 특성, 관찰 가능한 진단 행동, 내적인 판단 과정을 연결한다. 이 논문은 개념적 분석이며 제시한 수업 상황도 이론을 설명하기 위한 구성 사례다. 도식 자체가 AI 도입으로 학습 성과가 높아졌다는 실험 결과는 아니다.

Hoppe, Loibl, Leuders, Figure 1. AI 지원 형성평가에 맞게 설명한 DiaCoM 관점. 관찰된 단서와 AI의 추론을 구분해 판단하는 개념도다.

사내교육에서도 “답변에 근거가 없다”와 “이 직원은 개념을 이해하지 못했다”는 다른 문장이다. 앞의 문장은 제출물에서 확인할 수 있지만, 뒤의 문장은 추가 설명이 필요한 해석이다. 시간이 부족해 근거를 생략했을 수도 있고, 근거가 필요한 문서라는 과제 조건을 잘못 이해했을 수도 있다. 어느 쪽인지에 따라 다음 학습 과제가 달라진다.

따라서 AI가 학습자에게 붙인 표현을 그대로 평가 기록에 옮기지 않는다. “논리력이 낮음” 같은 인물 단위의 판단 대신, 어떤 응답에서 무엇이 빠졌는지와 아직 확인하지 못한 원인을 남긴다. 추가 질문으로 원인이 확인되면 그에 맞는 연습을 제시한다. 이는 평가를 무조건 느리게 하자는 주장이 아니라, 관찰과 해석이 섞여 부정확한 지도 방향이 굳어지는 일을 줄이자는 제안이다.

전문가 역시 자신의 해석을 수정할 수 있어야 한다. AI와 의견이 다르다는 이유만으로 전문가가 늘 옳다고 가정하면 검토가 권위 확인 절차가 된다. 학습자의 설명이나 다른 과제에서 나온 수행이 기존 판단과 맞지 않을 때는 처음의 가정을 다시 확인한다. 사람과 AI 중 누구의 말을 택했는지보다 어떤 근거로 다음 연습을 정했는지가 기록의 중심이어야 한다.

사내강사 협의에서는 불일치의 원인을 분리한다

강사들이 같은 AI 피드백을 보고 다른 판단을 내릴 수 있다. 이때 무조건 일치율을 높이는 것을 목표로 삼으면 중요한 차이를 지워 버린다. 업무 규정에 대한 이해가 다른 것인지, 과제 목표를 다르게 읽은 것인지, 적절한 지원 수준을 다르게 보는 것인지 먼저 나눠야 한다.

규정이나 수치의 오류는 원문을 확인해 바로잡는다. 교육 목표가 다르다면 과정 담당자가 목표와 과제 설명을 정리한다. 학습자에게 얼마만큼 힌트를 줄지의 문제라면 다음 수행에서 스스로 판단할 기회를 얼마나 남길지 논의한다. 성격이 다른 불일치를 모두 “강사 역량 부족”으로 묶어 재교육하는 것은 원인에 맞지 않는다.

협의에 필요한 자료는 학습자 응답과 AI 코멘트만이 아니다. 과제 설명, 제출 단계, 이전에 제공한 지원, 적용되는 업무 규정을 함께 제공한다. 단, 판단에 필요하지 않은 개인 정보는 넣지 않는다. 검토자가 배경을 추측해야 하는 상황에서는 합의가 어렵고, 서로 다른 가정을 둔 채 문장만 다듬는 회의가 길어진다.

회의가 끝나면 공통으로 적용할 기준과 사례에 한정된 예외를 분리해 남긴다. “항상 더 자세히 설명하게 한다” 같은 일반 규칙보다 “최종 승인 전에 근거를 제시해야 하는 과제에서는 근거 누락을 우선한다”처럼 조건을 드러내는 문장이 낫다. 다음 사례에 적용해 보고 지나치게 넓거나 좁았던 기준을 수정한다.

수정안을 받아들였다는 사실이 학습을 증명하지는 않는다

학습자가 AI의 지적을 반영해 문서를 제출하면 운영상 처리는 끝날 수 있다. 그러나 피드백이 도움이 됐는지를 확인하려면 어떤 생각을 바꿨는지, 비슷한 업무에서 같은 판단을 할 수 있는지 살펴야 한다. 문구를 복사한 것과 판단 기준을 익힌 것을 구분할 필요가 있다.

예를 들어 보상 약속을 삭제한 뒤 “왜 이 문장을 바꿨는가”를 짧게 설명하게 한다. 이후에는 고객 요청이나 승인 조건이 조금 다른 상황을 제시한다. 학습자가 조건을 비교해 대응 방식을 정하면 처음의 수정안 반영보다 판단에 관한 근거가 더 남는다. 다만 이것도 특정 과제에서 관찰한 수행이며 장기 전이를 곧바로 증명하는 것은 아니다.

운영 데이터에서는 피드백 생성량과 학습자의 재수행을 구분한다. 코멘트가 많아졌다는 사실, 제출 속도가 빨라졌다는 사실, 유용하다는 응답이 늘었다는 사실은 각각 의미가 있지만 같은 결과가 아니다. 어떤 문제를 우선 지적했고, 그 문제를 겨냥한 다음 수행에서 무엇이 달라졌는지를 연결해 기록한다.

교육 담당자는 모든 학습자의 모든 코멘트를 읽는 구조를 처음부터 목표로 삼을 필요는 없다. 중요한 업무 제약을 잘못 해석하는 사례, 같은 지적을 반복해도 수행이 달라지지 않는 사례, 강사 간 판단이 갈리는 사례부터 검토 경로를 정할 수 있다. 일반적인 표현 교정과 업무 판단이 얽힌 피드백을 같은 검토 강도로 다루지 않는 것이다.

검토가 끝나는 시점은 문장이 아니라 다음 과제가 정해질 때다

AI 피드백 운영의 책임자는 모델을 관리하는 사람과 같지 않을 수 있다. 모델이나 프롬프트 변경은 기술 담당자가 수행하더라도, 해당 과정에서 무엇을 먼저 가르칠지는 과정 책임자와 현장 전문가가 정해야 한다. 이 결정이 모호하면 기술 문제, 콘텐츠 문제, 지도 문제를 서로 다른 팀에 넘기기 쉽다.

처음에는 한 과정의 한 과제에서 시작하는 편이 관리하기 좋다. 해당 과제가 무엇을 평가하는지, 어느 단계에서 어떤 지원을 허용하는지, 누구에게 판단을 넘길지 정한다. 검토 전후의 코멘트와 선택 이유를 보관하고, 학습자의 다음 수행을 확인할 방법을 함께 적는다. 검토 시간이 늘기만 하는지, 불필요한 지적을 줄였는지도 운영 관점에서 살펴본다.

모델이나 과제 조건이 바뀌면 이전에 문제가 없던 사례도 다시 확인한다. 같은 프롬프트를 썼다는 이유만으로 초점과 지원 수준이 계속 유지된다고 가정하지 않는다. 변경 이력과 검토 사례를 연결해 두면 반복되는 문제가 내용 자료에서 비롯됐는지, 생성 방식이나 평가 기준에서 비롯됐는지 추적하기 쉬워진다.

전문가의 가치는 AI 코멘트를 더 전문가답게 보이도록 꾸미는 데 있지 않다. 사실에 맞는 지적들 사이에서 학습 목표에 필요한 것을 고르고, 관찰과 추론을 구별하며, 학습자가 스스로 판단할 다음 기회를 설계하는 데 있다. AI 피드백 품질을 높이려면 최종 문구의 승인보다 그다음 과제까지 책임지는 검토를 만들어야 한다.

함께 읽을 글

• AI 시대 현장지도자, 답을 고쳐 주기 전에 판단을 드러내게 하라
• AI 자동채점, 출제와 같은 승인선에 둘 수 없다
• 사내강사 캘리브레이션: 강사마다 달라지는 피드백 품질을 맞추는 법

출처

• Norah Almousa, Shayan Peyghambari Oskoui, Raquel Coelho, Gayle Rogers, Xiang Lorraine Li, Diane Litman. Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing. 2026-09-23, arXiv:2609.28026v1, AIME-Con 2026 채택본. 원문. 대학 글쓰기 문단 피드백 비교, 학습 효과 실험 아님.
• Tobias Hoppe, Katharina Loibl, Timo Leuders. Rethinking teachers’ diagnostic skills in AI-supported formative assessment: from diagnosis to meta-diagnosis. Frontiers in Education 11:1857661, 2026-09-14. 원문. 개념적 분석, 기업교육 운영 절차의 효과 검증 아님.