AI 에이전트 승인 훈련, 확인한 작업과 실행되는 작업을 연결하라

승인 버튼이 있으면 사람의 감독이 작동한다는 착각

AI 에이전트 승인 훈련은 에이전트가 제안한 행동의 대상, 범위, 영향을 확인하고 자신의 권한 안에서 실행 여부를 결정하는 연습이다. 답변의 정확성을 검토하는 교육과는 다르다. 여기서 판단 대상은 문장이 아니라 실제로 바뀔 업무 상태다. 누구에게 자료가 전달되는지, 어느 기록이 수정되는지, 어떤 권한이 사용되는지가 핵심이다.

사람이 마지막에 승인하도록 만들었다고 해서 감독이 완성되지는 않는다. 승인 화면이 실제 행동을 충분히 보여 주지 않거나 승인 이후 실행 대상이 바뀐다면, 사람은 자신이 의도하지 않은 작업에 권한을 빌려주게 된다. 이 문제를 직원의 집중력 부족으로만 설명하면 교육은 잘못된 곳에 힘을 쏟는다.

기업교육 담당자는 먼저 두 질문을 분리해야 한다. 직원이 주어진 근거를 읽고 적절히 판단할 수 있는가. 그리고 시스템이 직원에게 실제로 실행될 행동을 보여 주고 그 판단을 끝까지 지키는가. 첫 질문에는 훈련이 필요하고, 두 번째에는 기술적 통제와 운영 검증이 필요하다. 어느 한쪽을 다른 쪽의 대체물로 쓸 수 없다.

승인 교육의 목표를 ’주의 깊게 읽기’에만 두면 실습도 경고문 찾기로 좁아진다. 그러나 실제 업무에서는 익숙한 문장과 정상적인 화면 사이에서 승인 범위를 판단해야 한다. 무엇을 허용했고 무엇은 허용하지 않았는지 설명할 수 있어야 하며, 필요한 정보가 보이지 않으면 판단을 미루고 확인할 수 있어야 한다.

설명이 맞는 것과 실행이 같은 것은 별개의 조건이다

Adithyan Arun Kumar가 2026년 9월 공개한 사전공개 논문 Loopjacking: Hijacking Human-in-the-Loop Approval은 사람이 이해하고 승인한 작업과 제품이 실제로 실행하는 작업의 연결 실패를 다룬다. 핵심은 승인이 존재했는지가 아니라, 그 승인이 어느 구체적인 행동에 적용됐는지다.

논문은 목적에 맞춰 선택한 제품과 구성에서 승인과 실행의 연결을 시험했다. 시장 전체를 대표하는 표본이 아니며, 특정 버전과 조건에서의 결과다. 사람이 얼마나 잘 속는지 측정한 사용자 실험도 아니다. 따라서 이 자료로 기업 직원의 오승인 비율이나 교육 효과를 계산할 수는 없다.

기업교육에서 가져올 결론은 분명하다. 승인 훈련은 화면을 읽는 순간만 다루어서는 부족하다. 승인할 때 이해한 대상과 실행에 사용되는 대상이 연결돼야 한다는 원리를 가르쳐야 한다. 단, 직원에게 보이지 않는 내부 상태 변화를 눈으로 찾아내라고 요구해서는 안 된다. 그 연결을 시스템이 보장하는지 확인할 책임은 별도로 남는다.

Kumar, Figure 1, PDF 3쪽. 사람이 승인한 작업과 다른 작업이 실행되는 실패, 그리고 실행 전 현재 작업을 대조하는 안전 경로를 구분한다. 직원 교육 효과를 측정한 그림은 아니다.

예를 들어 사내 자료의 공유 초안을 만드는 일과 외부 수신자에게 전송하는 일은 다른 승인 범위다. 파일명이 같아도 다른 버전의 첨부물이라면 영향이 달라질 수 있다. 이런 차이는 기술 명령어를 암기하지 않아도 업무 언어로 설명할 수 있다. 교육은 바로 그 언어를 시스템의 실제 확인 항목과 연결해야 한다.

처음부터 덜 보인 경우와 승인 뒤 바뀐 경우를 나눠 연습한다

같은 ’승인 오류’라도 발생 시점이 다르면 필요한 대응이 달라진다. Kumar는 두 유형을 구별한다. 하나는 실제 요청에 중요한 내용이 이미 포함돼 있지만 승인 화면이 이를 빠뜨리거나 다르게 보여 주는 경우다. 다른 하나는 사람이 올바른 작업을 승인한 뒤 대기 중인 상태가 변경되고, 이전 승인이 다른 작업에 사용되는 경우다.

첫 유형에서는 설명과 구체적인 실행 정보 사이의 차이를 확인하는 연습이 중요하다. ’자료 정리’라는 요약만 보지 말고 수정 대상과 외부 전송 여부를 확인해야 한다. 정보가 제공되지 않는다면 담당자에게 확인을 요청하는 판단이 필요하다. 모든 내용을 읽었다는 태도만으로 보이지 않는 정보를 보완할 수는 없다.

둘째 유형에서는 변경을 재판단하는 규칙이 중요하다. 승인한 뒤 수신자, 파일, 적용 범위가 바뀌면 기존 승인을 그대로 이어갈 수 있는지 확인해야 한다. 여기서 직원 교육은 재승인을 요구할 업무 조건을 정하는 역할을 한다. 승인 이후 변경을 감지하고 실행을 막는 것은 시스템이 수행해야 한다.

Kumar, Figure 2, PDF 4쪽. 왼쪽은 검토 전에 이미 존재한 표시 불일치, 오른쪽은 승인 후 상태 변경이다. 두 유형을 같은 부주의 문제로 처리하지 않는다.

현업 실습에서는 이 구분을 어려운 공격 재현으로 가르칠 필요가 없다. 가상의 문서 공유 요청과 승인 기록, 변경된 요청을 제공하고 ’다시 판단해야 하는 변경인가’를 설명하게 할 수 있다. 실제 계정이나 고객 자료를 사용하지 않아도 승인 범위의 차이는 충분히 연습할 수 있다. 이 글의 실습안은 연구에서 검증된 교육 프로그램이 아니라 기업교육을 위한 적용 제안이다.

승인 범위를 대상·행동·조건으로 다시 말하게 한다

승인자는 에이전트의 설명을 그대로 읽어 주는 데서 멈추면 안 된다. 자신이 허용할 행동을 짧게 다시 표현할 수 있어야 한다. 어떤 자료를 누구에게 어떤 방식으로 처리하며, 어느 조건을 넘어가면 다시 확인해야 하는지 말할 수 있다면 판단 범위가 드러난다.

가상의 실습에서 ’고객 안내를 처리해도 된다’는 답은 범위가 지나치게 넓다. ’검토된 안내문을 지정된 수신자에게 보내는 작업만 허용하며 첨부물이나 수신자가 달라지면 다시 확인한다’는 답은 경계를 보여 준다. 이 문장을 조직의 모든 업무에 복사할 필요는 없다. 중요한 것은 결과에 영향을 주는 조건을 업무별로 구체화하는 것이다.

확인 항목은 업무에 맞춰 달라져야 한다. 문서 공유라면 수신자와 첨부물, 공개 범위가 중요할 수 있다. 데이터 수정이라면 대상 기록과 수정 필드, 적용 건수의 범위가 중요할 수 있다. 비용이 발생하는 작업이라면 조직이 정한 권한과 집행 조건이 연결된다. 교육팀이 모든 분야의 권한 기준을 새로 만드는 것이 아니라 해당 업무 책임자와 함께 기준을 확인해야 한다.

평가자는 설명의 길이보다 판단에 필요한 요소를 포함했는지 본다. 장황한 요약을 잘하는 직원이 반드시 승인 범위를 이해한 것은 아니다. 반대로 간결하게 말해도 대상과 행동, 변경 조건을 정확히 짚었다면 좋은 판단일 수 있다. 문장 표현력과 업무 권한 판단을 혼동하지 않아야 한다.

설명할 수 없는 행동을 안전하다고 간주하지 않는다

Xiaoqi Weng의 2026년 6월 사전공개 논문 What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents는 승인 화면이 에이전트의 설명이 아니라 실제 행동에 근거해야 한다는 조건을 제안한다. 또한 분석기가 충분히 분류할 수 없는 행동을 문제없는 행동처럼 통과시키지 말고, 검토할 수 없는 상태임을 드러내야 한다고 구분한다.

이 연구는 완성된 운영 시스템을 검증한 결과가 아니다. 분석과 표시, 실행 연결을 다루는 개념검증이며, 모든 행동이 통제를 거치게 하는 조건과 신뢰할 수 있는 승인 경로 일부는 구현된 결과가 아니라 가정으로 남아 있다. 사람이 표시 내용을 이해하는지 역시 후속 사용자 연구가 필요한 영역이다. 이 한계를 빼고 ’승인 화면만 바꾸면 해결된다’고 읽어서는 안 된다.

기업교육으로 옮기면, 확인할 수 없다는 판단을 정당한 결과로 인정해야 한다. 정보가 부족한 상황에서도 반드시 승인 또는 거절 중 하나를 찍게 하면 학습자는 추측을 배운다. 승인 보류 후 필요한 근거를 요청하는 행동, 자신의 판단 권한을 벗어난 사안을 적절한 담당자에게 넘기는 행동도 평가 대상이어야 한다.

다만 모든 모호함을 무조건 다른 부서로 넘기는 습관을 만들자는 뜻은 아니다. 요청이 불완전한지, 본인의 전문성이 부족한지, 시스템이 실행 정보를 제공하지 못하는지 구분해야 한다. 세 경우에 필요한 후속 조치가 다르다. 자료를 보완하면 되는 일을 기술 장애로 처리하거나, 시스템의 정보 부족을 개인 교육 부족으로 돌리지 않도록 해야 한다.

실습은 정답 버튼보다 판단 근거와 후속 행동을 남긴다

훈련 과제는 정상 요청, 정보가 빠진 요청, 승인 후 중요한 조건이 바뀐 요청을 함께 포함하는 편이 좋다. 모든 사례가 수상하면 학습자는 이유 없이 거절하는 전략으로 높은 점수를 받을 수 있다. 허용된 정상 업무를 적절히 진행하는 판단도 감독 역량의 일부다.

이 표는 교육 설계안이다. 업무마다 승인 정책과 시스템 동작이 다르므로 실제 운영 기준과 맞춰 사용해야 한다. 특히 이미 실행됐는지 모르는 상태에서 같은 요청을 다시 보내는 문제는 승인 판단과 실행 상태 확인을 함께 다뤄야 한다. 교육용 환경에서는 모의 결과를 사용해 판단만 연습하고 실제 외부 영향을 만들지 않는다.

학습자는 결론과 함께 자신이 확인한 근거, 부족한 정보, 다음 조치를 남긴다. 평가자는 이 기록을 보고 왜 적절했는지 피드백한다. ’더 꼼꼼히 보라’는 말은 다음 행동을 바꾸기 어렵다. ’수신자 이름만 확인했고 실제 주소와 공유 범위를 확인하지 않았다’처럼 관찰 가능한 차이를 설명해야 한다.

재평가에서는 문구만 바꾼 같은 사례를 반복하지 않는다. 같은 원리를 다른 업무 맥락에 적용하게 한다. 문서 공유에서 익힌 범위 판단을 기록 수정 과제로 옮기거나, 정상 요청에 중요한 변경이 추가된 상황을 제시할 수 있다. 단순히 이전 정답을 기억하는지보다 판단 원리를 옮겨 쓸 수 있는지 확인하려는 목적이다.

승인자를 늘리기 전에 누가 무엇을 판단할지 정한다

불안하다는 이유로 승인자를 계속 추가하면 책임이 선명해지기보다 흐려질 수 있다. 앞사람이 내용을 확인했을 것이라고 기대하거나, 마지막 승인자가 모든 기술적 조건까지 검증할 것이라고 생각하기 쉽다. 여러 사람이 보는 것과 서로 다른 판단을 맡는 것은 구별해야 한다.

현업 책임자는 업무 목적과 대상의 적합성을 판단한다. 권한 관리 담당자는 누가 어느 범위까지 허용할 수 있는지 확인한다. 시스템 담당자는 표시와 실행이 연결되고 중요한 변경이 차단되는지 검증한다. 교육팀은 각 역할이 필요한 정보를 읽고 전달할 수 있도록 실습을 설계한다. 실제 조직에서는 한 사람이 여러 역할을 맡을 수 있지만 역할의 내용까지 섞어서는 안 된다.

관리자 교육에는 ’직원이 승인했으니 책임을 다했다’는 사고를 점검하는 장면이 필요하다. 직원에게 보이지 않는 정보나 검증 불가능한 조건을 맡겼다면 교육 이수 여부만으로 문제를 해결할 수 없다. 승인자의 판단 부담이 권한과 정보 수준에 맞는지 먼저 살펴야 한다.

새로운 에이전트를 도입할 때도 같은 원리가 적용된다. 사용법 교육을 배포하기 전에 승인 화면에서 어떤 정보를 확인할 수 있는지, 변경 시 어떤 동작이 발생하는지, 보류된 요청을 누가 처리하는지 함께 확인한다. 교육자료의 화면과 실제 운영 화면이 다르면 학습자가 배운 판단 경로를 사용할 수 없다.

승인 속도를 높이기보다 근거 없는 승인을 줄인다

승인 교육의 성과를 처리 속도 하나로 평가하면 빠른 동의를 장려할 수 있다. 반대로 거절 비율만 높게 평가하면 정상 업무까지 멈추게 만들 수 있다. 중요한 것은 조건에 맞는 진행, 보류, 거절, 재확인의 판단이었는지다.

교육 평가에서는 승인 범위를 정확히 설명한 비율, 누락된 정보를 찾아 요청한 경우, 중요한 변경을 재판단한 경우, 권한 밖 요청을 적절히 전달한 경우를 살필 수 있다. 이런 항목은 교육팀의 제안이며 두 논문이 검증한 성과 지표는 아니다. 실제 운영에 적용할 때는 업무의 위험과 빈도, 제공되는 정보 수준을 고려해 기준을 정해야 한다.

운영에서 잘못된 승인이 발견되면 개인의 지식 부족, 화면의 정보 부족, 실행 연결의 실패를 나눠 조사한다. 같은 실수가 반복돼도 원인이 다르면 처방이 달라진다. 추가 교육이 필요한 경우도 있지만, 승인 화면이나 권한 구조를 먼저 고쳐야 하는 경우도 있다. 교육 담당자가 모든 문제를 재수강으로 닫지 않는 것이 중요하다.

AI 에이전트 승인 훈련이 길러야 할 것은 버튼 앞에서의 긴장감이 아니다. 무엇을 허용하는지 설명하고, 확인할 수 없는 것은 확인을 요청하며, 중요한 변경에는 다시 판단하는 능력이다. 그 판단이 실제 실행과 연결되도록 시스템과 운영이 뒷받침할 때 사람의 감독은 형식적인 절차를 넘어 업무 역량이 된다.

함께 읽을 글

• AI 교육도구 선정, 데모보다 통제 가능성을 사라
• AI 에이전트 기업교육: 업무를 맡기는 법과 감독하는 법을 가르쳐야 한다
• 인간-AI 인계 프로토콜: 위임보다 어려운 것은 다시 넘겨받는 일이다

출처

• Adithyan Arun Kumar. Loopjacking: Hijacking Human-in-the-Loop Approval. arXiv:2609.21081v1, 2026-09-17. 논문, PDF. 목적 표집·버전과 구성에 한정된 시스템 시험, 사용자 교육 효과 연구가 아님.
• Xiaoqi Weng. What You Approve Is What Executes: Consent Integrity for Black-Box LLM Agents. arXiv:2606.02668v1, 2026-06-01. 논문, PDF. 개념검증과 분석기 평가. 전체 중재·신뢰 경로는 일부 가정이며 사용자 이해도 검증과 구분.