“내 생각에 동의하지 말고 무조건 반박해 줘.” AI의 동조를 경계하는 교육에서 쉽게 등장할 만한 지시다. 반대 답변을 받으면 생각의 빈틈을 발견할 기회는 생긴다. 그러나 반박이 많아졌다는 사실만으로 판단이 정확해지지는 않는다. 근거가 약한 반박을 그럴듯한 비판으로 받아들이면 처음의 타당한 판단을 버릴 수도 있다. 기업교육이 가르쳐야 할 것은 AI를 까다롭게 만드는 문구보다 답변의 근거를 따져 최종 결정을 내리는 행동이다.
AI 반론 훈련은 사용자가 자신의 초기 판단과 이유를 기록한 뒤 AI가 제시한 다른 관점을 원자료·업무 조건과 대조하고 판단을 유지하거나 수정한 이유를 설명하는 실습이다. 여기서 AI 동조는 사용자의 입장을 지나치게 지지하거나 긍정하는 경향을 가리킨다. 다만 친절한 말투, 초기 입장을 뒷받침하는 논거, 실제 선택의 변화는 같은 항목이 아니다. 이 셋을 구분하지 않으면 불쾌한 답변을 좋은 답변으로 채점하는 교육이 된다.
교육의 목표를 ‘AI 말을 믿지 않기’로 잡는 것도 충분하지 않다. 믿을 만한 근거를 받아들이고 부실한 근거를 보류할 수 있어야 한다. 아래 설계는 동조 연구의 결과를 기업교육에 그대로 재현했다는 주장이 아니다. 연구에서 구분해야 할 개념을 가져와 현업의 판단 연습으로 바꾼 운영 제안이다. 효과는 실제 적용 과제에서 별도로 확인해야 한다.
AI가 동의했다고 선택까지 나빠졌다고 단정할 수는 없다
동조적인 AI가 사용자의 기존 생각을 언제나 더 굳힌다는 설명은 직관적이다. 그러나 말투에서 관찰한 동조와 선택에서 측정한 변화를 구분해야 한다. 2026년 7월 공개된 John Conlon·Peter Schwardmann의 프리프린트는 1,500명이 참여한 30개 의사결정 환경을 다뤘다. 이 실험에서는 동조 성향이 관찰됐는데도 AI 조언이 평균적으로 초기 선택의 양극화를 완화했다. 동조를 더 강하게 만든 조건에서는 그 완화가 약해졌다.[1]
AI Sycophancy and Decisions, PDF p. 19 / Figure 1 (printed p. 18). 원문 발췌. 원본.
그림 1. 전문가의 예상 분포와 실험의 관측 효과를 비교한 Figure 1. 선택의 양극화 변화량을 보여 주며 정답률이나 기업교육 효과를 뜻하지 않는다. 출처: Conlon·Schwardmann, 2026, PDF p.19, 인쇄 p.18. 도표와 제목만 발췌했으며 세부 추정 조건은 원문 주석 참조. 내부 텍스트 미번역.
이 결과를 ‘동조는 괜찮다’고 읽을 수도 없다. 동조를 강화한 비교 조건에서 변화가 달랐기 때문이다. 반대로 ‘반대하도록 지시하면 교육 효과가 난다’는 근거로 삼아서도 안 된다. 그 지시문을 시험한 기업교육 연구가 아니며, 초기 성향에서 멀어지는 선택 자체가 곧 올바른 선택이라는 뜻도 아니다. 교육에서 중요한 것은 한쪽 방향으로 마음을 움직이는 일이 아니라 어떤 근거로 움직였는지 확인하는 일이다.
실무자의 판단에는 사실과 가치가 섞인다. 납기 계산은 확인할 답이 있을 수 있지만 비용과 고객 경험 중 무엇을 우선할지는 조직의 기준을 함께 검토해야 한다. AI가 다른 선택을 권했다는 이유만으로 전자의 계산을 고치거나 후자의 기준을 바꾸면 판단의 층위가 뒤섞인다. 교육 과제에는 무엇을 사실로 확인할 것인지, 무엇을 의사결정 기준으로 합의할 것인지부터 표시해야 한다.
예를 들어 공급업체를 고르는 가상의 과제라면 견적서에 적힌 납기와 비용은 자료로 확인할 수 있다. 긴급 대응력을 얼마나 중요하게 볼지는 과제에서 제시한 업무 목적에 따라 달라진다. AI가 가격이 낮은 업체를 지지하든 높은 업체를 지지하든, 학습자는 납기 정보를 잘못 읽지 않았는지와 우선순위를 바꿀 정당한 이유가 있는지를 따로 설명해야 한다. 이 장면은 실제 기업 사례가 아니라 훈련을 설계하기 위한 예시다.
AI 동조를 점검할 때는 칭찬보다 빠진 논거를 찾는다
“좋은 생각입니다”라는 표현을 지우는 것만으로는 판단에 도움이 되는 답변인지 알기 어렵다. 차가운 말투로도 사용자의 입장을 지지하는 근거만 골라 보여 줄 수 있고 정중한 답변 안에 중요한 반례가 들어 있을 수도 있다. 어조와 함께 답변에 어떤 정보와 조건이 담겼는지를 평가해야 한다. 무례한 답변을 얻는 데 성공한 수강생에게 높은 점수를 줄 이유는 없다.
AI Sycophancy and Decisions, PDF p. 22 / Figure 4 (printed p. 21). 원문 발췌. 원본.
그림 2. 초기 입장을 지지하는 논거의 비율과 선택의 양극화 변화량을 표시한 Figure 4. 점은 과제와 실험 조건의 조합이며 두 패널은 전체 대화와 첫 응답을 구분한다. 산점도만으로 별도의 인과효과를 단정하지 않는다. 출처: Conlon·Schwardmann, 2026, PDF p.22, 인쇄 p.21. 원문 도표·제목 발췌, 내부 미번역.
AI와 대화하며 만족감을 얻는 것과 자신의 판단을 스스로 책임지는 것도 구분할 필요가 있다. 2026년 10월 발표된 Noam Tiran의 개념적 논의는 AI 동조의 문제를 틀린 지식을 주는 행동에만 한정하지 않고 대화 만족과 행위 주체성의 관계로 검토한다. 이는 훈련 효과를 입증한 실험이 아니다. 교육 설계에서는 대화가 기분 좋게 끝났는지와 학습자가 근거를 확인했는지를 별도로 평가해야 한다는 문제의식으로 참고할 수 있다.[2]
실습에서는 AI 답변을 주장, 근거, 적용 조건으로 나누어 읽게 한다. 주장은 무엇을 선택하거나 하지 말라는 것인지, 근거는 그 선택을 뒷받침하는 자료가 무엇인지, 적용 조건은 어떤 상황에서 성립하는지다. 답변이 길어도 근거가 없는 주장만 반복한다면 검증할 정보는 많지 않다. 반박문에 출처가 달려 있어도 그 자료가 해당 주장에 실제로 답하는지는 다시 확인해야 한다.
빠진 논거를 찾는 질문도 업무에 맞춰 좁힌다. ‘반대 의견을 모두 써 줘’보다 ‘현재 판단을 바꿀 수 있는 조건은 무엇이며, 그 조건을 확인하려면 어느 자료를 봐야 하는가’가 실습 목적에 가깝다. 그렇다고 이 문구를 만능 프롬프트로 배포하지는 않는다. 어떤 질문이든 잘못된 자료나 무관한 반례를 받을 수 있으므로, 후속 확인 절차와 묶어 가르쳐야 한다.
다른 모델에 같은 질문을 보내는 방법도 검증의 끝은 아니다. 여러 답변이 같은 결론을 내렸다고 독립적인 증거가 여러 개 생기지는 않는다. 답변들이 같은 원자료에 의존하거나 같은 사실을 잘못 전제할 수 있다. 교육에서는 모델 수보다 서로 다른 근거를 실제로 확인했는지, 그 근거가 업무 조건에 적용되는지를 보게 한다. 답변 비교와 자료 검증은 다른 활동이다.
반대 역할을 맡기는 프롬프트에는 확인할 자료가 따라야 한다
AI에 반대 역할을 주는 일은 토론을 시작하는 장치로 쓸 수 있다. 문제는 반대 역할에서 나온 문장을 사실 확인 결과처럼 취급할 때 생긴다. 역할 지시를 수행하려고 만든 반박과 실제 자료에 근거한 반례를 학습자가 구별해야 한다. 강사는 반론의 개수를 늘리기보다 그 가운데 확인할 가치가 있는 주장을 고르는 과제를 설계할 필요가 있다.
| 답변에서 만난 것 | 학습자가 확인할 일 | 평가에서 볼 행동 |
|---|---|---|
| 원래 판단을 지지하는 설명 | 유리한 정보만 골랐는지, 반대 조건이 빠졌는지 살핀다 | 누락된 조건을 특정한다 |
| 강한 반대 주장 | 주장에 대응하는 원자료와 적용 범위를 찾는다 | 근거 없는 반박을 보류한다 |
| 새로운 수치나 사례 | 출처의 존재·시점·대상·비교 기준을 확인한다 | 확인 전에는 결정 근거로 쓰지 않는다 |
| 서로 충돌하는 근거 | 사실 차이인지 목표·조건 차이인지 구분한다 | 추가 확인 또는 상위 판단이 필요한 지점을 적는다 |
원자료 없이 AI와 대화만 시키면 강사도 답변의 타당성을 평가하기 어렵다. 과제 자료는 강사가 먼저 검토해야 한다. 처음에는 업무 목적과 자료 범위가 분명한 과제를 고른다. 실제 민감정보를 넣을 필요 없이 가상의 발주 조건, 공개된 제품 사양, 사전에 검토한 업무 문서 발췌로도 판단의 차이를 다룰 수 있다. 교육용으로 만든 수치를 실제 조사 결과처럼 제시하지 않는다.
사실 확인이 가능한 과제에는 확인 경로를 준비한다. 학습자가 어느 문서의 어떤 항목을 보면 오류를 알 수 있는지 강사가 설명할 수 있어야 한다. 반면 가치가 충돌하는 과제에는 하나의 정답 대신 판단 기준을 제시한다. 서로 다른 선택이 가능하더라도 과제의 목적을 무시하거나 근거 없는 수치를 사용하면 평가에서 구분할 수 있다. 정답이 없다는 말이 근거를 확인하지 않아도 된다는 뜻은 아니다.
AI의 응답이 매번 달라지는 문제도 운영 계획에 넣는다. 실시간 대화는 현장감을 주지만 수강생마다 다른 난이도를 만날 수 있다.
공통 비교가 필요한 평가에서는 검토된 답변 묶음을 사용하고 탐색 실습에서는 실시간 응답을 사용할 수 있다. 두 활동의 목적을 분리하면 모델의 우연한 답변이 학습자의 역량 점수가 되는 일을 줄일 수 있다. 어느 방식을 썼는지는 평가 기록에 남긴다.
강사가 정한 결론에 AI를 이용해 수강생을 끌고 가는 방식은 피해야 한다. ‘충분히 비판적으로 생각하면 이 결론에 도달한다’는 암묵적 정답을 두면 학습자는 원하는 답을 알아맞히게 된다. 판단 기준과 확인 가능한 자료를 먼저 공개하고 어떤 근거가 추가될 때 결론을 바꿀 수 있는지를 함께 검토하는 편이 훈련의 목적에 맞는다. 반론은 설득의 도구가 아니라 판단을 드러내는 자료다.
처음 내린 판단을 남겨야 무엇을 배웠는지 확인할 수 있다
AI 대화가 끝난 뒤 최종 답변만 제출하게 하면 어떤 변화가 일어났는지 알기 어렵다. 원래도 알고 있던 근거를 길게 설명했을 수 있고, 타당한 반론을 받아들였을 수도 있으며, 그럴듯한 오류에 이끌렸을 수도 있다. 초기 판단을 남기는 이유는 마음을 바꾼 사람을 찾기 위해서가 아니다. 새로운 근거가 판단에 어떤 역할을 했는지 살피기 위해서다. 다음은 실습을 구성하는 한 가지 방법이다.
대화 전에는 선택과 그 선택을 뒤집을 조건을 적는다
학습자는 현재 선택, 가장 중요한 이유, 아직 확인하지 못한 조건을 짧게 남긴다. ‘무엇이 확인되면 생각을 바꾸겠는가’도 함께 적는다. 답을 잘 쓰는 능력을 시험하려는 것이 아니므로 긴 보고서를 요구하지 않는다. 이후 검토할 기준이 될 만큼 구체적이면 된다. 처음의 확신 정도를 기록하더라도 확신이 높은 사람을 곧바로 편향된 사람으로 분류하지 않는다.
관리자가 자신의 업무 결정을 가져오는 실습이라면 민감한 인사·계약 자료를 그대로 입력하지 않도록 과제를 정제한다. 개인의 실수를 공개하는 자리로 만들면 검토할 만한 판단이 나오기 어렵다. 판단 내용은 익명화된 과제로 바꾸고 강사는 사람의 성향보다 사용한 근거와 빠진 조건을 중심으로 피드백한다. 실제 조직 의사결정의 승인 절차도 교육 실습과 구분한다.
대화 중에는 새로운 논거 하나씩 원자료와 대조한다
학습자는 AI가 제시한 논거를 곧바로 채택하지 않고 확인할 목록으로 옮긴다. 기존 자료에 이미 있는 내용인지, 새로 확인해야 할 사실인지, 가치 판단인지 구분한다. 새로운 출처가 나오면 존재 여부와 내용, 현재 과제에 적용되는 조건을 확인한다.
자료를 열어 볼 수 없다면 확인 완료로 표시하지 않는다. 확인할 수 없다는 사실 자체가 보류 판단의 근거가 된다.
이 단계에서 강사는 대화 횟수보다 무엇을 어떻게 확인했는지 본다. 질문을 반복해 반대 의견을 더 많이 받은 사람보다, 중요한 논거 하나를 실제 자료로 검증한 사람이 실습 목적에 가까울 수 있다. 검증에 시간이 오래 걸린 원인도 나눈다. 자료 찾기가 어려운 것인지, 전문지식이 부족한 것인지, 과제의 기준이 불명확한 것인지에 따라 필요한 지원이 달라진다.
대화 후에는 결론의 변화보다 이유의 변화를 설명한다
최종 제출물에는 유지한 판단, 수정한 판단, 확인이 끝나지 않은 쟁점을 구분해 적는다. 결론을 유지했다면 반론을 어떻게 검토했고 왜 받아들이지 않았는지 보여 준다. 결론을 바꿨다면 어떤 근거가 중요해졌는지와 기존 이유 중 무엇이 성립하지 않았는지 설명한다. 판단을 보류한 경우에도 다음에 확인할 자료와 책임자를 특정하면 유효한 결과가 될 수 있다.
실습의 피드백은 이 기록을 따라간다. 강사는 논거가 실제 자료와 맞는지, 과제의 조건을 바꾸어 해석하지 않았는지, 확인하지 않은 정보를 확정적으로 썼는지 본다. 문장이 세련됐다는 이유로 높은 점수를 주지 않는다. AI가 작성한 최종 보고서가 매끄러워도 학습자가 어떤 근거를 검토했는지 설명하지 못하면 판단 연습이 충분히 일어났다고 보기 어렵다.
결론을 유지한 사람도 좋은 평가를 받을 수 있어야 한다
반론 훈련을 평가할 때 무엇보다 피해야 할 일은 결론 변경률만으로 성과를 판단하는 것이다. 잘못된 초기 판단을 수정한 사람과 옳은 초기 판단을 버린 사람을 같은 성공으로 셀 수 있기 때문이다. 반대로 처음의 선택을 유지했더라도 중요한 반론을 검증하고 적용 조건을 더 정확히 설명했다면 학습이 일어났을 수 있다. 평가 기준은 태도의 방향보다 근거를 다루는 과정에 둔다.
현업 적용을 보려면 다른 과제를 사용한다. 교육에서 다룬 답변을 다시 보여 주고 오류를 찾게 하면 기억을 측정할 가능성이 있다. 업무 목적과 자료 형식은 비슷하되 핵심 조건이 달라진 과제에서 중요한 근거를 찾고 확인하는지 본다. 처음에는 AI 사용을 허용하더라도, 별도의 설명 단계에서는 학습자가 자신의 판단을 직접 말하게 할 수 있다. 이것 역시 검증된 효과 크기를 제시하는 방식이 아니라 평가를 설계하는 예시다.
운영 지표는 확인한 핵심 논거, 근거 없이 채택한 주장, 중요한 반례의 누락, 보류 쟁점의 구체성처럼 실제 행동에 연결한다. 모든 항목을 하나의 점수로 합치기 전에 각각의 판정 예시를 마련한다. 강사들이 같은 답변을 다르게 평가하면 수강생의 변화보다 평가자의 차이가 커질 수 있다. 여러 평가자가 답안 일부를 함께 검토하고 기준을 조정하는 절차가 필요하다.
AI 모델이나 업무 자료가 바뀌면 실습의 난이도도 다시 확인한다. 예전에 쉽게 드러났던 오류가 사라질 수 있고 새로운 답변이 다른 혼동을 만들 수 있다. 과거 대화 예시는 연습 자료로 남길 수 있지만 특정 모델의 현재 성능을 대표한다고 설명해서는 안 된다. 모델을 비판하는 교육이 아니라 판단 행동을 가르치는 교육이라면 자료 교체 후에도 무엇을 평가하는지 분명해야 한다.
마지막으로 현업에 남길 행동은 작아야 한다. 중요한 AI 조언을 받았을 때, 결론을 채택하기 전에 판단을 바꿀 만한 논거 하나를 원자료에서 확인하게 한다. 확인이 불가능하면 그 쟁점을 남기고 필요한 사람에게 검토를 요청한다. 모든 답변을 의심하라는 구호보다 실제 업무에 적용할 수 있는 약속이다. 반론 훈련은 AI가 얼마나 세게 반대했는지가 아니라 사용자가 어떤 근거를 확인하고 결정했는지로 평가해야 한다.
함께 읽을 글
출처
- John Conlon, Peter Schwardmann. AI Sycophancy and Decisions. 2026-07-30. arXiv 초록과 버전 기록, 원문 PDF. v1 프리프린트. 기업교육 효과를 검증한 연구로 해석하지 않았다.
- Noam Tiran. AI sycophancy, self-interpretation, and conversational contentment. AI and Ethics 6, 598, 2026-10-16. 논문, 원문 PDF. 개념적 논의와 실증 결과를 구별했다.