실험 역량은 좋은 아이디어보다 ‘언제 멈출지’에서 갈린다

사내 아이디어 공모 마감일에 제안서 200건이 모인다. 심사위원회가 열두 건을 뽑고, 시상식이 열리고, 수상자 사진이 사내 게시판에 걸린다. 여섯 달 뒤 그 열두 건의 현재 상태를 물으면 답이 갈린다. 세 건은 담당자가 바뀌면서 사라졌고, 네 건은 아직 검토 중이며, 나머지는 파일럿까지 갔지만 계속할지 접을지 판정한 사람이 없다. 다음 해에도 공모는 열리고 제안서는 다시 200건 모인다.

실험 역량은 현업 부서가 자기 업무의 가설을 스스로 세우고, 그 가설을 참으로 볼 조건과 거짓으로 볼 조건을 착수 전에 정하고, 판정 결과에 따라 확산하거나 폐기하는 절차를 반복해서 돌리는 조직의 힘이다. 좋은 아이디어를 알아보는 감각이 아니라, 아이디어를 며칠 안에 반증 가능한 문장으로 바꾸고 정해진 날짜에 결론을 내는 근육에 가깝다.

기업교육 관점에서 결론은 분명하다. 제안을 늘리는 교육보다 제안을 접는 절차를 가르치는 교육이 조직이 실제로 처리하는 안건의 총량을 키운다. 아이디어의 공급은 이미 충분하다. 부족한 것은 판정과 폐기의 속도이며, 그것은 재능이 아니라 절차와 권한 설계의 문제다.

공모함에 쌓인 제안은 검증 절차 없이 자산이 되지 않는다

아이디어 공모와 해커톤의 산출물은 제안서다. 제안서와 가설은 다른 문서다. 제안서에는 이 일이 왜 좋은지가 적혀 있고, 가설에는 어떤 결과를 보면 이 일이 틀렸다고 인정할지가 적혀 있다. 심사는 설득력을 평가하고 검증은 사실을 평가한다. 두 활동은 다른 근육을 쓴다.

공모와 해커톤의 심사 기준을 보면 이 어긋남이 더 뚜렷하다. 심사표에는 대체로 창의성, 실현 가능성, 발표 완성도가 들어간다. 세 항목 모두 발표 시점의 인상을 평가하며, 어느 항목도 착수 이후에 확인할 수 있는 사실을 요구하지 않는다. 그래서 상을 받은 제안일수록 착수 후에 무엇을 확인해야 하는지가 비어 있고, 담당 부서로 넘어간 순간 우선순위 경쟁에서 밀린다. 심사표에 관측 계획과 중단 조건 칸을 넣는 작은 변경만으로도 통과 제안의 성격이 달라진다.

현업 참여 자체가 무의미하다는 뜻은 아니다. 2026년 6월 BCG의 네 번째 AI at Work 조사는 정기적으로 AI를 쓰는 응답자 9,923명을 기준으로 조직 차원의 지렛대를 효과 순으로 줄 세웠다. 직원을 아이디어 도출에 참여시키는 항목은 업무 만족 +20%p, 측정 가능한 사업 개선 +22%p로 상위권에 올랐다. 다만 그보다 위에는 AI가 만든 가치를 추적하는 항목이 +24%p와 +22%p로 자리했다. 참여를 늘리는 활동과 가치를 판정하는 활동은 한 쌍으로 움직인다.

실험 역량의 진척은 제안 건수로 세지 않는다. 정해진 기간 안에 참·거짓이 판정된 가설의 수, 그리고 그중 폐기 결론이 난 비율로 센다. 제안 200건과 판정 3건인 조직은 창의적인 조직이 아니라 결론을 미루는 조직이다.

도구를 얹은 조직과 업무를 다시 짠 조직은 다른 결과를 낸다

같은 조사에서 AI 도입 방식은 세 갈래로 나뉜다. 생성형 AI 도구의 사용을 지원하는 Deploy는 2026년 78%로 전년 72%보다 높고, 업무 흐름과 프로세스를 처음부터 다시 설계하는 Reshape은 57%로 전년 50%, 새로운 사업모델과 제품을 만드는 Invent는 42%로 전년 22%에서 20%p 올랐다. 응답자는 14개 시장 11,749명이다.

BCG의 2026년 AI at Work 슬라이드 8쪽. 도구 도입은 세 갈래 중 가장 넓지만 가장 얕은 층이다.

도구를 배포하는 일은 실험이 아니다. 실험은 이 도구를 쓰면 어떤 지표가 얼마나 달라진다는 예측과, 그 예측이 빗나갔을 때 인정할 기준을 함께 놓는 일이다. 예측 없이 배포하면 나중에 남는 것은 사용률뿐이고, 사용률은 계속할지 접을지를 알려주지 않는다.

일본에서도 같은 경계가 보인다. 정보처리추진기구가 2026년 7월 16일 공개한 DX·AI 활용 동향 조사에는 일본 기업 1,799곳이 응답했다. AI 활용 용도는 문서와 음성의 요약·번역·교정이 82.5%, 문서와 보고서 작성이 80.5%로 높았다. 반면 생산·물류·서비스 제공의 계획 지원은 6.0%, 자사 제품과 서비스의 고도화는 10.9%에 그쳤다. 효과 항목도 갈렸다. 업무가 효율화·신속화됐다는 응답이 91.6%인 데 비해 매출이나 이익이 올랐다는 응답은 3.9%, 고객만족도가 올랐다는 응답은 4.5%였다.

효율화는 검증하기 쉽고 가치 창출은 검증하기 어렵다. 쉬운 쪽만 검증하는 조직은 어려운 결정을 끝내 미룬다.

실험 등록서 한 장이 검증 주기의 출발점이다

현업 부서가 착수 전에 한 장을 쓰게 하면 그다음 절차가 저절로 정리된다. 분량은 A4 한 장이면 충분하고, 문서 서식보다 항목의 강제성이 중요하다.

여기서 판정 대상은 교육 프로그램의 효과가 아니라 업무 결정 그 자체다. 교육 효과를 재는 설계가 강사와 과정을 놓고 묻는다면, 실험 등록서는 담당 부서가 다음 분기에 이 방식을 계속 쓸지를 묻는다. 두 질문을 섞으면 어느 쪽도 답이 나오지 않는다.

등록서를 쓰는 순간 대부분의 제안이 걸러진다. 관측할 데이터가 없거나, 예측을 숫자로 쓰지 못하거나, 판정일을 잡지 못하는 제안이 절반을 넘는 것이 보통이다. 그 탈락이 손실이 아니라 첫 번째 성과다.

계속 조건보다 중단 조건을 먼저 쓴다

착수 전에 중단 조건을 문서로 고정하는 이유는 단순하다. 결과를 본 뒤에는 어떤 숫자에도 계속할 이유를 붙일 수 있기 때문이다. 표본이 작아서, 계절 요인이 있어서, 사용자가 아직 익숙하지 않아서 같은 설명은 전부 결과를 본 뒤에 붙는다. 착수 전에 적어 둔 한 줄이 그 해석의 여지를 좁힌다.

실무에서 쓰는 중단 조건은 대체로 다섯 갈래다.

• 효과 하한선: 중간 관측일에 목표 개선폭의 3분의 1에 못 미치면 접는다.
• 비용 상한선: 누적 투입 인시나 라이선스 비용이 사전 한도를 넘으면 접는다.
• 기간 상한선: 판정일까지 필요한 데이터가 모이지 않으면 연장 없이 접는다.
• 운영 불가 조건: 기존 업무 절차를 바꿔야만 유지되는 구조라면 접는다.
• 위험 조건: 개인정보 처리 범위나 고객 응대 품질에서 사전 합의한 선을 넘으면 즉시 접는다.

중단 조건은 판정일 하루에만 걸리지 않는다. 기간의 절반쯤에 중간 관측일을 하나 두고, 그 시점의 최소 신호를 미리 적어 둔다. 4주 뒤에 아무 방향성도 보이지 않는 개입이 8주 뒤에 목표를 넘기는 경우는 드물다. 중간 관측일이 있으면 남은 절반의 자원을 다른 가설로 돌릴 여지가 생긴다. 무엇보다 판정 회의가 단 한 번의 최종 선고처럼 느껴지지 않는다.

다섯 갈래 중 가장 자주 빠지는 것이 기간 상한선이다. 기한 없는 실험은 실험이 아니라 소규모 운영으로 바뀐다. 그리고 소규모 운영은 아무도 종료를 선언하지 않는 상태로 예산과 인력을 계속 소모한다.

매몰비용과 제안자의 평판이 중단 결정을 가장 크게 막는다

중단이 어려운 이유는 데이터 부족이 아니다. 사회적 비용이다. 제안한 사람이 판정까지 맡으면 자기 판단을 스스로 뒤집어야 하고, 그 부담은 개인의 성실함으로 넘기 어렵다. 이미 쓴 예산과 시간이 클수록 지금 접는 선택이 그 비용을 낭비로 확정하는 것처럼 느껴진다.

이 문제는 성격이 아니라 구조로 푼다.

• 제안자와 판정자를 분리한다. 판정 권한은 해당 업무의 성과를 책임지는 관리자에게 둔다.
• 판정 회의 날짜를 착수와 동시에 캘린더에 잡는다. 날짜가 없으면 회의는 열리지 않는다.
• 중단 결정을 실패가 아니라 산출물로 기록한다. 폐기 보고서 제출을 완료 조건에 넣는다.
• 다음 실험 배정 시 폐기 이력을 감점 요소로 쓰지 않는다는 원칙을 문서로 남긴다.

책임자가 비어 있으면 이 구조는 서지 않는다. 2026년 2월 맥킨지의 조직 현황 보고에서, 조사 대상 기업 여섯 곳 중 한 곳은 AI 도입에 관한 최고경영진 차원의 명확한 책임자가 없었다. 명확한 전략과 실행으로 도입과 실험을 일관되게 이끄는 리더가 있다고 답한 조직은 14%였다.

실험 권한은 예산·데이터·고객 접점의 세 경계로 정의한다

권한이 모호하면 현업은 두 가지로 반응한다. 큰 실험만 결재로 올리거나, 작은 실험을 보고하지 않고 숨긴다. 어느 쪽도 조직의 학습으로 남지 않는다. 경계를 미리 그어 두면 대부분의 실험이 결재 없이 시작되고, 위험한 실험만 사람의 판단을 거친다.

경계 표에는 반드시 마지막 열이 필요하다. 무엇이 금지인지 적지 않으면 담당자는 모든 것을 승인 대상으로 취급한다. 승인 대기열이 길어지면 실험 주기는 분기 단위로 늘어나고, 분기 단위 실험은 학습이 아니라 보고 행사가 된다.

사용률을 세는 대신 어떤 결정이 바뀌었는지 센다

BCG가 같은 자료의 마지막 장에서 경영진 과제로 정리한 다섯 항목 가운데 두 번째는 점수판을 바꾸라는 것이다. 도입률은 사람들이 쓴다는 사실만 알려 줄 뿐 그 쓰임이 값을 하는지까지는 알려 주지 않는다는 지적이다. 다섯 번째 항목은 AI를 완결형 프로그램이 아니라 계속 조종하는 대상으로 두고, 무엇이 통하는지 다시 확인하고 가치를 다시 측정하는 가벼운 상설 거버넌스를 두라는 것이다.

BCG의 2026년 AI at Work 슬라이드 28쪽. 두 번째와 다섯 번째 항목이 판정 기준과 재검증 주기를 다룬다.

실험 역량을 보는 숫자는 성공 사례 수가 아니다.

• 가설 등록에서 판정까지 걸린 중위 일수
• 판정된 가설 중 폐기 결론의 비율
• 판정일을 지키지 못하고 연장된 실험의 비율
• 폐기 기록을 참고해 착수 전에 취소된 중복 제안 건수
• 확산 결정 뒤 운영 인수인계를 끝낸 건수

효과 응답을 유보 언어로 받는 습관도 함께 정리한다. 앞서의 일본 조사에서 AI 도입 효과를 기대 이상 또는 기대대로라고 답한 비율은 31.8%였고, 일정한 효과가 있었다는 응답이 50.6%로 가장 많았다. 일정한 효과라는 답은 판정이 아니라 판정 유보에 가깝다. 실험 등록서에 사전 기준이 있으면 이 칸은 충족과 미충족 둘 중 하나로 채워진다.

실패한 실험 기록이 없으면 같은 실험을 세 번 반복한다

기각된 가설은 실수가 아니다. 실수는 절차를 지키지 않은 상태를 가리키고, 기각은 절차를 지켜서 얻은 결론이다. 이 둘을 같은 서랍에 넣으면 담당자는 결론을 덮고, 덮인 결론은 2년 뒤 다른 부서에서 같은 예산으로 되살아난다.

폐기 기록은 한 화면 안에 다음을 담는다.

• 무엇을 예측했고 어떤 조건에서 거짓이라고 보기로 했는가
• 실제로 관측된 값과 판정일, 판정자는 누구인가
• 무엇 때문에 빗나갔는가: 가설 자체인가, 실행 품질인가, 데이터 문제인가
• 어떤 조건이 바뀌면 다시 볼 가치가 있는가

마지막 항목이 기록을 살아 있게 만든다. 재검토 조건이 없는 폐기 기록은 창고로 들어가고, 조건이 적힌 기록은 다음 제안자가 검색해 읽는다. 검색이 되려면 부서·업무·데이터 원천·기간을 태그로 붙여야 한다. 이 태그 규칙까지 교육 과정에서 함께 가르치면 정착이 훨씬 빠르다.

확산 결정은 실험 성공이 아니라 운영 인수인계로 판정한다

파일럿이 성공했다는 사실과 그 방식을 조직이 계속 굴린다는 사실은 다르다. 흩어진 파일럿의 조각보에서 통합된 운영 모델로 넘어가지 못하는 상태는 대기업에서도 흔하다. 맥킨지가 같은 보고에서 인용한 수치를 보면 AI를 어떤 형태로든 도입한 기업은 88%에 이르지만 손익에 유의미한 영향이 없다고 답한 기업도 그만큼 많다. 도입을 시도한 기업 가운데 손익에 뚜렷한 효과를 본 곳은 20%에 못 미친다.

확산을 결정하기 전에 다음 다섯 가지가 지정돼야 한다.

• 운영 주체: 실험팀이 아니라 상시 운영을 맡을 부서와 담당자
• 예산 항목: 일회성 실험비가 아니라 다음 회계연도의 정규 비용 항목
• 장애 대응: 도구가 멈췄을 때 되돌아갈 절차와 그 절차의 훈련 여부
• 교육 계획: 신규 입사자와 이동자를 위한 표준 교육 자료와 담당
• 폐기 계획: 이 방식을 언제 다시 검토하고 언제 종료할지의 기준

다섯 칸이 비어 있는데 확산을 선언하면 실험은 성공했고 운영은 실패한다. 그리고 그 실패는 다음 실험 제안에 대한 조직의 신뢰를 깎는다.

인수인계 문서는 실험팀이 아니라 인수받을 부서가 쓰게 하는 편이 정확하다. 넘기는 쪽은 잘 되는 조건을 적고, 받는 쪽은 무너지는 조건을 적는다. 받는 부서가 직접 작성한 문서에서 빈칸이 남으면 그것이 곧 확산 보류 사유다. 이 한 번의 자리바꿈이 파일럿과 운영 사이에서 반복되는 책임 공백을 상당 부분 걷어낸다.

한국 기업은 실험 승인선과 인사평가선을 분리해야 한다

한국 기업의 결재선은 대체로 평가선과 겹친다. 실험을 승인한 임원이 그 실험을 제안한 팀의 고과를 매기면, 중단 보고는 사실 보고가 아니라 자기 고과를 깎는 행위가 된다. 이 구조에서는 아무리 좋은 등록서를 써도 판정 회의가 완곡어법으로 채워진다.

세 가지를 분리하면 상황이 달라진다.

• 실험 예산을 부서 성과 KPI 산식 밖으로 뺀다. 실험비 집행이 부서 손익에 직접 잡히면 실험은 시작 자체가 손해가 된다.
• 판정 회의의 기록권을 교육·기획 부서처럼 평가 권한이 없는 조직에 맡긴다. 기록자가 평가자를 겸하지 않게 한다.
• 반기 평가 주기와 실험 주기를 맞추지 않는다. 평가 직전에 판정일이 몰리면 결론이 낙관 쪽으로 기운다.

사내 공모의 보상 설계도 손볼 곳이 있다. 상금과 표창은 제안 시점에 지급되고 검증 결과와 무관하다. 보상을 실험 시간, 데이터 접근 권한, 판정 회의에 임원을 부를 권리처럼 다음 검증을 가능하게 하는 자원으로 바꾸면 제안의 질이 달라진다. 인재 부족은 이 설계를 미룰 이유가 되지 못한다. 앞서의 일본 조사에서 DX를 추진할 인재의 양이 다소 또는 크게 부족하다는 응답은 85.5%였고, 최근 세 차례 조사에서 거의 같은 수준을 유지했다.

교육은 사례집 대신 수강생 부서의 실제 안건을 다뤄야 한다

실험 역량 과정을 사례 강의로 설계하면 수료 직후 아무 일도 일어나지 않는다. 수강생은 남의 회사 이야기를 듣고 돌아가 자기 부서의 결재선 앞에서 멈춘다. 교육이 업무 결정과 연결되려면 입과 조건부터 바꿔야 한다.

강사가 던져야 할 질문은 정해져 있다. 이 예측이 틀렸다면 어떤 숫자로 확인되는가, 그 숫자는 지금 어디에 쌓이는가, 누가 언제 그것을 열어 볼 것인가. 세 질문에 답하지 못하는 안건은 강의실에서 걸러야 한다. 실행 단계까지 가서 무너지면 이미 예산과 평판이 걸린 뒤다.

교육 담당의 역할도 달라진다. 과정 운영이 아니라 판정 회의의 진행과 기록, 폐기 기록의 축적과 검색 가능성 유지가 핵심 업무가 된다. 앞서 인용한 조직 현황 조사에서 응답자 9,346명이 새 기술의 전사 도입에 중요한 요소를 꼽았을 때, 직무별 역량 과정과 사업 성과와의 연결이 각각 29%로 같은 무게에 놓였다. 사례 모음집은 18%로 가장 낮았다. 사례를 모으는 일보다 안건을 붙이는 일이 먼저다.

실험 역량은 성공률이 아니라 폐기 속도로 확인된다

실험 성공률 90%를 자랑하는 조직은 검증을 잘하는 조직이 아니라 안전한 것만 시험한 조직이다. 결과가 뻔한 가설은 검증할 필요가 없고, 검증할 필요가 있는 가설은 상당수가 기각된다. 성공률이 높다는 지표는 조직이 아직 모르는 것을 건드리지 않았다는 신호에 가깝다.

대신 볼 숫자는 폐기 속도다. 가설을 등록한 날부터 참·거짓을 판정한 날까지의 중위 일수, 그리고 그 기간이 분기마다 줄어드는지를 본다. 이 숫자가 짧아지는 조직은 같은 예산으로 더 많은 질문에 답한다. 반대로 이 숫자가 길어지는 조직은 제안 건수가 아무리 늘어도 아는 것이 늘지 않는다.

실험 역량을 조직에 심는 일은 창의성 교육이 아니라 판정과 폐기의 절차를 업무에 박아 넣는 일이다. 등록서 한 장, 착수 전에 쓴 중단 조건, 캘린더에 박힌 판정일, 검색되는 폐기 기록, 그리고 제안자와 판정자를 나눈 권한 배치. 이 다섯 가지가 자리 잡으면 공모함은 제안의 무덤이 아니라 조직이 매 분기 새로 알게 되는 사실의 입구가 된다.

함께 읽을 글

• 교육 니즈 조사는 연 1회 설문이 아니라 수요 신호 감지여야 한다
• LMS LXP 통합: 학습 기술 스택을 정리해야 할 때
• 교육 ROI 대시보드: 수료율 이후 HRD가 봐야 할 사업 KPI

출처

• Boston Consulting Group, AI at Work: Why Strategy Matters More Than Tools, 2026: https://web-assets.bcg.com/eb/92/4b39b729403fb6fcae4ff974b234/ai-at-work-slideshow-jun-2026-1.pdf
• 情報処理推進機構, 国内企業のDX動向・AI活用動向のポイント, 2026: https://www.ipa.go.jp/pressrelease/2026/press20260716.html
• McKinsey & Company, The State of Organizations 2026, 2026: https://www.mckinsey.com/~/media/mckinsey/business%20functions/people%20and%20organizational%20performance/our%20insights/the%20state%20of%20organizations/2026/the-state-of-organizations-2026-vf.pdf