에이전틱 AI(Agentic AI) 도입을 앞두고 리더들이 마주하는 결정이 있습니다. 자율성을 얼마나 줄 것인가?
이게 단순히 기술 설정값의 문제가 아니라는 걸, 아직 많은 경영진이 실감하지 못하고 있는 것 같습니다. 한 가지 실제 상황을 먼저 보시죠. 가상 시나리오지만, 지금 에이전트를 운영 중인 조직이라면 매우 현실적으로 받아들이실 겁니다.
(가상 상황임을 먼저 밝힙니다) A기업의 IT팀이 에이전트를 도입했습니다. 고객 문의를 받아 자동으로 환불 정책을 안내하고, 내부 재고 데이터를 조회해 예외 처리까지 완료하는 시스템입니다. 처음엔 일이 줄어서 좋았죠. 그런데 몇 달 뒤, 에이전트가 잘못된 정책을 안내해 수백 명의 고객에게 존재하지 않는 혜택을 약속했다는 게 뒤늦게 밝혀졌습니다. 팀장은 "에이전트가 그렇게 결정했다"고 보고했고, 임원은 "그럼 누가 책임지나"라고 물었습니다. 아무도 손을 들지 않았습니다.
자율성과 책임, 두 마리 토끼를 동시에 잡을 수 있다는 착각
이 대목에서 늘 걸리는 게 있습니다. 많은 조직이 에이전트 도입을 논의할 때 자율성과 책임을 마치 별개의 축인 것처럼 다룬다는 점입니다. "자율성을 높이되, 책임 구조는 별도로 갖추겠다." 말은 그럴듯합니다. 하지만 MIT 슬론 매니지먼트 리뷰와 보스턴컨설팅그룹(BCG)이 공동으로 구성한 AI 전문가 패널의 조사 결과는 이 논리에 정면으로 이의를 제기합니다.
Responsible AI Means Knowing the Limits of Agent Autonomy — MIT Sloan Management Review, 2026년 9월 8일 발행.
이 아티클은 올해로 5년째 이어지는 책임 있는 AI 시리즈의 일환입니다. 연구진은 29명의 AI 전문가 패널에게 하나의 명제를 던졌습니다. "에이전트를 자율적 의사결정 주체로 대우하는 거버넌스는 실패할 것이다." 응답 결과가 흥미롭습니다. 패널의 72%가 동의 또는 강력 동의했습니다. 단순한 의견이 아니라, 현장에서 AI를 설계하고 규제하는 실무자들의 다수 의견입니다.
에이전트 자율성의 함정: 책임이 귀신처럼 사라진다
왜 72%가 그렇게 답했을까요? 핵심은 자율성의 종류 구분에 있습니다. 에이전트는 분명 작동 면에서 자율적입니다. 스스로 계획을 세우고, 도구를 호출하고, 여러 시스템에 걸쳐 실행합니다. 패널 중 Automation Anywhere의 Yan Chow가 이 지점을 날카롭게 짚었습니다.
"인간의 책임 시스템은 결정을 추적할 수 있기 때문에 작동합니다. AI 에이전트는 그 연속성이 없습니다. T 시점의 에이전트는 T+1 시점과 동일한 존재가 아닙니다. 책임을 물을 수 있는 주체가 처음부터 존재하지 않았던 셈입니다. 위험은 AI가 책임을 회피하는 게 아닙니다. 책임이 유령에게 귀속된다는 겁니다."
인간의 법적·도덕적 책임 시스템은 기억하고, 질문받을 수 있고, 연속성 있는 존재를 전제로 설계됩니다. 에이전트는 그 어느 조건도 충족하지 못합니다. Instalily.ai의 CEO Amit Shah는 에이전트를 "자율적 의사결정자"라고 부르는 것 자체를 "거버넌스 허구"이자 "더 그럴듯한 어휘를 동원한 책임 세탁"이라고 표현했습니다. 조금 거친 말이지만, 들을 만합니다.
실제 법원 판례도 같은 방향을 가리킵니다. 2024년 캐나다 브리티시컬럼비아 민사분쟁조정위원회가 내린 Moffatt v. Air Canada 판결이 대표적입니다. 에어캐나다의 챗봇이 고객에게 잘못된 환불 정책을 안내했고, 에어캐나다 측은 "챗봇은 별개의 독립 법인격"이라고 항변했습니다. 법원은 그 주장을 기각했습니다. 챗봇은 회사 웹사이트의 일부일 뿐이며, 그 결과에 대한 책임은 배포한 기업에 있다는 게 판시 내용이었습니다. 에이전트가 자율적으로 움직일수록, 책임 소재를 흐릴 수 있다는 착각도 깊어집니다. 하지만 실제로 법적·조직적 책임은 사라지지 않습니다. 다만 '아무도 몰랐던 곳'으로 밀려날 뿐입니다.
그렇다고 자율성 자체가 나쁜 건 아닙니다
사실 여기서 이 주제의 딜레마가 시작됩니다. 에이전트를 도입한 이유가 바로 자율성 때문이잖아요. 사람이 일일이 개입하지 않아도 되는 효율이 도입의 핵심 논거입니다. 그러면 모든 에이전트 자율성이 문제일까요?
그렇지 않습니다. 패널 내에서도 이 지점은 꽤 섬세하게 분화됩니다. Apollo Global Management의 AI 총괄 Katia Walsh는 "고위험 결정에 대해서는 에이전트를 자율적 주체로 대우해선 안 되지만, 그렇지 않은 영역에서는 괜찮을 수 있다"고 말합니다. BCG와의 공동연구를 주도한 저자 중 한 명인 Pierre-Yves Calloc'h도 "책임 있는 AI란 자율성이 정확히 어디서 멈춰야 하는지를 아는 것"이라고 정리합니다. 문제는 그 경계를 어디에, 어떻게 그을 것이냐입니다.
그렇다면 어떻게 할 것인가: 조건부 선택의 기준
MIT SMR 연구진은 조직이 에이전트 자율성을 다룰 때 참고할 수 있는 다섯 가지 지침을 제시했습니다. 저는 그 중 핵심 세 가지를 중심으로 이야기해보겠습니다.
첫째, 능력이 아닌 위험도에 따라 자율성을 조절하세요.
에이전트가 할 수 있다고 해서 항상 허용할 필요는 없습니다. 결과를 되돌리기 어렵거나, 경쟁 가치 사이에서 트레이드오프가 발생하는 결정이라면 에이전트의 단독 실행 범위 밖으로 둬야 합니다. 재고 조회나 FAQ 안내처럼 가역적이고 파급력이 낮은 영역은 높은 자율성이 합리적입니다. 계약 체결, 규정 해석, 고객 환불 예외 처리처럼 복합적 가치 판단이 개입되는 지점은 반드시 인간이 검토해야 합니다.
둘째, 한계선은 정책이 아닌 설계에 박으세요.
이 대목이 개인적으로는 가장 중요하다고 봅니다. "에이전트가 이 이상은 하지 않도록 교육하겠다"거나 "정책 문서에 명시하겠다"는 방식은 실제로 작동하지 않습니다. 에이전트는 정책을 읽지 않습니다. 기술 아키텍처 자체에 권한 범위, 승인 게이트, 하드 스톱을 구현해야 합니다. 정책으로만 통제하려는 순간, 현장에서 실제 한계는 흐지부지됩니다.
셋째, 모든 결과에 이름 붙은 인간 책임자를 사전에 지정하세요.
에이전트가 배포된 뒤에 뭔가 잘못됐을 때 책임자를 찾으면 이미 늦습니다. 배포 전, 그 에이전트의 결과물에 대해 법적·도덕적 책임을 지는 사람을 특정해야 합니다. 에이전트가 부서 경계를 넘나든다면, 각 부서 별로 감시·보고·에스컬레이션 담당자가 명확히 있어야 합니다.
이 대목에서 다시 생각하게 되는 것
이 글을 쓰면서 확신이 안 서는 부분이 하나 있습니다. 세 번째 원칙, 즉 "모든 결정에 책임자를 사전 지정하라"는 조언이 실제로 규모 있게 작동할 수 있느냐의 문제입니다. MIT SMR 기사 댓글에 올라온 현업 종사자의 반론이 제법 날카롭습니다.
"에이전트를 50개 돌리면 체크포인트도 50개 아닌가요? 에이전트를 쓰는 이유가 인력을 줄이기 위해서인데, 책임자를 사람으로 지정하면 그 검토 업무는 누가 하나요?"
이 반론은 맞습니다. 그러면서도 동시에, 이걸 핑계로 책임 구조 자체를 생략하는 건 위험합니다. 타협점은 에이전트가 수행하는 결정의 분류에 있습니다. 전수 검토가 아니라, 위험도 임계치를 기준으로 에스컬레이션 트리거를 설계하는 것이죠. 자동화의 이점과 책임 구조의 유지. 이 둘이 충돌할 때, 답은 둘 다 포기하는 게 아니라 둘 다 살리는 설계를 찾는 겁니다. 쉽지 않습니다. 하지만 이 고민을 건너뛰는 조직은 결국 제가 앞서 든 가상 시나리오처럼, 아무도 손을 들지 않는 상황에 빠지게 됩니다.
관련해서 한 번 더 되새겨볼 흐름
에이전트 거버넌스 문제는 이번에 갑자기 등장한 게 아닙니다. 지난 8월에 다뤘던 조직 내 AI 에이전트의 몰락(?) 호에서도 비슷한 맥락을 짚었습니다. 거버넌스 부재와 비용 통제 실패로 에이전트 프로젝트가 조용히 취소되는 현상, 에이전트 스프롤(sprawl) 문제. 그때는 관리 실패가 핵심 키워드였습니다. 이번 호는 그 한 단계 앞입니다. 관리가 실패하는 근본 원인 중 하나, 바로 "이게 자율적으로 움직이니까 우리가 책임질 필요는 없겠지"라는 착각이 설계 단계에서 이미 박혀 있다는 이야기입니다.
인간 책임자 없이 에이전트를 배포하는 건, 비행기에 자동조종장치를 켜놓고 조종사 없이 이륙시키는 것과 다르지 않습니다. 자동조종장치는 정상 범위에선 훌륭하게 작동합니다. 문제는 이상 상황이 발생했을 때입니다.
기술 준비도는 높을 수 있습니다. 그러나 조직 거버넌스 준비도는 별개입니다. 에이전트의 자율성은 그 사이 어딘가에, 내부 설계로 선을 그어야 합니다.
