AI 도입 안건이 올라오는 회의에 들어가 보면 거의 빠지지 않는 문구가 하나 있습니다. 최종 판단은 사람이 한다는 것이죠. 이사회 보고서에도, 규제 대응 자료에도, 노사 협의 문서에도 이 한 줄이 들어갑니다. 이른바 휴먼 인 더 루프(human-in-the-loop)입니다. 기계가 헛발질을 해도 사람이 마지막에 붙잡아 준다는 약속이고요.
그런데 이 약속이 정말 지켜지고 있는지는 따로 따져볼 대목입니다. 권한과 책임은 원래 한 몸으로 움직여야 하는데, AI가 들어온 자리에서는 이 둘이 슬그머니 갈라서는 모양새가 왕왕 보이거든요. 결정은 시스템이 내리고, 그 결정을 고객과 동료 앞에서 설명하고 감당하는 일은 사람에게 남습니다. 안전장치라고 붙여둔 것이 실은 방패였던 셈입니다.
지난주 @HBR에 이 장면을 정면으로 뜯어본 글이 올라왔습니다. 오늘은 조직에 AI를 들이는 자리에 계신 리더 여러분과 이 이야기를 나눠보려 합니다.
권한은 AI에게, 설명은 사람에게
7월 22일 HBR에 실린 When Employees Are Held Accountable for AI-Generated Decisions의 문제 제기는 간명합니다. 조직은 채용, 여신, 진료, 행정처럼 굵직한 판단에 AI를 밀어 넣는데, 정작 현장 직원은 자신이 만들지도 않았고 온전히 이해하지도 못하는 결과를 설명하는 자리에 선다는 겁니다.
이 연구는 Journal of Management Studies에 실린 논문으로 나와 있습니다. 전문가는 AI가 내놓은 결정을 뒤집을 권한을 잃었지만, 그 결정을 고객에게 제시할 책임은 고스란히 떠안는다는 거죠. 연구진은 전문가들이 이 틈을 메우려고 동원하는 활동을 설명 관행(explaining practices)이라 부릅니다.
흥미로운 대목은 그다음입니다. 같은 설명 관행이 어떤 곳에서는 통했고 어떤 곳에서는 헛돌았는데, 갈림길은 두 가지 관계 조건이었습니다. 고객이 사람의 전문성을 여전히 남다르다고 보는가, 그리고 응대 과정에서 고객의 달라지는 요구를 배울 기회가 열려 있는가. 이 둘이 받쳐줄 때 고객은 AI 결정을 이해하고 수긍했고, 전문가의 권위도 되살아났습니다. 반대로 형식적인 응대에 그친 곳에서는 고객도 납득하지 못했고 전문가의 입지도 함께 깎였습니다.
(예) B카드사의 A 심사역 이야기를 떠올려 보시죠. 내부 운용 모형이 고객 한도를 절반으로 깎아 내놓습니다. 화가 난 고객이 전화로 따집니다. A 심사역은 모형 가중치를 볼 권한이 없습니다. 조정 권한도 없고요. 남은 것은 응대 화법 가이드 한 장뿐입니다.
"고객님, 종합적인 신용 요소를 반영한 결과입니다."
고객이 묻습니다.
"그 종합적인 게 뭔데요?"
A 심사역은 잠깐 멈칫하다 답합니다.
"네... 죄송합니다. 그 부분은 제가 말씀드리기가 어렵습니다."
사람이 한 번 더 본다는 말의 실제
여기서 핵심을 짚고 갑시다. 사람이 마지막에 본다는 장치가 왜 작동하지 않을까요? 많은 리더가 사람은 기계를 의심하기 마련이라고 전제합니다. 실은 반대에 가깝습니다.
로그, 민슨, 무어(Logg, Minson & Moore, 2019)가 Organizational Behavior and Human Decision Processes에 발표한 알고리즘 어프리시에이션(algorithm appreciation) 연구는 여섯 개 실험으로 이걸 보여줍니다. 같은 조언이라도 사람이 준 것보다 알고리즘이 준 것이라고 알려줬을 때 참가자들이 더 많이 따랐습니다. 숫자를 추정할 때도, 노래의 인기나 소개팅 성사 여부를 예측할 때도 그랬고요. 우리가 흔히 말하는 알고리즘 거부감은 생각만큼 견고하지 않습니다.
그러니 사람이 한 번 더 본다는 절차는 검증이 아니라 추인으로 귀결되기 쉽습니다. 하루에 200건이 큐에 쌓이고 건당 3분이 배정돼 있으면 되레 첫 화면의 추천값이 정답 자리를 차지합니다. 뒤집으려면 근거를 써야 하고, 뒤집었다가 틀리면 온전히 개인이 뒤집어씁니다. 그대로 두면 시스템이 그랬다고 말할 수 있고요. 어느 쪽이 합리적인 선택인지는 굳이 따져볼 것도 없습니다.
레보비츠, 립시츠아사프, 레비나(Lebovitz, Lifshitz-Assaf & Levina, 2022)가 Organization Science에 낸 진단 AI 연구는 이 지점을 더 날카롭게 파고듭니다. 미국의 한 병원에서 유방암, 폐암, 골연령 판독에 AI를 넣고 지켜봤더니, 세 부서 가운데 실제로 AI 결과를 판단에 녹여낸 곳은 단 한 곳이었습니다. 나머지 두 부서는 도구를 쓰긴 썼는데 결과는 사실상 무시했고요. 갈린 이유는 역량 차이가 아니었습니다. 성공한 부서에는 AI 심문 관행(AI interrogation practices), 그러니까 기계의 답과 자기 판단이 어긋날 때 그 간극을 붙들고 따져보는 절차가 자리 잡고 있었습니다.
정리하면 이렇습니다. 사람을 루프 안에 넣는 것과 사람이 실제로 판단하는 것은 전혀 다른 일입니다. 앞의 것은 조직도에 적으면 끝나지만, 뒤의 것은 시간과 정보와 권한을 붙여줘야 겨우 굴러갑니다.
리더가 다시 설계해야 할 것들
라이시와 크라코프스키(Raisch & Krakowski, 2021)가 Academy of Management Review에 발표한 자동화-증강 역설 연구는 이 흐름의 뒷면을 짚습니다. 많은 조직이 우리는 대체가 아니라 증강이라고 선언하지만, 경영 영역에서 증강과 자동화는 깔끔하게 갈라지지 않습니다. 증강을 앞세워 사람의 판단을 데이터로 계속 흘려보내면, 그 데이터가 다음 단계의 자동화를 앞당기는 식이죠. 어느 한쪽만 밀어붙이면 강화 고리가 돌아갑니다.
그러면 무엇부터 손대야 할까요. 다섯 가지를 권해드립니다.
- 뒤집을 권한을 문서에 명시하세요. 누가, 어떤 조건에서, 어느 범위까지 AI 결과를 바꿀 수 있는지 한 장으로 정리해 결재선에 올리세요. 이게 없으면 나머지는 다 장식입니다.
- 심문할 시간을 예산으로 잡으세요. 건당 3분짜리 큐에서 검증을 기대하는 건 언감생심입니다. 고위험 건은 10분으로 늘리고, 그만큼 처리 목표를 낮추세요.
- 뒤집은 비율을 지표로 보세요. 3개월간 재정의율이 1% 아래라면 검증이 도는 게 아니라 결재만 도는 겁니다. 반대로 30%를 넘으면 모형을 손볼 때고요.
- 설명 화법 대신 근거를 쥐여주세요. 응대 스크립트를 늘릴 게 아니라, 어떤 변수가 얼마나 작용했는지 담당자가 열어볼 수 있게 하세요. 설명하지 못하는 사람을 설명 자리에 세우는 건 담당자를 밉보이게 만드는 배치입니다.
- 뒤집었다가 틀린 건은 개인 책임으로 묻지 마세요. 근거를 남기고 절차를 지켰다면 조직이 안고 갑니다. 한 번만 독박을 씌워도 그 팀은 다시는 이의를 달지 않습니다.
한 가지 더 얹겠습니다. 판단력은 반복에서 자랍니다. 7월 24일 HBR의 Why Mentoring Matters More in the AI Era는 애매한 자료를 해석하고 허술한 논리를 잡아내던 잔손질을 AI가 걷어가면서, 신입이 판단을 익힐 기회 자체가 사라졌다고 짚습니다. 5년 뒤 AI 결과를 뒤집을 사람이 조직에 남아 있으려면, 지금 그 훈련의 판을 따로 깔아야 한다는 얘기죠.
AI 도입 보고서에 최종 판단은 사람이 한다고 적으셨다면, 그 사람에게 시간과 정보와 권한이 실제로 가 있는지 한 번만 확인해 보시기 바랍니다. 없다면 그건 안전장치가 아니라 완충재입니다. 사고가 났을 때 대신 찢어지는 쪽이 누구인지, 우리는 이미 알고 있지 않나요? ㅜㅜ | 
