지난달 중국 푸단대학교 데이터마이닝 수업의 기말고사 소식을 알게 됐습니다. 출제 방식이 좀 이상합니다. 학생이 문제를 풀었느냐. 아닙니다. 학생이 문제를 냈습니다. 그것도 AI가 못 푸는 문제를요. 딥시크·미니맥스·클로드 세 모델에게 자기가 출제한 문제를 풀리고, AI가 많이 틀릴수록 학생의 점수가 올라가는 구조였습니다(At China's Fudan University, Students Took a Final Exam by Trying to Make AI Fail).
채점표가 재밌습니다. 딥시크가 한 문제 틀리면 1.5점, 미니맥스는 2점, 클로드는 3점. 10문제를 성실히 내면 일단 60점은 깔고 갑니다. 51명 중 어떤 모델이든 완전히 꺾은 학생은 넷뿐이었고, 클로드를 통째로 무너뜨린 사람은 없었습니다. 시험을 설계한 샤오양화 교수의 말이 이 소동의 핵심을 찌릅니다.
"AI 시대에 가장 중요한 경쟁력은 AI를 쓰는 능력, 그리고 AI를 판단하는 능력이다."
답을 만드는 시험에서, 문제를 짜는 시험으로
지금까지 모든 시험은 한 방향이었습니다. 문제가 주어지고, 답을 내놓으면, 그 답의 품질로 사람을 줄 세웠죠. 회사의 평가도 똑같았습니다. 과업이 떨어지고, 산출물을 만들면, 그 산출물로 고과가 갈렸습니다.
그런데 답을 만드는 일은 이제 기계가 꽤 잘합니다. 보고서 초안, 코드, 번역, 요약, 시장 조사 — 우리 부서에서 지난 2년간 AI에 넘어간 일들을 떠올려 보세요. 답 생산 능력만으로 사람을 평가하던 잣대가 통째로 흔들리는 겁니다.
푸단대가 한 일은 그 잣대를 뒤집은 것뿐입니다. 답을 잘 만드느냐가 아니라, 기계가 걸려 넘어지는 지점을 찾아낼 만큼 그 분야를 깊이 아느냐를 물었습니다. 학생들이 발견한 사실이 의미심장합니다. AI의 약점을 드러내려면, 먼저 그 주제를 기계보다 더 깊이 이해하고 있어야 하더라는 겁니다. 좋은 함정을 파려면 지형을 훤히 꿰고 있어야 하는 것과 같은 이치죠.
여기서 리더가 챙겨야 할 첫 번째 전환이 나옵니다. 평가의 질문을 바꾸는 것. 이 사람이 결과물을 얼마나 뽑았나에서, 이 사람이 풀 만한 문제를 골라내고 정의할 줄 아나로요.
답보다 문제, 그리고 AI를 의심하는 힘
두 번째 축은 판단입니다. AI를 쓰는 것과 AI를 판단하는 것은 완전히 다른 근육이거든요. 이 대목에서 짚고 넘어갈 연구가 하나 있습니다. 로그(Logg)와 동료들이 2019년 <Organizational Behavior and Human Decision Processes>에 발표한 연구입니다. 여섯 번의 실험에서, 사람들은 똑같은 조언이라도 그것이 사람이 아니라 알고리즘에서 나왔다고 하면 더 잘 따랐습니다. 연구진은 이를 알고리즘 애호(algorithm appreciation)라 불렀죠(Algorithm appreciation: People prefer algorithmic to human judgment). 기계가 내놓았다는 이유만으로 우리는 답을 덜 의심합니다.
이게 왜 무서운 얘기냐면요. 생성형 AI는 그럴듯하게 틀리는 데 특히 능합니다. 푸단대 학생들이 판 함정도 바로 그 지점이었습니다. 핵심 가정을 슬쩍 빼서 답이 하나로 떨어지지 않게 만들면, 사람은 이거 풀 수 없는 문제인데 하고 알아채는데 AI는 태연히 틀린 답을 내놓더라는 거죠. 판단하는 근육이 없으면, 매끈하게 잘못된 답에 그대로 결재 도장을 찍게 됩니다. ㅎㄷㄷ.
(예) 한 제조기업 기획팀의 장면입니다. C 사원이 AI로 경쟁사 분석 보고서를 만들어 왔는데, 표도 깔끔하고 문장도 유려했습니다. A 팀장은 통과시킬 뻔했죠. 그런데 한 대목의 시장 규모 숫자가 영 이상해 재무 데이터와 맞춰보니, AI가 3년 전 통계를 올해 것으로 욱여넣은 것이었습니다. 결과물을 만든 사람은 AI였고, 그 결과물을 판단한 사람은 팀장이었습니다. 푸단대 교수의 말이 회의실에서 그대로 반복된 셈이죠.
자동화·증강, 그리고 사람이 홀로 붙어야 할 일
그렇다면 사람과 AI의 일을 어떻게 나눠야 할까요. 여기에 꽤 깔끔한 지도를 제시한 연구가 있습니다.
퓌게너(Fügener)와 동료들이 2025년 <Management Science>에 실은 연구인데요. 이들은 과업을 세 갈래로 갈랐습니다. 쉬운 일은 AI가 자동화하고, 사람과 AI의 실력이 엇비슷한 중간 난도의 일은 AI가 사람을 증강(augmentation)하며, 정말 어려운 일은 사람이 AI 없이 붙는다는 겁니다. 이 배분을 따랐을 때 정확도가 88%까지 올라갔습니다.(Roles of Artificial Intelligence in Collaboration with Humans).
숫자보다 중요한 건 마지막 갈래입니다. 가장 어려운 문제 앞에서는 사람이 홀로 선다는 것. 푸단대 시험이 학점을 몰아준 자리가 바로 거기였습니다. AI가 손대지 못하는 난도 높은 문제를 알아보고, 정의하고, 감당하는 능력. 연구가 말하는 세 번째 구역과 시험이 상을 준 구역이 정확히 겹칩니다. (사실 내가 지금 하고 있는 업무 중에 이 영역의 업무가 별로 없다면 위험할 수 있습니다. ㅎㄷㄷ)
리더에게 이 지도는 실무 지침이 됩니다. 팀의 일을 이 세 칸으로 다시 그려보시길 권합니다. 자동화로 넘길 일에 아직 사람 손이 묶여 있진 않은지, 반대로 사람이 홀로 씨름해야 할 판단·설계·문제 정의 영역에 AI를 어설프게 끼워 넣어 오히려 판단을 무디게 하고 있진 않은지요. 퓌게너 연구가 짚은 반짝이는 대목 하나 — 자동화로 아낀 사람의 시간을 더 어려운 문제로 재배치할 때 진짜 이득이 생긴다는 것. 자동화의 목적은 사람을 덜어내는 게 아니라, 사람을 더 어려운 자리로 옮기는 데 있습니다.
그런데, 이 방식도 곧 안 통하지 않을까요
여기까지 읽으시면서 이런 생각 드신 분 계실 겁니다. 좋은 얘기인데, 이 시험도 결국 오래 못 가지 않나. AI가 쉬지 않고 배우는데, 올해 클로드를 넘어뜨린 문제가 내년에도 통하겠느냐고요. 맞는 지적입니다. 저도 그 대목에서 잠깐 멈췄더군요.
마침 실제 사례가 있습니다. 인류 최후의 시험(Humanity's Last Exam)이라는 벤치마크인데요. AI 안전 연구기관과 스케일AI가 손잡고, 수학·물리·철학의 최전선에서 문제 2,500개를 모아 프런티어 모델을 골탕 먹이려고 만든 시험입니다. 2025년 초 공개됐을 때 내로라하는 모델들 점수가 한 자릿수였습니다. 그런데 1년 남짓 만에 30점대 후반으로 뛰었고, 올해 7월 클로드 페이블5는 53.3%를 받았습니다(Humanity's Last Exam). 최후라더니, 그 최후가 생각보다 빨리 오고 있는 거죠. ㅎㄷㄷ.
그러니 냉정하게 말씀드리죠. 푸단대 학생들이 올해 판 함정은 내년 이맘때면 대부분 메워질 겁니다. 오늘 기계를 넘어뜨린 문제가 고스란히 내일의 학습 데이터가 되니까요. 함정의 유통기한은 짧습니다. 여기까진 그 의심이 옳습니다.
그런데 질문을 한 번 뒤집어 보죠. 그렇다면 이 시험이 진짜로 잰 건 무엇이었을까요. 특정 모델의 고정된 약점이 아니었습니다. 경계가 지금 어디쯤 그어져 있는지 매번 다시 찾아내는 감각이었죠. AI가 계속 배운다는 말은, 그 경계선이 쉬지 않고 뒤로 밀려난다는 뜻입니다. 그리고 선이 움직이기 때문에, 역설적이게도 그 선을 짚어내는 힘은 한 번 쓰고 버리는 재주가 아니라 해마다 새로 값이 매겨지는 근육이 됩니다. 작년의 정답이 올해 헐값이 되듯 작년의 함정도 올해 헐값이 되지만, 함정 팔 자리를 알아보는 눈만은 그렇지 않습니다.
그래서, 리더는 무엇을 바꿔야 하나
한국 조직의 현실로 내려와 보겠습니다. 사실 우리 대부분은 여전히 답 생산량으로 사람을 봅니다. 몇 장 썼나, 며칠 만에 냈나. 그런데 그 답을 기계가 반나절이면 뽑는 시대에, 그 잣대만 붙들고 있으면 팀의 진짜 실력을 못 봅니다.몇 가지를 제안드립니다.
- 평가 문항을 한 줄 바꾸세요. 이번 반기 리뷰에 이 질문을 넣어보시길 바랍니다. 이 구성원은 좋은 문제를 정의했는가. 남이 낸 답의 허점을 잡아냈는가. 산출물 개수 옆에 이 두 칸을 나란히 두는 것만으로 대화가 달라집니다.
- AI 결과물에 판단을 붙이는 습관을 업무 흐름에 심으세요. AI가 뽑은 초안에 최종 결재 전, 이 답이 틀렸다면 어디서 틀렸을까를 한 줄 적게 하는 겁니다. 알고리즘 애호에 브레이크를 거는 작은 장치죠.
- 팀의 일을 세 칸으로 그려 재배치하세요. 자동화 칸, 증강 칸, 사람이 홀로 붙는 칸. 아낀 시간을 세 번째 칸으로 흘려보내는 게 핵심입니다.
한 가지 오해는 미리 접어두죠. 이건 AI를 멀리하자는 얘기가 전혀 아닙니다. 오히려 정반대입니다. 예전에 <지금리더>에서 사람들이 생성형 AI로 실제로 뭘 하는지 살펴보며, 이 도구가 편견을 걷어낸 브레인스토밍 상대이자 거의 완벽한 팀원처럼 기능할 수 있다고 말씀드린 적이 있습니다(사람들은 생성형AI로 뭘 하나?). AI를 잘 쓰는 것과 AI를 잘 판단하는 것은 한 몸입니다. 도구를 손에 쥐되, 그 도구가 내민 답 앞에서 눈을 뜨고 있는 사람. 푸단대가 학점으로 보상한 인재상이 딱 그것이었습니다.
그리고 이 능력은 리더 혼자 챙긴다고 자라지 않습니다. 문제를 정의하고 AI를 판단하는 힘은 조직 전체가 함께 부딪치며 크는 관계의 역량에 가깝거든요. 리더만 따로 배워서는 현장에 뿌리내리지 못한다는, 지난 호에서 나눈 얘기와도 맞닿습니다(귀사의 리더십 교육은 안녕합니까?).
시험 하나가 던진 질문은 결국 이겁니다. 답을 만드는 값이 헐값이 된 시대에, 우리 조직은 무엇으로 사람의 실력을 재고 있는가. 게다가 기계의 경계선이 해마다 뒤로 밀리는 이상, 이건 한 번 잘 답하고 끝나는 물음이 아니라 매년 다시 꺼내 물어야 하는 질문이기도 합니다. 답의 개수를 세던 자를 내려놓고, 문제를 세우는 눈과 답을 의심하는 근육을 보기 시작할 때입니다. 오늘 팀의 평가표를 새로 업데이트하는 걸로 이번 주를 여시면 어떨까요. | 
