지난 7월 9일 @MITSloanManagementReview에 짧지만 강력한 아티클 하나 올라왔습니다. 제목은 The Hidden Cost of AI-Assisted Creativity, 레너드 부시우, 애닐 도시, 올리버 하우저, 카틱 호사나 네 연구자가 각각 돌린 창의성 실험을 한자리에 모아 견줘본 글입니다.
결론을 옮기면 이렇습니다. 생성형 AI를 붙이면 구성원 한 사람 한 사람이 내놓는 산출물의 품질은 분명히 올라갑니다. 그런데 그 사람들을 한데 모아 놓고 보면, 나온 아이디어들이 서로 닮아 있습니다. 개인 성적표는 좋아지는데 조직의 아이디어 폭은 되레 좁아진다는 겁니다.
장르가 다른 네 실험이 같은 곳을 가리켰습니다
- 실험 대상: 단편소설 쓰기, 순환경제 사업안 공모, 유머 캡션 대회, 여럿이 이어 쓰는 협업 스토리텔링. 성격이 제각각인 네 판이었습니다.
- 공통 결과 하나: 개인 산출물의 품질 상승. 특히 원래 창의성 점수가 낮았던 참여자일수록 끌어올려지는 폭이 컸습니다.
- 공통 결과 둘: 집단 단위로 묶으면 아이디어가 놓이는 자리, 그러니까 아이디어 공간이 일관되게 쪼그라들었습니다.
- 갈린 지점: AI를 발산 단계에 넣었는지, 선별 단계에 넣었는지. 고르는 데에만 AI를 쓴 집단은 사람만 있던 집단과 다양성이 엇비슷했습니다.
숫자로 못 박힌 건 이 글의 공저자 두 사람이 2024년 내놓은 실험입니다. 작가 300명이 쓰고 평가자 600명이 채점했는데, AI 아이디어를 받은 쪽 소설이 참신성 8.1%, 유용성 9% 높게 나왔습니다. 원래 창의성이 낮았던 작가군은 참신성 10.7%, 문장력은 최대 26.6%까지 올랐고요. 그런데 AI 아이디어를 단 하나만 받아도 작가들끼리 이야기가 10.7% 더 비슷해졌습니다. ㅎㄷㄷ
논문 초록의 한 문장이 이 모양새를 정확히 짚습니다.
"These results point to an increase in individual creativity at the risk of losing collective novelty." (개인의 창의성은 올라가지만, 집단의 참신성을 잃을 위험을 안고 간다는 뜻입니다)
열두 명이 열두 번, 같은 우물에서 물을 길었습니다
원인은 어렵지 않습니다. 같은 모델, 같은 학습 데이터, 비슷비슷한 프롬프트. 팀원 열두 명이 각자 자리에서 AI를 켜지만 실상은 열두 번 같은 우물에 두레박을 내리는 셈이거든요. 개인은 혼자 있을 때보다 나은 답을 길어 올립니다. 다만 물맛이 다 같습니다.
지난달 제조 대기업 신사업팀의 A 팀장이 이런 얘기를 하시더군요. 예전 아이디어 회의는 여덟 명이 여덟 방향으로 튀어서 정리에 애를 먹었는데, 요즘은 전원이 사전 과제를 말끔하게 써 온다는 겁니다. 문제는 그다음이었습니다.
"열두 장이 다 잘 쓴 글이에요. 그런데 골라낼 게 세 덩어리밖에 안 남더군요."
한국에서 AI 도입은 어찌 보면 단체복 같습니다. 다들 잘 갖춰 입었는데, 조금만 떨어져서 보면 누가 누군지 분간이 안 갑니다.
최고의 아이디어는 평균이 아니라 꼬리에서 나옵니다
여기서 곧바로 짚고 갈 대목이 있습니다. 지로트라, 터위시, 울리히(2010)가 Management Science에 실은 Idea Generation and the Quality of the Best Idea는 발상 과정의 성과를 아이디어 평균이 아니라 최고 아이디어의 품질로 정의합니다. 그리고 그 최고점을 좌우하는 변수 넷을 세웠는데요. 평균 품질, 개수, 품질의 분산, 그리고 좋은 걸 알아보는 변별력입니다.
이 가운데 실험이 강하게 받쳐준 대목이 분산이었습니다. 개인이 먼저 따로 뽑아내고 이후에 모이는 하이브리드 구조가, 처음부터 다 같이 모여 떠드는 팀 구조보다 최고 아이디어가 좋았습니다. 흩어진 만큼 넓게 퍼졌고, 넓게 퍼진 꼬리 끝에서 쓸 만한 게 나왔던 거죠. 생성형 AI가 하는 일이 정확히 이 구조를 거스릅니다. 평균은 올리고 분산은 깎습니다. 그런데 조직이 정작 목마른 건 평균이 아니라 꼬리입니다. 팀의 평가 지표가 제출물 평균 완성도에 맞춰져 있다면 AI는 만점을 받겠지요. 그 만점이 혁신을 갉아먹고 있다면 얘기가 다릅니다.
결국 경쟁우위 얘기로 귀결됩니다
작년 5월에 보내드린 AI는 경쟁우위를 제공할까 편을 기억하시는 분이 계실지 모르겠습니다. 그때 다룬 @MITSloanManagementReview의 논지는 이랬습니다. PC도, 인터넷도, 반도체도 한때는 판을 뒤흔든 물건이었지만 지금은 다들 갖춘 기본 장비가 되었다는 거죠. 알고리즘이 표준화되고 오픈소스 모델이 쏟아지고 AI 인재가 흔해질수록, AI는 차별화가 아니라 동질화를 밀어붙이는 힘이 됩니다.
그 글이 붙든 개념이 잔여 이질성(residual heterogeneity)이었습니다. 남들이 다 손댈 수 있는 것 너머에 나만 가진 무엇이 남아 있느냐, 기존 패턴을 잘 버무리는 보간이 아니라 없던 걸 뽑아내는 외삽이 되느냐. 뻔한 얘기 같겠지만요, 1년이 지나 이번 실험 결과를 겹쳐 보니 결이 딱 맞물립니다. 작년 그 글이 산업 차원의 경고였다면, 이번 실험들은 그 동질화가 여러분 팀의 회의실 안에서 이미 벌어지고 있다는 증거인 셈이거든요. 시장에서 우리 회사가 옆 회사와 닮아가기 전에, 우리 팀 열두 명이 먼저 서로를 닮아갑니다. 순서가 그렇습니다.
스위치를 한쪽에 고정시키지 마십시오
릭스, 골드버그, 스리바스타바, 밸런타인(2022)이 Management Science에 낸 Aligning Differences: Discursive Diversity and Team Performance는 여기에 한 겹을 더 얹습니다. 소프트웨어 팀 117개와 구성원 421명의 슬랙 대화를 분석했더니, 성과가 좋은 팀은 발상 과제를 할 때 서로 다른 언어로 흩어졌다가 조율 과제로 넘어가면 언어를 맞춰 모였습니다. 다양성 수치 자체보다 국면에 따라 스위치를 넣었다 뺐다 하는 능력이 갈랐다는 거죠.
지금 많은 조직이 그 스위치를 수렴 쪽에 붙여 놓고 테이프로 감아버린 모양새입니다. 발산해야 할 자리에서 AI가 먼저 정답 비슷한 걸 깔아주니까요.
그러면 리더는 뭘 해야 할까요. 네 가지를 권해드립니다.
- 아이디어 회의 첫 30분은 AI를 끄십시오. 사전 과제도 손으로 먼저 쓰게 하시고, 이 30분을 캘린더에 못 박으세요.
- 팀원마다 다른 프롬프트를 배정하십시오. 같은 질문을 열두 명이 던지면 답도 열두 번 같습니다. 관점, 고객군, 제약 조건을 나눠 주는 게 한 수입니다.
- AI는 선별과 검증, 구조화 쪽으로 옮기십시오. 이번 연구가 다양성을 지켜낸 유일한 배치가 이겁니다.
- 회의 산출물을 개수로 세지 말고 서로 얼마나 다른지로 보십시오. 열 개가 올라왔는데 묶어보니 두 갈래라면, 그 회의는 두 개짜리 회의였습니다.
이 대목은 예전에 다룬 사람들은 생성형AI로 뭘 하나? 편과 같이 보시면 결이 이어집니다. 그때는 사람들이 AI를 어디에 쓰는지가 관심사였다면, 이번엔 언제 쓰느냐가 판을 가른다는 얘기입니다. 물론 AI를 걷어내자는 말이 아닙니다. 평균을 끌어올리는 힘은 실로 대단하고, 실력 편차가 큰 팀일수록 고맙게 쓸 수 있습니다. 다만 발산의 한복판에 놓아두면, 팀 전체가 사이좋게 같은 곳에 도착합니다. 잘 쓴 열두 장보다, 서로 다른 세 장이 조직을 먹여 살릴 때가 있습니다.
| 
