요즘 어느 회사를 가나 경영 화두는 하나로 수렴합니다. AI죠. 올해 조직개편 자료를 몇 개만 겹쳐 놓고 봐도 이름만 다를 뿐 뼈대가 판박이입니다. 그리고 이럴 때 늘 반복되는 반사행동이 하나 있습니다. 조직을 나누는 겁니다.
새 과제가 생기면 새 상자를 하나 그린다. 우리 기업들이 지난 20년간 몸에 익힌 수순입니다. 사업부제, 애자일 스쿼드, 플랫폼 조직, CIC까지 전부 같은 문법이었고요. 이번에도 다르지 않습니다. 다만 상자에 붙는 이름이 AX로 바뀌었을 뿐이죠. 오늘은 이 반사행동을 한번 뒤집어서 따져보려고 합니다.
1. 지금 조직들이 실제로 하고 있는 일
첫째, CEO 직속으로 전담 상자를 하나 세웁니다. SKC는 대표이사 직속으로 AI 프런티어 태스크포스를 출범시켰습니다. SKC만이 아니라 SK넥실리스, SK피아이씨글로벌, ISC, 앱솔릭스, SK리비오 구성원까지 묶었고요. 역할은 업무와 연결된 AI 과제 발굴, 외부 전문가 협업, 구성원 활용 가이드라인 마련입니다.
둘째, 그 상자를 계열사 수만큼 복제합니다. 삼성은 전 관계사에 AI 전담 조직을 신설해 사업 특성에 맞는 AX 전략 수립, 데이터·모델 운영 관리, 현업 AI 인재 육성을 총괄하게 했습니다.
셋째, 아예 사업축을 갈라놓습니다. SK텔레콤은 2026년 조직개편에서 MNO와 AI 양대 CIC 체제로 전환했습니다. 정재헌 CEO는 이렇게 말했습니다.
"CIC 체제는 MNO와 AI 각 사업 특성에 최적화된 일하는 방식과 의사결정 체계를 갖추기 위한 선택입니다."
여기까지는 뭐 그렇다고 합시다. 사업 성격이 다르면 의사결정 속도도 달라야 하고, 전담 조직 없이 현업에 AI를 얹으라고 하면 아무도 안 합니다. 저 결정들 하나하나는 다 합리적이라고 봅니다. 문제는 다른 데 있습니다.
2. 우리가 못하는 건 분해가 아닙니다
지난 7월 @HBR에 실린 AI Adoption Is Testing Modular Firms를 읽다가 한 문장에 걸렸습니다. IMD의 Mark Greeven, CEIBS의 Katherine Xin, George Yip, Wei Wei가 함께 쓴 글인데요. 요지는 이렇습니다.
조직은 일을 잘게 나누는 데는 훨씬 능해졌지만, 나눈 것을 다시 붙이는 데는 그만큼 능해지지 않았다. 곱씹을수록 뼈아픈 진단입니다. 저자들은 재결합을 가로막는 세 가지를 짚습니다. 거버넌스 문턱, 사안마다 처음부터 새로 하는 협상, 그리고 중앙에 몰린 의사결정. 그러면서 앞으로의 경쟁 우위는 조립형 통합(composable integration), 즉 이미 갖고 있는 역량을 빠르게 다시 엮어내는 힘에서 갈린다고 봅니다.
숫자를 보면 이 진단이 더 또렷해집니다. 맥킨지의 2026 State of AI 조사에서 응답자의 80%가 개인 생산성이 개선됐다고 답했고, 50%는 의사결정이 나아졌다고 했습니다. 그런데 AI가 영업이익(EBIT)에 조금이라도 영향을 줬다고 답한 비율은 37%입니다. 영업이익의 5% 이상을 AI에 돌릴 수 있는 기업은 약 6%고요. 전사로 확산 단계까지 간 곳은 44%. 작년 38%에서 6%p 올랐을 뿐입니다. 개인은 빨라졌는데 회사는 그대로입니다.
이 간극을 어떻게 읽어야 할까요. 저는 도입이 모자라서가 아니라 재조립이 안 돼서라고 봅니다. 파일럿은 부서 안에서 끝나고, 그 성과를 옆 부서 업무 흐름에 갖다 붙이는 순간 데이터 소유권, 비용 배분, KPI 귀속이 한꺼번에 걸립니다. 상자를 늘리는 능력은 이미 충분한데, 상자와 상자 사이를 잇는 능력은 아무도 키우지 않은 거죠. 결국 AI 전환을 대대적으로 한다는 조직에는 조직재설계가 뒤따라야 한다는 겁니다. 단순히 일이 달라지는 것을 넘어서 조직적인 변화가 수반되어야 합니다.
3. 지나치게 잘게 쪼갠 조직이 더 위험합니다
이건 요즘 발견된 얘기가 아닙니다. Ethiraj와 Levinthal(2004)이 Management Science에 발표한 Modularity and Innovation in Complex Systems는 복잡한 시스템을 어디까지 나누는 게 적절한지를 시뮬레이션으로 따져본 연구입니다. 결론에서 두 저자는 과잉 통합과 과잉 분해 사이에 비대칭이 있다고 못을 박습니다. 통합이 지나치면 탐색이 게을러지고 열등한 설계에 일찍 안주하게 되지만, 모듈을 지나치게 잘게 나누면 시스템이 사이클링에 빠져 성과 개선 자체가 일어나지 않는다는 겁니다.
쉽게 옮기면 이렇습니다. 덜 쪼갠 실수는 느려지는 데서 그치지만, 너무 쪼갠 실수는 아예 나아가지 못하게 만든다. 각 조직이 자기 모듈만 열심히 최적화하고, 그 최적화가 서로 상쇄되고, 다음 분기에 또 자기 모듈만 손보는 장면. 낯설지 않으실 겁니다.
AI 전담 조직을 늘리는 건 결국 분해 능력에 투자하는 일입니다. 우리가 부족한 쪽은 거기가 아닙니다.
(예) 한 제조 대기업 이야기를 들려드리겠습니다. 품질팀이 외관 검사에 비전 AI를 붙여 검출률을 눈에 띄게 끌어올렸습니다. 비슷한 시기에 생산기술팀은 설비 예지보전 모델로 비계획 정지 시간을 줄였고요. 두 파일럿 다 성공입니다. 그런데 이 둘을 라인 전체 수율 관리로 합치자는 제안이 나온 뒤 실제로 붙기까지 반년 넘게 걸렸습니다. 기술이 어려워서가 아니었습니다. 검사 데이터를 누가 소유하는지, 서버 비용을 어느 팀 예산에서 쓰는지, 수율이 오르면 그 성과가 누구 KPI로 잡히는지. 이 세 가지가 정리되지 않아서였죠. 전담 조직은 이미 세 개나 있었습니다.
AI가 조직의 민낯을 드러낸다는 얘기는 예전에 AI는 당신의 리더십을 폭로합니다 편에서 다룬 적이 있는데요. 이번 국면에서 폭로되는 건 리더 개인이 아니라 조직 자체가 아닌가 싶습니다.
4. 재결합을 조직의 실력으로 만드는 네 가지
HBR 저자들이 제시한 네 가지 우선순위를, 우리 실정에 맞게 옮겨보겠습니다.
1) 재결합을 측정하십시오. 신설 조직 수, 파일럿 건수 말고 다른 걸 세셔야 합니다. 분기당 다른 부서 자산을 갖다 쓴 건수, 아이디어가 나온 날부터 붙는 날까지의 리드타임. 앞의 제조사라면 6개월이 그대로 지표가 됩니다. 세지 않는 능력은 늘지 않습니다. 이건 마이크로소프트가 '타인의 영향을 얼마나 받았나?'라고 묻는 평가지표와도 연결이 됩니다.
2) 기술 규격만 맞추지 말고 거버넌스도 표준화하십시오. API 규격은 다들 챙깁니다. 정작 매번 발목을 잡는 건 데이터 접근 권한, 비용 정산, 성과 귀속인데 이건 사안마다 새로 협상하죠. 이 세 가지의 기본값을 사전에 확정해 두시기 바랍니다. 기본값이 있으면 협상은 예외에서만 벌어집니다.
3) 전사에서 다시 쓸 수 있는 블록을 세우십시오. 본부마다, 팀마다 같은 모델을 각자 학습시키는 건 분해의 낭비입니다. 한 번 만든 것을 옆에서 그대로 꺼내 쓰게 판을 까는 쪽이 훨씬 남습니다.
4) 통합 권한을 현장 가까이 내려주십시오. 팀장이 남의 팀 데이터를 갖다 쓰려면 임원 결재를 두 단계 올려야 하는 회사라면, 재결합은 분기에 한두 번 일어나는 행사로 굳습니다. 일정 금액·범위 아래에서는 팀장 선에서 결정하고 사후 보고하는 구간을 열어주시길 권해드립니다.
조직개편안을 그릴 때 우리는 네모를 그립니다. 선은 잘 그리지 않죠. 그런데 AI가 값을 만들어내는 자리는 대개 네모 안이 아니라 선 위입니다. 올해 상자를 몇 개 더 만드셨다면, 이번 분기에는 선을 몇 개나 그으셨는지도 한번 세어보시면 어떨까 싶습니다. ^^ | 
