AI 전환의 승부는 기술이 아니라 '기업의 뇌'에서 갈린다: BCG 한국 파트너들이 본 AX의 현실

YouTube에서 열기 ↗
개요

모든 기업이 AI를 이야기하고 있지만, 실제 성과로 이어지는 경우는 많지 않다. 이 다큐멘터리에서 BCG 한국 파트너들은 그 이유를 기술이 아니라 접근 방식에서 찾는다. 이들이 보기에 AI는 수단일 뿐이다. 기존 업무 사이에 AI를 끼워 넣는 것만으로는 부족하고, 회사가 시장에서 이기는 방식 자체를 AI와 함께 다시 설계해야 한다. 파트너들은 이런 변화가 고객 기업뿐 아니라 컨설팅 업 자체에도 일어나고 있다고 말한다.

8 분 분량

경영진의 질문이 '무엇·왜'에서 '어떻게'로 바뀌었다

한 파트너는 최근의 가장 큰 변화로 최고경영진이 던지는 질문의 성격을 꼽았다. 2022년 말에서 2023년 무렵에는 AI가 과연 무엇인지, 왜 경영에 AI를 접목해야 하는지를 주로 물었다. 지금은 이런 질문을 하는 경영진이 거의 없다고 한다. 대신 AI를 우리 경영 환경, 특히 우리 회사에 어떻게 의미 있게 접목할지를 묻는다. 파트너는 이를 '어플라이드 AI' 관점의 질문과 고민이 훨씬 많아진 것이라고 설명했다.

CDO 시대와 닮았지만 결정적으로 다른 점

다른 파트너는 지금의 분위기를 아이폰이 등장하던 시절과 비교했다. 당시 모바일이 큰 화두였고, 모든 기업이 플랫폼 경영을 해야 한다고 말했다. 그래서 각 기업은 CDO(Chief Digital Officer)라는 임원급 조직을 만들고 그를 중심으로 경영을 이끌었다. 파트너에 따르면 지난 2~3년간의 AI도 처음에는 비슷했다. AI 담당 임원을 두고 그 사람이 변화를 이끄는 방식이었다.

그런데 최근에는 이 방식이 크게 바뀌고 있다고 한다. CAIO(최고 AI 책임자) 한 사람이 모든 AI 변화를 이끌 수 있느냐는 의문이 커졌다. 대신 CEO가 "우리 회사의 가장 중요한 아젠다는 AI이니 내가 직접 챙기겠다"고 나서는 경우가 늘고 있다. 파트너는 CEO가 직접 AI를 챙기며 강하게 투자하는 회사, 그 중요도가 중간 수준인 회사, 그렇지 않은 회사를 비교하면 비즈니스 성과 차이가 극명하게 갈린다고 말했다. 그리고 회사 전체 구조에 AI를 도입해 생산성과 수익을 끌어올리는 회사와 그렇지 못한 회사 사이에서 승자와 패자가 뚜렷하게 나뉠 것으로 전망했다.

바텀업과 탑다운, 그리고 벌어지는 격차

AI를 도입하는 방식도 다양해지고 있다고 파트너들은 본다. 어떤 회사는 오픈AI나 클로드 같은 서비스를 전 직원에게 제공해 생산성 개선을 꾀한다. 다른 회사는 AI로 자사의 기본 경쟁력이나 경쟁 우위 요소를 어떻게 재정의하고 재편할지를 묻는 탑다운 방식으로 접근한다. 한 파트너는 이를 바텀업과 탑다운이라고 정리했다. 그러면서 탑다운 방식을 어떻게 조합해 기업의 경쟁력을 재정의할지가 지금 시대의 가장 핵심적인 고민이라고 말했다. 파트너들은 이 두 방식에 따른 격차가 앞으로 더 벌어질 것으로 판단하고 있다.

"AI는 수단에 불과하다": Deploy와 Reshape의 차이

한 파트너는 "냉정하게 말씀드리면" 많은 기업이 AI를 이해하고는 있지만 성과를 내는 방식으로 접근하는 회사는 많지 않다고 지적했다. 첫 번째 이유는 AI 트랜스포메이션에서 '트랜스포메이션'이 아니라 'AI'에 방점이 찍히는 데 있다. 변화 자체보다 AI 기술 도입에 몰두하는 경우가 많다는 것이다.

그는 이를 신제품 개발 사례로 설명했다. 소비재 회사들은 신제품 기획에 적게는 6개월, 많게는 1년 정도를 쓴다. 이 과정을 '디플로이(Deploy)' 방식으로 접근하면 기존 업무를 태스크 단위로 나눈 뒤, 중간중간 AI를 적당히 끼워 넣어 속도를 조금 높이는 데 그친다. BCG가 말하는 '리셰이프(Reshape)'는 이와 다르다. 출발점은 "어디에 AI를 쓸 수 있을까"가 아니다. "신제품을 잘 만든다는 게 도대체 뭔가", "신제품이 성공하려면 무엇이 전제되어야 하는가"라는 질문에서 시작한다.

리셰이프 방식에서는 시장을 바라보며 기회 영역을 찾는 작업에 AI의 도움을 받는다. 하나의 신제품 안이 아니라 여러 개의 기획안을 빠르게 만들고, 그중 성공 확률이 높은 안으로 좁혀 간다. 파트너는 이렇게 하면 기존에 6개월에서 1년 걸리던 과정을 한두 달로 줄일 수 있다고 설명했다. 기존 프로세스에 AI를 끼워 넣는 것이 아니라 업무 순서 자체를 새로 설계하는 접근이다. 파트너는 이렇게 AI를 써야 의미 있는 성과가 나오지만, 현장의 많은 기업이 아직 단순한 디플로이 접근에 머물러 있어 성과로 빠르게 이어지지 못한다고 말했다.

엔터프라이즈 IQ: 손발이 아니라 뇌

이 리셰이프의 핵심으로 파트너는 'AI가 우리가 시장을 보고 인사이트를 뽑아내는 로직을 이해하고 있어야 한다'는 점을 들었다. BCG는 이를 '엔터프라이즈 IQ'라고 부른다. 그의 비유에 따르면, 진짜 가치는 손발(에이전트나 도구)을 빨리 만들거나 여러 개 만드는 데서 나오지 않는다. 그 손발이 우리 회사만의 시장 승리 방식이 주입된 '뇌'와 함께 만들어졌는지가 중요하다. 파트너는 이 엔터프라이즈 IQ를 얼마나 잘 만들어 내느냐가 성패를 좌우한다고 봤다.

그는 이 부분을 반드시 내재화해야 한다고 강조했다. 오픈AI나 팔란티어가 대신 만들어 줄 수 있는 것이 아니다. 회사의 로직을 알고 있는 회사 자신이 만들어야 한다는 것이다.

컨설팅 업의 불안과 기대: '임팩트 컴퍼니'로의 전환

이야기는 컨설팅 업 자체의 변화로 이어졌다. 한 파트너는 최근 전 세계 BCG 파트너들이 모여 컨설팅 비즈니스가 앞으로 어떻게 진화해야 하는지를 논의한 자리가 있었다고 소개했다. 그 자리에서 참석자들은 두 가지 감정을 동시에 느꼈다고 한다. 하나는 AI 덕분에 비즈니스가 진화하고 사업 기회가 넓어지고 있다는 기대와 희망이었다. 다른 하나는 컨설팅이 AI 때문에 퇴화하거나 사라지는 것 아니냐는 불안이었다. 그는 이 불안이 "여전히 저희에게도 있다"고 털어놓았다.

그가 설명한 BCG의 변화는 이렇다. 예전의 BCG는 전략적 방향을 세우고 실행 방법을 조언하는 회사였다. 이제는 그 뒤에 필요한 기술 요소까지 결합해 실질적인 임팩트와 결과물을 만들어 내는 회사로 진화하고 있다. 그래서 내부에서는 스스로를 컨설팅 회사보다는 '임팩트 컴퍼니' 또는 '임팩트 코어'라고 부른다고 한다. 그는 BCG가 전체 과정을 오케스트레이트하는 '조율자'로 진화하고 있다고 정의했다.

다른 파트너도 비슷한 맥락에서 말했다. 컨설팅의 업은 고객의 문제를 해결하는 것이다. 매출 증가, 비용 효율화, 일하는 방식의 진화처럼 뚜렷한 임팩트가 없으면 존재할 수 없다. 그래서 AI를 전사적으로 쓰는 것 자체가 중요한 게 아니라, AI를 적절한 곳에 잘 써서 효과를 내느냐가 "유일한 척도"라고 강조했다.

전략과 어플라이드 AI라는 두 축, 그리고 FDE 조직

이 파트너는 최근 BCG의 방향이 전략과 어플라이드 AI라는 두 축으로 재편되고 있다고 설명했다. 여기서 AI는 기술로서의 AI가 아니라 기업에 실제로 적용되어 변화를 일으키는 AI를 뜻한다. 기업에 AI를 적용해 리셰이프하는 과정을 함께하는 것이 BCG의 방향이라는 것이다.

이를 위해 인력 구성도 바뀌고 있다고 한다. AI 엔지니어와 데이터 사이언티스트 같은 '빌더'를 확보하고 있다. 여기에 현장에 파견되어 고객의 문제를 깊이 파악하고 해결하는 '포워드 디플로이드 엔지니어(FDE)' 조직도 갖춰 가고 있다. 그는 이 FDE 조직이 새로 생겨나는 기업용 소프트웨어 회사들과 견주어도 폭과 깊이에서 부족하지 않은 수준이라고 자평했다. 전략 자체를 분명하게 AI 쪽으로 설정한 것도 구호에 그치지 않는 깊은 수준의 변화라고 말했다.

"본질은 변하지 않았다, 오퍼링이 확장됐을 뿐"

또 다른 파트너는 조금 다른 각도에서 이 변화를 설명했다. 그는 BCG의 본질은 변한 게 없다고 봤다. 성과를 만드는 것이 여전히 임무라는 것이다. 다만 AI와 기술이 접목되면서 실행 방법, 조직의 일하는 방식, 프로세스까지 함께 바뀌어야 성과가 나게 됐다. 그 결과 서비스 범위가 넓어졌다고 그는 설명했다. 전략, 기술이 결합된 실행, 그리고 이를 기업 안에 내재화하기 위한 변화 관리와 운영 방식의 변화까지 지원하게 됐다는 것이다.

앞서 'AI에 방점이 너무 찍혀 있다'고 지적한 파트너도 같은 이야기를 했다. AI 트랜스포메이션은 새 기술 접목을 전제로 한 재설계다. 그래서 일하는 방식, 프로세스, 필요하다면 조직까지 함께 바뀌지 않으면 아무리 좋은 AI를 넣어도 성과가 나지 않는다. 그는 조직에 대한 이해도가 높고 조직과의 접점에 익숙한 컨설팅 펌이 이 영역을 더 잘 해낼 수 있다고 봤다.

골드만삭스의 반성과 '사람이 70%'

AI 전환의 성공과 실패를 이야기하며 한 파트너는 골드만삭스 사례를 들었다. 그의 설명에 따르면 데이비드 솔로몬 CEO는 이렇게 밝혔다고 한다. 2024년 이전 골드만삭스는 100여 개의 PoC를 동시다발적으로 진행하는 방식으로 전사 AI 전환을 추진했다. 하지만 그 과정에서 제대로 된 성공 사례를 만들어 내지 못했고, 솔로몬 CEO는 이를 실패로 인정했다. 2024년 이후 골드만삭스는 가장 본질적인 영역 대여섯 가지를 골라 그 영역을 AI로 전환하는 방식으로 철학을 크게 바꿨다.

이 파트너는 AI 전환에서 기술이나 데이터 기반보다 더 어려운 것이 조직과 사람, 그리고 변화 관리라고 말했다. 숫자로 표현하면 전체 어려움 중 사람에 관한 어려움이 70%라는 것이 그의 생각이다. 그래서 BCG 팀은 AI 전략과 플랫폼을 조언하고 설계·개발하는 데 그치지 않는다. 사람들이 그것을 가지고 현장에서 어떻게 움직이고 어떻게 바뀔지에 훨씬 더 집중해 성과를 만들어 내고 있다고 설명했다.

필요한 인재상의 변화: 질문하는 사람에서 변화를 만드는 사람으로

인재 이야기도 나왔다. 한 파트너에 따르면 요즘 기업들은 질문을 잘하는 인재를 원한다고 말한다. AI에게 프롬프트를 잘 쓰고 잘 지시해야 문제를 풀 수 있다는 이유에서다. 그는 BCG가 1993년 시작할 때부터 호기심이 많고 질문을 잘하는 인재를 원해 왔다고 말했다. 질문을 잘해 문제를 정의하고, 해결하고, 잘 전달하는 데까지는 이미 잘하고 있다는 것이다.

그래서 BCG에서는 오히려 그다음 단계가 더 중요해졌다고 한다. 잘 푼 문제를 가지고 교감하고 공감하며 상대를 설득하는 능력, 상대의 이성과 감성을 사로잡는 능력이다. 여기에 실제로 함께 실행해 결과를 보고 가치를 만들어 내는 인재가 훨씬 더 중요해졌다. 문제 구조화 결과를 다른 사람에게 설득하고 그들의 변화를 이끌어 내는 사람을 더 많이 원한다는 것이다.

다른 파트너는 '인공지능'이라는 말 자체에 주목했다. 지능이 보편화되어 추론 능력, 논리적 사고, 지식에 대한 접근이 누구에게나 제공되는 세상이 오고 있다는 것이다. 그래서 거의 모든 직군에서 기술적 전문성만 가진 사람의 설 자리는 점점 줄고, 전체를 설계하고 기획하고 추진할 수 있는 사람의 가치가 커질 것으로 그는 전망했다. BCG도 마찬가지라고 했다. 그는 필요한 인재를 '통합형 빌더 겸 사상가(integrated builder-thinker)'에 가깝게 표현했다. 직접 만들 수도 있고, 사고할 수도 있고, AI를 비롯한 도구도 다룰 수 있는 종합 역량을 가진 사람이다. 고객의 기대도 결과를 더 선명하게 내는 쪽으로 바뀔 것이라고 봤다. 그래서 엔드투엔드로 결과까지 낼 수 있는 컨설턴트가 훨씬 큰 가치를 주고 역할도 커질 것이며, 이것이 BCG가 추구하는 핵심 방향이라고 말했다.

일자리는 사라지기보다 재편된다

한 파트너는 BCG가 최근 발표한 리포트를 소개했다. 제목은 'AI가 일자리를 없애기보다 더 많이 재편할 것'이라는 취지다. 그는 이 리포트가 직업이 사라진다는 것을 보여 주려는 게 아니라고 설명했다. 세상에 존재하는 수많은 업무 조합이 AI에 의해 새롭게 바뀐다는 뜻이라는 것이다.

그래서 그는 개인과 리더에게 이렇게 권했다. 지금 하는 일이 AI로 어떻게 재정의·재편될지 그림을 그려 보고, 그에 맞춰 일하는 방식과 조직을 이끄는 방식을 바꿔 보라는 것이다. 이것이 지금의 전례 없는 혼란을 돌파하는 데 도움이 되는 팁이라고 했다. 다른 파트너도 AI가 모든 일자리를 없앨 거라는 불안을 지나치게 느낄 필요는 없다고 말했다. 그 예로 컨설팅 업의 변화를 들었다. 컨설팅이 사라지는 것이 아니라 이 시대에 맞춰 급격하게 바뀌고 있다는 것이다.

규모보다 태도: 한국 기업에 주어진 기회

AI 전환의 속도가 기업 규모를 따르지는 않는다는 관찰도 나왔다. 한 파트너는 대기업이 앞서고 중소·중견기업이 뒤처지는 구도가 전혀 아니라고 말했다. 오히려 대기업은 거대한 시스템으로 운영되기 때문에 AX에서 후발주자가 되는 경우가 많다. 반대로 작은 기업이 더 앞서 치고 나가는 사례도 많이 관찰된다고 했다.

파트너들은 특히 아시아 기업, 그중에서도 한국 기업의 적극성이 남다르다고 현장에서 느낀다고 말했다. 한 파트너는 한국 기업들이 생성형 AI의 등장을, 서구 중심으로 짜여 온 게임의 규칙을 구조적으로 뒤바꿀 기회로 보는 것 같다고 해석했다. 소비재가 그 예다. 소비재의 핵심은 마케팅인데, 예전에는 자본력이 큰 서구 기업이 밀고 들어오면 맞서기 어려웠다. 하지만 AI의 힘을 빌려 훨씬 적은 돈으로 고효율 마케팅을 할 수 있다면 해 볼 만한 게임이 된다. 오히려 그들보다 뛰어난 디지털 마케팅 역량을 가질 수 있지 않겠느냐는 희망을 한국 기업들이 품고 있다는 것이다.

다른 파트너는 거대한 변화의 한복판에 있는 것이 재미있다고 말했다. 한국이 잘하는 자동차, 조선, 최근의 화장품과 식료품은 대부분 규모와 운영이 큰 산업이다. 그래서 AI 효과를 크게 볼 수 있다고 그는 봤다. 한국인은 보수적인 면도 있지만 변화가 오면 빠르게 움직이는 화끈함과 열정이 있어 AI 시대에 잘될 수 있는 경제라는 것이 그의 생각이다. 그는 파운데이션 모델과 핵심 기술은 미국이 주도하는 것이 맞지만, 활용에서도 미국이 가장 앞서는지는 아직 분명하지 않다고 덧붙였다.

또 다른 파트너는 어플라이드 AI가 결국 AI를 현장에 접목했을 때 어떤 효과를 거두느냐의 문제라고 짚었다. 한국 기업들은 변화 수용도가 높고 다양한 시도를 하고 있다. 그래서 기업의 경쟁 원천을 재정의하는 성공 사례가 다른 나라보다 더 빨리, 더 강력하게 나올 가능성이 매우 높다고 그는 봤다.

"앞서가는 곳은 없다": 글로벌 사례라는 프레임에서 벗어나기

한 파트너는 고객들에게 자주 하는 말을 소개했다. 글로벌 사례를 묻고 싶은 마음은 알지만, 그 프레임에서 벗어났으면 좋겠다는 것이다. 그의 말에 따르면 AI 시대에 앞서가고 있는 곳은 거의 없고, 있을 수도 없다. 생긴 지 얼마 안 된 기술이고 모두가 함께 고민하는 중이기 때문이다. 그래서 스스로 선두주자이자 프런티어, 글로벌 사례가 되겠다는 마인드셋으로 접근하기를 권했고, 그렇게 할 수 있다고 말했다.

정답은 없지만 한 발은 떼야 한다, 다만 '착각'은 경계하라

파트너들은 BCG도 답을 다 갖고 있지는 않다고 인정했다. 한 파트너는 지금이 어떤 미래가 올지 아무도 말할 수 없는 전례 없는 혼란의 시기라고 했다. BCG에도 모든 상황의 해법을 명쾌하게 내놓을 요술 지팡이는 없다고 말했다. BCG 역시 같은 과정을 겪으며 한 발 앞서 나가기 위해 고민하고 움직이는 단계에 있다는 것이다. 그래서 기업에 제안하는 것은 일단 한 발을 떼라는 것이다. 무언가를 시도하고, 실패하더라도 그 경험을 쌓아 가며 돌파해야 한다고 했다. 다른 파트너도 누구도 정답을 갖고 있지 않은 지금은 지속적으로 배우는 과정을 체화하는 것이 가장 중요한 덕목이자 행동 강령이라고 말했다.

동시에 경고도 있었다. 한 파트너는 디플로이 방식으로 AI를 접목하면서 "나는 AI를 굉장히 열심히, 적극적으로 하고 있다"고 생각하는 일종의 착각을 경계하라고 했다. 1년 넘게 AI 도입을 관리하고 돈도 많이 썼는데 막상 들여다보니 무엇이 바뀌었는지 모르겠다고 말하는 기업이 슬슬 나오기 시작했다는 것이다. 그는 AI 기술을 전제로 50년, 100년 가까이 해 온 일하는 방식을 AI 시대에 맞게 다시 설계해야 한다고 했다. 그렇게 해서 원래 풀고자 했던 비즈니스 본질의 성과를 내는 데 주목해야 한다는 것이다.

그의 결론은 이렇다. 최고경영진이 각오하고, 몇 년에 걸친 구조적 변화를 하겠다고, 많은 어려움이 있더라도 헤쳐 나가겠다고 결심해야 한다. 이런 탑다운 방식의 변화 추진만이 성공을 담보할 수 있다는 것이다.