한국에서 외면받은 '영상 이해 AI', 실리콘밸리에서 1억 달러를 받기까지: 트웰브랩스 이재성 대표와 네이버벤처스 박용정 파트너의 대화

이번에 라운드, 제가 알기로는 한국인이 만든 테크 스타트업 중에 정말 주주 구성이 화려한 걸로 알고 있어요. 미국의 NEA, 네이버 벤처스가 공동 리드를 하셨고요. 전략적 투자자로서는 엔비디아, 그리고 아마존, 스노우플레이크, 데이터브릭스, 인덱스 벤처스라든지, 월드랩스를 만들고 계신 페이페이 리 님, 이제 메타에 매각을 하신 알렉산더 왕 전 대표님이 계시고요.

젊으신 분들이 할 만한 사업이 아닌 거 같다는 그런 생각도 되게 들고. 저희 CTO는 막 SAT 그거 막 과외하면서 생활비 벌고, 뭐 대출도 받아 가지고. 그때는 정말 뒤가 없는 행동이죠. 어떻게든 되겠지. 지금은 이제 막 모델 하나 트레이닝하는 데 1천억 막 이렇게 들어갈 텐데, 그때 당시 저희가 했었을 때는 와, 너네 모델 훈련시키는 데 3억을 태웠다고 그랬었을 때였었던 거 같아요. 네. 그것도 터들이 많았어요. 아, 되겠어? 하시는 분들이 많았는데 이제 잘 되고 있죠.

옛날에는 정말 미디어 쪽에 대해서 아무것도 모르기 때문에, 미디어 엔터테인먼트 고객분들이 인터내셔널 브로드캐스팅 컨퍼런스라는 암스테르담에 있는 컨퍼런스에 많이 온대, 무작정 좀 그냥 가보자. 뭐 워낙 비싸니까 부스 이런 것도 없었었고, 바 스툴 같은 거 세 개를 어떻게든 구해서 거기 가운데 이렇게 딱 앉아서 넷플릭스가 지나가면은 넷플릭스! 막 이런 식으로 불렀거든요. 진짜 비결은 없는 거 같아요. 근데 저희가 그 누구보다 간절하긴 했었던 거 같아요.

안녕하세요. EO의 태웅입니다. 여기는 이태원인데요. 오늘은 제가 한국에서 가장 좋아하는 스타트업 중 한 곳의 오피스에 방문하기 위해 왔습니다. 트웰브랩스인데요. AI가 비주얼로 세상을 이해할 수 있게 도와주는 기술을 만들고 있는데요. 최근 스타트업 역사상 가장 큰 규모의 시리즈 B로 1,500억 원을 투자받았다고 합니다. 돈을 많이 투자받았으니까 근무 환경도 많이 바뀌었겠죠. 사무실 공사를 최근에 마쳤다고 하는데, 한번 같이 투어도 하시고 대표님 그리고 다른 구성원분들도 만나보시죠.

그 샌프란 오피스랑 완전 느낌이 다른데요.

그죠? 샌프란은 앞에 베이도 있고. 여긴 좀 유니크해요.

네. 그러니까요. 이거 원래 오피스가 아니었을 것 같아요.

원래 여기가 뭐 인테리어 디자인 막 엄청 힙하게 하시는 회사였는데, 저희가 보고 뭔가 우리 감성이랑 비슷한데 해서 오게 됐습니다.

트웰브랩스에 대해서 한번 소개해 주시죠.

네. 저희 트웰브랩스는 영상을 사람처럼 이해하는 AI를 만드는 회사고요. 대표적으로 저희 AI 모델을 활용하셔서 정말 방대한 양의 영상 데이터를 빠르게 검색하셔서 뭐 새로운 콘텐츠를 만드신다든지, 분석을 빠르게 해서 스포츠 분석 아니면은 또 새로운 하이라이트 생성 등을 도와드리는 그런 제품을 만들고 있습니다.

근데 그 왜 이태원에 자리 잡으신 거예요? 보통 한국의 스타트업이다 하면 테헤란로 많이 갔잖아요.

테헤란로 추천도 많이 받았는데, 저희 창업자들이 용산에서 군 복무를 같이 했어요.

아, 네네.

같이 뭐 휴가 나오고 아니면 외출하고 그럴 때 사실 이 근처 카페에서 일을 많이 같이 했거든요. 그래서 초심의 상징적인 곳. 우리 실리콘밸리에서 또 사업을 키울 거고, 우리가 이제 미국 팀원들, 한국 팀원들 다 있을 거니까 뭔가 좀 인터내셔널한 바이브가 있는 게 좋지 않을까 해서 이태원으로 오게 됐고요.

주변에서는 스타트업 제대로 할 거면 테헤란로, 뭐 역삼역 이런 데 가야 되지 않냐, 거기에 막 좋은 VC들도 많고. 세상에 없는 유니크한 거를 만들려면 좀 우리들만의 되게 아지트를 잘 꾸릴 수 있는 공간이 필요할 거라고 생각을 했고, 그렇게 해서 우리가 잘하면은 우리를 보러 오시지 않을까 그런 마음으로 했습니다.

약간 노이즈와 가죽으로부터 좀 멀기도 하고. 네.

우리를 만날 거면 VC분들이 올 수 있게 해야 된다 해서 그런 생각을 했죠. 네. 근데 여기는 오피스가 무슨 유럽 명품 브랜드에서 쇼하고 막 그런 그런 것 같아요.

맞아요. 좀 유니크해요. 근데 이 아트리움이 천장이 높아 가지고 덜 답답하고. 네. 그리고 서로 이렇게 막 다 얼굴 보이고 이렇게 뻥 뚫려 있는 게 좋아 가지고. 아,

샌프란 오피스도 꽤 큰데, 한국 오피스와 좀 용도나 목적이 다른 게 있을까요?

서울이랑 샌프란시스코랑 듀얼이죠. 근데 서울에서는 저희 고객들이 지금 쓰고 계시는 저희 모델 그리고 에이전트, 이 모든 개발이 이제 서울에서 이루어지고 있고요. 샌프란시스코에서는 이제 그 위에, 어떻게 보면은 저희가 자체로 저희 모델 위에 래퍼를 만드는 거죠. 그건 이제 샌프란시스코에서 하고 있고,

GTM 샌프란시스코에서 많이 하고 있대요. 근데 이제 한국도, 한국 GTM 팀도 좀 꾸리고 있습니다.

저희는 어떻게 보면 한국인 창업자이기도 하고요. 또 우리나라에서 하는 그런 연구들을 봤었을 때 뭐 뒤지지 않는다라는 생각이 있었었던 거 같아요. 자존심도 있죠. 여기서도 만들 수 있다. 잘하고 계시니까.

네. 자, 그러면 회사에 어떤 천재 리서처분들, 엔지니어분들이 계신지 한번 만나 보시죠.

안녕하세요. 저는 트웰브랩스에서 머신러닝 리서치 엔지니어로 일하고 있는 손상현이라고 합니다.

네. 안녕하세요. 저는 최세현이라고 하고요. 저도 머신러닝 리서치 사이언티스트로 일하고 있습니다. 저는 이제 서울대학교에서 박사 졸업을 하고 삼성전자에 한 2년 정도 있다가, 제가 원래 하고 싶었던 이런 컴퓨터 비전과 영상 관련된 일을 하고 싶어 가지고 여러 가지 기회를 알아보던 중에 트웰브랩스라는 회사를 알게 되었고요.

비전을 원래 관심이 있었던, 여기서 말씀하신 비전이라는 것이 컴퓨터의 시각을 말씀하신 거잖아요. 근데 사실 인간의 뇌가 처리하는 정보 중에 70% 이상이 시각 정보라고 해요. 그래서 이제 사실 시각 지능이야말로 진정한 지능으로 가는 이제 길 중에 하나다라고 제가 이제 대학원 진학 과정 때부터 그렇게 생각을 해서, 그때부터 비전 연구를 계속 해보고 있었고요. 삼성전자에 가면서는 큰 일을 할 수는 있게 되었지만, 제가 원래 하고 싶었던 그런 시각 지능 연구와는 좀 떨어진 연구를 하게 되어 가지고 이 회사에 더 관심이 가게 된 거 같습니다.

저희 팀에서는 지금 자키라는 트웰브랩스의 새로운 프로덕트를 연구 개발하고 있는데요. 자키는 이제 저희 회사가 개발하는 페가수스와 마랭고 모델을 둘 다 활용하여서, 대량의 영상 데이터로부터 사용자가 원하는 어떤 종류의 데이터든, 어떤 종류의 정보든 신속하고 빠르게 제공할 수 있도록 저희가 가진 모든 영상, 이미지 그리고 다른 모달리티까지 잘 구조화해서 저장하고 그걸 소화할 수 있는 어떤 에이전틱 플랫폼이라고 할 수 있고요. 단순 시장에 있는 에이전트랑은 조금 다른 게, 저희는 그냥 뭐 질문을 넣으면 답변을 주는 그런 형태의 대화형 에이전트보다도 이미 에이전트가 그 데이터를 자유롭게 다루고 소화하고 그리고 확장시킬 수 있는 좀 더 발전된 플랫폼에 집중을 하고 있습니다.

음. 엄청 대단한 분이 계시다고 들었어요.

아, 저희 김윤 박사님. 저희 회사의 프레지던트 그리고 치프 스트래티지 오피서로 계시는데 정신적 지주시죠.

윤, 어떤 분이신가요? 털랩이고요. 트웰브랩스에서는 지금 현재 전략 담당, 전략 히스토리가 굉장히 딥하신데, 윤은 어떻게 보면 파운더이시기도 하시면서 또 애플 시리를 만드는 팀의 중요한 일원으로서 애플에서 근무를 하시다가, 이제 또 한국에서 SKT에서 전 CTO를 하셨다가, 이제 벤처 투자까지 하셨다가, 제가 2년 동안 구애를 해서 오시게 된, 매우매우 닮고 싶은 선배님이다.

제가 조인한 지는 20개월 됐는데요. 사실은 트웰브랩스는 이제 만든 지가 5년 이상 된 회사잖아요. 많은 분들이 생각하시기에 음성이나 뭐 문자나 언어는 LLM이 있어서, LLM이 되게 비싸다고 들었는데, 랭귀지가 아닌 영상을 이해하는 모델은 훨씬 더 비싼 게 아닌가요? GPU가 예를 들면 LLM의 만 배가 되는 게 아닌가 하는 생각이 쉬운데요. 트웰브랩스를 투자자로 처음 접했어요.

어. 어, 그래서 처음에 4년 전에 이제 이재성 대표님께서 오셨을 때 이 문제를 저한테 주셨을 때 어떤 생각이 있었냐면, 에이, 안 될 거야. 너무 좋고 너무 중요하고 어려운 문제인데, 그때는 이제 언어 모델 중에는 GPT 3.5, 3.5 나왔을 때도 그때 막 뉴스에서 너무 센세이셔널한데 너무 비싸 가지고 오픈AI 망할 거야 이러고요. 그때 그랬어요. 그리고 챗GPT가 나오기 전에 제가 갔거든요. 근데 그때 제 생각은 안 될 거 같은데, 너무 방대한, 정말 큰 꿈을 갖고 있어서 한번 해 보자 하고 이제 알게 됐어요. 네. 그럼 저희 자리를 이동해서 트웰브랩스에 대해서 좀 더 딥한 이야기 나눠 보시죠.

아, 좋습니다.

자, 오늘은 실리콘밸리와 한국에서 전 세계 빅테크 기업들과 정면 승부를 벌이고 있는 트웰브랩스의 이재성 대표님과, 그리고 이번 시리즈 B 라운드를 공동 리드한 YJ 님을 모셔봤습니다. 반갑습니다.

반갑습니다. 반갑습니다.

네. 두 분 간단하게 자기소개 한번 해 주시죠. 안녕하세요. 저는 트웰브랩스를 공동 창업한 이재성이라고 합니다.

안녕하세요. 저는 실리콘밸리 기반으로 투자를 하고 있는 네이버 벤처스의 제너럴 파트너 박용정이라고 합니다.

와, 저는 이번에 라운드 어나운스가 정말 세계 모든 테크 뉴스, 경제 뉴스, 매거진 이런 데서 다 되는 거 보고 너무너무 뿌듯했어요. 좀 어떻게 만나 가지고 왜 투자하시게 된 거예요? 공동 리드면은 이것도 상당히 큰 마음을 먹고 해야 되는 투자 결정이잖아요.

네이버 벤처스가 설립된 지 한 1년 정도 됐는데, 사실 트웰브랩스는 네이버 벤처스가 설립하고 최초로 투자한 회사였거든요. 투자 논리가 출발한 거는 사실 되게 간단했었는데요. 아시다시피 전 세계에 있는 데이터의 80% 이상이 영상의 포맷으로 되어 있는데, 지난 몇 년간의 AI 기술의 발전을 보면은 거의 대부분 텍스트 위에 이제 모델들이 세워져 있었는데, 사실 텍스트라는 게 인간이 현실 세계를 사후에 압축해 둔 기록이고, 이 압축하는 과정에서 많은 것들이 손실이 되잖아요. 그래서 예를 들면은 자막에서는 뭐 와인잔이 깨졌다 이렇게 적고 말지만, 실제 영상은 그 앞뒤 매 초를 그대로 담고 있잖아요. 이제 AI가 실제 이런 물리 세계를 이해하려고 하면은 결국에는 이 원본 신호들을 다뤄야 된다고 생각을 합니다. 이 문제 하나에 5년 넘게 여기에만 포커스를 해서 베팅을 하고 있는 팀이 저는 전 세계에서 트웰브랩스가 유일하다고 생각을 했었고, 굉장히 좁은 분야를 깊게 파고 있고, 또 이제 그런 빅테크나 프론티어 랩들이 할 수 없는 엑스큐션의 속도로 사업을 성장시키고 있기 때문에. 실제로 저희 고객사들 중에 세계적인 할리우드의 스튜디오들이 이런 비디오 기술들을 도입하는 과정에서 말씀하셨던 이런 빅테크들의 유사한 모델들을 이기고 트웰브랩스를 선택한 것도, 뭐 이런 사례가 여러 번 또 반복이 되고 있었고,

그래서 저는 결론적으로 빅테크가 결국 모든 걸 다 가져간다라는 전제는 좀 꼭 맞지 않은 거 같습니다. 돌아보면은 뭐 역사가 또 이런 걸 보여주고 있고, 하이퍼스케일러들이 클라우드 시장을 장악을 하고 있었음에도 불구하고 데이터 스토리지, 뭐 애널리틱스 이런 분야에서 스노우플레이크나 뭐 데이터브릭스 같은 또 이제 의미 있는 성장을 만들어 낸 훌륭한 기업들이 탄생을 한 경우도 있고, 마찬가지로 결제 분야에서는 뭐 스트라이프라는 회사가 탄생을 했고, 코딩 분야에서는 뭐 커서라는 회사가 새로운 카테고리를 만들어 낸 거죠. 그래서 지금 딱 어떻게 보면 이 비디오 이해, 영상 이해라는 분야가 그렇게 새로 이렇게 좀 비어 있는 자리라고 생각이 들고, 트웰브랩스가 그 자리에 가장 가깝게 좀 가 있는 회사이지 않을까 싶습니다.

어, 그럼 언제 처음 만나신 거예요?

제가 미국으로, 실리콘밸리로 이주를 한 게 한 2년 전인데, 좀 만나게 된 그 경로도 좀 재밌었던 거 같아요. 같은 한국 사람이긴 한데 사실 연결을 해 주신 분은 실리콘밸리에 있는 모 VC에 계시다가 나와서 본인의 VC를 만들고 계시던 인도계 투자자분이셨어요. 그래서 제가 이제 한국에서 온 투자자라는 걸 알고, 자기가 아는 또 굉장히 훌륭한 파운더가 있는데 한번 소개를 해 주고 싶다 해서 연결을 해 주셨고, 그래서 이제 인도계 미국분이 저희 둘을 연결을 처음 해 주셨었죠.

어, 인도인을 통해서 한국인들끼리 실리콘밸리에서 만난 거네요. 어떻게 보면 참 돌아 돌아 만난 거 같네요.

네이버 벤처스에 대해서도 궁금한데, 네이버가 사실 스타트업 투자를 되게 많이 하고 있었잖아요, 다양한 계열사를 통해서. 근데 네이버 벤처스 출범할 때 아직도 기억이 나는데, 한 1년 전쯤에 실리콘밸리에 이해진 의장님이 오셔 가지고 네이버 벤처스 야심 차게 출범을 하셨고. 네이버 벤처스가 어떤 의미와 방향성을 가진 회사인지, 네이버 벤처스의 수장으로서 발탁이 되신 건지, 어떤 삶을 사시다가.

네, 저는 사실 네이버에서 투자 업무를 한 지 한 이제 8년이 조금 넘은 거 같아요. 그래서 사업부들이 검토하는 전략적 투자 건들을 또 실사하고 검토하고 실행하는 역할도 했었지만, 사실 잘 알려지지 않은, 네이버가 글로벌 시장에서 투자를 하고 있는 업무들도 일부 담당을 했었습니다. 이제 스타트업들을 직접 발굴해서 투자하는 업무에서부터 티어 1 다양한 VC들의 LP로서 투자하는 업무도 담당을 했었습니다. 그러다 보니 자연스럽게 이제 이 실리콘밸리에서 가장 또 핵심적인 역할을 하고 있는 그런 VC들과 좋은 관계를 좀 쌓을 수 있었고, 그런 관계를 좀 활용해서 저희가 직접 이 AI 시대의 세상을 바꿀 수 있는 파운더들을 만나서 투자를 하고, 투자 이후에 네이버와의 새로운 또 협업 케이스들을 만들고 도모하고자 저희가 직접 또 실리콘밸리로 나와서 투자를 하는 업무를 시작을 하게 되었습니다.

저는 그 궁금한 게, 이게 뭐 a16z랑 라이트스피드나 이런 데가 사실은 돈이 있다고 다 받아주는 그런 곳이 아니잖아요, 실리콘밸리 티어 1 VC들. 근데 어떻게 그렇게 이 한국의 포털로 시작한 테크 회사의 어떤 투자 면에서 어떻게 그렇게까지 네트워크를 쌓아오신 거예요?

그 맞는 거 같아요. 이제 펀드들이 또 점점 사이즈가 커지고, 이제 막 메가 펀드 운용사들이 나타나기 시작하면서 사실 작은 금액을 투자하면서 그런 전략적인 관계를 만들어내는 거는 이제 뭐 거의 불가능해진 거 같아요. 근데 벤처 산업이라는 게 고두막에서 시작된 되게 퍼스널한 비즈니스였잖아요. 그러다 보니까 되게 이런 관계들도 퍼스널한 관계가 중요하다라고 생각을 해요. 출자자와 운용사의 관계가 아니라 되게 그런 인간 대 인간으로서 내가 어떤 도움을 줄 수 있고, 어떤 도움을 오히려 받으면서 서로 협업할 수 있는지에 대해서 오랜 시간 동안 그런 쌓았던 관계들이 확실히 도움이 되는 거 같아요. 그래서 비록 뭐 저희가 출자하는 금액을 떠나서, 한국에 대해서 궁금한 기술이 있거나 기업이 있을 때 가장 먼저 저한테 연락을 주는 뭐 그런 관계를 구축하다 보니까, 실제로 저희가 뭐 투자하는 여부를 떠나서 가깝게 전략적인 관계를 잘 만들어 내고 있었던 거 같습니다.

한국 시장도 되게 중요한데, 한국 하면은 생각날 수 있는 사람으로서 오래 관계를 쌓다 보니까 그렇게 된 거네요.

한국에서 너무 잘하고 있는 팀들, 스타트업들이 많잖아요. 이제 북미 시장 진출을 하면서 자연스럽게 이제 현지의 캐피털 마켓과 이제 VC들의 접근을 시도하는 이제 파운더분들이 점점 많아지고 있는데, 그런 경우에 그런 VC들이 저희한테 가장 먼저 연락을 줘서 레퍼런스를 구하고, 또 이제 파운더분들 중에 네이버 출신분들도 다수 있었기 때문에 퍼스널한 질문도 많이 하시고, 저희의 뷰를 좀 제일 먼저 묻고 어느 정도 실사를 할 때 참고를 하시는 거 같습니다.

시리즈 B에 대해서 조금 이야기를 해 보죠. 이번에 시리즈 B가 어떤 의미를 갖나요?

저희가 시리즈 B를 통해서 사실 정말 전략적인 투자자분들도 많이 들어오셨는데요. 궁극적으로 저희가 봤었을 때는 어, 이제 트웰브랩스 대규모 영상 처리 기술, 그리고 그 위에 얹어진 우리만의 자체 영상 파운데이션 모델들, 그리고 거기서 빌딩하고 있는 에이전트 스택까지 제대로 시장이 온 거 같다. 그렇기 때문에 조금 더 빨리, 더 크게 나아갔으면 좋겠다라는 시그널로 저희는 생각을 하고 있고요. 텍스트 같은 경우는 정말 어떻게 보면 우리가 얘기한 압축 데이터고, 영상 데이터는 그래도 우리 인간이 세상을 배울 때 쓰이는 발산 데이터에 가까운 거 같아요. 이걸 조금 더 거시적으로 보면은 지금 우리가 막 토큰, 토큰, 토큰 하고 있잖아요. 흔히 말하는 데이터는 대부분 뭐 테이블러 데이터, 아니면 심지어 그냥 원본 PDF 파일, 이런 것들이 결국 언어 모델을 한번 태워서 시맨틱 데이터, 의미 계층의 데이터로 전환이 되고 있는데, 이게 대부분 텍스트로 나온 토큰들로 이루어져 있거든요. 그 레이어 안에 영상을 이해해서 들어간 토큰이 거의 없다라고 보면 되는 거 같아요. 막 지어낸 글들이 이제 어떻게 보면 이 시맨틱 데이터를 만들고 있는 건데, 거기에 정말 시각적으로 정말 정확한 복음들이 다 들어가 있으면은 훨씬 더 우리가 컴플렉스한 문제를 풀 수 있지 않을까. 좀 트웰브랩스는 그 시맨틱 데이터 레이어를 조금 더 견고하고 활용 가능하게 만들어 주는 역할을 하고 있는 거 같아요.

음, 이게 막 듣고 오니까 이제 요즘에 뭐 AI, AI, 뭐 이런 이야기 많이 하는데, 그 인공지능이나 그 컴퓨터가 사람처럼 이해를 하고 뭔가 움직임을 가지려면은 분명히 눈이 있어야 되고, 결국에 그런 AGI, 인간을 넘어서는, 실제 세계에서 사람처럼 이해하고 행동할 수 있는 그런 지능이 나오는 거고, 이제 그중에 되게 큰 축의 하나가 비디오인 거 같다 이렇게 느껴지네요.

그 로보틱스 쪽에서도 참 영상 이해가 앞으로, 뭐 지금도 어떻게 보면 지금 우리가 얘기하고 있는 비전 랭귀지 액션 모델이라든지 그런 것들도 결국 영상 이해를 정말 잘해야지 로봇에 필요로 한 그런 퍼포먼스가 나온다라고 생각을 하고 있어요.

이게 들어보니까 젊으신 분들이 할 만한 사업이 아닌 거 같다는 그런 생각도 되게 들고, 이제 굉장히 경험이 많고 엄청 똑똑한 천재들이 막 다수 모여 가지고 해야 되는 그런 사업 같은데, 이런 사업을 어쩌다가 어떤 분들과 하시게 된 거예요?

저희가 처음 창업을 했었을 때는 되게 특이하게도 군대 선후임 사이로 만났어요. 근데 좀 특수한 환경에서 같이 AI 연구 개발을 군에서 하다가, 다들 좀 고민을 많이 했었을 시기거든요. 이때가 2018년도, 20년도 이렇게 있었었는데, 그때 마침 트랜스포머라는 페이퍼가 나오고. 어차피 우리가 지금 하고 있는 분야도 그 대규모 영상 이해를 좀 태클링하고 있었거든요. 이 영상이 정말 저희들끼리는 정말 더럽게 어렵구나. 마침 그 생각을 하고 있었을 때, 이제 전역하면은 우리 다 대학원 가자였었는데, 근데 이게 보니깐 정말 의미 있는 AI 연구를 하려면 결국 스케일링을 조금 해야 될 거 같고, 되게 똑똑한 플레이어들은 텍스트 쪽에 있는 거 같은데, 영상으로부터 시작돼서 인텔리전트한 시스템을 만드는 그런 그룹들이 좀 부재한 거 같다라고 생각을 해서. 똑똑하긴 하나 이게 얼마나 어려운지 모르는 상황에서 부딪혀 가지고 좀 가능했었던 것 같아요.

근데 보통의 똑똑한 사람들은, 2018년도에요, 트랜스포머 이런 것들 읽고 접하신 분들이면은 텍스트로 다들 뛰어들었던 거 같거든요. 그때 뭐 GPT 전이고, 정말 지금과 같은 AI 세상이 열릴지 모르던 시기였는데, 하필 굳이 어려운 거를 뭐 선택한 이유들이 있을까요? 네. 그 뭐 젊으면 이렇게 살아야 된다 뭐 이런 생각이 있었다든지.

저희 같은 경우는, 근데 이거는 저희의 어떻게 보면 좀 철학이랑 비슷한 거 같은데요. 정말 세상을 잘 이해하는 AI가 유용할 것 같고, 근데 그러기 위해서는 아까 말씀드렸던 거 같은, 정말 우리가 세상을 배우는 시그널과 가장 유사한 데이터에서부터 이 학습이 시작이 되어야 되지 않을까라는 의문이 굉장히 세게 들었었던 거 같아요. 이왕 할 거면은, 지금 아무도 하고 있지 않고 어렵기 때문에, 아예 언어 모델보다 더 생소한 거기 때문에 우리만의 유니크한 포지셔닝을 할 수 있지 않을까라는 생각에, 어려워서 더 집착하게 된 거 같아요.

근데 영상 생성이라고 하면은 이제 뭐 그 디퓨전 같은 것들이 나오면서 되게 뭐 잘되기 시작을 했잖아요. 우리도 그런 방대한 데이터 처리하고 뭐 검색하고 이해하고 이런 데 좀 힌트가 됐던 것들이 좀 있었나요?

사실 디퓨전 모델이랑 또 저희가 하는 모델은 좀 다른 거 같아요. 어떻게 보면 지금 디퓨전 모델은 어떻게 보면 생성 모델이죠. 그니까 생성을 통해서 세상을 이해하는 게 또 월드 모델이기도 하고요. 저희가 생각했었을 때 궁극적으로 생성을 통한 이해가 우선 잘 될까라는 의문이 있었던 거 같아요. 왜냐면 당연히 트랜스포머에 나오는 단어를 잘 예측을 하면은 내가 정말 훌륭한 시스템이 돼. 그 가설을 그대로 따라 베끼면은, 다음 프레임은 어떻게 될까? 다음 프레임을 예측해 보자. 근데 그게 잘 안 되거든요. 사실 어떤 디퓨전 모델이라든지 언어 모델에서의 힌트를 많이 얻는다라기보다는, 우리가 정말 영상을 시청을 할 때 어떻게 이걸 프로세싱하지? 그런 생각을 되게 많이 하게 되는 거 같아요. 그래서 우리가 뭔가 김연아 선수가 스케이팅을 타는 장면을 볼 때, 어 뭐 길게 이렇게 도는 그런 장면은 조금 느긋하게 보는데 트리플 악셀을 할 때는 막 집중을 확 해서 보잖아요, 뛰기 전에. 이제 그런 것들을 우리가 데이터 처리하는 데 어떻게 착안을 해서 시스템적으로 만들어 낼 수 있을까, 그런 것들에서 좀 영감을 좀 많이 얻는 거 같아요.

과거부터 정말 많은 다양한 나라의 창업자분들을 만나셨잖아요. 저는 정말 트웰브랩스를 3년 전에 실리콘밸리에서 처음 봤을 때, 와, 진짜 한국에 없는 캐릭터의 창업자다 이런 생각을 했거든요. 좀 보시기에 어떤 거 같으세요?

저도 태웅님이랑 같은 인상을 처음에 받았던 거 같아요. 그래서 VC들은 창업자를 볼 때 몇 가지 기준이 있고, 그중에 첫 번째는 사실 뭐 흔히 말하는 파운더 마켓 핏이죠. 그래서 이 사람이 왜 하필 이 문제를 풀 수 있고 풀어야 하는 사람인지. 두 번째로는 그냥 단순히 트렌드를 쫓는 사람인지, 아니면은 이 문제 자체에 정말 매달려서 여기에만 매어 있는 사람인지. 이 충분한 리소스가 없을 때에도 끝까지 뭔가 이렇게 어떻게든 해내려고 하는 좀 그런 집요함이 있고, 그거를 이룰 수 있는 스태미나를 갖고 있는 사람인지, 뭐 이런 것들을 가장 많이 보는 거 같고. 재성 님이 사실 이 세 가지가 다 겹치는 드문 케이스의 파운더라고 판단을 했었습니다.

저도 그 2023년에 봤을 때, 실리콘밸리에서 약간 뭐 AI로 PPT 만들어 주는 회사, 막 이런 회사들이 막 수백억, 천억 단위로 막 투자받고 약간 그러던 때였던 거 같은데, 뭐 영상을 이해를 하고 다 찾아주고 그러는 파운데이션 모델을 만든다고. 처음 들어보는 거예요. 와, 신기하다, 이런 창업자가 있네 하면서 대화를 나눠보니까, 이게 조금 안타까운 얘기일 수도 있는데, 처음에 이제 한국에서 창업을 하셔 가지고 이제 전역하고 투자처를 돌아야 되는데, 이 비전에 대해서 사실 한국에서 믿어 주신 초기 투자사분들이 없어 가지고 해외로 나갈 수밖에 좀 없었던 걸로 알고 있어요. 그때 경험에 대해서 한번 들어보고 싶어요.

저희도 알고 있었거든요. 너무 앞서 있을 수 있다. YJ께서 말씀하셨던 그런 파운더 마켓 핏. 제가 그냥 밸리에서, 우린 이런 기술을 만들고 있고, 이런 것들을 조금 더 관대한 마음으로 알아봐 줄 수 있는 관중들이 밸리에 있지 않을까? 또 그런 무대에서 우리가 좀 응원을 받으면서, 뭐 될지 모르겠지만 그래도 엄청 어려운 거, 재밌는 거 하네의 분위기가 그쪽이 더 많았었던 거 같아요. 물론 이제 한국에서의 투자자분들도 좋게 말씀해 주시는 분들도 계시고 하지만, 그냥 이 시장에 대한 이해가 조금 그때 형성이 많이 되지 않았던 상황이었었던. 그때는 시장이 없었으니까. 그래서 결국 궁극적으로는 한국에서 만들어서 밸리에 가서 어떻게든 싸워서 이겨보자. 그냥 되게 무식하면 용감하다고, 네, 나가서 싸운 거 같아요.

AI 특히 모델 만드는 회사들은 돈이 많이 필요하잖아요. 근데 전역하셔 가지고 어떻게 그런 것들을 마련을 해서 이제 제품을 만들고 이제 기술 개발을 하셨고, 어떻게 실리콘밸리까지 가게 되셨는지 한번 간단히 훑어 주실 수 있을까요?

다 같이 모두가 전역을 했었을 때, 테크스타스라는 액셀러레이터를 그때 코로나 시기 때 리모트하게 저희가 참여를 하고 있었었고요. 이제 그 액셀러레이터를 하면서 정말 힘들게 했었던 거 같습니다. 뭐 저희 CTO는 막 SAT, 미국 어떻게 보면 수능 시험이죠, 그거 막 과외하면서 생활비 벌고, 저는 또 그 전에 조금 일했었을 때 벌었던 돈으로 막 서업이 되고, 또 그게 이제 너무 다들 너무 힘들어하는 거를 봤었을 때는 이제 뭐 대출도 받아 가지고. 그때는 정말 어떻게 보면 뒤가 없는 행동이죠. 어떻게든 되겠지. 같이 공동 창업한 친구들 장비도 사 주고 월급도 주고 그랬는데, 결국 테크스타스 액셀러레이터에서, 또 아마존 웹서비스가 준 AWS 크레딧. 네. 그때 크레딧이 좀 상당했었거든요. 지금은 이제 막 모델 하나 트레이닝하는 데 1천억 막 이렇게 들어갈 텐데, 그때 당시 저희가 했었을 때는 아, 너네 모델 훈련시키는 데 막 3억을 태웠다고 그랬었을 때였었던 거 같아요. 저희가 있는 거 없는 거 다 모아서 처음 마랭고라는 저희 검색 모델의 프로토타입을 좀 만들었었거든요. 근데 그 모델이 어떻게 보면 ICCV라는 국제 대회에서 영상 이해 쪽으로 좀 1위를 차지하게 되면서, 이미 언어 모델에 좀 베팅을 해 놓은 실리콘밸리의 뭐 인덱스 벤처스, 굉장히 어떻게 보면 밸리에서는 되게 티어 1 VC신 거 같아요. 또 너무 훌륭한 회사에도 투자를 많이 하셨고요. 뭐 앤트로픽도 그렇고 피그마, 노션, 코히어 이런 곳에 투자를 하신 투자 펌에서, 어떻게 보면 뭐 YJ 같은 고민을 하셨던 것 같아요. 뭐 LLM 다음, 텍스트 다음은 뭘까라고 생각을 했었을 때 비디오라고 22년도 때 생각을 하셨었던 거 같고요.

관련해서 갑자기 생각난 저희도 좀 슬픈 기억이 있는데, 저희도 사실 작년 재성 님께 최초 투자를 하기 이전에, 말씀하셨던 시드 라운드에 저희 네이버에서 또 시드 투자를 전문적으로 하고 있는 D2SF에서 사실 그 라운드에 투자 의향을 전달을 했었는데, 아쉽게도 거절을 당하고 투자를

아, 그래요? 어, 왜 왜 왜 왜 거절하셨어요? 아, 인덱스에서 다 하고 싶다.

아, 인덱스에서. 근데 너무 많이 가져가시긴 하셨었어요. 그때 또 마침 인덱스도 그렇고, 또 저희 엔젤 투자자분들도 되게 크게 크게 엔젤 체크를 쓰시더라고요. 음.

그때 라운드가 얼마였어요? 규모가. 그때는 지금 시드 라운드에 비하면 되게 작아 보이는데, 어, 그때는 500만 불.

네. 시드 투자로. 그럼 인덱스 벤처스가 그 티어 1 VC라는 것도 나중에 안 거네요.

어, 저희가 사인하고 제가 테크스타스, 우리 액셀러레이터에 매니징 디렉터한테 전화를 했어요. 이렇게 와 가지고 사인했다. 음. 깜짝 놀라시더라. 뭐 대박이다. 아니, 대박이다보다는 상의를 하고 해야지, 이런 전략들이 막 있는데. 네, 많은 레슨이 있었습니다.

아, 그래요? 뭐 약간 후회하는 것도 있어요? 아니면 이렇게 할 거예요? 이런 거.

그때 당시는 이게 한 2, 3개월 뒤에는 아, 이렇게 했었어야 되나 뭐 그런 건 있었는데, 지금은 좀 감사하게 생각하고 있습니다.

그 어떻게 한 거예요? 다 20대 한국인들이고 뭐 소프트웨어 뭐 이렇게 팔아본 적이 없잖아요. 특히 뭐 미디어 인더스트리 경험 있었던 사람 아무도 없고. 시행착오도 있었겠지만 빨리 배워서 납품을 하고 고객사를 만든 거 아닌가 싶기도 해 가지고. 뭔가 비결이 있어요?

비결은 없는 거 같고요. 네. 진짜 비결은 없는 거 같아요. 근데 저희가 그 누구보다 간절하긴 했었던 거 같아요. 저희가 싫어하시는 분들도 계셨었던 거 같은데, 진짜 간절함. 참 집중이 되게 어렵고 되게 중요한 거 같아요.

오픈AI나 앤트로픽만 놓고 보면, 정말 오픈AI는 전선을 확 넓혔다가, 앤트로픽은 글쓰기랑 코딩 딱 두 개만 밀고 가서 좋은 숫자들을 만들었고, 근데 그러다가 이제 막 뭔가 디플로이먼트에 집중하면서 뭔가 이렇게 전선을 넓히니까, 이제 오픈AI가 그걸 다 좁히고 이제 코덱스에 집중을 하면서 또 이렇게 막 두 분이 이제 싸우고. 그래서 그런 부분에 있어서 참 모델 같은 경우는 되게 빠르게 대체가 되는 거 같아요. 그래서 트웰브랩스는 그게 너무 명확하게 보이죠. 그 단순 모델 위에 인텔리전스 레이어, 그 위에 이제 시스템, 그 시스템을 통해서 창출하는 가치, 이제 그런 것들이 풀스택으로 좀 전달이 돼야지 좀 대체하기가 힘든 구조라고 생각을 하고 있는데, 그래서 저희는 그냥 단순 모델뿐만 아니라 영상 인지 시스템이라는 시스템을 만들어서, 그게 어떻게 보면 저희가 지금 아까 말씀드렸던 자키라는 에이전트 제품인데요. 영상 인지 시스템, 저희가 좀 개발한 텀인데, 음, 좀 생소하실 것 같아요. 근데 인식, 영상을 인식하고, 그 인식된 사실들을 기반으로 영상 메모리, 기억을 만들어 내고, 그 기억 위에서 언제든지 그 기억을 되찾아보고 할 수 있는 추론, 이런 식으로 해서 세 개의 레이어가 좀 하나로 묶여져 있는 시스템이라고 생각을 해 주시면 될 거 같습니다.

이제 한국이랑 미국이랑 AI 관련해서 다루는 어떤 미디어나 아젠다들을 보면, 이게 대화가 조금 되게 많이 다른 게 좀 항상 늘 아쉬움이 있었거든요. 이제 미국에서는 이게 정말 AI, 이건 전쟁이다, 이 패권을 우리가 쥐어야 된다, 약간 조금 공격적인 관점에서 우리 지금 이거 정말 잘해야 돼 이런 느낌이라면, 이제 한국에서는 약간 그래도 아, 우리 방어를 해야 돼, 이제 소버린 AI. 이런 것 좋긴 하지만, 우리가 이 기회를 살려서 어떻게 세계 어떤 표준을 만들어서 공급을 할 수가 있을까? 어, 우리만의 AI를 갖는 것도 중요하지만 AI 시대를 맞이해서 어떻게 하면은 가장 훌륭한 회사를 만들 수가 있을까 했을 때, 정말 이제 거기에 대표적인 주자로서 트웰브랩스가 있는 거 같아서 저는 잘 되셔야 됩니다.

아, 너무 감사해요. 소버린 AI도 참 그 정의가 되게 아직도 명확하지 않은 거 같아요.

근데 이제 어느 순간 그 국경이 없어진 거 같아요. 그죠? 맞아요. 맞아요.

네. 저희가 생각하는 소버린은, 말씀하신 거같이 다른 나라의 기업들이 활용을 해서 서비스를 만드는 그 인텔리전스 레이어에 임베디드될 수 있는 모델들이 또 소버린 AI가 될 수 있지 않을까. 그랬었을 때 전 세계의 훌륭한 기업들이 가치를 창출해 낼 때, 거기에 조그만 포션의 파이라도 계속해서 지속적으로 가져올 수 있는 것들이 소버린 AI 아닌가.

네. 저희가 오늘 긴 시간 이야기를 나눠봤는데, 앞으로의 계획과 포부에 대해서 이야기를 해 주실 수 있을까요?

저희 트웰브랩스는 그 누구보다 영상을 잘 이해하고 고객들께 도움이 되는 제품을 항상 앞으로도 더 열심히 만들 거고요. 그게 어떻게 보면 되게 단순한 계획인데, 가장 실행하기 어려운 계획인 거 같아요. 지금 하고 있는 거보다 훨씬 더 잘하는 거. 카메라를 통해서 캡처된 영상들은 다 트웰브랩스를 통해서 처리가 될 수 있는 그날이 올 때까지 열심히 달려보겠습니다.

저희는 이제 트웰브랩스 같은 기업들을, 창업자들을 계속해서 발굴하는 게 저희의 가장 큰 미션인 거 같고요. 사실 저희 네이버 벤처스도 이제 1년밖에 되지 않은, 투자를 하고 있는 스타트업인 거 같아요. 그럼에도 불구하고 저희가 하고 싶은 거는 꽤 분명한 거 같아요. 저희가 하려는 일은 크게 두 가지인데요. 일단 한국 창업자들이 실리콘밸리에… 싶습니다. 이게 이제 한국에 있는 창업자분들이 북미 시장을 진출할 때 도와줄 수 있는 부분이라고 하면은, 두 번째는 반대 방향인 거 같아요. 아까 말씀드렸던 저희가 투자한 미국 회사들이 아시아로 진출을 할 때, 누구를 만나야 되는지, 누구를 채용해야 되는지, 이 기술을 어떻게 검증해야 되는지, 고민들을 같이 할 수 있는 파트너가 되려고 하고 있습니다. 트웰브랩스가 어떻게 보면 이 두 가지 방향을 좀 충족하고 있고, 동시에 이 한 회사에서 일어나고 있는 케이스라고 보는데, 지금 이 트웰브랩스가 하고 있는 새로운 카테고리를 하나 만드는 일에 저희는 계속 옆에서 응원을 하고 싶습니다.

그래도 한국의 AI, 미국의 AI는 구분이 이제는 어느 정도 무의미하다라고 생각을 해요. 뭐 요즘은 모델이든 에이전트든 뭐 출시된 순간 전 세계 사람들이 그걸 활용해 보고, 또 시장의 시험대에 오르고, 국경이 그거를 막아주지 못하기 때문에, 한국에서 만든 모델도 우리가 좀 자신감을 갖고 또 실리콘밸리, 그 성지에서 싸워서 이기는 그런 모습을 참 많이 볼 수 있으면 좋을 거 같고요. 트웰브랩스는 그런 믿음을 가지고 지금 막 신기술이 튀어나오고 있는 실리콘밸리에서 싸우고 있습니다. 응원 많이 해 주셨으면 좋겠고요. 좋은 피드백, 저희의 여정을 팔로우해 주시면 좋을 것 같아요. 너무 감사할 것 같습니다.

긴 시간 저희 트웰브랩스 이재성 대표님과 네이버 벤처스의 YJ 대표님과 이야기 나눴는데, 이번 영상이 AI 시대를 이해하는 데 도움이 되셨길 바라고. 정말 앰비셔스한 창업자분들 네이버 벤처스에 연락 주시고, 그리고 정말 AI 시대 역사를 한번 써 보겠다 하시는 분들 트웰브랩스 입사 지원해 주시거나, 아니면은 또 이 기술을 활용해서 뭔가 만들어 보시고 싶으신 분들 홈페이지로 문의 주면은 좋겠습니다. 저희 셋 다 무진장 성공을 해서, 예, 새로운 역사를 쓰시죠. 네, 감사합니다. 예, 또 하시죠. 네.

3년 뒤에? 아, 3년, 3년 솔직히 너무 길어요, AI. 그죠? 네. AI, 어, 한 1년 반으로 하시죠. 1년 반? 1년 반. 1년 반 뒤에. 네. 폭풍 성장하겠습니다. 네. 1년 반 뒤에, 1년 반 뒤에 서비 빌리언으로 해보겠습니다. 네. 오케이, 렛츠고. 네. 네.

고생하셨습니다. 감사합니다.