AI 추론 시장에 25억 달러 스타트업이 나타났다

Modal Labs가 5개월 만에 기업가치 2배 상승. AI 추론 인프라 시장의 폭발적 성장과 투자 열풍의 진짜 이유는?

25억 달러. Modal Labs가 새 투자 라운드에서 받게 될 기업가치다. 불과 5개월 전 11억 달러였던 것이 두 배 이상 뛰었다. AI 추론(inference) 인프라라는, 일반인에게는 생소한 분야에서 벌어지는 일이다.

이 회사가 하는 일을 쉽게 말하면 'AI가 답변하는 속도를 빠르게 만드는 것'이다. ChatGPT에 질문을 던졌을 때 답이 나오기까지의 그 짧은 시간, 바로 그 과정을 최적화한다. 연매출은 5천만 달러 수준이다.

왜 지금 추론 인프라인가

투자자들이 AI 추론 스타트업에 몰리는 이유는 명확하다. AI 모델을 '훈련'하는 것과 '실행'하는 것은 완전히 다른 게임이기 때문이다.

훈련은 한 번 하면 끝이지만, 추론은 사용자가 질문할 때마다 계속 일어난다. OpenAI나 구글이 하루에 처리하는 추론 요청은 수억 건. 여기서 1초라도 단축하면 엄청난 비용 절감이다.

Modal Labs의 경쟁사들도 비슷한 투자 열풍을 타고 있다. Baseten은 지난주 50억 달러 가치로 3억 달러를 조달했고, Fireworks AI는 작년 10월 40억 달러 가치로 2억5천만 달러를 받았다.

국내에서는 네이버와 카카오가 자체 AI 모델을 서비스하고 있지만, 추론 인프라는 대부분 해외 솔루션에 의존하고 있다. 특히 B2B 시장에서 AI를 도입하려는 중소기업들에게는 추론 속도와 비용이 핵심 고려사항이다.

삼성전자나 LG전자 같은 대기업들도 자사 제품에 AI를 탑재하면서 추론 효율성에 주목하고 있다. 스마트폰에서 AI 기능을 실행할 때의 배터리 소모, 응답 속도 등이 모두 추론 최적화와 직결되기 때문이다.

문제는 기술 종속성이다. 핵심 AI 인프라를 해외 스타트업에 의존하게 되면, 가격 결정권을 잃을 수밖에 없다.

General Catalyst가 Modal Labs 투자를 주도한다고 알려졌다. 이들의 계산은 간단하다. AI 시장이 커질수록 추론 수요는 기하급수적으로 늘어난다. 그런데 추론 최적화 기술을 가진 회사는 손에 꼽을 정도다.

Modal Labs CEO Erik Bernhardsson은 Spotify에서 15년간 데이터팀을 이끌었던 경험이 있다. 음악 추천 알고리즘을 실시간으로 처리했던 노하우가 AI 추론 최적화에 그대로 적용됐다는 평가다.

하지만 의문도 있다. 연매출 5천만 달러 회사에 25억 달러 가치를 매기는 게 합리적일까? 매출 대비 기업가치가 50배에 달한다.