AI 에이전트, 비용 먹는 하마가 될 수도 있다

"절대 잠들지 않는 인턴"이라는 말에 혹했다면, 다시 생각해볼 때다.

지난주 실리콘밸리에서 열린 두 개의 AI 컨퍼런스에서 Google, Amazon, Microsoft, Meta 소속 엔지니어들이 입을 모아 한 말이 있다. AI 에이전트를 실제로 운영하는 건 생각보다 훨씬 어렵고, 잘못 설계하면 돈을 아끼는 게 아니라 오히려 태운다는 것이다.

"모든 걸 LLM에 넣지 마라"

AI 스타트업 Meibel의 CEO 케빈 맥그래스는 산호세에서 열린 '생성AI·에이전틱 AI 서밋'에서 현재 AI 업계의 가장 큰 문제를 이렇게 정의했다. "모든 것을 거대언어모델(LLM)로 처리해야 한다는 잘못된 믿음." 그는 "토큰을 AI 봇에 다 갖다 바치면서 수백만 달러를 낭비하게 된다"고 직격했다.

Google 소프트웨어 엔지니어 딥 샤는 같은 자리에서 AI 에이전트를 대규모로 배포할 때 가장 먼저 맞닥뜨리는 문제로 추론 비용(inference cost)을 꼽았다. AI 에이전트는 작동할 때마다 LLM을 호출하고, 그때마다 비용이 발생한다. 에이전트를 감시하고 관리하는 시스템 자체가 허술하면, 절약하려던 비용보다 더 많은 돈이 나갈 수 있다는 얘기다.

스타트업 Synchtron의 CEO 라비 불루수는 복잡성 문제를 짚었다. 기업마다 데이터 구조, 기술 플랫폼, 소프트웨어 운영 방식이 다 다른데, AI 에이전트는 이 모든 지점에 동시에 닿는다. "어느 하나도 독립적으로 해결되지 않는다. 상호의존성이 이걸 어렵게 만든다. 사실 혼돈에 가깝다"고 그는 말했다.

'차세대 ChatGPT'라더니

광고

광고주 모집

[email protected]

광고

Nvidia CEO 젠슨 황은 지난 3월 AI 에이전트를 "차세대 ChatGPT"라고 불렀다. OpenAI가 공개한 에이전트 프레임워크 OpenClaw는 개발자들이 여러 AI 모델을 조합해 디지털 비서 군단을 만들 수 있게 해주는 도구로 빠르게 확산 중이다. C레벨 임원들의 기대감은 실제로 뜨겁다.

하지만 현장 엔지니어들의 목소리는 온도 차가 있다. 기대와 현실 사이의 간극은 새로운 기술이 등장할 때마다 반복되는 패턴이기도 하다. 문제는 이번엔 그 간극의 크기가 얼마나 되느냐다.

중국 AI 에이전트 관리 플랫폼으로 전환한 ThinkingAI의 공동창업자 크리스 한은 OpenClaw에 대해 "개인용으로는 좋지만 기업 수준에는 못 미친다"고 잘라 말했다. 메모리 관리, 에이전트 팀 구성, 커뮤니케이션 설계 등 기업이 해결해야 할 문제가 너무 많다는 이유에서다. ThinkingAI는 홍콩 상장사인 중국 AI 스타트업 MiniMax와 파트너십을 맺고 있으며, 게임 분석 회사에서 AI 에이전트 관리 플랫폼으로 변신을 꾀하고 있다.

한국 기업은 어디쯤 서 있나

이 논의는 한국 기업들과도 무관하지 않다. 삼성, LG, 현대, 네이버, 카카오 등 국내 대기업들은 이미 AI 에이전트 도입을 검토하거나 파일럿을 진행 중이다. 그런데 실리콘밸리 현장에서 드러난 문제들—추론 비용 폭증, 시스템 복잡성, 보안 취약성—은 한국 기업 환경에서도 동일하게 적용된다.

특히 비용 문제는 예민하다. AI 에이전트를 도입하면 인건비가 줄 것이라는 기대가 크지만, 잘못 설계된 시스템은 오히려 클라우드 컴퓨팅 비용과 API 호출 비용을 폭발적으로 늘릴 수 있다. "AI가 일을 대신한다"는 명분으로 예산을 배정받았다가, 결산 때 비용이 오히려 늘었다는 상황이 벌어질 수 있다는 뜻이다.

네이버와 카카오는 자체 LLM을 보유하고 있어 외부 API 의존도를 낮출 수 있다는 점에서 유리한 위치에 있다. 반면 자체 AI 인프라가 없는 중견·중소기업들은 해외 모델에 의존할 수밖에 없어 비용 구조가 훨씬 불리할 수 있다.