엔비디아가 추론 시장까지 원한다

엔비디아 GTC 2026 기조연설에서 공개될 추론 전용 칩과 AI 에이전트 플랫폼 NemoClaw. 훈련 시장 80%를 장악한 엔비디아가 다음으로 노리는 시장은 어디인가.

훈련 시장의 80%. 엔비디아가 이미 손에 쥔 숫자다. 그런데 젠슨 황은 왜 지금, 또 다른 시장을 향해 달리고 있을까.

GTC 2026: 무슨 일이 벌어지고 있나

엔비디아의 연례 개발자 행사 GTC(GPU Technology Conference)가 3월 16일부터 19일까지 미국 캘리포니아 새너제이에서 열린다. 젠슨 황 CEO의 기조연설은 한국 시간으로 3월 17일 새벽 4시에 시작된다. 매년 이 행사는 단순한 신제품 발표를 넘어, 엔비디아가 기술 업계 전체의 방향을 어디로 설정하는지 보여주는 자리다.

올해 행사의 핵심은 두 가지다. 하드웨어 측면에서는 AI 추론(inference) 전용 가속 칩의 공개가 유력하게 점쳐진다. 소프트웨어 측면에서는 기업용 AI 에이전트 오픈소스 플랫폼 NemoClaw 출시가 예고되어 있다.

‘훈련’은 이미 잡았다. 이제는 ‘추론’이다

AI 반도체 시장은 크게 두 단계로 나뉜다. 훈련(training)은 AI 모델이 방대한 데이터를 학습하는 과정으로, 엄청난 연산력이 필요하다. 추론(inference)은 학습이 끝난 모델이 실제로 질문에 답하거나 결정을 내리는 과정으로, 훈련보다 연산량은 적지만 빈도가 압도적으로 높다.

엔비디아는 훈련 시장에서 이미 80% 점유율을 확보했다. 문제는 추론 시장이다. 구글은 자체 설계한 TPU로, 아마존은 Trainium과 Inferentia로 추론 영역에서 독자 생태계를 구축하고 있다. 스타트업들도 빠르게 치고 올라오고 있다. 엔비디아의 추론 전용 칩 출시는 이 공백을 메우려는 직접적인 행보다.

추론 시장이 중요한 이유는 단순하다. ChatGPT, Gemini, Claude 같은 서비스가 수억 명의 사용자와 매일 수십억 건의 대화를 처리하는 세상에서, 추론 비용이 곧 AI 서비스의 경제성을 결정한다. 더 빠르고 저렴한 추론 칩은 AI 서비스의 확산 속도를 직접적으로 좌우한다.

광고주 모집

[email protected]

AI 에이전트 플랫폼: 소프트웨어 전쟁의 시작

하드웨어만이 전부가 아니다. 엔비디아가 준비 중인 NemoClaw는 기업들이 AI 에이전트를 구축하고 배포할 수 있는 오픈소스 플랫폼이다. AI 에이전트란 단순히 질문에 답하는 것을 넘어, 여러 단계의 작업을 자율적으로 수행하는 소프트웨어를 말한다. 예를 들어 이메일을 읽고, 일정을 조율하고, 보고서를 작성하는 일련의 과정을 사람의 개입 없이 처리하는 식이다.

이 시장에서 엔비디아의 경쟁 상대는 OpenAI, Anthropic, Google 등 이미 에이전트 플랫폼을 운영하거나 준비 중인 기업들이다. 엔비디아가 오픈소스 전략을 택한 것은 개발자 생태계를 자사 플랫폼으로 끌어들이는 동시에, 결국 그 에이전트들이 엔비디아 칩 위에서 돌아가도록 유도하는 포석이다. 하드웨어 판매를 위한 소프트웨어 전략인 셈이다.

Groq 인수의 퍼즐

이번 GTC에서 또 하나의 관전 포인트는 Groq와의 관계다. 엔비디아는 지난해 말 Groq의 기술을 라이선스하는 데 약 20조 원(200억 달러)을 지불한 것으로 알려졌다. Groq 창업자 조나단 로스와 사장 서니 마드라를 포함한 핵심 인력들이 엔비디아에 합류했다. 이 거대한 투자가 이번 GTC에서 어떤 모습으로 구체화될지, 업계의 시선이 집중되어 있다.

Groq는 추론 속도에 특화된 칩 아키텍처로 주목받아온 회사다. 엔비디아가 Groq의 기술을 흡수한다는 것은, 단순히 경쟁자를 제거하는 것이 아니라 추론 시장 공략을 위한 핵심 기술을 내재화한다는 의미다.

한국 기업들에게 이 뉴스는 무엇을 뜻하는가

삼성전자와 SK하이닉스는 엔비디아의 가장 중요한 메모리 공급 파트너다. 엔비디아의 추론 전용 칩이 등장하면, 이 칩에 최적화된 고대역폭 메모리(HBM) 수요도 함께 늘어날 가능성이 높다. 단기적으로는 기회다.

그러나 더 긴 시각에서 보면 질문이 생긴다. 네이버, 카카오, LG AI연구원 등 국내 AI 기업들은 엔비디아 칩에 대한 의존도가 높다. 엔비디아가 하드웨어와 소프트웨어 플랫폼을 동시에 장악해 나간다면, 국내 AI 생태계의 자율성은 어떻게 될까? NemoClaw 같은 플랫폼이 글로벌 표준이 되는 시나리오에서, 국내 기업들은 엔비디아의 생태계 안에서 경쟁할 것인가, 아니면 독자적인 길을 모색할 것인가.