칩은 따라잡혔는데 왜 엔비디아는 안 흔들리나 — 해자의 정체는 CUDA

칩은 따라잡혔는데 왜 엔비디아는 안 흔들리나 — 해자의 정체는 CUDA

더 빠른 칩이 나왔다. 그런데 시장은 꿈쩍도 안 했다.

AMD는 지난해 신형 AI 가속기 MI325X를 공개하며 메모리 256GB, 대역폭 초당 6테라바이트를 내세웠다. 엔비디아 주력 제품의 메모리 용량을 웃도는 숫자다(AMD 제품 스펙 시트 기준). 그런데도 2024년 글로벌 데이터센터 AI 가속기 시장에서 엔비디아 점유율은 약 86~92%로 추정된다(Mercury Research 및 복수 애널리스트 인용 보도). 스펙표에선 밀렸는데, 시장은 안 밀렸다.

이 글은 PRISM 시리즈 「반도체 주권 전쟁」의 1부다. 이번 편의 질문은 단순하다. 경쟁사가 더 좋은 칩을 내도 왜 엔비디아 점유율이 안 흔들리나. 결론부터 말하면, 승부처가 실리콘이 아니기 때문이다.

스펙표만 보면 이미 접전이다

칩 대 칩으로만 비교하면 엔비디아의 압도적 우위는 설명되지 않는다.

AMD의 MI300X는 메모리 192GB, 대역폭 5.3TB/s를 내며 엔비디아 H100·H200의 메모리 용량을 넘어섰다. 후속작 MI325X는 여기서 한 발 더 나갔다. 구글은 자체 칩 TPU v6e(Trillium)를 전력효율에 방점을 찍고 설계했다. H100의 700W(엔비디아 공식 스펙)보다 소비전력이 낮다는 평가다. 다만 흔히 인용되는 TPU 300W라는 수치는 구글이 확정 공개한 공식 TDP인지 불분명해, 참고치로만 읽는 게 안전하다.

성능 지표도 격차가 좁혀졌다. AMD는 MI325X 8개 구성이 라마2-70B 추론에서 엔비디아 H200 대비 3~7% 이내 성능을 냈다고 밝혔다(MLPerf Inference v5.0 제출 결과, 2025-04, AMD ROCm 블로그). 벤더가 제출한 값이라 그대로 받아들이긴 이르지만, 적어도 하드웨어만 놓고 보면 "넘사벽"이라 부를 격차는 아니라는 얘기다.

여기서 역설이 생긴다. 메모리도, 대역폭도, 전력효율도 경쟁사가 대등하거나 앞선다. 그런데 돈은 여전히 엔비디아로 흐른다. 엔비디아 데이터센터 부문 매출은 약 1,150억 달러로 전년 대비 약 142% 늘었다(엔비디아 2025 회계연도 실적발표 기준). 스펙 접전과 매출 독주가 같은 시기에 공존했다.

새 엔진을 사도, 달릴 도로가 없다

이 역설의 열쇠는 CUDA다.

CUDA는 엔비디아가 2006년 아키텍처를 발표하고 2007년 개발 도구를 공개한 소프트웨어 플랫폼이다. 약 20년이 쌓였다. 엔비디아 발표 기준 개발자는 약 600만 명, 그 위에 얹힌 CUDA-X 라이브러리는 900개가 넘는다(NVIDIA GTC 2025 키노트). 개발자 수는 업계 추정 약 400만에서 GTC 2024의 500만, GTC 2025의 600만으로 해마다 올라온 누적치다. 특정 시점의 스냅샷이 아니라 20년 축적의 결과로 보는 게 정확하다.

광고

광고주 모집

[email protected]

광고

비유하자면 이렇다. 새 칩은 더 빠른 엔진이다. CUDA는 그 엔진이 달릴 도로망 전체다. 엔진만 빨라도 도로가 없으면 못 달린다.

이 도로망의 정체는 라이브러리 스택이다. cuDNN(딥러닝 연산), cuBLAS(선형대수), NCCL(여러 GPU 간 통신), TensorRT(추론 최적화) 같은 라이브러리가 층층이 쌓여 있다. 각각은 오랜 튜닝이 층층이 밴 결과물이다. '수천 엔지니어-년'이라는 규모가 거론되지만, 이는 공식 수치가 아니라 업계 블로그 수준의 추정임을 감안해야 한다. 개발자는 이걸 갖다 쓰기만 하면 된다. 바닥부터 다시 짤 필요가 없다.

문제는 이 코드가 경쟁 칩에서 그대로 안 돈다는 점이다. 다른 칩으로 옮기려면 프로덕션 코드를 상당 부분 다시 쓰고, 다시 검증하고, 팀을 다시 교육해야 한다. 이 이식 비용이 새 칩이 주는 성능 이득을 대체로 웃돈다는 것이 PRISM의 분석이다. 그래서 고객은 계산기를 두드린 끝에 엔비디아에 남는다.

현장 증언이 이 벽의 높이를 보여준다. 박정호 SK하이닉스 부회장은 AI 반도체 인재를 뽑으면 하나같이 "엔비디아 GPU와 쿠다를 쓰게 해달라"고 요구한다고 전했다. 다른 국산 칩으로 개발하라 하면 3배 이상의 시간이 든다는 취지였다(경향신문, 2024-03). 국산 팹리스인 리벨리온·퓨리오사AI는 엔지니어의 40~50%가 소프트웨어 인력이라고 한다(유니콘팩토리 「비하인드 칩스」, 2025-06). 칩을 만드는 회사인데 절반이 소프트웨어를 붙든다. 진짜 싸움이 어디서 벌어지는지 보여주는 숫자다.

정당한 성과인가, 혁신의 병목인가

같은 현상을 두고 평가는 정반대로 갈린다.

엔비디아와 옹호 진영은 이걸 정당한 투자의 대가로 본다. CUDA는 20년, 수천 엔지니어-년을 부은 결과이고, 성능뿐 아니라 개발 경험·안정성·문서·커뮤니티까지 묶어 제공한다는 것이다. 젠슨 황 CEO는 CUDA를 하드웨어가 아니라 가속 컴퓨팅을 굴리는 "플라이휠"이자 플랫폼으로 규정해왔다(GTC 2025·2026 키노트, 취지). 이 논리에서 20년간 쌓은 생태계는 그 자체로 정당한 상품 가치로 평가된다. 검증된 스택을 두고 이식 리스크를 감수할 이유가 고객에게 없다는 얘기다.

도전자와 개방 진영의 진단은 다르다. 폐쇄형 락인이 가격 협상력과 공급 종속을 낳아 AI 비용과 혁신 속도를 누른다는 것이다. "GPU는 많은데 쿠다는 하나"라는 지적이 이 우려를 압축한다(ZDNet Korea, 2025-08). 이들은 개방 표준이 결국 폐쇄 스택을 대체해온 컴퓨팅 역사의 선례를 든다. 다만 그 결말이 이번에도 반복될지는 아직 아무도 단정하지 못한다.

시간축으로 보면 그림이 조금 더 선명해진다. 2006~2007년, 대부분이 GPU를 게임용으로만 보던 시절에 엔비디아는 학계와 연구자에게 CUDA를 뿌리며 "쐐기"를 박았다(日経 표현). AI 붐이 오자 그 쐐기가 해자로 자랐다. 지금이 방어력 최대치다.

균열 조짐과 견고함이 함께 있다

그렇다고 이 해자가 영원하다는 뜻은 아니다.

애널리스트들은 엔비디아의 데이터센터 AI 가속기 점유율이 2026년 약 75%까지 내려갈 수 있다고 전망한다(Mercury Research·Bernstein 전망 인용). 경쟁사 칩이 늘고, 구글·아마존 같은 대형 클라우드가 자체 칩을 밀어붙이는 흐름이 반영된 수치다. 다만 점유율이 내려가도 절대 매출은 계속 오를 수 있다. 시장 자체가 커지기 때문이다. '위기'와 '최고 실적'이 동시에 성립하는 국면이다.

중국은 아예 다른 판이다. 수출통제 여파로 엔비디아의 중국 내 점유율은 한때 약 90~95%에서 2025년 약 54~55% 수준으로 떨어진 것으로 알려졌다(Bernstein·대만 매체 인용, 출처 간 편차 큼). 젠슨 황은 중국에서 "95%에서 0%로 갔다"고까지 표현했다(복수 보도 인용). 다만 이 급락은 규제가 만든 특수 국면이라, 글로벌 점유율 흐름과 뒤섞어 읽으면 오독이 된다. 이 두 숫자는 반드시 분리해서 봐야 한다.

다음 편들

이 1부의 문제설정은 여기까지다. 하드웨어로는 왜 못 이기나 — 해자가 소프트웨어에 있기 때문이다.

그렇다면 이 벽은 어떻게 뚫리나. 반격은 세 갈래로 온다. 2부는 개방 표준과 RISC-V 진영의 반격을 다룬다. 벤더 종속을 걷어내려는 오픈 소프트웨어 스택의 움직임이다. 3부는 수출통제 아래서 가속되는 중국의 국산화를, 4부는 점유율을 직접 흔드는 규제 전장을 짚는다.

이번 편이 남기는 사실은 두 가지다. 세 반격은 공통적으로 소프트웨어 표준과 규제 지형을 겨냥한다. 그리고 그 성패는 아직 아무도 확언하지 못한다.

분명한 건 하나다. 더 빠른 칩을 만드는 것만으로는 이 도로망을 우회할 수 없다. 그 계산을 누가 먼저 바꿔 쓰느냐, 그게 다음 세 편의 이야기다.