AI 메모리 전쟁, DRAM 가격 7배 폭등의 진짜 이유

7배 뛴 메모리 가격, GPU만 보다가 놓친 것

AI 인프라 비용을 논할 때 우리는 늘 엔비디아와 GPU만 이야기한다. 하지만 지난 1년간 DRAM 칩 가격이 7배 폭등한 사실은 놓쳤다. 하이퍼스케일러들이 수십조원 규모의 데이터센터 구축에 나서면서, 메모리가 AI 인프라의 새로운 병목이 되고 있다.

더 중요한 건 가격 상승이 아니다. 메모리를 어떻게 관리하느냐가 AI 기업의 생존을 좌우하는 시대가 왔다는 것이다.

Anthropic의 복잡해진 가격표가 말하는 것

반도체 분석가 댄 오러플린과 Weka의 AI 책임자 발 베르코비치의 대화에서 흥미로운 관찰이 나온다. Anthropic의 프롬프트 캐싱 가격 페이지가 6-7개월 전과 완전히 달라졌다는 것이다.

과거엔 단순했다. "캐싱을 쓰면 저렴하다"가 전부였다. 지금은? 백과사전 수준의 복잡한 가이드다. 5분 단위, 1시간 단위 캐시 옵션에 사전 구매 수량에 따른 차등 가격까지. 캐시에서 데이터를 읽는 건 훨씬 저렴하지만, 새 데이터를 추가할 때마다 기존 데이터가 캐시에서 밀려날 수 있다.

이 복잡함 뒤에 숨은 메시지는 명확하다. 메모리 관리가 AI 비용 최적화의 핵심이 되었다는 것이다.

삼성전자가 주목해야 할 이유

국내 관점에서 보면 이 변화는 삼성전자와 SK하이닉스에게 기회이자 도전이다. 두 회사는 전 세계 DRAM 시장의 70% 이상을 점유하고 있다. AI 붐으로 메모리 수요가 폭증하는 건 호재지만, 단순히 용량만 늘리는 시대는 끝났다.

이제는 AI 워크로드에 최적화된 메모리 아키텍처가 필요하다. HBM(고대역폭 메모리)과 일반 DRAM을 언제, 어떻게 조합할지. 데이터센터 내에서 메모리 계층을 어떻게 구성할지. 이런 기술적 노하우가 경쟁력을 좌우한다.

네이버나 카카오 같은 국내 AI 기업들도 마찬가지다. 메모리 최적화 역량이 없으면 같은 서비스를 제공하는데도 훨씬 많은 토큰을 써야 한다. 비용 차이가 사업 성패를 가를 수 있다.

스타트업들이 찾은 틈새 시장

메모리 최적화라는 새 영역에서 스타트업들이 기회를 찾고 있다. 지난 10월 소개된 TensorMesh 같은 회사는 캐시 최적화 기술에 집중한다. 메모리 스택의 한 층을 담당하는 전문 기업들이 속속 등장하고 있다.

이들의 목표는 같은 성능을 더 적은 메모리로, 더 적은 토큰으로 달성하는 것이다. 성공하면 AI 서비스 비용이 대폭 줄어들고, 지금은 수익성이 없어 보이는 많은 AI 애플리케이션들이 사업성을 갖게 될 수 있다.