마이크로소프트가 엔비디아 없이도 AI를 돌리려는 이유

100억 개가 넘는 트랜지스터를 탑재한 칩 하나로 현존하는 가장 큰 AI 모델을 거뜬히 돌릴 수 있다면? 마이크로소프트가 새롭게 공개한 마이아 200 칩이 바로 그 답이다.

마이크로소프트는 최근 AI 추론에 특화된 자체 설계 칩 마이아 200을 발표했다. 2023년 출시된 마이아 100의 후속작인 이 칩은 10 페타플롭스 이상의 4비트 정밀도 성능과 약 5 페타플롭스의 8비트 성능을 제공한다고 회사 측은 밝혔다. 이는 이전 세대 대비 상당한 성능 향상이다.

추론 비용이 AI 기업의 생존을 좌우한다

여기서 주목할 점은 '추론(inference)'이라는 키워드다. AI 모델을 훈련시키는 것과 달리, 추론은 이미 완성된 모델을 실제로 작동시키는 과정을 말한다. ChatGPT나 코파일럿 같은 서비스가 사용자 질문에 답할 때마다 일어나는 계산이 바로 추론이다.

AI 기업들이 성숙해지면서 이 추론 비용이 전체 운영비에서 차지하는 비중이 급격히 늘어나고 있다. 모델을 한 번 훈련시키면 끝이지만, 추론은 사용자가 서비스를 이용할 때마다 계속 발생하기 때문이다. 마이크로소프트는 "마이아 200 노드 하나로 현재 가장 큰 모델들을 여유롭게 실행할 수 있고, 미래의 더 큰 모델들을 위한 여유 공간도 충분하다"고 강조했다.

빅테크들이 엔비디아에서 벗어나려는 진짜 이유

마이아 200은 단순한 성능 개선을 넘어 더 큰 전략적 의미를 갖는다. 바로 엔비디아 의존도를 줄이려는 빅테크들의 움직임 중 하나라는 점이다.

현재 AI 업계에서 엔비디아의 GPU는 거의 독점적 지위를 누리고 있다. 하지만 구글은 TPU(텐서 처리 장치)를, 아마존은 트레이니움 시리즈를 개발해 자체 클라우드 서비스에 활용하고 있다. 마이크로소프트 역시 이 대열에 합류한 셈이다.

마이크로소프트는 마이아 200이 아마존 3세대 트레이니움 칩 대비 3배 높은 FP4 성능을, 구글 7세대 TPU보다 우수한 FP8 성능을 제공한다고 주장했다. 이미 자사의 슈퍼인텔리전스 팀의 AI 모델과 코파일럿 운영에 투입되고 있으며, 개발자와 연구기관, AI 랩들에게도 소프트웨어 개발 키트를 제공하기 시작했다.

한국 기업들에게 던지는 질문

이런 변화가 한국에는 어떤 의미일까? 삼성전자는 이미 엔비디아와 HBM 메모리 공급 관계를 맺고 있지만, 동시에 자체 AI 칩 개발에도 투자하고 있다. 네이버나 카카오 같은 국내 AI 기업들도 클라우드 비용 절감을 위해 어떤 선택을 할지 주목된다.

특히 국내 스타트업들에게는 더욱 현실적인 고민이다. 비싼 엔비디아 GPU 대신 마이크로소프트 애저 클라우드의 마이아 칩을 활용한다면 AI 서비스 운영 비용을 크게 줄일 수 있을 것이다. 하지만 동시에 마이크로소프트 생태계에 더 깊이 종속될 위험도 있다.